Presupuesto de rastreo: cuándo importa y cómo no gastarlo

Cada vez que una web tarda en indexar contenido nuevo aparece la misma explicación: «es un problema de crawl budget». En la mayoría de los casos que he revisado no lo es. El presupuesto de rastreo es un concepto real y medible, pero Google lo plantea para un tipo concreto de sitio, y aplicarlo a una web de 60 URLs es buscar el problema en el sitio equivocado.

Este artículo parte de la documentación de Google para separar qué es, a quién afecta y qué no es, y después baja a lo práctico: qué desperdicia rastreo, cómo medirlo y en qué orden actuar. Incluye una sección sobre mi propia web, que es pequeña y lo demuestra.

Qué es el presupuesto de rastreo

La guía de Google para sitios grandes define el presupuesto de rastreo como el conjunto de URLs que Googlebot puede rastrear y quiere rastrear. Esa definición tiene dos mitades, y conviene tratarlas por separado porque se arreglan de formas distintas.

Límite de capacidad de rastreo

Es el tope de tiempo de servidor que Google está dispuesto a gastar en tu sitio: limita cuánto tiempo mantiene conexiones abiertas con tu servidor, según las conexiones en paralelo y su duración. Sube cuando el sitio responde rápido y estable, y baja cuando se ralentiza o devuelve errores. Es la mitad que controlas con infraestructura.

Demanda de rastreo

Es cuánto quiere rastrear Google. Depende del tamaño del sitio, de la frecuencia con la que cambia y de la calidad y relevancia de las páginas. La documentación señala tres factores principales: el inventario percibido (las URLs que Google conoce de tu sitio), la popularidad y la obsolescencia, es decir, cuánto hace que no se recrawlea una URL. Es la mitad que controlas con contenido y arquitectura.

Un detalle que se pasa por alto: aunque no llegues al límite de capacidad, una demanda baja también limita el rastreo. Un servidor holgado no hace que Google rastree más si no ve motivos para volver.

A quién le importa de verdad

Google es explícito sobre el público de esta guía y da tres perfiles, que él mismo califica de estimación aproximada y no de umbrales exactos.

Los dos primeros son sitios como grandes ecommerce, portales de anuncios, medios o marketplaces. El tercero es el más útil como señal práctica: si tienes un volumen alto de URLs descubiertas y sin indexar, merece la pena mirar si el rastreo se está yendo a otro sitio. Si tienes pocas, no.

La propia página de ayuda del informe de estadísticas de rastreo dice algo en la misma línea: es un informe para usuarios avanzados y los sitios con menos de unas 1.000 páginas probablemente no lo necesitan. Es una pista de la escala a la que Google considera que esto empieza a importar.

Qué desperdicia presupuesto de rastreo

Desperdiciar presupuesto es dedicar rastreo a URLs que no deberían competir por él. La documentación de Google lista las palancas para reducirlo y los problemas aparecen siempre agrupados en seis familias.

URLs facetadas y parámetros

Una categoría con filtros por talla, color, precio y orden puede generar miles de combinaciones que muestran casi lo mismo. Cada una es una URL distinta que Google conoce y puede querer visitar. Lo mismo ocurre con parámetros de ordenación, identificadores de sesión o campañas que acaban enlazados internamente. La solución depende del caso: consolidar con canonical, no enlazar combinaciones sin valor o bloquearlas con robots.txt.

Redirecciones en cadena

Cada salto es una petición más. La guía de Google pide evitar las cadenas largas porque afectan negativamente al rastreo. Según su documentación de errores de red, Googlebot sigue por defecto hasta 10 saltos, así que una cadena corta no rompe nada, pero tampoco hay motivo para mantenerla: enlaza internamente al destino final.

Soft 404

Una página que dice «no encontrado» pero devuelve un 200 sigue en la cola. La guía lo dice sin rodeos: las soft 404 se seguirán rastreando y gastan presupuesto. Se detectan en el informe de indexación de páginas de Search Console.

Errores 5xx y lentitud

Los errores de servidor y las señales de límite de velocidad como el 429 hacen que Google baje el límite de capacidad y rastree menos. Según su documentación sobre errores HTTP, cuando el servidor vuelve a responder con 2xx el ritmo sube de forma gradual, no de golpe. Un pico de 503 en una migración tiene consecuencias que duran más que el pico.

Contenido duplicado y URLs obsoletas

Varias URLs para lo mismo diluyen la demanda y llenan el inventario; el canonical bien implementado ayuda a consolidarlas, aunque Google solo lo trata como pista. Para páginas eliminadas, un 404 o un 410 es una señal fuerte de no volver a rastrear esa URL. Google no olvida una URL que ya conoce, pero la visita cada vez menos.

Qué no es el presupuesto de rastreo

Aquí circulan más mitos que en cualquier otro tema de SEO técnico. Los cuatro que más veo, contrastados con la documentación:

• No es un factor de ranking directo. La guía de Google no habla de posicionamiento: habla de qué URLs se rastrean y con qué frecuencia. Que una URL se rastree más no dice nada sobre en qué posición saldrá. Un matiz honesto: indirectamente, una página que no se rastrea no puede indexarse ni posicionar.
• Rastrear no es indexar. La propia guía recuerda que no todas las páginas rastreadas se indexan.
• Bloquear con robots.txt no regala presupuesto a otras páginas. Google advierte de que no reasignará el presupuesto liberado salvo que ya estés en el límite de capacidad de tu sitio.
• Noindex no ahorra rastreo. Google tiene que pedir la página para ver la etiqueta, y la sigue pidiendo. Con la cabecera X-Robots-Tag pasa igual: para leerla hay que rastrear la URL.

Tampoco se compra ni se pide. Las palancas son las que describe este artículo: un servidor sano y un inventario de URLs limpio.

Cómo responde Google a cada respuesta del servidor

Los códigos de estado son la herramienta más directa para dirigir el rastreo. Resumido a partir de la documentación de errores HTTP y de la guía de presupuesto:

La última fila es un clásico: devolver 403 a Googlebot para «ahorrar rastreo» no funciona como mecanismo de control.

Cómo medir el presupuesto de rastreo

No existe un número llamado «mi crawl budget» en ninguna herramienta de Google. Lo que se mide es cuánto, cómo y qué rastrea Googlebot, y de ahí se deduce si hay desperdicio.

Estadísticas de rastreo de Search Console

Se abre desde Configuración, en Estadísticas de rastreo, y solo está disponible en propiedades de nivel raíz (de dominio o de prefijo de URL en la raíz). Muestra:

• Total de solicitudes de rastreo (incluidas las fallidas), tamaño total de descarga y tiempo medio de respuesta.
• Estado del host, con tres niveles según problemas de robots.txt, DNS y conectividad en los últimos 90 días.
• Respuestas agrupadas en buenas (200, redirecciones, 304), posiblemente buenas (404) y malas (5xx, otros 4xx, tiempos de espera, robots.txt no disponible).
• Tipo de archivo, finalidad (descubrimiento o actualización) y tipo de Googlebot.

Dos límites que Google reconoce: las redirecciones se cuentan como peticiones separadas y es posible que algunas solicitudes no se contabilicen, por lo que las cifras pueden no coincidir con tus logs.

Logs del servidor

Los logs son la única fuente que ve todas las peticiones, URL a URL. Con ellos respondes lo que Search Console no responde: qué carpetas se llevan más rastreo, si Googlebot pide URLs con parámetros, qué páginas importantes casi nunca visita. Si quieres montar ese análisis, tengo un artículo específico sobre cómo analizar logs para SEO y una herramienta en la web, el analizador de logs. Recuerda verificar que la petición es realmente de Googlebot y no un user-agent falsificado antes de sacar conclusiones.

Acciones priorizadas

En un sitio grande, este es el orden en el que yo trabajaría, de lo que más rastreo libera o protege a lo que menos.

1. Salud del servidor. Errores 5xx, 429 y tiempos de respuesta altos bajan el límite de capacidad. Si el servidor no aguanta, todo lo demás da igual.
2. URLs infinitas. Facetas, parámetros y búsquedas internas que generan combinaciones sin valor. Decide caso por caso entre no enlazarlas, canonicalizarlas o bloquearlas con robots.txt.
3. Redirecciones. Enlaces internos, sitemaps y canonicals apuntando a la URL final, sin cadenas.
4. Códigos correctos. 404 o 410 para lo eliminado y para lo vacío; revisar las soft 404.
5. Sitemaps limpios. Solo URLs indexables y <lastmod> fiable, como detallo en la guía de sitemaps XML. La guía de Google recomienda incluirlo cuando hay contenido actualizado.
6. Soportar 304. Google recomienda acelerar las páginas y soportar respuestas 304 para no volver a descargar lo que no cambia. Lo explico en el artículo sobre caché y SEO.

Y una precaución sobre robots.txt: la guía de Google no recomienda usarlo para reasignar presupuesto de forma temporal. Úsalo para lo que de verdad no debe rastrearse, no para jugar con el reparto.

Cómo lo trato en mi web

Mi web es pequeña, y eso cambia la conversación. Esto es lo que he comprobado leyendo su código, sin añadir nada que no esté.

Lo que implica el caso de los filtros del blog es un buen ejemplo del matiz de antes: con noindex, Google sigue pidiendo esas URLs para ver la etiqueta, así que no ahorro rastreo con ellas. A mi escala da exactamente igual, pero en un catálogo de miles de filtros sería la decisión equivocada y habría que plantear otra salida.

Lo que no puedo decirte es cuánto rastrea Googlebot mi web: no he medido sus estadísticas de rastreo para este artículo ni analizado logs, y no te daré cifras que no he comprobado. Con unas decenas de URLs, la conclusión razonable es que el presupuesto de rastreo no es un problema que resolver aquí.

Cómo auditarlo paso a paso

1. Dimensiona el sitio. Cuenta URLs únicas indexables y compáralas con los tres perfiles de Google. Si estás muy lejos, para aquí y revisa indexación y calidad.
2. Abre las estadísticas de rastreo. Mira la tendencia de solicitudes, el tiempo medio de respuesta y el porcentaje de respuestas malas.
3. Revisa el informe de indexación. Cuantas más URLs «Descubierta: actualmente sin indexar» y soft 404, más sentido tiene seguir.
4. Cruza con logs. Agrupa por carpeta y por parámetro y busca dónde se va el rastreo y qué páginas clave faltan.
5. Rastrea tu propia web. Con un crawler, busca cadenas de redirecciones, canonicals a URLs con redirección y URLs con parámetros enlazadas internamente. Si el sitio se apoya en JavaScript, depura qué ve Google al renderizar antes de culpar al presupuesto.
6. Corrige, espera y vuelve a medir. Los cambios de rastreo tardan semanas en verse; no juzgues a los dos días.

Si tu sitio encaja en los perfiles grandes y quieres que lo revise con datos de logs, esto entra en una auditoría SEO técnica; si quieres acompañamiento continuo, en la consultoría SEO. Cuando el rastreo se va a facetas y parámetros por cómo está montada la web, el arreglo es de arquitectura web SEO.

Preguntas frecuentes

Referencias y fuentes

Documentación consultada para este artículo.

1. Guía de gestión del presupuesto de rastreo para sitios grandes Google Search Central
2. Informe de estadísticas de rastreo Ayuda de Search Console
3. Cómo afectan a Google Search los códigos de estado HTTP y los errores de red Google Search Central
4. What Crawl Budget Means for Googlebot Google Search Central Blog
5. Crawling December: Faceted navigation Google Search Central Blog