¿Qué es el presupuesto de rastreo y cómo optimizarlo?

¿Qué es el presupuesto de rastreo y por qué te importa?

El presupuesto de rastreo (en inglés, crawl budget) es la cantidad de URLs que el robot de Google está dispuesto y es capaz de rastrear en tu sitio dentro de una ventana de tiempo determinada. Dicho de forma directa: es un recurso finito que decide qué páginas tuyas ve el buscador, con qué frecuencia y cuáles quedan rezagadas o directamente sin descubrir. No es una métrica que aparezca etiquetada como tal en ningún panel, pero sus efectos sí son medibles cuando una parte de tu web tarda semanas en indexarse o, peor aún, nunca llega.

Google define este concepto a partir de dos factores que conviene entender por separado. El primero es el límite de capacidad de rastreo (crawl capacity limit): cuánto puede rastrear el bot sin sobrecargar tu servidor. Si tu hosting responde rápido y sin errores, Google sube el ritmo; si empieza a recibir tiempos de respuesta altos o errores 5xx, lo baja para no tumbarte. El segundo es la demanda de rastreo (crawl demand): cuánto interés tiene Google en tus URLs, algo que depende de su popularidad, su frescura y de cuánto cambian. Una página enlazada por todo tu sitio y actualizada con frecuencia genera más demanda que una ficha huérfana que nadie referencia.

Para la mayoría de webs pequeñas, con unos cientos de URLs, el presupuesto de rastreo no es un problema real: Google las rastrea sin esfuerzo. El asunto se vuelve crítico cuando hablas de e-commerce con decenas de miles de productos, portales con filtros y facetas, medios con archivos enormes o cualquier sitio que supere las 10.000 URLs. Ahí cada visita del bot que se desperdicia en una URL irrelevante es una visita que no dedica a tu nueva categoría, a tu artículo recién publicado o a la página que de verdad quieres posicionar.

Cómo saber si el rastreo es realmente tu problema

Antes de optimizar nada, conviene confirmar que el presupuesto de rastreo es tu cuello de botella y no otra cosa. La herramienta de cabecera para esto es el informe de Estadísticas de rastreo de Google Search Console, dentro de Configuración. Allí ves cuántas solicitudes hace Google al día, el tiempo medio de respuesta de tu servidor y el desglose por tipo de respuesta. Si observas miles de solicitudes diarias dirigidas a URLs con parámetros, redirecciones o errores, tienes una señal clara de despilfarro.

El segundo indicador vive en el informe de Indexación de páginas. Presta especial atención a estados como «Descubierta: actualmente sin indexar» y «Rastreada: actualmente sin indexar». El primero significa que Google conoce la URL pero todavía no la ha rastreado, algo que apunta directamente a un problema de presupuesto o de prioridad. Cuando ese cubo crece y contiene páginas que sí te importan, es la prueba de que el bot no llega a tiempo a lo relevante porque gasta sus recursos en otra parte.

Un análisis más fino requiere mirar los registros del servidor (logs). Filtrando las visitas del user-agent de Googlebot puedes ver con exactitud qué URLs rastrea, con qué frecuencia y cuántas devuelven códigos distintos de 200. No es raro descubrir que entre el 30% y el 50% de las peticiones del bot se van en redirecciones, páginas paginadas infinitas o variantes con parámetros de orden y filtrado. Ese porcentaje es, literalmente, presupuesto de rastreo que no rinde nada.

Qué malgasta el presupuesto de rastreo en la práctica

El primer gran sumidero son las cadenas de redirecciones. Cada salto 301 o 302 obliga a Googlebot a hacer una petición adicional, y cuando encadenas tres o cuatro redirecciones para llegar al destino final, multiplicas el coste de descubrir una sola página útil. Lo mismo ocurre con los enlaces internos que apuntan a URLs antiguas que ya redirigen: deberían apuntar directo al destino definitivo. Las redirecciones son inevitables a veces, pero una cadena larga casi nunca tiene justificación y conviene aplanarla a un único salto.

El segundo sumidero son las URLs con parámetros y la navegación por facetas. Un catálogo con filtros de color, talla, precio y orden puede generar combinaciones casi infinitas de URLs que muestran prácticamente el mismo contenido. Si Google rastrea «?color=rojo&orden=precio&pagina=3» y mil variantes parecidas, está quemando presupuesto en duplicados. Aquí la solución pasa por canonicalizar correctamente, bloquear en robots.txt los parámetros que no aportan, y evitar enlazar internamente esas combinaciones desde la navegación.

El tercer culpable habitual son las páginas huérfanas y el contenido de baja calidad. Una página huérfana es aquella que no recibe ningún enlace interno: existe en tu sitemap pero ningún menú, listado ni artículo la enlaza. Google las rastrea con desgana o no las encuentra. En el extremo opuesto, miles de páginas de etiquetas autogeneradas, resultados de búsqueda interna indexables o fichas casi vacías diluyen tu presupuesto sin aportar valor. Un buen ejercicio es preguntarte, página a página, si justificarías que Google gaste una de sus visitas en ella; si la respuesta es no, no debería estar abierta a indexación.

El enlazado interno como motor del rastreo

Aquí está el corazón del asunto y la respuesta directa a cómo optimizar el presupuesto de rastreo: el enlazado interno es la señal más fuerte y barata que tienes para guiar al robot. Googlebot descubre páginas siguiendo enlaces. Una URL que recibe muchos enlaces internos relevantes se rastrea antes, más a menudo y con más prioridad que una que cuelga de un único enlace perdido en el pie de página. La distribución de tu autoridad interna —lo que muchos SEO llaman PageRank interno— determina en buena medida qué considera importante el buscador dentro de tu propio dominio.

El problema es que esta distribución es invisible a simple vista. Puedes intuir que tu home reparte mucha fuerza, pero rara vez sabes qué páginas concretas están infraenlazadas, cuáles acumulan autoridad sin necesitarla o cuántos de tus enlaces internos apuntan a destinos que ya redirigen. Para verlo con datos hace falta un análisis del grafo de enlaces. Herramientas como LinkJuice calculan el PageRank interno a partir de un rastreo de Screaming Frog y detectan páginas huérfanas, cadenas de redirección y problemas de texto ancla, todo en el navegador y sin subir tus datos a ningún servidor. Eso permite pasar de «creo que el enlazado está bien» a «sé exactamente qué 40 URLs prioritarias están recibiendo menos fuerza interna de la que deberían».

El texto ancla también cuenta, y no solo para el posicionamiento por palabras clave. Un ancla descriptiva ayuda a Google a entender de qué trata el destino y refuerza su relevancia temática, lo que a su vez alimenta la demanda de rastreo. Sustituir cientos de «haz clic aquí» o «ver más» por anclas que describan el contenido es una de esas optimizaciones que suman tanto en rastreo como en relevancia sin coste técnico apreciable.

Arquitectura web: profundidad, jerarquía y sitemaps

La profundidad de clic es el factor estructural que más correlaciona con el rastreo y la indexación. La profundidad es el número mínimo de clics que separan una página de tu home. Como regla práctica, cualquier URL importante debería estar a tres clics o menos de la portada. Cuando una ficha de producto queda enterrada a seis o siete clics de profundidad, Google la interpreta como poco relevante dentro de tu jerarquía y la rastrea con muchísima menos frecuencia, si es que llega. Aplanar la arquitectura mediante categorías intermedias, enlaces contextuales y bloques de «relacionados» reduce esa profundidad y reparte mejor la autoridad.

Una jerarquía limpia, en silos temáticos coherentes, también ayuda al bot a entender la estructura y a predecir qué encontrará. Si tus categorías agrupan páginas afines y se enlazan entre sí de forma lógica, Google rastrea de manera más eficiente porque cada nivel le da contexto sobre el siguiente. Por el contrario, una maraña de enlaces cruzados sin criterio obliga al robot a explorar de forma errática y desaprovecha presupuesto. Pensar la arquitectura como una pirámide —home, categorías, subcategorías, páginas finales— sigue siendo el modelo más rastreable.

El sitemap XML es la última pieza de este bloque y conviene tratarlo con disciplina. Debe contener únicamente URLs canónicas, indexables y que devuelvan 200; nada de redirecciones, 404 ni páginas con noindex. Un sitemap sucio confunde a Google y le hace gastar rastreo verificando URLs que tú mismo has descartado. Mantén actualizado el campo lastmod con fechas reales de modificación, porque es una de las señales que Google usa para decidir la demanda de rastreo: una fecha de cambio creíble invita al bot a volver antes a esa URL.

Un plan de acción para optimizar tu presupuesto de rastreo

Empieza por auditar y priorizar. Cruza los datos de Search Console (Estadísticas de rastreo e Indexación) con un rastreo completo del sitio y, si puedes, con los logs del servidor. El objetivo de esta fase es responder a tres preguntas: qué URLs importantes no se están rastreando, en qué se está desperdiciando el rastreo y qué páginas no deberían estar abiertas a indexación. Con ese mapa evitas optimizar a ciegas y atacas primero lo que más impacto tiene.

A continuación, ejecuta las correcciones técnicas en orden de retorno. Estas son las intervenciones que suelen mover la aguja:

• Aplana las redirecciones a un único salto y actualiza los enlaces internos para que apunten al destino final, no a URLs que redirigen.
• Controla los parámetros y facetas con canonicalización correcta y reglas en robots.txt, evitando enlazarlos desde la navegación.
• Reduce la profundidad de clic de tus URLs prioritarias a tres clics o menos mediante enlaces contextuales y bloques de relacionados.
• Elimina o recupera las páginas huérfanas, integrándolas en tu estructura de enlaces o retirándolas si no aportan.
• Limpia el sitemap para que solo incluya URLs canónicas, indexables y con respuesta 200.

Por último, mide y repite. La optimización del presupuesto de rastreo no es un proyecto de una sola vez, sino un proceso continuo: cada lanzamiento de productos, cada migración y cada nueva sección altera el grafo de enlaces y la distribución de autoridad. Revisa cada pocas semanas si las URLs que recuperaste del cubo «Descubierta: sin indexar» han pasado a indexadas, si el tiempo de respuesta del servidor se mantiene sano y si el porcentaje de rastreo dedicado a URLs útiles ha subido. Cuando alineas arquitectura, enlazado interno y sitemaps, dejas de pelear contra el robot y empiezas a dirigirlo justo hacia donde te interesa.