Cómo Google rastrea e indexa los sitios web

Qué significa que Google rastrea e indexa un sitio web

Para que una página aparezca en los resultados de búsqueda, Google debe completar tres fases distintas: rastreo (descubrir y descargar la URL), renderizado (ejecutar el HTML y el JavaScript para ver el contenido final) e indexación (analizar ese contenido y guardarlo en su índice). Mucha gente usa "rastrear" e "indexar" como sinónimos, pero son etapas separadas: una página puede rastrearse y, aun así, no indexarse nunca. Comprender esta distinción es lo que separa un diagnóstico SEO superficial de uno que realmente resuelve por qué una URL no posiciona.

El rastreo lo realiza Googlebot, un programa automatizado que sigue enlaces de página en página, igual que lo haría un usuario haciendo clic. Cuando Googlebot llega a una URL nueva, la añade a una cola de rastreo; cuando la procesa, descarga el HTML y extrae todos los enlaces internos y externos que encuentra para descubrir más direcciones. Por eso una arquitectura de enlazado interno sólida no es un lujo: es literalmente el mapa que Google usa para encontrar tu contenido. Si una página no recibe ningún enlace interno y no figura en el sitemap, Googlebot probablemente nunca sabrá que existe.

La indexación, en cambio, es donde Google decide si ese contenido merece formar parte de su base de datos de búsqueda. Aquí entran en juego factores como la calidad del contenido, la presencia de etiquetas canonical, la directiva noindex y la existencia de duplicados. Según los propios informes de Search Console, es perfectamente normal que un sitio tenga miles de URL "rastreadas, pero no indexadas": son páginas que Google vio pero que decidió no incluir, casi siempre por baja calidad, contenido duplicado o thin content.

Cómo descubre Googlebot tus URL

Google encuentra nuevas páginas principalmente de tres formas: siguiendo enlaces internos desde páginas que ya conoce, leyendo tu archivo sitemap.xml y procesando enlaces externos que apuntan a tu sitio desde otros dominios. De estas tres, el enlazado interno es la que tú controlas al cien por cien y la que más impacto tiene en el rastreo diario. Una página enlazada desde tu menú principal o desde tu home se descubrirá en horas; una página enterrada a seis clics de profundidad puede tardar semanas, si es que llega.

El sitemap es un complemento, no un sustituto del enlazado interno. Un error muy común es pensar que con incluir una URL en el sitemap basta para que Google la indexe. No es así: el sitemap le dice a Google que la URL existe y cuál es su prioridad relativa, pero si esa misma página no tiene ningún enlace interno apuntándola, Google interpreta la señal contradictoria de "la pones en el sitemap pero tú mismo no la enlazas desde ningún sitio". Estas son las clásicas páginas huérfanas, y suelen rastrearse con muy poca frecuencia o quedarse fuera del índice.

Para hacerte una idea de la escala del problema: en un e-commerce de 8.000 productos no es raro encontrar entre 300 y 600 páginas huérfanas, normalmente fichas antiguas, variantes de producto o landings de campañas pasadas que se desconectaron de la navegación. Detectarlas a mano es inviable. Aquí es donde herramientas como LinkJuice resultan útiles: cruzan los datos de tu rastreo de Screaming Frog con tu sitemap y te muestran exactamente qué URL están en el sitemap pero no reciben ni un solo enlace interno, todo procesado en el navegador sin necesidad de subir nada a un servidor.

El presupuesto de rastreo y por qué importa

Google no rastrea todas tus páginas cada día. Asigna a cada sitio un presupuesto de rastreo (crawl budget), que es una combinación de cuántas URL puede rastrear sin sobrecargar tu servidor y cuántas quiere rastrear según la demanda y la frescura percibida de tu contenido. Para un blog de 200 páginas esto es irrelevante: Google las rastreará todas sin problema. Pero para un sitio de más de 50.000 o 100.000 URL, el presupuesto de rastreo se convierte en un cuello de botella real que determina con qué rapidez se indexan tus páginas nuevas y se actualizan las antiguas.

El problema típico es que Googlebot desperdicia su presupuesto en URL que no aportan valor: parámetros de filtros y ordenación (?color=rojo&orden=precio), versiones de paginación infinitas, páginas de búsqueda interna, redirecciones encadenadas y URL que devuelven errores. Cada vez que Googlebot rastrea una de estas, gasta presupuesto que debería ir a tus páginas importantes. He visto sitios donde el 40% del rastreo se consumía en variaciones de filtros que nunca deberían haberse rastreado, mientras las fichas de producto nuevas tardaban tres semanas en indexarse.

Optimizar el presupuesto de rastreo consiste en concentrar la atención de Googlebot donde de verdad importa. Esto se logra bloqueando con robots.txt las rutas inútiles, eliminando o consolidando contenido duplicado, reduciendo las cadenas de redirección a un solo salto y asegurando que tus páginas más rentables estén a pocos clics de la home. Un buen indicador es revisar el informe de "Estadísticas de rastreo" en Search Console: si Google rastrea miles de URL al día pero tu número de páginas indexadas no crece, casi con seguridad estás malgastando presupuesto.

Renderizado: el paso que muchos olvidan con JavaScript

Entre el rastreo y la indexación hay un paso intermedio que se pasa por alto con frecuencia: el renderizado. Googlebot descarga primero el HTML inicial, pero muchos sitios modernos cargan buena parte de su contenido y, sobre todo, sus enlaces mediante JavaScript que se ejecuta en el navegador. Para ver ese contenido, Google tiene que renderizar la página con una versión de Chromium, lo que ocurre en una segunda pasada que puede llegar minutos, horas o incluso días después del rastreo inicial.

Esto tiene una consecuencia directa para el enlazado interno: si tus enlaces se generan solo con JavaScript (por ejemplo, un menú que se monta con un framework de cliente o un botón que dispara una navegación sin un atributo href real), Google puede no descubrirlos hasta el renderizado, o no descubrirlos en absoluto si el enlace no es un elemento <a href> rastreable. La regla práctica es simple: cualquier enlace que quieras que Google siga debe existir como un <a> con un atributo href apuntando a una URL real en el HTML, no como un evento onclick.

Para diagnosticar problemas de renderizado, la herramienta "Inspección de URL" de Search Console es insustituible: te muestra el HTML renderizado que Google realmente vio, no el que tú esperabas. Si una página carga su contenido principal por JavaScript y aparece vacía en la vista renderizada, tienes un problema de indexación serio. La recomendación general para contenido crítico de SEO sigue siendo servirlo en el HTML inicial (mediante renderizado en servidor o generación estática) en lugar de depender exclusivamente del renderizado del lado del cliente.

Cómo decide Google qué indexar y qué descartar

Que una página se rastree no garantiza que se indexe. Google aplica filtros de calidad y de canonización antes de incluir una URL en su índice. El primer filtro es técnico: si la página tiene una etiqueta noindex, está bloqueada en robots.txt de forma que impida la indexación, o devuelve un código de estado distinto de 200, no entrará. El segundo filtro es la canonización: cuando Google detecta varias URL con contenido muy parecido, elige una como canónica y descarta las demás, lo que explica el estado "Página alternativa con etiqueta canónica adecuada" en Search Console.

El tercer filtro, y el más difícil de gestionar, es el de calidad. Google es cada vez más selectivo y simplemente no indexa contenido que considera de poco valor: páginas con apenas 50 palabras, fichas de producto sin descripción única, contenido autogenerado o casi duplicado de otras páginas del mismo sitio. Este es el origen del temido estado "Rastreada: actualmente sin indexar". No es un error técnico, es un juicio de calidad: Google vio la página y decidió que no merecía ocupar espacio en su índice. La solución no es técnica, sino mejorar sustancialmente el contenido o consolidar varias páginas débiles en una sola página fuerte.

Las señales de enlazado interno también pesan en esta decisión. Una página que recibe enlaces desde secciones relevantes y autorizadas de tu sitio transmite a Google la idea de que es importante y merece indexarse y posicionarse. Esa es la lógica del PageRank interno: el valor de enlace que fluye por tu sitio se concentra en las páginas mejor enlazadas. Una URL valiosa pero pobremente enlazada le envía a Google una señal débil; reforzar sus enlaces internos suele ser la palanca más rápida para sacarla del limbo de "rastreada, sin indexar".

Cómo auditar y optimizar el rastreo e indexación de tu sitio

Una auditoría de rastreo e indexación bien hecha empieza por enfrentar tres fuentes de datos: lo que Google dice que ve (informe de Cobertura en Search Console), lo que realmente existe (un rastreo completo con Screaming Frog) y lo que tú declaras como importante (tu sitemap.xml). El cruce de estas tres fuentes revela casi todos los problemas: páginas en el sitemap pero no rastreables, URL rastreables pero ausentes del sitemap, huérfanas, cadenas de redirección, y discrepancias entre lo que crees indexado y lo que Google indexa de verdad.

Los puntos de control concretos que conviene revisar siempre son: la profundidad de clic de tus páginas clave (lo ideal es que ninguna URL importante esté a más de tres clics de la home), las cadenas de redirección (cada 301 que apunta a otro 301 desperdicia presupuesto de rastreo y diluye el PageRank), los enlaces a páginas con noindex o bloqueadas, y la distribución de enlaces internos para detectar páginas valiosas que reciben muy pocos. Estos análisis, hechos a mano sobre una exportación de Screaming Frog de decenas de miles de filas, son tediosos y propensos a errores.

• Detecta páginas huérfanas cruzando tu rastreo con el sitemap, identifica cadenas y bucles de redirección que dilapidan presupuesto de rastreo, calcula el PageRank interno para ver qué URL acumulan o pierden autoridad, y audita los textos de ancla de tus enlaces internos, todo en el navegador sin subir tu rastreo a ningún servidor con LinkJuice.

El objetivo final de toda esta optimización es alinear lo que tú quieres que Google rastree con lo que Google rastrea de verdad. Cuando esa alineación se logra, las páginas nuevas se indexan en días en lugar de semanas, el contenido actualizado se refresca con rapidez en las SERP y dejas de perder posiciones por culpa de URL importantes que Googlebot apenas visita. El rastreo y la indexación no son una caja negra: son un proceso medible, auditable y, sobre todo, optimizable si trabajas tu arquitectura de enlazado interno con datos en la mano.