Come Google scansiona e indicizza i siti web

Come Google esegue la scansione di un sito web

Per capire come Google esegue la scansione di un sito occorre partire da un concetto semplice: Googlebot non sa quali pagine esistono finché non le trova. Il crawler scarica una pagina, ne legge il codice HTML, estrae tutti i link presenti e li mette in coda per visitarli a sua volta. Questo processo, chiamato crawling, è ciò che precede l'indicizzazione: una pagina che non viene mai scansionata non potrà mai comparire nei risultati di ricerca, per quanto buoni siano i suoi contenuti.

Il punto di partenza tipico è la home page o le URL contenute nella sitemap XML. Da lì Googlebot segue i collegamenti come farebbe un visitatore curioso, saltando di pagina in pagina. Se una sezione del tuo sito non riceve nemmeno un link interno e non è presente in sitemap, di fatto resta invisibile al motore di ricerca. È per questo che l'architettura dei collegamenti interni non è un dettaglio estetico, ma il vero scheletro che determina cosa Google vede e cosa ignora.

Un altro aspetto pratico riguarda la frequenza. Googlebot non scansiona tutte le pagine con la stessa cadenza: torna più spesso su quelle che ritiene importanti e aggiornate, mentre visita raramente le pagine periferiche. Capire questa logica significa poter intervenire concretamente, indirizzando l'attenzione del crawler verso le pagine che generano fatturato anziché disperderla su contenuti secondari o duplicati.

Il ruolo dei link interni nel crawling

I link interni sono il mezzo principale con cui Google esegue la scansione e attribuisce importanza alle pagine. Ogni collegamento trasmette un segnale: indica al crawler che la pagina di destinazione esiste, merita di essere visitata e riceve una quota di autorità dalla pagina di partenza. Questo meccanismo è alla base del cosiddetto PageRank interno, ovvero la distribuzione del valore di link all'interno dello stesso dominio. Una pagina molto linkata dalle sezioni forti del sito viene percepita come più autorevole di una raggiungibile solo da un link isolato nel footer.

Consideriamo un esempio concreto. Un e-commerce con 5.000 prodotti ha tipicamente poche categorie linkate dalla navigazione principale e migliaia di schede prodotto raggiungibili solo tramite paginazione profonda. Le categorie ricevono link da quasi tutte le pagine e vengono scansionate ogni giorno; le schede in fondo all'elenco, invece, possono passare settimane senza una visita di Googlebot. Aggiungere link interni contestuali, blocchi "prodotti correlati" o moduli editoriali che puntino alle pagine strategiche cambia radicalmente questa dinamica.

Esiste anche il problema opposto: le pagine orfane, cioè pagine pubblicate ma prive di qualsiasi link interno in entrata. Tecnicamente esistono, magari sono persino in sitemap, ma il crawler fatica a raggiungerle e Google tende a considerarle marginali. Identificare queste pagine e ricollegarle al resto del sito è uno degli interventi a più alto impatto e più basso costo che un SEO possa eseguire. Strumenti come LinkJuice analizzano un crawl di Screaming Frog direttamente nel browser per far emergere proprio questi vuoti nella struttura dei collegamenti.

Crawl depth: quanto in profondità arriva Googlebot

La crawl depth, o profondità di scansione, misura il numero di clic necessari per raggiungere una pagina partendo dalla home. Una pagina al livello 1 è linkata direttamente dalla home; al livello 4 servono quattro passaggi di link per arrivarci. La regola pratica più diffusa è semplice: più una pagina è profonda, meno spesso viene scansionata e meno autorità riceve. Le pagine entro i primi tre clic tendono a essere indicizzate in modo affidabile, mentre oltre il quarto o quinto livello il rischio di scansioni sporadiche cresce sensibilmente.

Il motivo è intuitivo. Googlebot interpreta la distanza dalla home come un indizio di importanza: ciò che è facilmente raggiungibile dagli utenti è verosimilmente ciò che conta di più anche per il sito. Se la tua pagina di conversione principale si trova al sesto clic, stai inviando al crawler il messaggio sbagliato. Appiattire l'architettura, riducendo il numero di livelli necessari per raggiungere i contenuti chiave, è spesso più efficace di qualsiasi ottimizzazione on-page isolata.

In pratica, conviene mappare la profondità reale di ogni URL e verificare che le pagine prioritarie non siano sepolte. Un menu di navigazione ben progettato, breadcrumb coerenti e link contestuali nei testi permettono di ridurre la profondità senza creare pagine artificiali. L'obiettivo non è linkare tutto a tutto, ma garantire che le 50 o 100 pagine che generano traffico e ricavi siano sempre vicine alla superficie, idealmente entro tre clic dalla home.

Crawl budget: perché Google non scansiona tutto

Il crawl budget è la quantità di risorse che Google decide di dedicare alla scansione di un determinato sito in un dato periodo. Per la maggior parte dei siti di piccole e medie dimensioni il crawl budget non è un problema reale: poche migliaia di pagine vengono gestite senza fatica. Diventa invece critico per i siti molto grandi, con decine o centinaia di migliaia di URL, dove Googlebot non riesce a visitare tutto con la frequenza desiderata e deve fare delle scelte.

Il budget dipende da due fattori principali. Il primo è il crawl rate limit, ovvero quante richieste il server può sostenere senza rallentare: un sito lento o instabile spinge Google a ridurre la pressione per non sovraccaricarlo. Il secondo è la crawl demand, cioè quanto Google ritiene utile scansionare le tue pagine, in base alla loro popolarità e frequenza di aggiornamento. Un sito veloce, ben strutturato e con contenuti che cambiano viene scansionato di più; un sito lento e pieno di pagine inutili viene scansionato di meno.

Il modo migliore per ottimizzare il crawl budget non è chiedere a Google di scansionare di più, ma evitare che sprechi risorse. Parametri URL infiniti, filtri di e-commerce che generano migliaia di combinazioni, pagine di tag duplicate, redirect a catena e URL in errore consumano budget senza alcun ritorno. Bloccare via robots.txt ciò che non deve essere scansionato, consolidare i contenuti duplicati e sistemare le catene di redirect libera risorse che Googlebot può reinvestire sulle pagine che contano davvero.

Come aiutare Googlebot a scansionare meglio il tuo sito

Aiutare Googlebot significa rimuovere gli ostacoli e indicare chiaramente la strada. La prima leva è la sitemap XML aggiornata, che elenca le URL canoniche che vuoi far indicizzare e funge da mappa di partenza per il crawler. Va però usata come complemento, non come sostituto di una buona struttura di link interni: una pagina in sitemap ma senza link in entrata resta debole. La seconda leva è il file robots.txt, da configurare per escludere sezioni tecniche, aree di test e parametri inutili, lasciando il campo libero ai contenuti di valore.

Il terzo intervento riguarda la salute tecnica delle scansioni. Le catene di redirect (URL A che rimanda a B che rimanda a C) sprecano crawl budget e diluiscono l'autorità: vanno accorciate a un singolo salto. Gli anchor text dei link interni andrebbero resi descrittivi, perché aiutano Google a comprendere il tema della pagina di destinazione; un link con testo "clicca qui" trasmette molto meno contesto di uno che dice "guida al crawl budget". Infine, velocità del server e codici di stato corretti riducono gli attriti e invogliano Googlebot a tornare più spesso.

Per gestire tutto questo in modo sistematico serve visibilità sull'intera struttura. Partendo da un crawl di Screaming Frog, uno strumento come LinkJuice permette di calcolare il PageRank interno, individuare le pagine orfane, ispezionare le catene di redirect e verificare gli anchor text, il tutto direttamente nel browser e senza caricare i dati su server esterni. Questo tipo di analisi trasforma intuizioni vaghe sull'architettura in interventi misurabili.

Dalla teoria alla pratica: un metodo operativo

Mettere insieme i concetti precedenti produce un metodo ripetibile. Si parte da un crawl completo del sito per ottenere la fotografia reale: profondità di ogni URL, numero di link interni in entrata, redirect, pagine orfane e anchor text. Questa base di dati sostituisce le supposizioni con numeri concreti e consente di stabilire priorità basate sull'impatto e non sulle sensazioni.

Il passo successivo è incrociare la struttura con il valore di business. Una pagina prodotto al quinto livello di profondità con due soli link interni, ma responsabile di una quota significativa di fatturato, è un problema urgente; una pagina di servizio secondaria con le stesse caratteristiche può attendere. Allineare gli sforzi di link building interno alle pagine che generano risultati è ciò che distingue un audit utile da un esercizio teorico. In genere bastano poche decine di interventi mirati per spostare l'attenzione di Googlebot dove serve.

Infine, l'ottimizzazione del crawling non è un'attività una tantum. Ogni pubblicazione di nuovi contenuti, ogni migrazione e ogni cambio di template può introdurre pagine orfane, redirect a catena o profondità eccessive. Inserire un controllo periodico della struttura dei link interni nel proprio flusso di lavoro SEO garantisce che la comprensione di come Google esegue la scansione del sito resti aggiornata e che il crawl budget continui a essere speso sulle pagine giuste.