Il crawler di ricerca di Google, la forza invisibile che decide se milioni di utenti vedranno il tuo sito. Senza di lui, le pagine restano fantasmi digitali: esistono, ma non vengono trovate. E più velocemente Googlebot comprende il tuo sito, più velocemente arriva il traffico.

Ma molti miti circondano il funzionamento del crawler di Google. Alcuni pensano che pubblicare una pagina una volta sola basti per finire in cima ai risultati. Altri cercano di «ingannare» il bot con tattiche di un decennio fa. La verità è che Googlebot si è evoluto da un semplice parser di link a un sofisticato sistema basato su Chromium, e le regole del gioco sono cambiate.

Vediamo come funziona il crawler di ricerca di Google nel 2026: dalla prima richiesta al file robots.txt fino al posizionamento finale e, cosa più importante, come fargli indicizzare il tuo sito nel modo più efficiente possibile.

💡 Panoramica rapida:

• Come Googlebot trova e scansiona le pagine del sito: la catena dal file robots.txt al database dell'indice.
• Cos'è il crawl budget e perché è importante per i siti di grandi dimensioni.
• Passi pratici per ottimizzare il tuo sito per il crawler di Google: dai contenuti regolari alle sitemap.
• Il file robots.txt: sintassi, comandi Allow e Disallow, errori comuni dei principianti.

Come funziona Googlebot

Il crawler di ricerca di Google non è un singolo bot, ma un intero ecosistema di crawler. Ce ne sono due principali: Googlebot Smartphone (crawler mobile, prioritario dal 2020) e Googlebot Desktop (usato meno frequentemente, principalmente per verifiche). Dal 2019, entrambi girano sul motore Chromium, lo stesso che alimenta il browser Chrome. Questo significa che Googlebot non si limita a leggere l'HTML, ma esegue completamente il rendering di JavaScript, carica i CSS e vede le pagine quasi allo stesso modo di un utente.

La catena di flusso di lavoro di Googlebot si presenta così:

• Visita del sito e controllo del file robots.txt. La prima cosa che il crawler fa è cercare il file robots.txt nella directory root. Questo file determina quali sezioni del sito il bot può visitare e quali no. Senza questo controllo, Googlebot non inizierà la scansione.

• Lettura della sitemap (sitemap.xml). La sitemap è una sorta di indice che comunica al crawler la struttura delle pagine, le priorità e le date di ultimo aggiornamento. Se la sitemap è configurata correttamente, Googlebot impiega meno tempo a navigare e raggiunge più velocemente le nuove pubblicazioni.

• Scansione delle pagine tramite link. Il bot si sposta da una pagina all'altra attraverso link interni ed esterni. Aggiunge ogni nuovo link alla coda di indicizzazione. Ricontrolla le pagine già note e, se rileva cambiamenti nei contenuti o nei meta tag, li registra.

• Rendering e caching. Googlebot recupera HTML, CSS, JS, esegue il rendering della pagina e salva la sua «istantanea» nella cache. È questa versione cache a partecipare al posizionamento.

Sfumatura importante: le modifiche apportate oggi al sito non appariranno domani nei risultati di ricerca. I tempi di nuova scansione sono imprevedibili, è una parte chiusa dell'algoritmo di Google. Per i siti piccoli con aggiornamenti poco frequenti, il crawler potrebbe passare una volta ogni poche settimane, mentre per i portali di notizie ogni pochi minuti.

Gli ingegneri di Google Martin e Gary del team Search Relations forniscono approfondimenti dettagliati sul funzionamento interno di Googlebot e sull'evoluzione della scansione in questo episodio del podcast Search Off the Record.

Crawl budget: cos'è e a chi serve

Il crawl budget è il numero di URL che Googlebot è disposto a scansionare sul tuo sito in una singola sessione. Per un sito di 50 pagine, non è un problema: il budget copre tutto con ampio margine. Ma per un negozio online con 100.000 pagine prodotto, il budget diventa una risorsa critica.

La dimensione del budget è influenzata da due fattori: crawl rate limit (per evitare che il bot mandi in crash il tuo server con una scansione aggressiva) e crawl demand (quanto le pagine sono interessanti per Google in termini di popolarità e freschezza). Se il crawler vede che un sito ha molti contenuti duplicati o di scarso valore, abbassa la priorità e passa a risorse di qualità superiore.

Come ottimizzare il tuo sito per Googlebot

Ottimizzare per il crawler di Google non è magia, è un insieme di misure tecniche e di contenuto specifiche. Ecco cosa funziona davvero nel 2026.

Pubblica contenuti freschi con regolarità. Più frequentemente un sito si aggiorna, più spesso Googlebot torna. Se non tocchi il tuo blog per anni e poi carichi 20 articoli tutti insieme, non aspettarti miracoli. Il crawler li indicizza gradualmente. Se vuoi accelerare i tempi, vai su Google Search Console e richiedi manualmente l'indicizzazione tramite la sezione «Ispezione URL».

Non sovraccaricare le pagine con JavaScript pesante. Sì, Googlebot esegue il rendering di JS. Ma lo fa più lentamente rispetto all'analisi dell'HTML. I contenuti di importanza critica (intestazioni, testo principale, meta tag) dovrebbero essere sempre nel markup HTML, non caricati in modo asincrono via AJAX. Tecnologie come Flash e DHTML sono morte da tempo per la SEO, non usarle affatto.

Imposta una link building interna. I link interni sono i binari su cui il crawler si muove attraverso il tuo sito. Più la struttura è logica, più a fondo arriva. Puoi verificare la qualità dei link nel report «Link» all'interno di Google Search Console: mostra quali pagine ricevono più link interni e quali sono orfane.

Crea e mantieni il file sitemap.xml. La sitemap è un canale di comunicazione diretto con Googlebot. Al suo interno, specifichi tutti gli URL importanti, la loro priorità e la frequenza di aggiornamento. Per i siti WordPress, la sitemap viene generata automaticamente da plugin come Yoast SEO o Rank Math. Dopo la creazione, assicurati di inviare l'URL della mappa a Search Console, questo garantisce che Google sia a conoscenza dell'esistenza di ogni pagina.

Monitora gli errori in Search Console. Lo strumento mostra quali problemi ha incontrato Googlebot durante la scansione: errori 404, redirect, errori del server, pagine bloccate da robots.txt. Controlla il report «Copertura» una volta al mese, è il modo migliore per individuare i problemi tecnici prima che incidano sul posizionamento.

Usa robots.txt con giudizio. Chiudere le pagine di servizio dall'indicizzazione (pannello di amministrazione, risultati di ricerca, carrello) è corretto. Chiudere per errore metà sito è una catastrofe. La sintassi del file è semplice, ma una direttiva sbagliata può rendere l'intero sito invisibile alla ricerca.

Il file robots.txt: sintassi e configurazione

Il file robots.txt è un semplice documento di testo nella root del sito che detta le regole di comportamento ai crawler di ricerca. Ogni visita di Googlebot inizia da qui: prima legge robots.txt, poi tutto il resto.

La sintassi di base si riduce a tre comandi:

• User-agent: a quale crawler si applica la regola. User-agent: Googlebot è solo per Google; User-agent: * è per tutti.
• Disallow, divieto di scansione. Disallow: /admin/ blocca l'accesso del crawler a tutto ciò che si trova nella cartella /admin/.
• Allow, permesso. Si usa per le eccezioni ai divieti: ad esempio, bloccare l'intera cartella /catalog/ ma aprire /catalog/popular/.

Esempio di robots.txt funzionante per un sito WordPress:

1
User-agent: *
2
Disallow: /wp-admin/
3
Disallow: /wp-login.php
4
Allow: /wp-admin/admin-ajax.php
5
 
6
Sitemap: https://example.com/sitemap.xml

Un tipico errore da principiante è la direttiva Disallow: /, che blocca l'indicizzazione dell'intero sito. Questo accade spesso su domini di test che poi ci si dimentica di «aprire» prima del lancio in produzione. Controlla subito il tuo robots.txt, apri yoursite.com/robots.txt in un browser e assicurati che non ci sia Disallow: /.

Un'altra sfumatura: robots.txt vieta al crawler di scansionare una pagina, ma non la esclude dalla ricerca. Se link esterni portano a una pagina bloccata, Google potrebbe mostrarla nei risultati come URL «nudo» senza descrizione. Per escludere definitivamente una pagina dall'indice, usa il meta tag <meta name="robots" content="noindex"> direttamente nell'HTML.

⁉️🤔 Domande frequenti

Quanti giorni ci vogliono perché Googlebot torni su un sito?

Non esiste una risposta universale, l'intervallo dipende dall'autorevolezza del dominio, dalla frequenza di aggiornamento e dalle dimensioni del sito. Il crawler visita i principali portali di notizie ogni 5-15 minuti, i blog con contenuti freschi ogni pochi giorni, mentre i siti abbandonati possono aspettare settimane per una nuova visita.

Si può forzare Googlebot a visitare un sito in questo momento?

Non direttamente. Ma puoi accelerare il processo tramite lo strumento «Ispezione URL» in Google Search Console: incolla il link di una pagina nuova o aggiornata e clicca su «Richiedi indicizzazione». Questo di solito attiva una scansione entro poche ore, anche se Google non fornisce garanzie.

Googlebot vede un sito allo stesso modo di un utente normale?

Dal 2019, quasi sì. Entrambe le versioni di Googlebot girano su Chromium ed eseguono il rendering di JavaScript. Ma ci sono differenze: il crawler non clicca pulsanti, non compila moduli, non scorre feed infiniti. I contenuti che appaiono solo dopo l'interazione dell'utente probabilmente non verranno indicizzati.

La velocità di caricamento della pagina influisce sul lavoro di Googlebot?

Sì, e in modo diretto. Un server lento riduce il crawl budget: il bot semplicemente non ha il tempo di scansionare tutte le pagine nel tempo a disposizione. Google raccomanda che i server rispondano entro 200-300 ms. Qualsiasi cosa più lenta è un motivo per ottimizzare l'hosting o la cache.

Cosa fare se Googlebot indicizza le pagine sbagliate?

Controlla il file robots.txt per direttive Allow non necessarie. Poi vai su Search Console → «Copertura» e vedi quali URL sono finiti nell'indice. Blocca le pagine indesiderate con noindex nei meta tag e aggiungi le pagine prioritarie a sitemap.xml richiedendo manualmente l'indicizzazione.

Quindi come diventare amico di Googlebot?

Googlebot non è un nemico da ingannare, né una scatola nera magica. È un sistema automatizzato con regole chiare: servi HTML di qualità da un server veloce, non bloccare contenuti importanti in robots.txt, aggiorna regolarmente i contenuti e monitora gli errori in Search Console, otterrai un'indicizzazione rapida e completa.

Inizia in piccolo: controlla robots.txt, invia sitemap.xml a Search Console e richiedi l'indicizzazione della home page. Il crawler farà il resto da solo, devi solo evitare di intralciarlo con disordine tecnico.