Vai al contenuto
Sitequiry
Strumento gratuito

Verifica se il robots.txt consente un URL

Inserisci un URL pubblico e scegli un crawler. Il tester legge il robots.txt di quel sito, mostra se il crawler può accedere all'URL ed evidenzia la riga che lo decide. Senza account.

Legge il robots.txt dello stesso host, protocollo e porta dell'URL. Le regole seguono la specifica robots.txt di Google.

Come un crawler sceglie le sue regole

Un crawler segue il gruppo che nomina il suo token user-agent; solo se nessun gruppo lo nomina vale User-agent: *. Due gruppi per lo stesso crawler vengono uniti, mentre un gruppo con nome e il gruppo * no (Google Search Central). Nel gruppo vince la regola più specifica (il percorso più lungo); quando un Allow e un Disallow corrispondono allo stesso modo, Google usa quella meno restrittiva. I percorsi distinguono maiuscole e minuscole, i nomi user-agent no.

Un esempio da nytimes.com

Il 10 novembre 2026 il robots.txt di nytimes.com riportava User-agent: * e User-agent: Googlebot insieme alle righe 15 e 16, e nominava di nuovo Googlebot in un secondo gruppo alla riga 130. Googlebot segue i suoi due gruppi uniti e nient'altro; GPTBot ha un proprio gruppo con Disallow: / alle righe 232 e 233, quindi è bloccato su tutto il sito. In casi come questo il tester mostra quale gruppo e quale riga valgono per un crawler.

Bloccare la scansione non è bloccare l'indicizzazione

Il robots.txt controlla quali URL un crawler può scaricare, non quali compaiono nella ricerca. Google può indicizzare un URL bloccato se altri siti vi rimandano, mostrandolo senza descrizione (Google Search Central). Per escludere una pagina dai risultati usa noindex e lascia la pagina scansionabile, altrimenti Google non vede mai il noindex (Google Search Central). Una riga noindex nel robots.txt non ha effetto su Google dal 1° settembre 2019 (blog di Google Search Central).

Quando il robots.txt non risponde normalmente

Google tratta un robots.txt mancante (qualsiasi risposta 4xx tranne 429) come «nessuna restrizione». Un errore del server (5xx) è diverso: Google interrompe la scansione del sito per 12 ore e poi usa la sua ultima copia valida fino a 30 giorni (Google Search Central). Google legge solo i primi 500 KiB del file. Per vedere cosa possono fare i crawler IA su tutto il sito usa la verifica dei crawler IA.

Domande frequenti

Disallow rimuove una pagina da Google?

No. Disallow ferma solo la scansione. Una pagina bloccata può comunque comparire se altre pagine vi rimandano. Usa invece un meta tag o un'intestazione noindex su una pagina scansionabile.

Perché Googlebot ignora le mie regole «User-agent: *»?

Perché il tuo robots.txt ha anche un gruppo che nomina Googlebot. Un crawler con un gruppo proprio segue solo quello, quindi le regole di * vanno ripetute lì se devono valere.

Google supporta Crawl-delay?

No. Google ignora le righe crawl-delay. Altri crawler possono leggerle, quindi possono restare nel file, ma non cambiano la velocità di scansione di Googlebot.

Controlla le pagine che i crawler possono vedere

L'analisi gratuita controlla una pagina per SEO, velocità con Google PageSpeed, preparazione alle risposte IA e citabilità nell'IA.