Controlla quali crawler AI possono accedere al tuo sito
Inserisci il tuo dominio per vedere quali crawler AI il tuo robots.txt consente o blocca, tra cui GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended. I bot di ricerca decidono se le tue pagine possono essere usate nelle risposte dell'AI; i bot di addestramento decidono solo se i tuoi contenuti possono essere usati per addestrare i modelli. Ogni risultato mostra la riga di robots.txt che determina l'esito e uno snippet da copiare per modificarlo.
Quali crawler AI esistono e cosa comporta bloccare ciascun tipo?
Le aziende di AI usano crawler diversi per compiti diversi, e ognuno ha il proprio nome in robots.txt. L'errore tipico è bloccare quello sbagliato: può escludere le tue pagine dalle risposte dell'AI oppure non avere alcun effetto.
I bot di ricerca costruiscono l'indice dietro le risposte
OAI-SearchBot (ricerca di ChatGPT), Claude-SearchBot, PerplexityBot, DuckAssistBot e Amzn-SearchBot trovano le pagine da mostrare e collegare nella ricerca con AI. Googlebot e Bingbot costruiscono gli indici di Google e Bing a cui attingono AI Overviews e AI Mode di Google e le risposte AI di Microsoft. Bloccare un bot di ricerca rende improbabile che le tue pagine compaiano in quel prodotto.
I recuperi avviati dagli utenti leggono una pagina su richiesta
ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher e Amzn-User caricano una pagina perché una persona ha chiesto a un assistente di aprirla. Anthropic documenta che Claude-User rispetta robots.txt; OpenAI, Perplexity, Meta e Amazon dichiarano che i loro potrebbero non farlo.
I crawler di addestramento alimentano i modelli futuri
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot e Bytespider raccolgono pagine pubbliche per l'addestramento dei modelli o controllano se possono essere usate a tale scopo. Bloccarli è una scelta aziendale, non un requisito SEO, e non ti rimuove dalla ricerca con AI. Google-Extended e Applebot-Extended sono token di controllo che non eseguono scansioni.
Correggilo: un robots.txt da copiare
Scegli cosa vuoi ottenere, copia il risultato e aggiungilo al robots.txt nella radice del tuo sito. Mantieni le regole esistenti e, se esiste già un gruppo per lo stesso bot, modificalo invece di aggiungerne un secondo.
# Bot di ricerca AI: consentiti
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /
# Recuperi avviati dagli utenti: consentiti
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /- Se una regola «User-agent: *» blocca tutto, i gruppi consentiti lasciano comunque entrare questi bot. Googlebot e Bingbot restano soggetti alle tue regole normali.
- Un bot con un proprio gruppo ignora completamente il gruppo «User-agent: *», quindi copia nel suo gruppo le regole sui percorsi (ad esempio Disallow: /wp-admin/) se devono valere anche per quel bot.
- I crawler rileggono robots.txt solo di tanto in tanto, quindi una modifica può richiedere un giorno o più per diventare effettiva. Bloccare l'addestramento non ti rimuove dalla ricerca con AI, ma bloccare i bot di ricerca riduce la probabilità che le tue pagine vengano usate nelle risposte dell'AI.
- Se un bot qui risulta consentito ma non sembra mai visitare il sito, controlla le impostazioni sui bot della tua CDN, del firewall dell'hosting e dei plugin di sicurezza: alcuni bloccano i crawler AI per impostazione predefinita.
I crawler che controlliamo
Lo strumento copre 21 crawler di aziende di AI e di ricerca. Ruoli e comportamento rispetto a robots.txt seguono la documentazione di ciascun fornitore, verificata l'ultima volta il 2 ottobre 2026.
| Crawler (nome in robots.txt) | Fornitore | Ruolo | Rispetta robots.txt? | Documentazione del fornitore |
|---|---|---|---|---|
Googlebot |
Indice di ricerca | Sì, secondo il fornitore | Documentazione | |
Bingbot |
Microsoft | Indice di ricerca | Sì, secondo il fornitore | Documentazione |
Applebot |
Apple | Indice di ricerca | Sì, secondo il fornitore | Documentazione |
OAI-SearchBot |
OpenAI | Indice di ricerca | Sì, secondo il fornitore | Documentazione |
Claude-SearchBot |
Anthropic | Indice di ricerca | Sì, secondo il fornitore | Documentazione |
PerplexityBot |
Perplexity | Indice di ricerca | Sì, secondo il fornitore | Documentazione |
DuckAssistBot |
DuckDuckGo | Indice di ricerca | Sì, secondo il fornitore | Documentazione |
Amzn-SearchBot |
Amazon | Indice di ricerca | Sì, secondo il fornitore | Documentazione |
ChatGPT-User |
OpenAI | Recupero avviato dall'utente | Può ignorarlo (avviato dall'utente) | Documentazione |
Claude-User |
Anthropic | Recupero avviato dall'utente | Sì, secondo il fornitore | Documentazione |
Perplexity-User |
Perplexity | Recupero avviato dall'utente | Può ignorarlo (avviato dall'utente) | Documentazione |
meta-externalfetcher |
Meta | Recupero avviato dall'utente | Può ignorarlo (avviato dall'utente) | Documentazione |
Amzn-User |
Amazon | Recupero avviato dall'utente | Può ignorarlo (avviato dall'utente) | Documentazione |
GPTBot |
OpenAI | Addestramento dei modelli | Sì, secondo il fornitore | Documentazione |
ClaudeBot |
Anthropic | Addestramento dei modelli | Sì, secondo il fornitore | Documentazione |
Google-Extended |
Addestramento dei modelli | Sì, secondo il fornitore | Documentazione | |
Applebot-Extended |
Apple | Addestramento dei modelli | Sì, secondo il fornitore | Documentazione |
meta-externalagent |
Meta | Addestramento dei modelli | Sì, secondo il fornitore | Documentazione |
Amazonbot |
Amazon | Addestramento dei modelli | Sì, secondo il fornitore | Documentazione |
CCBot |
Common Crawl | Addestramento dei modelli | Sì, secondo il fornitore | Documentazione |
Bytespider |
ByteDance | Addestramento dei modelli | Contestato | Nessuna pubblicata |
Cosa può e cosa non può dirti questa verifica
- Legge le regole di robots.txt così come le ha ricevute il nostro strumento. Un sito può servire file diversi a visitatori diversi, e un firewall o una CDN possono bloccare un crawler prima ancora che legga robots.txt.
- robots.txt è una richiesta, non un obbligo tecnico. I crawler affidabili lo rispettano; i recuperi avviati dagli utenti potrebbero non farlo, e alcuni crawler, secondo varie segnalazioni, lo ignorano.
- Non misuriamo se un prodotto di AI esegue davvero la scansione del tuo sito, lo cita o lo mostra. Consentito significa preparazione, non visibilità.
- Ruoli e regole seguono la documentazione di ciascun fornitore, verificata l'ultima volta il 2 ottobre 2026. I fornitori aggiungono e rinominano crawler, quindi rivedi il tuo file almeno due volte l'anno.
Domande sui crawler AI e su robots.txt
Devo bloccare GPTBot?
Dipende da se vuoi che OpenAI usi le tue pagine pubbliche per addestrare i modelli. GPTBot è il crawler di addestramento di OpenAI e bloccarlo esclude le tue pagine dagli addestramenti futuri. È una scelta aziendale, non un requisito SEO, e non influisce sul posizionamento su Google. Se ti va bene che i tuoi contenuti aiutino i modelli a conoscere il tuo marchio, puoi lasciarlo consentito.
Bloccare GPTBot mi rimuove dalla ricerca di ChatGPT?
No. La ricerca di ChatGPT usa un crawler diverso, OAI-SearchBot, e le pagine che un utente chiede a ChatGPT di aprire vengono recuperate da ChatGPT-User. Bloccare GPTBot riguarda solo l'addestramento. È bloccare OAI-SearchBot che rende improbabile la comparsa delle tue pagine nei risultati di ricerca di ChatGPT.
Che differenza c'è tra GPTBot e OAI-SearchBot?
GPTBot raccoglie pagine pubbliche che possono essere usate per addestrare i modelli generativi di OpenAI. OAI-SearchBot trova le pagine da mostrare e collegare nelle funzioni di ricerca di ChatGPT. Sono nomi distinti in robots.txt, quindi puoi consentirne uno e bloccare l'altro.
Quali crawler devo consentire per comparire nelle risposte dell'AI?
Consenti i bot di ricerca: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot, oltre a Googlebot e Bingbot, che costruiscono gli indici a cui attingono le risposte AI di Google e Microsoft. Consentirli rende le tue pagine idonee, non ne assicura la presenza: robots.txt decide solo se un bot può eseguire la scansione, non se qualcuno ti cita.
Basta robots.txt per tenere fuori i crawler AI?
No. È una richiesta che i crawler affidabili rispettano, non un obbligo tecnico. I recuperi avviati dagli utenti possono ignorarla, e secondo varie segnalazioni lo fanno anche alcuni crawler. Per bloccare un bot in modo più affidabile, usa una regola del firewall o della CDN. Ricorda che bloccare un bot di ricerca ti esclude anche da quel prodotto.
Bloccare Google-Extended mi nasconde dalle AI Overviews di Google?
No. Google-Extended è un token di controllo per l'addestramento e il grounding di Gemini. Le AI Overviews (in italiano Panoramiche AI) e AI Mode usano il normale indice della Ricerca Google scansionato da Googlebot, e Google dichiara che Google-Extended non influisce sull'inclusione né sul posizionamento nella Ricerca. Per limitare il modo in cui i tuoi contenuti compaiono lì, usa i controlli sugli snippet come nosnippet o max-snippet, che influiscono anche sugli snippet normali.
Vuoi il quadro completo?
L'analisi gratuita controlla robots.txt insieme a dati strutturati, velocità, SEO e citabilità da parte dell'AI. Se vuoi che qualcuno corregga ciò che trova, GE-KO sviluppa e ottimizza siti web.