Quanto sono pronti i siti web per la ricerca AI?

Chi blocca i crawler AI?

Abbiamo controllato se il robots.txt vieta la homepage a 15 crawler AI, raggruppati per scopo: 8 crawler di addestramento (raccolgono pagine per addestrare i modelli), 4 crawler di ricerca AI (costruiscono un indice da cui un assistente può citare) e 3 recuperi avviati dagli utenti (caricano una pagina perché una persona ha fatto a un assistente una domanda su di essa). Due delle voci di addestramento, Google-Extended e Applebot-Extended, sono token di controllo e non crawler. La guida ai crawler AI e al robots.txt spiega la differenza.

addestramento ricerca AI avviati dagli utenti

La quota di siti che bloccano un determinato crawler va dal 6% (ad esempio OAI-SearchBot) al 19% (Bytespider). Googlebot è bloccato da 0 siti su 90.

Bloccare un crawler di addestramento è una scelta legittima e non toglie un sito dalla ricerca AI. Bloccare un crawler di ricerca AI può tenere un sito fuori dall'indice da cui cita un assistente, e il 16% dei siti ne blocca almeno uno. Non abbiamo misurato se qualcuno di questi siti compare nelle risposte AI.

Il 2 ottobre 2026 abbiamo scaricato di nuovo il robots.txt dei 18 siti segnalati come bloccanti e lo abbiamo letto con un secondo parser, più semplice. I crawler bloccati coincidevano per 18 siti su 18. Non abbiamo ricontrollato i siti che non erano stati segnalati.

Segnali di preparazione oltre all'accesso dei crawler

Abbiamo cercato anche questi segnali di preparazione: un file llms.txt (una proposta di riepilogo in Markdown di un sito; nessun grande motore di ricerca si è impegnato a usarlo, vedi la guida a llms.txt), una sitemap dichiarata nel robots.txt, dati strutturati schema.org e annotazioni hreflang. Nessuno di questi garantisce che una risposta AI citi un sito.

Abbiamo contato i dati strutturati in base alla presenza, senza validarli (vedi la guida ai dati strutturati). Il markup FAQ è facoltativo, quindi l'assenza di FAQPage non è di per sé un errore. L'annotazione hreflang conta solo per i siti multilingue.

Il 2 ottobre 2026 abbiamo scaricato di nuovo i 12 file llms.txt rilevati. Di questi, 12 sono veri file di testo, non pagine di errore HTML.

Elementi on-page di base che leggono sia la ricerca sia l'AI

Motori di ricerca e sistemi AI leggono entrambi gli elementi di base di una pagina, come il title, la meta description, i titoli e il testo alternativo delle immagini. I grafici mostrano quanti siti hanno lacune in questi elementi, secondo le definizioni del Report del sito di Sitequiry (vedi la metodologia).

Su 83 siti abbiamo controllato 71.406 immagini. 8.991 di queste (13%) non hanno alcun attributo alt. Un alt="" vuoto è corretto per le immagini decorative, quindi non lo abbiamo contato.

Per gruppo linguistico

Mostriamo un dato per un gruppo linguistico solo se si basa su almeno 15 siti; altrimenti la cella riporta «n troppo piccolo». La lingua è quella principale del sito, secondo la nostra classificazione. Il campione comprende 36 siti in sloveno, 26 in tedesco (soprattutto Germania e Austria), 19 in inglese e 25 siti in altre lingue (croato, italiano, francese, spagnolo, ceco, olandese). Questi numeri includono i siti che non è stato possibile analizzare.

Le differenze tra i gruppi possono dire più su quali siti abbiamo scelto che su una lingua o un paese, e i gruppi sono piccoli. Leggi la tabella come una descrizione, non come una classifica.

Metodologia

Si tratta di un campione di convenienza, non casuale. Abbiamo scelto 106 siti web pubblici noti per coprire tipi e lingue diversi: 31 negozi e marketplace, 22 siti di notizie e riviste, 25 enti pubblici e siti di salute e istruzione, 15 aziende, SaaS e agenzie, 8 siti di turismo e ospitalità e 5 organizzazioni non profit. Di questi siti, 10 sono noti per usare una protezione anti-bot.

• Scansione. Il 29 settembre 2026, SitequiryBot, il crawler del Report del sito di Sitequiry, ha letto ogni sito: la homepage più altre pagine, fino a 20 pagine in tutto, scelte dalla sitemap e dalla navigazione principale. Queste pagine non sono un campione casuale di un sito. Il crawler rispetta il robots.txt e fa una pausa tra una richiesta e l'altra. Software: Report del sito, build 98996b7.
• Report completati. Abbiamo completato 90 report su 106. Abbiamo escluso 13 siti che hanno bloccato la prima richiesta (ad esempio con HTTP 403 o 429) e 3 che hanno reindirizzato a un altro dominio.
• Blocco dei crawler AI. Consideriamo bloccato un crawler quando il robots.txt gli vieta la homepage («/»), in un gruppo che nomina il crawler oppure nel gruppo «*» quando il crawler non ha un gruppo proprio. La corrispondenza segue l'RFC 9309. Un robots.txt assente o illeggibile vale come «nessuna regola», e le regole per singole sezioni di un sito non vengono contate.
• Pagine. I dati a livello di pagina descrivono un sito solo quando è stato possibile analizzare almeno 5 delle sue pagine. Tra i report completati, 7 avevano meno pagine analizzabili, a causa di pagine renderizzate lato client senza contenuto nell'HTML, di una protezione anti-bot dopo la prima richiesta o di pochissimo contenuto scansionabile. Un URL che reindirizza a un'altra pagina non viene contato due volte. Valutiamo title, description, H1 e Open Graph solo sulle pagine indicizzabili (senza noindex, con il canonical che punta alla pagina stessa). Non valutiamo markup e titoli sulle pagine il cui HTML non contiene il contenuto perché lo genera uno script.
• Immagini. Un'immagine conta come priva di testo alternativo solo quando il suo elemento img non ha alcun attributo alt. Ignoriamo i pixel di tracciamento e le immagini nascoste.
• Quote. Ogni quota è il numero di siti con la proprietà diviso per il numero di siti della popolazione indicata nel dataset. Il dataset riporta entrambi i numeri per ogni dato.

Limiti di questo studio

• Non rappresentativo. Abbiamo scelto noi i siti, per lo più di organizzazioni note. Lo studio dice poco sui siti delle piccole imprese.
• I siti che hanno bloccato la nostra richiesta non rientrano nei dati, quindi i risultati sono sbilanciati verso i siti che consentono i controlli automatici.
• Il robots.txt è una richiesta, non un obbligo. Un sito può anche bloccare i crawler con un firewall o una CDN, e può servire regole diverse a crawler diversi. Abbiamo letto il robots.txt come SitequiryBot.
• Segnali di preparazione, non visibilità. Non abbiamo misurato se un sito viene citato o mostrato nelle risposte AI, e la presenza di llms.txt o di markup non prova alcun effetto.
• Una sola scansione, da un solo luogo, il 29 settembre 2026. I siti cambiano, e abbiamo letto fino a 20 pagine per sito.
• Gruppi piccoli. I gruppi linguistici sono piccoli, e un solo sito sposta una quota di diversi punti.
• Nessuna affermazione causale. I dati mostrano cosa fanno i siti, non perché.

Cosa non misura questo studio

Ogni voce qui sotto è esclusa per il motivo indicato.

• Velocità. Google PageSpeed non è stato eseguito per questo campione, quindi non ci sono Core Web Vitals, né una distribuzione dei punteggi mobile, né dati sulle risorse che bloccano il rendering o sul peso delle pagine.
• Tempo di risposta del server. È stato registrato solo per singole richieste da un solo luogo; non è una misurazione della velocità.
• Redirect HTTPS e header di sicurezza. La scansione non li ha registrati.
• Visibilità nelle risposte AI. Vengono misurati solo i segnali di preparazione.
• Validità dei dati strutturati. Sono contati in base alla presenza.
• Qualità dei file llms.txt. Sono contati in base alla presenza.
• Punteggi di Sitequiry. I punteggi SEO, AEO, GEO e complessivo sono una nostra griglia di valutazione ponderata, non una misura indipendente.
• Risultati per sito. Vengono pubblicati solo dati aggregati.
• Segmenti per tipo di sito o per paese. Ciascuno avrebbe meno di 15 siti.

Cita questo studio e scarica i dati

Puoi riportare i numeri e riutilizzare i grafici citando la fonte. I dati aggregati sono rilasciati con licenza Creative Commons Attribuzione (CC BY 4.0): puoi condividerli e adattarli, anche a fini commerciali, se citi GE-KO / Sitequiry e inserisci un link a questa pagina.

Sintesi per stampa e newsletter

Cosa fare adesso

• Decidi consapevolmente quali crawler AI ammettere, e controlla anche firewall e CDN: crawler AI e robots.txt.
• Aggiungi un llms.txt solo se ti costa poco tenerlo aggiornato: llms.txt: cos'è e se ti serve.
• Descrivi chi sei e di cosa parla una pagina con un markup accurato: guida ai dati strutturati.
• Controlla il tuo sito rispetto a questi segnali: analisi gratuita, un URL, risultato completo, nessun account.
• Preferisci che le correzioni le faccia qualcuno per te? GE-KO le implementa.

Domande frequenti