Qui bloque les robots d’IA ?
Nous avons vérifié si robots.txt interdit la page d’accueil à 15 robots d’IA, regroupés selon leur fonction : 8 robots d’entraînement (ils collectent des pages pour entraîner des modèles), 4 robots de recherche IA (ils constituent un index dans lequel un assistant peut puiser ses citations) et 3 agents déclenchés par l’utilisateur (ils chargent une page parce qu’une personne a interrogé un assistant à son sujet). Deux des entrées d’entraînement, Google-Extended et Applebot-Extended, sont des jetons de contrôle et non des robots. Le guide sur les robots d’IA et robots.txt explique la différence.
Afficher les données sous forme de tableau
| Vérification | Sites | Sur | Part (%) |
|---|---|---|---|
| Bloque au moins un robot d’IA | 18 | 90 | 20 |
| Bloque un robot d’entraînement | 18 | 90 | 20 |
| Bloque un robot de recherche IA | 14 | 90 | 16 |
| Bloque un agent déclenché par l’utilisateur | 11 | 90 | 12 |
| Bloque tous les robots d’IA | 1 | 90 | 1 |
Afficher les données sous forme de tableau
| Vérification | Sites | Sur | Part (%) |
|---|---|---|---|
| Bytespider | 17 | 90 | 19 |
| ClaudeBot | 16 | 90 | 18 |
| CCBot | 14 | 90 | 16 |
| GPTBot | 14 | 90 | 16 |
| Applebot-Extended | 12 | 90 | 13 |
| Google-Extended | 11 | 90 | 12 |
| Amazonbot | 10 | 90 | 11 |
| meta-externalagent | 9 | 90 | 10 |
| PerplexityBot | 12 | 90 | 13 |
| DuckAssistBot | 8 | 90 | 9 |
| Claude-SearchBot | 5 | 90 | 6 |
| OAI-SearchBot | 5 | 90 | 6 |
| ChatGPT-User | 8 | 90 | 9 |
| Perplexity-User | 6 | 90 | 7 |
| Claude-User | 5 | 90 | 6 |
La part des sites qui bloquent un robot donné va de 6 % (par exemple OAI-SearchBot) à 19 % (Bytespider). Googlebot est bloqué par 0 des 90 sites.
Bloquer un robot d’entraînement est un choix légitime et ne retire pas un site de la recherche IA. Bloquer un robot de recherche IA peut tenir un site à l’écart de l’index dans lequel un assistant puise ses citations, et 16 % des sites en bloquent au moins un. Nous n’avons pas mesuré si l’un de ces sites apparaît dans des réponses d’IA.
Le 2 octobre 2026, nous avons de nouveau récupéré le robots.txt des 18 sites signalés comme bloquants et l’avons lu avec un second analyseur, plus simple. Les robots bloqués concordaient pour 18 sites sur 18. Nous n’avons pas revérifié les sites qui n’avaient pas été signalés.
Signaux de préparation au-delà de l’accès des robots
Nous avons aussi recherché ces signaux de préparation : un fichier llms.txt (proposition de résumé d’un site en Markdown ; aucun grand moteur de recherche ne s’est engagé à l’utiliser, voir le guide llms.txt), un sitemap déclaré dans robots.txt, des données structurées schema.org et des annotations hreflang. Aucun de ces signaux ne garantit qu’une réponse d’IA citera un site.
Afficher les données sous forme de tableau
| Vérification | Sites | Sur | Part (%) |
|---|---|---|---|
| Possède un fichier llms.txt | 12 | 90 | 13 |
| Déclare un sitemap dans robots.txt | 70 | 84 | 83 |
| Balisage schema.org sur la page d’accueil | 50 | 85 | 59 |
| Balisage Organization sur la page d’accueil | 30 | 85 | 35 |
| Balisage schema.org sur la plupart des pages | 55 | 83 | 66 |
| Balisage FAQPage sur au moins une page | 8 | 83 | 10 |
| Annotations de langue (hreflang) sur au moins une page | 31 | 83 | 37 |
Nous avons compté les données structurées sur leur seule présence, sans les valider (voir le guide des données structurées). Le balisage FAQ est facultatif : l’absence de FAQPage n’est donc pas une erreur en soi. L’annotation hreflang ne concerne que les sites multilingues.
Le 2 octobre 2026, nous avons de nouveau récupéré les 12 fichiers llms.txt détectés. Parmi eux, 12 sont de véritables fichiers texte, et non des pages d’erreur HTML.
Les bases de chaque page, lues par les moteurs de recherche comme par l’IA
Les moteurs de recherche et les systèmes d’IA lisent les uns comme les autres les éléments de base d’une page, comme le titre, la description, les intertitres et le texte alternatif des images. Les graphiques montrent combien de sites présentent des lacunes sur ces points, selon les définitions du Rapport de site de Sitequiry (voir la méthodologie).
Afficher les données sous forme de tableau
| Vérification | Sites | Sur | Part (%) |
|---|---|---|---|
| Meta description absente sur au moins une page | 47 | 81 | 58 |
| Meta description absente sur la plupart des pages | 15 | 81 | 19 |
| Titre H1 absent sur plus d’une page | 35 | 81 | 43 |
| Balises Open Graph incomplètes sur au moins une page | 41 | 81 | 51 |
| Images sans texte alternatif sur au moins une page | 40 | 83 | 48 |
| Plus d’un dixième des images sans texte alternatif | 13 | 83 | 16 |
Sur 83 sites, nous avons vérifié 71 406 images. 8 991 d’entre elles (13 %) n’ont aucun attribut alt. Un alt="" vide est correct pour les images décoratives : nous ne l’avons donc pas compté.
Par groupe linguistique
Nous n’affichons un chiffre pour un groupe linguistique que s’il repose sur au moins 15 sites ; sinon, la cellule indique « n trop petit ». La langue retenue est la langue principale du site, selon notre classement. L’échantillon compte 36 sites en slovène, 26 en allemand (principalement d’Allemagne et d’Autriche), 19 en anglais et 25 dans d’autres langues (croate, italien, français, espagnol, tchèque, néerlandais). Ces chiffres incluent les sites qui n’ont pas pu être analysés.
Les écarts entre groupes peuvent en dire plus sur le choix des sites que sur une langue ou un pays, et les groupes sont petits. Lisez le tableau comme une description, et non comme un classement.
Sites en français dans l’échantillon
Cet échantillon ne comprend pas de groupe francophone assez grand pour publier des chiffres distincts : les sites en français figurent dans « autres langues » (19 rapports terminés au total, qui comprennent aussi des sites en croate, italien, espagnol, tchèque et néerlandais). Les chiffres de cette étude portent donc sur l’échantillon complet.
Pour « autres langues », nous ne montrons que les chiffres fondés sur au moins 15 sites : 26 % bloquent au moins un robot d’IA (5 sur 19 ; échantillon complet : 20 %) et 5 % publient un llms.txt (1 sur 19 ; échantillon complet : 13 %). Lisez ces chiffres comme une description de l’échantillon, et non comme un reflet du web francophone.
| Vérification | Tous les sites | Slovène | Allemand | Anglais | Autres langues |
|---|---|---|---|---|---|
| Bloque au moins un robot d’IA | 20 % · 18/90 | 15 % · 5/33 | 30 % · 7/23 | 7 % · 1/15 | 26 % · 5/19 |
| Bloque un robot de recherche IA | 16 % · 14/90 | 12 % · 4/33 | 17 % · 4/23 | 7 % · 1/15 | 26 % · 5/19 |
| Possède un fichier llms.txt | 13 % · 12/90 | 12 % · 4/33 | 17 % · 4/23 | 20 % · 3/15 | 5 % · 1/19 |
| Balisage schema.org sur la page d’accueil | 59 % · 50/85 | 61 % · 20/33 | 70 % · 16/23 | n trop petit (n = 13) | 63 % · 10/16 |
| Balisage Organization sur la page d’accueil | 35 % · 30/85 | 42 % · 14/33 | 39 % · 9/23 | n trop petit (n = 13) | 25 % · 4/16 |
| Meta description absente sur au moins une page | 58 % · 47/81 | 74 % · 23/31 | 43 % · 10/23 | n trop petit (n = 13) | n trop petit (n = 14) |
| Titre H1 absent sur plus d’une page | 43 % · 35/81 | 48 % · 15/31 | 22 % · 5/23 | n trop petit (n = 13) | n trop petit (n = 14) |
| Balises Open Graph incomplètes sur au moins une page | 51 % · 41/81 | 48 % · 15/31 | 57 % · 13/23 | n trop petit (n = 13) | n trop petit (n = 14) |
| Images sans texte alternatif sur au moins une page | 48 % · 40/83 | 56 % · 18/32 | 43 % · 10/23 | n trop petit (n = 14) | n trop petit (n = 14) |
Méthodologie
Il s’agit d’un échantillon de convenance, et non d’un échantillon aléatoire. Nous avons choisi 106 sites web publics connus afin de couvrir différents types de sites et différentes langues : 31 boutiques et places de marché, 22 sites d’actualité et magazines, 25 organismes publics et sites de santé et d’éducation, 15 entreprises, éditeurs SaaS et agences, 8 sites de tourisme et d’hôtellerie et 5 organisations à but non lucratif. Parmi ces sites, 10 sont connus pour utiliser une protection anti-bots.
- Exploration. Le 29 septembre 2026, SitequiryBot, le robot du Rapport de site de Sitequiry, a lu chaque site : la page d’accueil et d’autres pages, jusqu’à 20 pages au total, choisies à partir du sitemap et de la navigation principale. Ces pages ne constituent pas un échantillon aléatoire du site. Le robot respecte robots.txt et marque des pauses entre les requêtes. Logiciel : Rapport de site, révision 98996b7.
- Rapports terminés. Nous avons terminé 90 rapports sur 106. Nous avons écarté 13 sites qui ont bloqué la première requête (par exemple avec HTTP 403 ou 429) et 3 qui ont redirigé vers un autre domaine.
- Blocage des robots d’IA. Nous considérons un robot comme bloqué lorsque robots.txt lui interdit la page d’accueil (« / »), soit dans un groupe qui le nomme, soit dans le groupe « * » lorsque le robot n’a pas de groupe propre. La correspondance suit la RFC 9309. Un robots.txt absent ou illisible compte comme « aucune règle », et les règles visant des sections d’un site ne sont pas prises en compte.
- Pages. Les chiffres au niveau des pages ne décrivent un site que si au moins 5 de ses pages ont pu être analysées. Parmi les rapports terminés, 7 comptaient moins de pages analysables, en raison de pages rendues côté client sans contenu dans le HTML, d’une protection anti-bots activée après la première requête ou d’un contenu explorable très réduit. Une URL qui redirige vers une autre page n’est pas comptée deux fois. Nous évaluons le titre, la description, le H1 et Open Graph uniquement sur les pages indexables (pas de noindex, URL canonique pointant vers la page elle-même). Nous n’évaluons ni le balisage ni les intertitres des pages dont le HTML ne contient aucun contenu parce qu’un script le génère.
- Images. Une image n’est comptée comme dépourvue de texte alternatif que si son élément img n’a aucun attribut alt. Nous ignorons les pixels de suivi et les images masquées.
- Parts. Chaque part correspond au nombre de sites présentant la propriété, divisé par le nombre de sites de la population indiquée dans le jeu de données. Le jeu de données donne ces deux nombres pour chaque chiffre.
Limites de cette étude
- Pas représentatif. Nous avons choisi les sites nous-mêmes, surtout des organisations connues. L’étude dit peu de choses des sites de petites entreprises.
- Les sites qui ont bloqué notre requête ne figurent pas dans les chiffres : les résultats penchent donc vers les sites qui autorisent les vérifications automatisées.
- robots.txt est une demande, pas une contrainte. Un site peut aussi bloquer des robots avec un pare-feu ou un CDN, et servir des règles différentes selon les robots. Nous avons lu robots.txt en tant que SitequiryBot.
- Des signaux de préparation, pas de la visibilité. Nous n’avons pas mesuré si un site est cité ou affiché dans des réponses d’IA, et la présence d’un llms.txt ou d’un balisage ne prouve aucun effet.
- Une seule exploration, depuis un seul lieu, le 29 septembre 2026. Les sites évoluent, et nous avons lu jusqu’à 20 pages par site.
- Petits groupes. Les groupes linguistiques sont petits, et un seul site fait varier une part de plusieurs points.
- Aucune affirmation causale. Les données montrent ce que font les sites, pas pourquoi.
Ce que cette étude ne mesure pas
Chaque élément ci-dessous est exclu pour la raison indiquée.
- Vitesse. Google PageSpeed n’a pas été exécuté pour cet échantillon : il n’y a donc ni Core Web Vitals, ni distribution des scores mobiles, ni chiffres sur les ressources bloquant le rendu ou sur le poids des pages.
- Temps de réponse du serveur. Il n’a été enregistré que pour des requêtes isolées, depuis un seul lieu ; ce n’est pas une mesure de vitesse.
- Redirections HTTPS et en-têtes de sécurité. L’exploration ne les a pas enregistrés.
- Visibilité dans les réponses d’IA. Seuls des signaux de préparation sont mesurés.
- Validité des données structurées. Elles sont comptées sur leur seule présence.
- Qualité des fichiers llms.txt. Ils sont comptés sur leur seule présence.
- Scores Sitequiry. Les scores SEO, AEO, GEO et global reposent sur notre propre grille pondérée, et non sur une mesure indépendante.
- Résultats par site. Seuls des agrégats sont publiés.
- Segments par type de site ou par pays. Ils compteraient chacun moins de 15 sites.
Citer cette étude et télécharger les données
Vous pouvez citer les chiffres et réutiliser les graphiques en mentionnant la source. Les données agrégées sont publiées sous licence Creative Commons Attribution (CC BY 4.0) : vous pouvez les partager et les adapter, y compris à des fins commerciales, à condition de créditer GE-KO / Sitequiry et de mettre un lien vers cette page.
GE-KO / Sitequiry (2026). Les sites web sont-ils prêts pour la recherche IA ? Analyse des signaux de préparation de 90 sites web publics. Publié le 2 octobre 2026. https://sitequiry.com/fr/etudes/preparation-recherche-ia-2026
Version 1.0, sous licence CC BY 4.0. Les noms de colonnes et les libellés des fichiers sont en anglais.
Copie permanente avec DOI (Zenodo, toutes les versions): 10.5281/zenodo.23100483
Résumé pour la presse et les newsletters
Sitequiry, l’outil gratuit d’analyse de sites web de l’agence slovène GE-KO, a analysé 90 sites web publics connus lors d’une exploration réalisée le 29 septembre 2026. Parmi eux, 20 % bloquent au moins un robot d’IA dans robots.txt, 13 % publient un fichier llms.txt et 59 % des pages d’accueil comportent un balisage schema.org. Les auteurs ont choisi les sites, qui ne sont pas représentatifs du web, et l’étude mesure des signaux de préparation, et non la visibilité dans les réponses d’IA.
Prochaines étapes
- Décidez en connaissance de cause quels robots d’IA vous autorisez, et vérifiez aussi votre pare-feu et votre CDN : robots d’IA et robots.txt.
- N’ajoutez un llms.txt que s’il est peu coûteux à tenir à jour : llms.txt : de quoi s’agit-il et en avez-vous besoin ?.
- Décrivez qui vous êtes et le sujet de chaque page avec un balisage exact : guide des données structurées.
- Vérifiez votre propre site au regard de ces signaux : analyse gratuite, une URL, résultat complet, sans compte.
- Vous souhaitez que les corrections soient faites pour vous ? GE-KO les met en œuvre.
Questions fréquentes
Combien de sites web bloquent GPTBot ?
Dans notre échantillon, 14 des 90 sites (16 %) bloquent GPTBot, le robot d’entraînement d’OpenAI, dans robots.txt. ClaudeBot est bloqué par 18 % des sites, PerplexityBot par 13 % et Google-Extended par 12 %. La recherche de ChatGPT utilise un autre robot, OAI-SearchBot, que bloquent 6 % des sites.
Qu’est-ce que llms.txt et combien de sites en ont un ?
llms.txt est un fichier proposé, en Markdown simple, placé à la racine d’un site web pour en présenter un résumé aux modèles de langage. 12 des 90 sites (13 %) en publient un. Ce n’est pas un standard du web, et aucun grand moteur de recherche ne s’est engagé à l’utiliser ; voir le guide llms.txt.
Combien de sites web utilisent des données structurées ?
Dans notre échantillon, 59 % des pages d’accueil comportent un balisage schema.org (JSON-LD, microdonnées ou RDFa), et 78 % des sites en ont sur au moins une page analysée. Nous avons compté la présence, pas la validité. Voir le guide des données structurées.
Bloquer les robots d’IA tient-il un site à l’écart des réponses d’IA ?
Cela dépend du robot bloqué. Bloquer un robot d’entraînement ne retire pas un site de la recherche IA, alors que bloquer un robot de recherche IA peut le tenir à l’écart de l’index dans lequel un assistant puise ses citations. Cette étude ne peut pas montrer cet effet, car elle lit des règles robots.txt, et non des réponses d’IA. Voir le guide sur les robots d’IA et robots.txt.
Quelle est la fiabilité de ces chiffres ?
Les chiffres sont exacts pour les 90 sites que nous avons analysés le 29 septembre 2026, mais ils ne décrivent pas le web dans son ensemble. Nous avons choisi les sites nous-mêmes, 16 sites n’ont pas pu être analysés et les groupes linguistiques sont petits. La méthodologie et les limites figurent plus haut, et les données agrégées sont ouvertes sous licence CC BY 4.0.
Guides associés
Préparation à la recherche par IA : les problèmes de SEO technique qui empêchent un site d’être découvert
Ce qu’a révélé l’exploration de 90 sites sur les problèmes techniques qui empêchent les robots d’atteindre, de lire et d’indexer les pages, avec les sources et l’ordre dans lequel les vérifier.
Vérifiez votre propre site en deux minutes environ
L’analyse gratuite lit votre robots.txt, votre llms.txt et vos données structurées, puis indique ce qu’il faut corriger en premier.