Vérifiez quels robots d’IA peuvent accéder à votre site web
Saisissez votre domaine pour voir quels robots d’IA votre robots.txt autorise ou bloque, dont GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended. Les robots de recherche déterminent si vos pages peuvent être utilisées dans les réponses générées par l’IA ; les robots d’entraînement déterminent seulement si votre contenu peut servir à entraîner des modèles. Chaque résultat indique la ligne du robots.txt à l’origine du verdict et un extrait à copier pour la modifier.
Quels robots d’IA existent, et que change le blocage de chaque type ?
Les entreprises d’IA utilisent des robots différents pour des tâches différentes, et chacun a son propre nom dans le robots.txt. Bloquer le mauvais est l’erreur la plus courante : cela peut tenir vos pages à l’écart des réponses générées par l’IA, ou n’avoir aucun effet.
Les robots de recherche construisent l’index derrière les réponses
OAI-SearchBot (recherche ChatGPT), Claude-SearchBot, PerplexityBot, DuckAssistBot et Amzn-SearchBot trouvent les pages à afficher et à citer avec un lien dans la recherche par IA. Googlebot et Bingbot construisent les index Google et Bing sur lesquels s’appuient AI Overviews et AI Mode de Google ainsi que les réponses générées par l’IA de Microsoft. Bloquer un robot de recherche rend peu probable l’apparition de vos pages dans ce produit.
Les agents déclenchés par l’utilisateur lisent une page à la demande
ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher et Amzn-User chargent une page parce qu’une personne a interrogé un assistant à son sujet. Anthropic précise que Claude-User suit le robots.txt ; OpenAI, Perplexity, Meta et Amazon indiquent que les leurs peuvent ne pas le faire.
Les robots d’entraînement alimentent les futurs modèles
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot et Bytespider collectent des pages publiques pour l’entraînement des modèles ou contrôlent si elles peuvent y servir. Les bloquer est une décision commerciale, pas une exigence SEO, et cela ne vous retire pas de la recherche par IA. Google-Extended et Applebot-Extended sont des jetons de contrôle qui n’explorent rien.
Corrigez-le : un robots.txt à copier
Choisissez ce que vous voulez, copiez le résultat et ajoutez-le au robots.txt à la racine de votre site. Conservez vos règles existantes, et modifiez un groupe existant pour le même robot au lieu d’en ajouter un second.
# Robots de recherche d’IA : autorisés
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /
# Agents déclenchés par l’utilisateur : autorisés
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /- Si une règle « User-agent: * » bloque tout, les groupes autorisés laissent quand même entrer ces robots. Googlebot et Bingbot restent soumis à vos règles habituelles.
- Un robot qui a son propre groupe ignore complètement le groupe « User-agent: * » : copiez donc dans son groupe les règles de chemin (par exemple Disallow: /wp-admin/) qui doivent encore s’appliquer à ce robot.
- Les robots ne relisent le robots.txt que de temps en temps : une modification peut mettre un jour ou plus à s’appliquer. Bloquer l’entraînement ne vous retire pas de la recherche par IA, mais bloquer les robots de recherche réduit vos chances d’être utilisé dans les réponses générées par l’IA.
- Si un robot est autorisé ici mais ne semble jamais passer, vérifiez les réglages des robots de votre CDN, du pare-feu de votre hébergement et de vos extensions de sécurité : certains bloquent les robots d’IA par défaut.
Les robots que nous vérifions
L’outil couvre 21 robots d’entreprises d’IA et de moteurs de recherche. Les rôles et le comportement vis-à-vis du robots.txt suivent la documentation de chaque éditeur, vérifiée pour la dernière fois le 2 octobre 2026.
| Robot (nom dans le robots.txt) | Éditeur | Rôle | Respecte le robots.txt ? | Documentation de l’éditeur |
|---|---|---|---|---|
Googlebot |
Index de recherche | Oui, selon l’éditeur | Documentation | |
Bingbot |
Microsoft | Index de recherche | Oui, selon l’éditeur | Documentation |
Applebot |
Apple | Index de recherche | Oui, selon l’éditeur | Documentation |
OAI-SearchBot |
OpenAI | Index de recherche | Oui, selon l’éditeur | Documentation |
Claude-SearchBot |
Anthropic | Index de recherche | Oui, selon l’éditeur | Documentation |
PerplexityBot |
Perplexity | Index de recherche | Oui, selon l’éditeur | Documentation |
DuckAssistBot |
DuckDuckGo | Index de recherche | Oui, selon l’éditeur | Documentation |
Amzn-SearchBot |
Amazon | Index de recherche | Oui, selon l’éditeur | Documentation |
ChatGPT-User |
OpenAI | Récupération à la demande | Peut l’ignorer (déclenché par l’utilisateur) | Documentation |
Claude-User |
Anthropic | Récupération à la demande | Oui, selon l’éditeur | Documentation |
Perplexity-User |
Perplexity | Récupération à la demande | Peut l’ignorer (déclenché par l’utilisateur) | Documentation |
meta-externalfetcher |
Meta | Récupération à la demande | Peut l’ignorer (déclenché par l’utilisateur) | Documentation |
Amzn-User |
Amazon | Récupération à la demande | Peut l’ignorer (déclenché par l’utilisateur) | Documentation |
GPTBot |
OpenAI | Entraînement de modèles | Oui, selon l’éditeur | Documentation |
ClaudeBot |
Anthropic | Entraînement de modèles | Oui, selon l’éditeur | Documentation |
Google-Extended |
Entraînement de modèles | Oui, selon l’éditeur | Documentation | |
Applebot-Extended |
Apple | Entraînement de modèles | Oui, selon l’éditeur | Documentation |
meta-externalagent |
Meta | Entraînement de modèles | Oui, selon l’éditeur | Documentation |
Amazonbot |
Amazon | Entraînement de modèles | Oui, selon l’éditeur | Documentation |
CCBot |
Common Crawl | Entraînement de modèles | Oui, selon l’éditeur | Documentation |
Bytespider |
ByteDance | Entraînement de modèles | Contesté | Aucune publiée |
Ce que cette vérification peut et ne peut pas vous dire
- Elle lit les règles du robots.txt tel que notre outil l’a reçu. Un site peut servir des fichiers différents selon les visiteurs, et un pare-feu ou un CDN peut bloquer un robot avant même qu’il ne lise le robots.txt.
- Le robots.txt est une demande, pas une contrainte. Les robots sérieux le respectent ; les agents déclenchés par l’utilisateur peuvent ne pas le faire, et certains robots sont réputés l’ignorer.
- Nous ne mesurons pas si un produit d’IA explore, cite ou affiche réellement votre site. « Autorisé » signifie que votre site est prêt, pas qu’il est visible.
- Les rôles et les règles suivent la documentation de chaque éditeur, vérifiée pour la dernière fois le 2 octobre 2026. Les éditeurs ajoutent et renomment des robots : relisez votre fichier au moins deux fois par an.
Questions sur les robots d’IA et le robots.txt
Faut-il bloquer GPTBot ?
Cela dépend si vous souhaitez qu’OpenAI utilise vos pages publiques pour entraîner ses modèles. GPTBot est le robot d’entraînement d’OpenAI, et le bloquer exclut vos pages des entraînements futurs. C’est une décision commerciale, pas une exigence SEO, et cela n’a aucun effet sur votre positionnement dans Google. Si vous êtes d’accord pour que votre contenu aide les modèles à connaître votre marque, vous pouvez le laisser autorisé.
Bloquer GPTBot me retire-t-il de la recherche ChatGPT ?
Non. La recherche ChatGPT utilise un autre robot, OAI-SearchBot, et les pages qu’un utilisateur demande à ChatGPT d’ouvrir sont récupérées par ChatGPT-User. Bloquer GPTBot n’affecte que l’entraînement. C’est le blocage d’OAI-SearchBot qui rend peu probable l’apparition de vos pages dans les résultats de recherche ChatGPT.
Quelle est la différence entre GPTBot et OAI-SearchBot ?
GPTBot collecte des pages publiques susceptibles de servir à entraîner les modèles génératifs d’OpenAI. OAI-SearchBot trouve des pages à afficher et à citer avec un lien dans les fonctions de recherche de ChatGPT. Ce sont deux noms distincts dans le robots.txt : vous pouvez donc autoriser l’un et bloquer l’autre.
Quels robots dois-je autoriser pour apparaître dans les réponses générées par l’IA ?
Autorisez les robots de recherche : OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot, ainsi que Googlebot et Bingbot, qui construisent les index sur lesquels s’appuient les réponses générées par l’IA de Google et de Microsoft. Les autoriser rend vos pages éligibles, sans rien assurer : le robots.txt décide seulement si un robot peut explorer, pas si quelqu’un vous cite.
Le robots.txt suffit-il à tenir les robots d’IA à l’écart ?
Non. C’est une demande que les robots sérieux respectent, pas une contrainte. Les agents déclenchés par l’utilisateur peuvent l’ignorer, et certains robots sont réputés le faire. Pour bloquer un robot de façon plus fiable, utilisez une règle de pare-feu ou de CDN. N’oubliez pas que bloquer un robot de recherche vous retire aussi du produit correspondant.
Bloquer Google-Extended me cache-t-il des AI Overviews de Google ?
Non. Google-Extended est un jeton de contrôle pour l’entraînement et l’ancrage (grounding) de Gemini. AI Overviews et AI Mode utilisent l’index normal de la recherche Google, exploré par Googlebot, et Google indique que Google-Extended n’a pas d’effet sur l’inclusion ni sur le classement dans la recherche. Pour limiter la façon dont votre contenu y apparaît, utilisez des contrôles d’extraits comme nosnippet ou max-snippet, qui s’appliquent aussi aux extraits classiques.
Vous voulez une vue d’ensemble ?
L’analyse gratuite vérifie le robots.txt ainsi que les données structurées, la vitesse, le SEO et la citabilité par l’IA. Si vous souhaitez que quelqu’un corrige ce qu’elle détecte, GE-KO crée et optimise des sites web.