Aller au contenu
Sitequiry
Outil gratuit

Testez si le robots.txt autorise une URL

Saisissez une URL publique et choisissez un robot. Le testeur lit le robots.txt de ce site, indique si le robot peut récupérer l'URL et met en évidence la ligne qui en décide. Sans compte.

Lit le robots.txt du même hôte, protocole et port que l'URL. Les règles suivent la spécification robots.txt de Google.

Comment un robot choisit ses règles

Un robot suit le groupe qui nomme son propre jeton user-agent ; c'est seulement si aucun groupe ne le nomme que User-agent: * s'applique. Deux groupes pour le même robot sont fusionnés, mais un groupe nommé et le groupe * ne le sont pas (Google Search Central). Dans le groupe, la règle la plus spécifique (le chemin le plus long) l'emporte ; quand un Allow et un Disallow correspondent autant, Google applique la moins restrictive. Les chemins sont sensibles à la casse, les noms user-agent non.

Un exemple tiré de nytimes.com

Le 10 novembre 2026, le robots.txt de nytimes.com réunissait User-agent: * et User-agent: Googlebot aux lignes 15 et 16, et nommait à nouveau Googlebot dans un second groupe à la ligne 130. Googlebot suit ses deux groupes réunis et rien d'autre ; GPTBot a son propre groupe avec Disallow: / aux lignes 232 et 233, il est donc bloqué sur tout le site. Le testeur montre dans ces cas quel groupe et quelle ligne s'appliquent à un robot.

Bloquer l'exploration n'est pas bloquer l'indexation

Le robots.txt contrôle les URL qu'un robot peut récupérer, pas celles qui apparaissent dans la recherche. Google peut indexer une URL bloquée si d'autres pages y renvoient, et l'afficher sans description (Google Search Central). Pour exclure une page des résultats, utilisez noindex et laissez la page explorable, sinon Google ne voit jamais le noindex (Google Search Central). Une ligne noindex dans le robots.txt n'a plus d'effet chez Google depuis le 1er septembre 2019 (blog Google Search Central).

Quand le robots.txt ne répond pas normalement

Google traite un robots.txt absent (toute réponse 4xx sauf 429) comme « aucune restriction ». Une erreur serveur (5xx) est différente : Google arrête d'explorer le site pendant 12 heures, puis utilise sa dernière copie valide jusqu'à 30 jours (Google Search Central). Google ne lit que les 500 premiers Kio du fichier. Pour voir ce que les robots d'IA peuvent faire sur tout le site, utilisez le vérificateur de robots d'IA.

Questions fréquentes

Disallow retire-t-il une page de Google ?

Non. Disallow arrête seulement l'exploration. Une page bloquée peut encore être listée si d'autres pages y renvoient. Utilisez plutôt une balise meta ou un en-tête noindex sur une page explorable.

Pourquoi Googlebot ignore-t-il mes règles « User-agent: * » ?

Parce que votre robots.txt contient aussi un groupe qui nomme Googlebot. Un robot qui a son propre groupe ne suit que celui-ci : les règles de * doivent y être répétées si elles doivent s'appliquer.

Google prend-il en charge Crawl-delay ?

Non. Google ignore les lignes crawl-delay. D'autres robots peuvent les lire, elles peuvent donc rester dans le fichier, mais elles ne changent pas la vitesse d'exploration de Googlebot.

Vérifiez les pages que les robots peuvent voir

L'analyse gratuite vérifie une page pour le SEO, la vitesse avec Google PageSpeed, la préparation aux réponses d'IA et la citabilité par l'IA.