Testez si le robots.txt autorise une URL
Saisissez une URL publique et choisissez un robot. Le testeur lit le robots.txt de ce site, indique si le robot peut récupérer l'URL et met en évidence la ligne qui en décide. Sans compte.
Comment un robot choisit ses règles
Un robot suit le groupe qui nomme son propre jeton user-agent ; c'est seulement si aucun groupe ne le nomme que User-agent: * s'applique. Deux groupes pour le même robot sont fusionnés, mais un groupe nommé et le groupe * ne le sont pas (Google Search Central). Dans le groupe, la règle la plus spécifique (le chemin le plus long) l'emporte ; quand un Allow et un Disallow correspondent autant, Google applique la moins restrictive. Les chemins sont sensibles à la casse, les noms user-agent non.
Un exemple tiré de nytimes.com
Le 10 novembre 2026, le robots.txt de nytimes.com réunissait User-agent: * et User-agent: Googlebot aux lignes 15 et 16, et nommait à nouveau Googlebot dans un second groupe à la ligne 130. Googlebot suit ses deux groupes réunis et rien d'autre ; GPTBot a son propre groupe avec Disallow: / aux lignes 232 et 233, il est donc bloqué sur tout le site. Le testeur montre dans ces cas quel groupe et quelle ligne s'appliquent à un robot.
Bloquer l'exploration n'est pas bloquer l'indexation
Le robots.txt contrôle les URL qu'un robot peut récupérer, pas celles qui apparaissent dans la recherche. Google peut indexer une URL bloquée si d'autres pages y renvoient, et l'afficher sans description (Google Search Central). Pour exclure une page des résultats, utilisez noindex et laissez la page explorable, sinon Google ne voit jamais le noindex (Google Search Central). Une ligne noindex dans le robots.txt n'a plus d'effet chez Google depuis le 1er septembre 2019 (blog Google Search Central).
Quand le robots.txt ne répond pas normalement
Google traite un robots.txt absent (toute réponse 4xx sauf 429) comme « aucune restriction ». Une erreur serveur (5xx) est différente : Google arrête d'explorer le site pendant 12 heures, puis utilise sa dernière copie valide jusqu'à 30 jours (Google Search Central). Google ne lit que les 500 premiers Kio du fichier. Pour voir ce que les robots d'IA peuvent faire sur tout le site, utilisez le vérificateur de robots d'IA.
Questions fréquentes
Disallow retire-t-il une page de Google ?
Non. Disallow arrête seulement l'exploration. Une page bloquée peut encore être listée si d'autres pages y renvoient. Utilisez plutôt une balise meta ou un en-tête noindex sur une page explorable.
Pourquoi Googlebot ignore-t-il mes règles « User-agent: * » ?
Parce que votre robots.txt contient aussi un groupe qui nomme Googlebot. Un robot qui a son propre groupe ne suit que celui-ci : les règles de * doivent y être répétées si elles doivent s'appliquer.
Google prend-il en charge Crawl-delay ?
Non. Google ignore les lignes crawl-delay. D'autres robots peuvent les lire, elles peuvent donc rester dans le fichier, mais elles ne changent pas la vitesse d'exploration de Googlebot.
Vérifiez les pages que les robots peuvent voir
L'analyse gratuite vérifie une page pour le SEO, la vitesse avec Google PageSpeed, la préparation aux réponses d'IA et la citabilité par l'IA.
Outils SEO gratuits
-
Vérifier les balises meta
Balise title, meta description, H1 et balise canonical d’une page, avec un aperçu de l’extrait.
-
Vérifier canonical et hreflang
URL canonique, codes hreflang et liens de retour entre les versions linguistiques.
-
Vérifier les redirections
Chaque étape de redirection d’une URL, les variantes http/https et www, et les en-têtes SEO et de sécurité de la réponse finale.
-
Vérificateur de données structurées
Lit chaque bloc JSON-LD d'une page : erreurs de syntaxe, types schema.org et propriétés que Google documente pour Organization, LocalBusiness, Product, Article, BreadcrumbList, Event et Recipe.
-
Vérificateur Open Graph
Liste les balises Open Graph et twitter: d'une page, vérifie que l'image de partage se charge et sa taille, et montre une carte de lien illustrative.
-
Vérificateur de sitemap
Trouve le sitemap XML d'un site, vérifie qu'il s'analyse, compte ses URL, le compare aux limites du protocole et demande un échantillon des URL listées.
-
Vérifier les robots d’IA
Quels robots d’IA votre robots.txt autorise ou bloque, et si un fichier llms.txt existe.