Testen Sie, ob die robots.txt eine URL erlaubt
Geben Sie eine öffentliche URL ein und wählen Sie einen Crawler. Der Tester liest die robots.txt dieser Website, zeigt, ob der Crawler die URL abrufen darf, und markiert die Zeile, die das entscheidet. Ohne Konto.
Wie ein Crawler seine Regeln wählt
Ein Crawler folgt der Gruppe, die sein eigenes User-Agent-Token nennt; nur wenn keine Gruppe ihn nennt, gilt User-agent: *. Zwei Gruppen für denselben Crawler werden zusammengeführt, eine benannte Gruppe und die *-Gruppe dagegen nicht (Google Search Central). Innerhalb der Gruppe gewinnt die spezifischste Regel (der längste Pfad); passen Allow und Disallow gleich gut, nimmt Google die weniger einschränkende. Pfade unterscheiden Groß- und Kleinschreibung, User-Agent-Namen nicht.
Ein Beispiel von nytimes.com
Am 10. November 2026 standen in der robots.txt von nytimes.com User-agent: * und User-agent: Googlebot gemeinsam in den Zeilen 15 und 16, und Googlebot wurde in Zeile 130 in einer zweiten Gruppe erneut genannt. Googlebot befolgt seine beiden Gruppen zusammen und sonst nichts; GPTBot hat eine eigene Gruppe mit Disallow: / in den Zeilen 232 und 233 und ist damit für die ganze Website gesperrt. Der Tester zeigt in solchen Fällen, welche Gruppe und Zeile für einen Crawler gilt.
Crawling sperren heißt nicht Indexierung sperren
Die robots.txt steuert, welche URLs ein Crawler abrufen darf, nicht, welche in der Suche erscheinen. Google kann eine gesperrte URL, auf die anderswo verlinkt wird, trotzdem indexieren und ohne Beschreibung zeigen (Google Search Central). Soll eine Seite nicht in den Ergebnissen erscheinen, nutzen Sie noindex und lassen Sie die Seite crawlbar, sonst sieht Google das noindex nie (Google Search Central). Eine noindex-Zeile in der robots.txt wirkt bei Google seit dem 1. September 2019 nicht mehr (Google Search Central Blog).
Wenn die robots.txt nicht normal antwortet
Eine fehlende robots.txt (jede 4xx-Antwort außer 429) behandelt Google als „keine Einschränkungen“. Ein Serverfehler (5xx) ist anders: Google stoppt das Crawling der Website für 12 Stunden und nutzt danach bis zu 30 Tage seine letzte gültige Kopie (Google Search Central). Google liest nur die ersten 500 KiB der Datei. Was KI-Crawler auf der ganzen Website dürfen, zeigt der KI-Crawler-Check.
Häufige Fragen
Entfernt Disallow eine Seite aus Google?
Nein. Disallow stoppt nur das Crawling. Eine gesperrte Seite kann trotzdem gelistet werden, wenn andere Seiten auf sie verlinken. Nutzen Sie stattdessen ein noindex-Meta-Tag oder einen Header auf einer crawlbaren Seite.
Warum ignoriert Googlebot meine Regeln für „User-agent: *“?
Weil Ihre robots.txt auch eine Gruppe hat, die Googlebot nennt. Ein Crawler mit eigener Gruppe folgt nur dieser, daher müssen Regeln aus * dort wiederholt werden, wenn sie gelten sollen.
Unterstützt Google Crawl-delay?
Nein. Google ignoriert crawl-delay-Zeilen. Andere Crawler lesen sie eventuell, daher kann die Zeile bleiben, sie ändert aber nicht, wie schnell Googlebot crawlt.
Prüfen Sie die Seiten, die Crawler sehen dürfen
Die kostenlose Analyse prüft eine Seite auf SEO, Geschwindigkeit mit Google PageSpeed, Bereitschaft für KI-Antworten und KI-Zitierbarkeit.
Kostenlose SEO-Tools
-
Meta-Tags prüfen
Seitentitel, Meta-Beschreibung, H1 und Canonical einer Seite, mit Snippet-Vorschau.
-
Canonical & Hreflang prüfen
Canonical-URL, Hreflang-Codes und Rückverweise zwischen Sprachversionen.
-
Weiterleitungen prüfen
Jeder Weiterleitungsschritt einer URL, die Varianten mit http/https und www sowie die SEO- und Sicherheits-Header der letzten Antwort.
-
Schema-Markup-Checker
Liest jeden JSON-LD-Block einer Seite: Syntaxfehler, schema.org-Typen und die Eigenschaften, die Google für Organization, LocalBusiness, Product, Article, BreadcrumbList, Event und Recipe dokumentiert.
-
Open-Graph-Checker
Listet die Open-Graph- und twitter:-Tags einer Seite auf, prüft, ob das Vorschaubild lädt und wie groß es ist, und zeigt eine illustrative Link-Karte.
-
Sitemap-Checker
Findet die XML-Sitemap einer Website, prüft, ob sie sich parsen lässt, zählt die URLs, vergleicht sie mit den Protokollgrenzen und ruft eine Stichprobe der gelisteten URLs ab.
-
KI-Crawler-Check
Welche KI-Crawler Ihre robots.txt erlaubt oder sperrt und ob es eine llms.txt gibt.
Verwandte Ratgeber
-
KI-Crawler und robots.txt: Welche Bots Sie 2026 zulassen sollten
Trainings-Bots, KI-Such-Bots und von Nutzern ausgelöste Abrufe sind verschiedene Dinge. So lassen Sie die Bots zu, die Ihnen Sichtbarkeit bringen.
-
Warum erscheint meine Website nicht bei Google?
URL-Prüftool, Bericht zur Seitenindexierung, noindex, robots.txt und Canonical: In dieser Reihenfolge finden Sie heraus, warum Google Ihre Seite nicht zeigt.