Drei Arten von KI-Crawlern
Trainings-Crawler sammeln öffentliche Seiten, um künftige Modelle zu trainieren. Wenn Sie sie blockieren, verschwinden Sie dadurch nicht aus KI-Suchergebnissen.
Such- und Retrieval-Crawler bauen den Index auf, mit dem ein Assistent Quellen findet und zitiert. Erst wenn Sie diese blockieren, werden Sie in KI-Antworten unsichtbar.
Von Nutzern ausgelöste Abrufe laden eine einzelne Seite, weil eine Person den Assistenten gebeten hat, sie zu lesen. Die Anbieter behandeln sie anders als automatisiertes Crawling: OpenAI schreibt, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten, Perplexity und Google geben an, dass ihre nutzerausgelösten Abrufe robots.txt in der Regel ignorieren. Anthropic dokumentiert dagegen, dass auch Claude-User die robots.txt beachtet.
Die User-Agent-Namen, auf die es ankommt
- OpenAI:
GPTBot(Training),OAI-SearchBot(ChatGPT-Suche),ChatGPT-User(Nutzeranfragen). - Anthropic:
ClaudeBot(Training),Claude-SearchBot(Suche),Claude-User(Nutzeranfragen). - Perplexity:
PerplexityBot(Suchindex),Perplexity-User(Nutzeranfragen). - Google:
Google-Extendedist ein Steuerungs-Token, kein eigener Crawler. Es legt fest, ob von Googlebot abgerufene Inhalte für Gemini-Modelle und für das Grounding von Antworten in den Gemini-Apps verwendet werden dürfen. Auf Google Search, AI Overviews und AI Mode hat es keinen Einfluss. - Apple:
Applebot-Extendedsteuert die Nutzung für das KI-Training von Apple;Applebotselbst versorgt Siri und Spotlight. - Weitere Bots, die Sie in Ihren Serverlogs sehen werden:
CCBot(Common Crawl, ein offenes Web-Archiv, dessen Daten auch KI-Entwickler nutzen),meta-externalagent(Meta),Amazonbot,Bytespider(ByteDance),DuckAssistBot(DuckDuckGo).
Eine sinnvolle Standard-robots.txt
Für die meisten Unternehmenswebsites ist das Ziel, gefunden und zitiert zu werden. Üblich ist es, Such-Bots und nutzerausgelöste Bots zuzulassen und über das Training getrennt zu entscheiden. Dieses Beispiel lässt die KI-Suche zu und schließt das Training aus:
# Suchmaschinen und KI-Suche: erlaubt
User-agent: *
Allow: /
# KI-Training: ausgeschlossen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /
Sitemap: https://www.beispiel.de/sitemap.xml
Wenn Sie damit einverstanden sind, dass Ihre Inhalte für das Training genutzt werden – was Modellen helfen kann, Ihre Marke zu kennen –, lassen Sie den zweiten Block einfach weg. In jedem Fall gilt: Sperren Sie niemals OAI-SearchBot, Claude-SearchBot oder PerplexityBot, wenn Sie in diesen Assistenten erscheinen möchten.
Wenn Sie Google-Extended sperren, können die Gemini-Apps Antworten auch nicht mehr auf Ihre Seiten stützen. Lassen Sie es daher aus der Sperre heraus, wenn Zitate in den Gemini-Apps für Sie wichtig sind.
Neu seit dem 30. Oktober 2026: eine Trainingspräferenz für alle Anbieter
Statt jeden Trainings-Bot einzeln aufzuführen, schlägt ein IETF-Entwurf eine einzige Gruppe vor, die Ihre Trainingspräferenz allen Anbietern mitteilt, die sie unterstützen. Google und Microsoft planen, sie ab 2027 auszuwerten, OpenAI und Anthropic haben Unterstützung angekündigt, und kein Anbieter wendet sie bisher an:
User-agent: __usage_ai-training
Disallow: /
Sie ist eine Präferenz, keine Crawler-Sperre, und User-agent: * zählt nicht als solche. Behalten Sie die obigen Anbieter-Gruppen, bis die Anbieter, auf die es Ihnen ankommt, das gemeinsame Signal lesen. Unser Ratgeber zu den KI-Training-Präferenzen erklärt die Regeln, Googles Auslegung für Google-Extended und Bings Einstellungen auf Seitenebene.
Prüfen Sie auch CDN und Firewall
robots.txt ist nur eine Bitte. In der Praxis ist das häufigere Problem das umgekehrte: eine Firewall oder ein CDN, das KI-Crawler blockiert, bevor sie die robots.txt überhaupt lesen. Cloudflare zum Beispiel blockiert seit Juli 2025 bekannte KI-Crawler bei neuen Domains standardmäßig, und viele Sicherheits-Plugins haben ähnliche Schalter.
Wenn Ihre robots.txt einen Bot zulässt, die Website aber trotzdem nie in KI-Antworten erscheint, prüfen Sie die Bot-Einstellungen Ihres CDNs, der Firewall Ihres Hosters und Ihrer Sicherheits-Plugins, und suchen Sie in Ihren Serverlogs nach 403-Antworten an diese User-Agents.
Was Sitequiry prüft
Die Analyse liest Ihre robots.txt und meldet, welche KI-Crawler erlaubt oder gesperrt sind, wobei sie Trainings- von Such-Bots trennt, und warnt, wenn eine pauschale Regel alles sperrt. Außerdem zeigt sie Ihre gemeinsame KI-Trainingspräferenz und Ihre Bing-Werte auf Seitenebene als Information an, ohne einen Score zu verändern. Geprüft werden Zugriffsregeln, nicht, ob ein CDN den Bot auf Netzwerkebene blockiert, denn das lässt sich nur anhand der eigenen IP-Bereiche des Bots erkennen.
Häufige Fragen
Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?
Nein. GPTBot ist der Trainings-Crawler von OpenAI. Die ChatGPT-Suche nutzt OAI-SearchBot, und Seiten, nach denen ein Nutzer fragt, ruft ChatGPT-User ab. Für die Aufnahme in die Suche ist laut OpenAI allein OAI-SearchBot maßgeblich.
Wirkt sich Google-Extended auf AI Overviews aus?
Nein. AI Overviews und AI Mode nutzen den normalen Google-Suchindex, den Googlebot crawlt. Um zu begrenzen, wie Ihre Inhalte dort erscheinen, verwenden Sie Vorschau-Steuerungen wie nosnippet oder max-snippet, die sich auch auf normale Snippets auswirken.
Ist robots.txt rechtlich verbindlich?
Nein. Es handelt sich um eine weithin respektierte Konvention. Die großen KI-Anbieter dokumentieren, dass ihre automatischen Crawler sich daran halten. Bei Abrufen, die ein Nutzer auslöst, gilt das nicht bei allen Anbietern, und technisch verhindert die Datei den Zugriff ohnehin nicht.
Wie oft sollte ich das überprüfen?
Mindestens zweimal im Jahr. Regelmäßig kommen neue Crawler hinzu, und Anbieter benennen bestehende um oder teilen sie auf.
Prüfen Sie Ihre eigene robots.txt
Geben Sie Ihre Domain ein und sehen Sie, welche KI-Crawler Ihre robots.txt zulässt oder blockiert und welche Zeile entscheidet.
Prüfen Sie Ihre eigene Website in etwa einer Minute
Die kostenlose Analyse misst die Punkte aus diesem Ratgeber für Ihre URL und zeigt, was Sie zuerst beheben sollten.