Zum Inhalt springen
Sitequiry

KI-Crawler und robots.txt: Welche Bots Sie 2026 zulassen sollten

Wer „KI-Bots“ mit einer einzigen Zeile blockiert, verschwindet unter Umständen unbemerkt aus der ChatGPT-Suche und aus den Antworten von Claude oder Perplexity. Die großen KI-Anbieter nutzen inzwischen getrennte Crawler für das Modelltraining, für ihren Suchindex und für den Abruf einer Seite, wenn ein Nutzer danach fragt. Sie können also gezielt entscheiden, statt alles oder nichts zu sperren.

Aktualisiert 3 Min. Lesezeit Verfasst vom Team der Agentur GE-KO

Drei Arten von KI-Crawlern

Trainings-Crawler sammeln öffentliche Seiten, um künftige Modelle zu trainieren. Wenn Sie sie blockieren, verschwinden Sie dadurch nicht aus KI-Suchergebnissen.

Such- und Retrieval-Crawler bauen den Index auf, mit dem ein Assistent Quellen findet und zitiert. Erst wenn Sie diese blockieren, werden Sie in KI-Antworten unsichtbar.

Von Nutzern ausgelöste Abrufe laden eine einzelne Seite, weil eine Person den Assistenten gebeten hat, sie zu lesen. Die Anbieter behandeln sie anders als automatisiertes Crawling: OpenAI schreibt, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten, Perplexity und Google geben an, dass ihre nutzerausgelösten Abrufe robots.txt in der Regel ignorieren. Anthropic dokumentiert dagegen, dass auch Claude-User die robots.txt beachtet.

Die User-Agent-Namen, auf die es ankommt

  • OpenAI: GPTBot (Training), OAI-SearchBot (ChatGPT-Suche), ChatGPT-User (Nutzeranfragen).
  • Anthropic: ClaudeBot (Training), Claude-SearchBot (Suche), Claude-User (Nutzeranfragen).
  • Perplexity: PerplexityBot (Suchindex), Perplexity-User (Nutzeranfragen).
  • Google: Google-Extended ist ein Steuerungs-Token, kein eigener Crawler. Es legt fest, ob von Googlebot abgerufene Inhalte für Gemini-Modelle und für das Grounding von Antworten in den Gemini-Apps verwendet werden dürfen. Auf Google Search, AI Overviews und AI Mode hat es keinen Einfluss.
  • Apple: Applebot-Extended steuert die Nutzung für das KI-Training von Apple; Applebot selbst versorgt Siri und Spotlight.
  • Weitere Bots, die Sie in Ihren Serverlogs sehen werden: CCBot (Common Crawl, ein offenes Web-Archiv, dessen Daten auch KI-Entwickler nutzen), meta-externalagent (Meta), Amazonbot, Bytespider (ByteDance), DuckAssistBot (DuckDuckGo).

Eine sinnvolle Standard-robots.txt

Für die meisten Unternehmenswebsites ist das Ziel, gefunden und zitiert zu werden. Üblich ist es, Such-Bots und nutzerausgelöste Bots zuzulassen und über das Training getrennt zu entscheiden. Dieses Beispiel lässt die KI-Suche zu und schließt das Training aus:

# Suchmaschinen und KI-Suche: erlaubt
User-agent: *
Allow: /

# KI-Training: ausgeschlossen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

Sitemap: https://www.beispiel.de/sitemap.xml

Wenn Sie damit einverstanden sind, dass Ihre Inhalte für das Training genutzt werden – was Modellen helfen kann, Ihre Marke zu kennen –, lassen Sie den zweiten Block einfach weg. In jedem Fall gilt: Sperren Sie niemals OAI-SearchBot, Claude-SearchBot oder PerplexityBot, wenn Sie in diesen Assistenten erscheinen möchten.

Wenn Sie Google-Extended sperren, können die Gemini-Apps Antworten auch nicht mehr auf Ihre Seiten stützen. Lassen Sie es daher aus der Sperre heraus, wenn Zitate in den Gemini-Apps für Sie wichtig sind.

Neu seit dem 30. Oktober 2026: eine Trainingspräferenz für alle Anbieter

Statt jeden Trainings-Bot einzeln aufzuführen, schlägt ein IETF-Entwurf eine einzige Gruppe vor, die Ihre Trainingspräferenz allen Anbietern mitteilt, die sie unterstützen. Google und Microsoft planen, sie ab 2027 auszuwerten, OpenAI und Anthropic haben Unterstützung angekündigt, und kein Anbieter wendet sie bisher an:

User-agent: __usage_ai-training
Disallow: /

Sie ist eine Präferenz, keine Crawler-Sperre, und User-agent: * zählt nicht als solche. Behalten Sie die obigen Anbieter-Gruppen, bis die Anbieter, auf die es Ihnen ankommt, das gemeinsame Signal lesen. Unser Ratgeber zu den KI-Training-Präferenzen erklärt die Regeln, Googles Auslegung für Google-Extended und Bings Einstellungen auf Seitenebene.

Prüfen Sie auch CDN und Firewall

robots.txt ist nur eine Bitte. In der Praxis ist das häufigere Problem das umgekehrte: eine Firewall oder ein CDN, das KI-Crawler blockiert, bevor sie die robots.txt überhaupt lesen. Cloudflare zum Beispiel blockiert seit Juli 2025 bekannte KI-Crawler bei neuen Domains standardmäßig, und viele Sicherheits-Plugins haben ähnliche Schalter.

Wenn Ihre robots.txt einen Bot zulässt, die Website aber trotzdem nie in KI-Antworten erscheint, prüfen Sie die Bot-Einstellungen Ihres CDNs, der Firewall Ihres Hosters und Ihrer Sicherheits-Plugins, und suchen Sie in Ihren Serverlogs nach 403-Antworten an diese User-Agents.

Was Sitequiry prüft

Die Analyse liest Ihre robots.txt und meldet, welche KI-Crawler erlaubt oder gesperrt sind, wobei sie Trainings- von Such-Bots trennt, und warnt, wenn eine pauschale Regel alles sperrt. Außerdem zeigt sie Ihre gemeinsame KI-Trainingspräferenz und Ihre Bing-Werte auf Seitenebene als Information an, ohne einen Score zu verändern. Geprüft werden Zugriffsregeln, nicht, ob ein CDN den Bot auf Netzwerkebene blockiert, denn das lässt sich nur anhand der eigenen IP-Bereiche des Bots erkennen.

Häufige Fragen

Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?

Nein. GPTBot ist der Trainings-Crawler von OpenAI. Die ChatGPT-Suche nutzt OAI-SearchBot, und Seiten, nach denen ein Nutzer fragt, ruft ChatGPT-User ab. Für die Aufnahme in die Suche ist laut OpenAI allein OAI-SearchBot maßgeblich.

Wirkt sich Google-Extended auf AI Overviews aus?

Nein. AI Overviews und AI Mode nutzen den normalen Google-Suchindex, den Googlebot crawlt. Um zu begrenzen, wie Ihre Inhalte dort erscheinen, verwenden Sie Vorschau-Steuerungen wie nosnippet oder max-snippet, die sich auch auf normale Snippets auswirken.

Ist robots.txt rechtlich verbindlich?

Nein. Es handelt sich um eine weithin respektierte Konvention. Die großen KI-Anbieter dokumentieren, dass ihre automatischen Crawler sich daran halten. Bei Abrufen, die ein Nutzer auslöst, gilt das nicht bei allen Anbietern, und technisch verhindert die Datei den Zugriff ohnehin nicht.

Wie oft sollte ich das überprüfen?

Mindestens zweimal im Jahr. Regelmäßig kommen neue Crawler hinzu, und Anbieter benennen bestehende um oder teilen sie auf.

Prüfen Sie Ihre eigene robots.txt

Geben Sie Ihre Domain ein und sehen Sie, welche KI-Crawler Ihre robots.txt zulässt oder blockiert und welche Zeile entscheidet.

Prüfen Sie Ihre eigene Website in etwa einer Minute

Die kostenlose Analyse misst die Punkte aus diesem Ratgeber für Ihre URL und zeigt, was Sie zuerst beheben sollten.