Prüfen Sie, welche KI-Crawler auf Ihre Website zugreifen dürfen
Geben Sie Ihre Domain ein und sehen Sie, welche KI-Crawler Ihre robots.txt zulässt oder blockiert, darunter GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended, und welche Präferenz zum KI-Training sie angibt. Such-Crawler entscheiden, ob Ihre Seiten in KI-Antworten verwendet werden können; Trainings-Crawler und das neue gemeinsame KI-Trainingssignal (__usage_ai-training) drücken nur aus, ob Ihre Inhalte zum Training von Modellen genutzt werden dürfen. Jedes Ergebnis zeigt die Zeile der robots.txt, die dahintersteht, und einen Ausschnitt zum Kopieren, mit dem Sie sie ändern können.
Welche KI-Crawler gibt es, und was bewirkt eine Sperre jeweils?
KI-Anbieter betreiben verschiedene Crawler für verschiedene Aufgaben, und jeder hat in der robots.txt seinen eigenen Namen. Der häufigste Fehler ist, den falschen zu sperren: Das kann Ihre Seiten aus KI-Antworten heraushalten oder gar nichts bewirken.
Such-Crawler bauen den Index hinter den Antworten auf
OAI-SearchBot (ChatGPT-Suche), Claude-SearchBot, PerplexityBot, DuckAssistBot und Amzn-SearchBot finden Seiten, die sie in der KI-Suche anzeigen und verlinken. Googlebot und Bingbot bauen die Indizes von Google und Bing auf, aus denen Google AI Overviews, Google AI Mode und die KI-Antworten von Microsoft schöpfen. Wer einen Such-Crawler sperrt, erscheint im jeweiligen Produkt voraussichtlich nicht.
Nutzerausgelöste Abrufe lesen eine Seite auf Anfrage
ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher und Amzn-User laden eine Seite, weil jemand einen Assistenten danach gefragt hat. Anthropic dokumentiert, dass Claude-User die robots.txt befolgt; OpenAI, Perplexity, Meta und Amazon geben an, dass ihre Abrufe das möglicherweise nicht tun.
Trainings-Crawler speisen künftige Modelle
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot und Bytespider sammeln öffentliche Seiten für das Modelltraining oder steuern, ob sie dafür genutzt werden dürfen. Sie zu sperren ist eine unternehmerische Entscheidung, keine SEO-Pflicht, und entfernt Sie nicht aus der KI-Suche. Google-Extended und Applebot-Extended sind Steuerungs-Token, die nicht crawlen.
Das gemeinsame KI-Trainingssignal ist eine Präferenz, kein Crawler
Am 30. Oktober 2026 schlug ein IETF-Internet-Draft eine einzige robots.txt-Gruppe für alle KI-Anbieter vor: User-agent: __usage_ai-training. Ein Disallow darin drückt eine Präferenz gegen das Modelltraining aus, ein Allow eine dafür, und ohne Gruppe wird nichts ausgesagt. Es sperrt kein Crawling, und User-agent: * zählt nie als diese Präferenz. Google und Microsoft wollen es ab 2027 auswerten, OpenAI und Anthropic haben Unterstützung angekündigt; es ist ein Entwurf, kein fertiger Standard.
So beheben Sie es: eine robots.txt zum Kopieren
Wählen Sie aus, was Sie möchten, kopieren Sie das Ergebnis und fügen Sie es in die robots.txt im Stammverzeichnis Ihrer Website ein. Behalten Sie Ihre bestehenden Regeln und bearbeiten Sie eine vorhandene Gruppe für denselben Bot, statt eine zweite hinzuzufügen.
Welche Einstellung passt zu Ihrem Ziel?
- Ich möchte mehr Sichtbarkeit in der KI-Suche Erlauben Sie die KI-Such-Crawler und die nutzerausgelösten Abrufe, lassen Sie Googlebot und Bingbot offen und fügen Sie Ihre Sitemap hinzu. Eine Trainingspräferenz ist optional und ändert nichts am Suchzugriff.
- Meine Inhalte sollen nicht zum Training generativer Modelle genutzt werden Sperren Sie die Trainings-Crawler der Anbieter und geben Sie die gemeinsame Präferenz gegen das Training an. Such-Crawler bleiben erlaubt. Google-Extended deckt auch das Grounding in den Gemini-Apps ab, und nicht jeder Anbieter hat Unterstützung für das gemeinsame Signal angekündigt.
-
Grounding in KI-Antworten erlauben, aber kein Training
Geben Sie die gemeinsame Präferenz gegen das Training an und sperren Sie GPTBot, ClaudeBot und die anderen Trainings-Crawler, geben Sie Google-Extended aber ein Allow, damit die Gemini-Apps Antworten weiterhin auf Ihre Seiten stützen können (das erlaubt auch das Gemini-Training). Bei Bing sind Training und Grounding getrennte Werte auf Seitenebene:
ai-training:disallowallein lässt das Grounding erlaubt. - Ich möchte verstehen, was ich bereits habe Prüfen Sie oben Ihre Domain: Das Ergebnis listet den Crawler-Zugriff, Ihre KI-Trainingspräferenz, die Anbieter-Gruppen daneben und die Bing-Werte Ihrer Startseite auf.
# KI-Such-Crawler: erlaubt
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /
# Nutzerausgelöste Abrufe: erlaubt
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /
- Sie erlauben das Training in der gemeinsamen Präferenz, sperren aber die Trainings-Crawler einzelner Anbieter. Laut Entwurf haben spezifische Gruppen Vorrang; rechnen Sie also damit, dass für diese Anbieter die Sperren für GPTBot, ClaudeBot und Google-Extended gelten.
- Ohne Google-Extended-Gruppe will Google diesen Opt-out (ab Anfang 2027) als Google-Extended-Sperre lesen. Dann stützen die Gemini-Apps ihre Antworten auch nicht mehr auf Ihre Seiten (Grounding). Setzen Sie den Haken bei „Google-Extended erlauben (Grounding in den Gemini-Apps behalten)“, wenn Sie das beibehalten möchten.
- Erlauben Sie Google-Extended, bleibt das Grounding in den Gemini-Apps erhalten, aber auch das Gemini-Training ist erlaubt. Google folgt seiner eigenen Google-Extended-Gruppe statt der gemeinsamen Präferenz.
- Eine Sperre von Google-Extended schließt Sie vom Gemini-Training aus und verhindert auch das Grounding in den Gemini-Apps. Google-Suche, AI Overviews und AI Mode sind nicht betroffen.
- Wenn eine Regel „User-agent: *“ alles sperrt, lassen die erlaubten Gruppen diese Bots trotzdem herein. Googlebot und Bingbot bleiben unter Ihren normalen Regeln.
- Ein Bot mit eigener Gruppe ignoriert die Gruppe „User-agent: *“ vollständig; übernehmen Sie daher Pfadregeln (zum Beispiel Disallow: /wp-admin/) in dessen Gruppe, wenn sie für diesen Bot weiter gelten sollen.
- Crawler lesen die robots.txt nur von Zeit zu Zeit neu, daher kann es einen Tag oder länger dauern, bis eine Änderung greift. Eine Sperre von Trainings-Crawlern entfernt Sie nicht aus der KI-Suche; die Sperre von Such-Crawlern verringert dagegen Ihre Chance, in KI-Antworten verwendet zu werden.
- Wenn ein Bot hier erlaubt ist, aber nie vorbeischaut, prüfen Sie die Bot-Einstellungen Ihres CDN, der Hosting-Firewall und Ihrer Sicherheits-Plugins: Manche sperren KI-Crawler standardmäßig.
- Fügen Sie jeden Block nach der letzten Regel Ihrer Datei ein, nicht direkt unter einer anderen User-agent-Zeile: Aufeinanderfolgende User-agent-Zeilen bilden eine Gruppe, und die Regeln würden für beide gelten.
- Eine Präferenz ist eine Bitte. Google und Microsoft wollen das gemeinsame Signal ab 2027 auswerten, und OpenAI und Anthropic haben Unterstützung angekündigt, doch andere KI-Anbieter können es ignorieren, und private Vereinbarungen können es außer Kraft setzen.
Präferenzen auf Seitenebene für Bing
Microsoft liest KI-Trainings- und KI-Grounding-Präferenzen ab 1. Februar 2027 pro Seite, in einem Meta-Tag oder einem HTTP-Header. Eine websiteweite Grounding-Regel in der robots.txt gibt es nicht; ein Trainingswert auf Seitenebene hat für diese Seite Vorrang vor der robots.txt.
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">
X-Robots-Tag: Bingbot: ai-training:disallow
X-Robots-Tag: Bingbot: ai-grounding:disallow
Werte: allow (Standard), disallow und beim Grounding zusätzlich disallowextended (nur Microsofts eigene Angebote wie Copilot, die KI-Antworten von Bing und Microsoft 365, keine Grounding-Dienste von Drittanbietern). NoArchive und NoCache zählen ab dem 1. März 2027 nicht mehr als KI-Präferenzen; Websites, die sie genutzt haben, können ab dem 15. Dezember 2026 in den Bing Webmaster Tools eine befristete Grounding-Präferenz hinterlegen, die höchstens bis zum 30. September 2027 gilt.
Die Crawler, die wir prüfen
Der Check umfasst 21 Crawler von KI- und Suchanbietern. Rollen und robots.txt-Verhalten folgen der Dokumentation der jeweiligen Anbieter, zuletzt geprüft am 2. Oktober 2026.
| Crawler (Name in der robots.txt) | Anbieter | Rolle | Befolgt die robots.txt? | Dokumentation des Anbieters |
|---|---|---|---|---|
Googlebot |
Suchindex | Ja, laut Anbieter | Dokumentation | |
Bingbot |
Microsoft | Suchindex | Ja, laut Anbieter | Dokumentation |
Applebot |
Apple | Suchindex | Ja, laut Anbieter | Dokumentation |
OAI-SearchBot |
OpenAI | Suchindex | Ja, laut Anbieter | Dokumentation |
Claude-SearchBot |
Anthropic | Suchindex | Ja, laut Anbieter | Dokumentation |
PerplexityBot |
Perplexity | Suchindex | Ja, laut Anbieter | Dokumentation |
DuckAssistBot |
DuckDuckGo | Suchindex | Ja, laut Anbieter | Dokumentation |
Amzn-SearchBot |
Amazon | Suchindex | Ja, laut Anbieter | Dokumentation |
ChatGPT-User |
OpenAI | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
Claude-User |
Anthropic | Nutzerausgelöster Abruf | Ja, laut Anbieter | Dokumentation |
Perplexity-User |
Perplexity | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
meta-externalfetcher |
Meta | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
Amzn-User |
Amazon | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
GPTBot |
OpenAI | Modelltraining | Ja, laut Anbieter | Dokumentation |
ClaudeBot |
Anthropic | Modelltraining | Ja, laut Anbieter | Dokumentation |
Google-Extended |
Modelltraining | Ja, laut Anbieter | Dokumentation | |
Applebot-Extended |
Apple | Modelltraining | Ja, laut Anbieter | Dokumentation |
meta-externalagent |
Meta | Modelltraining | Ja, laut Anbieter | Dokumentation |
Amazonbot |
Amazon | Modelltraining | Ja, laut Anbieter | Dokumentation |
CCBot |
Common Crawl | Modelltraining | Ja, laut Anbieter | Dokumentation |
Bytespider |
ByteDance | Modelltraining | Umstritten | Nicht veröffentlicht |
Was dieser Check aussagt und was nicht
- Er liest die Regeln der robots.txt so, wie unser Check sie erhalten hat. Eine Website kann verschiedenen Besuchern unterschiedliche Dateien zeigen, und eine Firewall oder ein CDN kann einen Crawler sperren, bevor er die robots.txt überhaupt liest.
- Die robots.txt ist eine Bitte, keine Durchsetzung. Seriöse Crawler befolgen sie; nutzerausgelöste Abrufe möglicherweise nicht, und manche Crawler ignorieren sie Berichten zufolge.
- Wir messen nicht, ob ein KI-Produkt Ihre Website tatsächlich crawlt, zitiert oder anzeigt. Erlaubt bedeutet Bereitschaft, nicht Sichtbarkeit.
- Rollen und Regeln folgen der Dokumentation der jeweiligen Anbieter, zuletzt geprüft am 2. Oktober 2026. Anbieter fügen Crawler hinzu oder benennen sie um; prüfen Sie Ihre Datei daher mindestens zweimal im Jahr.
- KI-Trainings- und Grounding-Präferenzen sind Aussagen darüber, was Sie wünschen, gelesen aus der robots.txt und Ihrer Startseite. Wir können nicht sehen, ob ein Anbieter sie bereits anwendet: Die Unterstützung für das gemeinsame Signal ist angekündigt, aber noch nicht aktiv.
Fragen zu KI-Crawlern und robots.txt
Sollte ich GPTBot blockieren?
Das hängt davon ab, ob Sie möchten, dass OpenAI Ihre öffentlichen Seiten für das Training von Modellen nutzt. GPTBot ist der Trainings-Crawler von OpenAI, und eine Sperre nimmt Ihre Seiten vom Training künftiger Modelle aus. Das ist eine unternehmerische Entscheidung, keine SEO-Pflicht, und sie wirkt sich nicht auf Google-Rankings aus. Wenn Ihre Inhalte Modellen helfen sollen, Ihre Marke zu kennen, können Sie ihn zulassen.
Verschwinde ich aus der ChatGPT-Suche, wenn ich GPTBot blockiere?
Nein. Die ChatGPT-Suche nutzt einen anderen Crawler, OAI-SearchBot, und Seiten, die ChatGPT auf Wunsch eines Nutzers öffnet, ruft ChatGPT-User ab. Die Sperre von GPTBot betrifft nur das Training. Erst die Sperre von OAI-SearchBot führt dazu, dass Ihre Seiten in den ChatGPT-Suchergebnissen voraussichtlich nicht erscheinen.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt öffentliche Seiten, die zum Training der generativen Modelle von OpenAI verwendet werden können. OAI-SearchBot findet Seiten, die ChatGPT in seinen Suchfunktionen anzeigt und verlinkt. Es sind getrennte Namen in der robots.txt, daher können Sie einen erlauben und den anderen sperren.
Welche Crawler muss ich erlauben, um in KI-Antworten zu erscheinen?
Erlauben Sie die Such-Crawler: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot sowie Googlebot und Bingbot, die die Indizes aufbauen, aus denen die KI-Antworten von Google und Microsoft schöpfen. Damit können Ihre Seiten verwendet werden, garantiert ist es nicht: Die robots.txt entscheidet nur, ob ein Bot crawlen darf, nicht, ob jemand Sie zitiert.
Reicht die robots.txt, um KI-Crawler fernzuhalten?
Nein. Sie ist eine Bitte, der seriöse Crawler folgen, keine Durchsetzung. Nutzerausgelöste Abrufe können sie ignorieren, und manche Crawler tun es Berichten zufolge ebenfalls. Verlässlicher sperren Sie einen Bot mit einer Firewall- oder CDN-Regel. Bedenken Sie dabei, dass die Sperre eines Such-Crawlers Sie auch aus diesem Produkt heraushält.
Verschwinde ich aus Google AI Overviews, wenn ich Google-Extended blockiere?
Nein. Google-Extended ist ein Steuerungs-Token für Training und Grounding von Gemini. AI Overviews und AI Mode nutzen den normalen Google-Suchindex, den Googlebot crawlt, und laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Suche oder das Ranking. Um die Darstellung dort einzuschränken, nutzen Sie Vorschau-Steuerungen wie nosnippet oder max-snippet, die auch normale Snippets betreffen.
Was bedeutet User-agent: __usage_ai-training?
Es ist die gemeinsame KI-Trainingspräferenz aus einem IETF-Internet-Draft, der am 30. Oktober 2026 veröffentlicht wurde. Es ist kein Crawler. Disallow: / in dieser Gruppe drückt die Präferenz aus, Ihre Inhalte nicht zum Training von KI-Modellen zu verwenden, Allow: die Präferenz dafür, und Pfadregeln funktionieren wie gewohnt, wobei die längste Übereinstimmung gilt. Eine Datei ohne die Gruppe gibt keine Präferenz an, und User-agent: * zählt nicht.
Schadet ein Opt-out vom KI-Training meinem SEO oder meiner Sichtbarkeit in KI-Antworten?
Nicht in der Google-Suche: Weder das gemeinsame Signal noch Google-Extended beeinflusst Ranking oder Aufnahme in die Suche. Bei Google geht es aber nicht nur um das Training: Ab Anfang 2027 will Google den Opt-out als Google-Extended-Sperre lesen, wenn Sie keine Google-Extended-Gruppe haben, und Google-Extended steuert auch das Grounding in den Gemini-Apps. Bei Bing sind Training und Grounding getrennte Einstellungen, ein reiner Training-Opt-out entfernt Sie daher nicht aus den KI-Antworten von Bing.
Was sind die Einstellungen ai-training und ai-grounding von Bing?
Präferenzen auf Seitenebene, die Microsoft am 30. Oktober 2026 angekündigt hat und die ab dem 1. Februar 2027 gelten: <meta name="Bingbot" content="ai-training:disallow"> oder der Header X-Robots-Tag: Bingbot: ai-grounding:disallow. Grounding bedeutet, eine Seite für eine generierte Antwort heranzuziehen. disallowextended behält das Grounding in Microsofts eigenen Produkten bei, schließt aber Grounding-Dienste von Drittanbietern aus. Nach dem 1. März 2027 ersetzen sie NoArchive und NoCache als KI-Signale.
Möchten Sie das ganze Bild sehen?
Die kostenlose Analyse prüft die robots.txt zusammen mit strukturierten Daten, Ladezeit, SEO und KI-Zitierfähigkeit. Wenn Sie die Ergebnisse umsetzen lassen möchten: GE-KO entwickelt und optimiert Websites.