Prüfen Sie, welche KI-Crawler auf Ihre Website zugreifen dürfen
Geben Sie Ihre Domain ein und sehen Sie, welche KI-Crawler Ihre robots.txt zulässt oder blockiert, darunter GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended. Such-Crawler entscheiden, ob Ihre Seiten in KI-Antworten verwendet werden können, Trainings-Crawler nur, ob Ihre Inhalte zum Training von Modellen genutzt werden dürfen. Jedes Ergebnis zeigt die Zeile der robots.txt, die darüber entscheidet, und einen Ausschnitt zum Kopieren, mit dem Sie das ändern können.
Welche KI-Crawler gibt es, und was bewirkt eine Sperre jeweils?
KI-Anbieter betreiben verschiedene Crawler für verschiedene Aufgaben, und jeder hat in der robots.txt seinen eigenen Namen. Der häufigste Fehler ist, den falschen zu sperren: Das kann Ihre Seiten aus KI-Antworten heraushalten oder gar nichts bewirken.
Such-Crawler bauen den Index hinter den Antworten auf
OAI-SearchBot (ChatGPT-Suche), Claude-SearchBot, PerplexityBot, DuckAssistBot und Amzn-SearchBot finden Seiten, die sie in der KI-Suche anzeigen und verlinken. Googlebot und Bingbot bauen die Indizes von Google und Bing auf, aus denen Google AI Overviews, Google AI Mode und die KI-Antworten von Microsoft schöpfen. Wer einen Such-Crawler sperrt, erscheint im jeweiligen Produkt voraussichtlich nicht.
Nutzerausgelöste Abrufe lesen eine Seite auf Anfrage
ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher und Amzn-User laden eine Seite, weil jemand einen Assistenten danach gefragt hat. Anthropic dokumentiert, dass Claude-User die robots.txt befolgt; OpenAI, Perplexity, Meta und Amazon geben an, dass ihre Abrufe das möglicherweise nicht tun.
Trainings-Crawler speisen künftige Modelle
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot und Bytespider sammeln öffentliche Seiten für das Modelltraining oder steuern, ob sie dafür genutzt werden dürfen. Sie zu sperren ist eine unternehmerische Entscheidung, keine SEO-Pflicht, und entfernt Sie nicht aus der KI-Suche. Google-Extended und Applebot-Extended sind Steuerungs-Token, die nicht crawlen.
So beheben Sie es: eine robots.txt zum Kopieren
Wählen Sie aus, was Sie möchten, kopieren Sie das Ergebnis und fügen Sie es in die robots.txt im Stammverzeichnis Ihrer Website ein. Behalten Sie Ihre bestehenden Regeln und bearbeiten Sie eine vorhandene Gruppe für denselben Bot, statt eine zweite hinzuzufügen.
# KI-Such-Crawler: erlaubt
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /
# Nutzerausgelöste Abrufe: erlaubt
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /- Wenn eine Regel „User-agent: *“ alles sperrt, lassen die erlaubten Gruppen diese Bots trotzdem herein. Googlebot und Bingbot bleiben unter Ihren normalen Regeln.
- Ein Bot mit eigener Gruppe ignoriert die Gruppe „User-agent: *“ vollständig; übernehmen Sie daher Pfadregeln (zum Beispiel Disallow: /wp-admin/) in dessen Gruppe, wenn sie für diesen Bot weiter gelten sollen.
- Crawler lesen die robots.txt nur von Zeit zu Zeit neu, daher kann es einen Tag oder länger dauern, bis eine Änderung greift. Eine Sperre von Trainings-Crawlern entfernt Sie nicht aus der KI-Suche; die Sperre von Such-Crawlern verringert dagegen Ihre Chance, in KI-Antworten verwendet zu werden.
- Wenn ein Bot hier erlaubt ist, aber nie vorbeischaut, prüfen Sie die Bot-Einstellungen Ihres CDN, der Hosting-Firewall und Ihrer Sicherheits-Plugins: Manche sperren KI-Crawler standardmäßig.
Die Crawler, die wir prüfen
Der Check umfasst 21 Crawler von KI- und Suchanbietern. Rollen und robots.txt-Verhalten folgen der Dokumentation der jeweiligen Anbieter, zuletzt geprüft am 2. Oktober 2026.
| Crawler (Name in der robots.txt) | Anbieter | Rolle | Befolgt die robots.txt? | Dokumentation des Anbieters |
|---|---|---|---|---|
Googlebot |
Suchindex | Ja, laut Anbieter | Dokumentation | |
Bingbot |
Microsoft | Suchindex | Ja, laut Anbieter | Dokumentation |
Applebot |
Apple | Suchindex | Ja, laut Anbieter | Dokumentation |
OAI-SearchBot |
OpenAI | Suchindex | Ja, laut Anbieter | Dokumentation |
Claude-SearchBot |
Anthropic | Suchindex | Ja, laut Anbieter | Dokumentation |
PerplexityBot |
Perplexity | Suchindex | Ja, laut Anbieter | Dokumentation |
DuckAssistBot |
DuckDuckGo | Suchindex | Ja, laut Anbieter | Dokumentation |
Amzn-SearchBot |
Amazon | Suchindex | Ja, laut Anbieter | Dokumentation |
ChatGPT-User |
OpenAI | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
Claude-User |
Anthropic | Nutzerausgelöster Abruf | Ja, laut Anbieter | Dokumentation |
Perplexity-User |
Perplexity | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
meta-externalfetcher |
Meta | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
Amzn-User |
Amazon | Nutzerausgelöster Abruf | Möglicherweise nicht (nutzerausgelöst) | Dokumentation |
GPTBot |
OpenAI | Modelltraining | Ja, laut Anbieter | Dokumentation |
ClaudeBot |
Anthropic | Modelltraining | Ja, laut Anbieter | Dokumentation |
Google-Extended |
Modelltraining | Ja, laut Anbieter | Dokumentation | |
Applebot-Extended |
Apple | Modelltraining | Ja, laut Anbieter | Dokumentation |
meta-externalagent |
Meta | Modelltraining | Ja, laut Anbieter | Dokumentation |
Amazonbot |
Amazon | Modelltraining | Ja, laut Anbieter | Dokumentation |
CCBot |
Common Crawl | Modelltraining | Ja, laut Anbieter | Dokumentation |
Bytespider |
ByteDance | Modelltraining | Umstritten | Nicht veröffentlicht |
Was dieser Check aussagt und was nicht
- Er liest die Regeln der robots.txt so, wie unser Check sie erhalten hat. Eine Website kann verschiedenen Besuchern unterschiedliche Dateien zeigen, und eine Firewall oder ein CDN kann einen Crawler sperren, bevor er die robots.txt überhaupt liest.
- Die robots.txt ist eine Bitte, keine Durchsetzung. Seriöse Crawler befolgen sie; nutzerausgelöste Abrufe möglicherweise nicht, und manche Crawler ignorieren sie Berichten zufolge.
- Wir messen nicht, ob ein KI-Produkt Ihre Website tatsächlich crawlt, zitiert oder anzeigt. Erlaubt bedeutet Bereitschaft, nicht Sichtbarkeit.
- Rollen und Regeln folgen der Dokumentation der jeweiligen Anbieter, zuletzt geprüft am 2. Oktober 2026. Anbieter fügen Crawler hinzu oder benennen sie um; prüfen Sie Ihre Datei daher mindestens zweimal im Jahr.
Fragen zu KI-Crawlern und robots.txt
Sollte ich GPTBot blockieren?
Das hängt davon ab, ob Sie möchten, dass OpenAI Ihre öffentlichen Seiten für das Training von Modellen nutzt. GPTBot ist der Trainings-Crawler von OpenAI, und eine Sperre nimmt Ihre Seiten vom Training künftiger Modelle aus. Das ist eine unternehmerische Entscheidung, keine SEO-Pflicht, und sie wirkt sich nicht auf Google-Rankings aus. Wenn Ihre Inhalte Modellen helfen sollen, Ihre Marke zu kennen, können Sie ihn zulassen.
Verschwinde ich aus der ChatGPT-Suche, wenn ich GPTBot blockiere?
Nein. Die ChatGPT-Suche nutzt einen anderen Crawler, OAI-SearchBot, und Seiten, die ChatGPT auf Wunsch eines Nutzers öffnet, ruft ChatGPT-User ab. Die Sperre von GPTBot betrifft nur das Training. Erst die Sperre von OAI-SearchBot führt dazu, dass Ihre Seiten in den ChatGPT-Suchergebnissen voraussichtlich nicht erscheinen.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt öffentliche Seiten, die zum Training der generativen Modelle von OpenAI verwendet werden können. OAI-SearchBot findet Seiten, die ChatGPT in seinen Suchfunktionen anzeigt und verlinkt. Es sind getrennte Namen in der robots.txt, daher können Sie einen erlauben und den anderen sperren.
Welche Crawler muss ich erlauben, um in KI-Antworten zu erscheinen?
Erlauben Sie die Such-Crawler: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot sowie Googlebot und Bingbot, die die Indizes aufbauen, aus denen die KI-Antworten von Google und Microsoft schöpfen. Damit können Ihre Seiten verwendet werden, garantiert ist es nicht: Die robots.txt entscheidet nur, ob ein Bot crawlen darf, nicht, ob jemand Sie zitiert.
Reicht die robots.txt, um KI-Crawler fernzuhalten?
Nein. Sie ist eine Bitte, der seriöse Crawler folgen, keine Durchsetzung. Nutzerausgelöste Abrufe können sie ignorieren, und manche Crawler tun es Berichten zufolge ebenfalls. Verlässlicher sperren Sie einen Bot mit einer Firewall- oder CDN-Regel. Bedenken Sie dabei, dass die Sperre eines Such-Crawlers Sie auch aus diesem Produkt heraushält.
Verschwinde ich aus Google AI Overviews, wenn ich Google-Extended blockiere?
Nein. Google-Extended ist ein Steuerungs-Token für Training und Grounding von Gemini. AI Overviews und AI Mode nutzen den normalen Google-Suchindex, den Googlebot crawlt, und laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Suche oder das Ranking. Um die Darstellung dort einzuschränken, nutzen Sie Vorschau-Steuerungen wie nosnippet oder max-snippet, die auch normale Snippets betreffen.
Möchten Sie das ganze Bild sehen?
Die kostenlose Analyse prüft die robots.txt zusammen mit strukturierten Daten, Ladezeit, SEO und KI-Zitierfähigkeit. Wenn Sie die Ergebnisse umsetzen lassen möchten: GE-KO entwickelt und optimiert Websites.