Was die Anbieter nach eigenen Angaben brauchen
Jede Antwortmaschine dokumentiert ihre eigenen Crawler. Die Tabelle nennt den Crawler, der darüber entscheidet, ob eine Website in Antworten erscheinen kann, und was der Anbieter dazu angibt.
| Anbieter | Crawler für Antworten | Was der Anbieter angibt |
|---|---|---|
| Google (AI Overviews, AI Mode) | Googlebot | Eine Seite muss indexiert sein und mit einem Snippet angezeigt werden dürfen. Es gibt keine zusätzlichen Anforderungen, keine speziellen strukturierten Daten und keine neuen maschinenlesbaren Dateien. |
| OpenAI (ChatGPT-Suche) | OAI-SearchBot | Websites, die OAI-SearchBot ausschließen, werden in Antworten der ChatGPT-Suche nicht angezeigt. GPTBot dient nur dem Training und wird unabhängig davon gesteuert. ChatGPT-User ruft Seiten ab, wenn ein Nutzer danach fragt. |
| Anthropic (Claude) | Claude-SearchBot, Claude-User | Das Sperren eines der beiden kann die Sichtbarkeit verringern, und zwar in der Websuche von Claude. ClaudeBot sammelt Trainingsdaten und ist davon getrennt. |
| Perplexity | PerplexityBot | Erlauben Sie ihn in der robots.txt, um in den Ergebnissen von Perplexity zu erscheinen. Er wird nicht zum Training von Basismodellen verwendet. Perplexity-User handelt auf Anfrage eines Nutzers. |
Zwei Details werden leicht übersehen. Ein Abruf im Auftrag eines Nutzers wird anders behandelt als ein Crawler: Laut OpenAI gelten robots.txt-Regeln für ChatGPT-User möglicherweise nicht, und laut Perplexity ignoriert Perplexity-User sie in der Regel. Außerdem wirkt eine Änderung der robots.txt nicht sofort: OpenAI nennt etwa 24 Stunden, bis seine Suchsysteme sie übernehmen.
Zuerst kommt der Zugriff
Kann der Crawler für Antworten eine Seite nicht abrufen, spielt für diese Antwortmaschine nichts anderes auf der Seite eine Rolle. Über den Zugriff entscheiden drei Stellen: die robots.txt, die Firewall oder das CDN vor der Website und die Bot-Regeln des Hosting-Anbieters. Eine Regel, die Trainings-Crawler aussperren soll, trifft oft auch den Such-Crawler desselben Unternehmens, weil die Namen ähnlich aussehen.
Dem Training zu widersprechen und in Antworten sichtbar zu bleiben, sind getrennte Entscheidungen. Wer GPTBot, ClaudeBot oder Google-Extended sperrt, entfernt die Website nicht aus dem jeweiligen Suchprodukt; wer OAI-SearchBot, Claude-SearchBot oder PerplexityBot sperrt, kann genau das bewirken. Der KI-Crawler-Check zeigt den Status jedes Crawlers für eine Domain, und der Ratgeber KI-Crawler und robots.txt erklärt die Regeln Zeile für Zeile.
Snippet-Einstellungen bestimmen, was zitiert werden darf
Google wendet die üblichen Vorschau-Einstellungen auch auf seine KI-Funktionen an. nosnippet verhindert jedes Text-Snippet, max-snippet begrenzt dessen Länge (0 entspricht nosnippet) und data-nosnippet nimmt einen Teil der Seite aus; Google nennt AI Overviews und AI Mode unter den Stellen, an denen sie gelten. Eine Seite, die aus einem anderen Grund nosnippet trägt, hat sich damit auch dagegen entschieden, dort zitiert zu werden.
Strukturierte Daten und FAQ: was sie leisten und was nicht
Strukturierte Daten sagen einer Maschine, wovon eine Seite handelt: von einer Organisation, einem Produkt, einem Artikel. Das nützt jedem System, das die Seite liest. Ein Schalter für KI-Antworten sind sie nicht: Google gibt an, dass seine KI-Funktionen kein spezielles schema.org-Markup benötigen, und seit dem 7. Mai 2026 wird das FAQ-Rich-Suchergebnis in der Google Suche gar nicht mehr angezeigt.
Der Wert eines Abschnitts mit Fragen und Antworten liegt deshalb im Text. Eine Seite, die die Frage so nennt, wie ein Kunde sie stellt, und sie in zwei oder drei einfachen Sätzen beantwortet, lässt sich leicht zitieren; das Markup darum beschreibt nur, was ohnehin dasteht. Der Ratgeber zu strukturierten Daten nennt die Typen, die weiterhin wichtig sind.
llms.txt
llms.txt ist eine vorgeschlagene Markdown-Datei im Stammverzeichnis einer Website, die diese für Sprachmodelle zusammenfasst. Die eigene Website des Formats nennt es einen Vorschlag, und Google gibt an, dass KI-Funktionen keine neuen maschinenlesbaren Dateien benötigen. Sitequiry ruft die Datei ab und meldet, ob sie vorhanden ist; seit dem 10. November 2026 ändert eine fehlende Datei die AEO-Bewertung nicht mehr. Mehr dazu im Ratgeber llms.txt: Was die Datei ist und ob Ihre Website sie braucht.
Wie häufig Sperren sind: unsere Untersuchung von 90 Websites
Ende September 2026 haben wir für die Studie zur Bereitschaft für die KI-Suche die robots.txt und die Seiten von 90 bekannten Websites gelesen:
- 18 von 90 (20 %) sperrten in der robots.txt mindestens einen KI-Crawler. Alle 18 sperrten einen Trainings-Crawler.
- 14 von 90 (16 %) sperrten mindestens einen KI-Crawler für die Suche, und 5 von 90 (6 %) sperrten OAI-SearchBot namentlich.
- 11 von 90 (12 %) sperrten mindestens einen Abruf im Auftrag eines Nutzers.
- 12 von 90 (13 %) hatten eine llms.txt-Datei.
- 50 von 85 auswertbaren Startseiten (59 %) enthielten schema.org-Markup, 30 von 85 (35 %) den Typ Organization oder einen Untertyp. FAQPage-Markup fand sich bei 8 von 83 Websites (10 %) auf mindestens einer analysierten Seite.
Es handelt sich um eine Gelegenheitsstichprobe, überwiegend slowenische und deutsche Websites, und sie sagt nichts darüber, ob eine davon in KI-Antworten zitiert wird. Sie zeigt aber, dass die meisten Websites, die KI-Crawler sperren, auch einen sperren, der für die Suche wichtig ist, ob beabsichtigt oder nicht.
So bewertet Sitequiry AEO
Die AEO-Bewertung beginnt bei 100 und verliert Punkte für fehlende oder einschränkende Signale, darunter: keinerlei strukturierte Daten, kein Organisationstyp, keine FAQ und weniger als zwei als Frage formulierte Überschriften, eine leere Meta-Beschreibung, Snippet-Einstellungen, die das Zitieren untersagen, und robots.txt-Regeln, die den Googlebot oder einen KI-Crawler für die Suche oder für Nutzeranfragen sperren. Trainings-Crawler kosten nie Punkte. Jeder Abzug und seine Höhe stehen auf der Seite Methodik.
Die Bewertung beschreibt die Bereitschaft. Sitequiry misst nicht, ob ein Assistent eine Website erwähnt, zitiert oder empfiehlt.
Häufige Fragen
Unterscheidet sich AEO von SEO?
Größtenteils ist es dieselbe Arbeit, aus Sicht der Maschine betrachtet. Laut Google brauchen Seiten für seine KI-Funktionen nichts Zusätzliches: Sie müssen indexiert sein und mit einem Snippet angezeigt werden dürfen. AEO ergänzt den Blick auf den Zugriff der Crawler anderer Antwortmaschinen und darauf, wie klar eine Seite eine Frage beantwortet.
Sollte ich GPTBot sperren?
Das ist Ihre Entscheidung über das Training, und sie betrifft die ChatGPT-Suche nicht: OpenAI gibt an, dass GPTBot und OAI-SearchBot unabhängig voneinander gesteuert werden. Prüfen Sie, dass die Regel, die Sie schreiben, nicht auch OAI-SearchBot erfasst.
Hilft FAQ-Markup noch?
Es beschreibt Maschinen einen Abschnitt mit Fragen und Antworten, erzeugt in der Google Suche aber kein Rich-Suchergebnis mehr. Setzen Sie es nur dort ein, wo die Seite die Fragen und Antworten wirklich zeigt.
Wie prüfe ich, ob KI-Crawler meine Website erreichen?
Führen Sie den kostenlosen KI-Crawler-Check für die Domain aus. Er liest die robots.txt und führt jeden bekannten Crawler als erlaubt oder gesperrt auf. Eine Firewall oder ein CDN kann einen Crawler trotzdem abweisen, den die robots.txt erlaubt; das sehen Sie in den Protokollen Ihres Servers oder CDN.
Prüfen Sie Ihre AEO-Signale
Eine öffentliche URL, das vollständige Ergebnis und ein Link zum Teilen. Ohne Anmeldung.