KI-Training-Präferenzen: AIPREF, robots.txt und Sichtbarkeit in der KI-Suche

Was sich am 30. Oktober 2026 geändert hat

Kevin Kelley von Anthropic hat im Rahmen der Arbeit der IETF-Gruppe AI Preferences (AIPREF) das Internet-Draft draft-kelley-aipref-training-preference-signal-00 veröffentlicht. Es ist ein individueller Entwurf: Laut IETF Datatracker hat er keinen formalen Status und wird von der IETF nicht unterstützt; er läuft am 3. Mai 2027 ab, sofern er nicht erneuert oder übernommen wird.

Am selben Tag haben Google, Microsoft und OpenAI angekündigt, dass sie die Unterstützung planen, und Anthropic schrieb auf der IETF-Mailingliste, dass es mit der Umsetzung begonnen hat. Zuvor hatte jeder Anbieter ein eigenes Training-Token, sodass eine Website, die aussteigen wollte, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und weitere einzeln aufführen musste.

So funktioniert das gemeinsame Signal

Das Signal ist eine gewöhnliche robots.txt-Gruppe, deren User-agent-Zeile statt eines Crawlers ein Policy-Token nennt. Gesperrte Pfade drücken eine Präferenz gegen KI-Training aus, erlaubte Pfade eine Präferenz dafür. Die Regeln, auf die es ankommt:

• Es ist kein Crawler. Kein Bot meldet sich als __usage_ai-training, und die Gruppe blockiert keinen Besuch. Um das Crawling zu begrenzen, verwenden Sie das Produkt-Token des jeweiligen Crawlers.
• User-agent: * zählt nie. Laut Entwurf darf eine Wildcard-Gruppe nicht als passend zum Policy-Token behandelt werden; User-agent: * mit Disallow: / ist daher eine Crawl-Sperre für alle, keine Trainingspräferenz.
• Keine Gruppe, keine Präferenz. Eine robots.txt ohne das Token sagt nichts aus. Das ist weder ein Opt-out noch eine Erlaubnis; jeder Anbieter wendet dann seine eigenen Regeln an.
• Das Matching folgt RFC 9309: Das Token passt unabhängig von Groß- und Kleinschreibung, aufeinanderfolgende User-agent-Zeilen bilden eine Gruppe, und es entscheidet die längste passende Pfadregel, wobei bei Gleichstand Allow gewinnt.
• Spezifisch schlägt allgemein. Laut Entwurf sollen spezifischere Angaben Vorrang haben, und Anbieter dürfen ihre eigenen Token als spezifischer dokumentieren. Eine eigene Gruppe für GPTBot oder Google-Extended kann die gemeinsame Präferenz für diesen Anbieter daher überschreiben.
• Private Vereinbarungen, etwa ein Lizenzvertrag mit einem KI-Unternehmen, können die Angaben in der robots.txt außer Kraft setzen.

User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Dieses Beispiel schließt die gesamte Website vom Training aus, außer dem Pressebereich: /press-kit/ ist länger als / und entscheidet daher für jede URL darunter.

Crawling, Training und Grounding sind drei verschiedene Fragen

Die meisten robots.txt-Fehler im Umgang mit KI entstehen, weil diese Fragen vermischt werden. Das gemeinsame Signal beantwortet nur die zweite.

Was jeder Anbieter angekündigt hat

Keiner der vier unterstützt das Signal bisher. Ihre Aussagen unterscheiden sich im Zeitplan und darin, wie das gemeinsame Token mit den eigenen Steuerungen zusammenspielt.

Bis zum 31. Oktober 2026 haben wir keine Ankündigung von Apple, Meta, Amazon, Perplexity, ByteDance oder Common Crawl gefunden. Deren eigene Token (Applebot-Extended, meta-externalagent, Amazonbot, CCBot, Bytespider) bleiben der einzige Weg, sie in der robots.txt anzusprechen.

Google-Extended: der Zielkonflikt zwischen Training und Gemini-Apps

Google-Extended ist kein Crawler. Es teilt Google mit, ob von Googlebot abgerufene Seiten zum Training von Gemini-Modellen und zur Fundierung (Grounding) von Antworten in den Gemini-Apps sowie in Grounding with Google Search in Vertex AI verwendet werden dürfen. Laut der Crawler-Dokumentation von Google hat es keinen Einfluss auf Aufnahme oder Ranking in Google Search.

Beide Verwendungen gehören zusammen. Wenn Sie Google-Extended sperren, steigen Sie aus Gemini-Training und Grounding der Gemini-Apps gemeinsam aus; wenn Sie es erlauben, erlauben Sie beides. Sobald Google das gemeinsame Token liest, hat ein Training-Opt-out ohne Google-Extended-Gruppe dieselbe Wirkung wie das Sperren von Google-Extended. Wenn die Gemini-Apps Ihre Seiten weiter nutzen sollen, ergänzen Sie eine eigene Gruppe:

User-agent: __usage_ai-training
Disallow: /

# Google: Grounding in den Gemini-Apps beibehalten (erlaubt auch das Gemini-Training)
User-agent: Google-Extended
Allow: /

AI Overviews und AI Mode sind Teil von Google Search und nutzen den Googlebot-Index. Um sie zu begrenzen, verwenden Sie nosnippet, max-snippet oder data-nosnippet, was auch normale Snippets betrifft.

Bing: Training und Grounding auf Seitenebene

Microsoft liest das gemeinsame Token in der robots.txt für das Training und ergänzt zwei Präferenzen auf Seitenebene, die für Bingbot gelten. Eine websiteweite Grounding-Regel in der robots.txt gibt es nicht, und ein Trainingswert auf Seitenebene überschreibt die robots.txt für diese Seite.

• allow ist bei beiden der Standard. disallow beim Training schließt die Seite vom Training generativer Modelle aus; beim Grounding hindert es Microsoft daran, die Seite für generierte Antworten heranzuziehen.
• disallowextended gibt es nur für das Grounding. Es erhält das Grounding in Microsofts eigenen Angeboten (Copilot, Bings AI Mode und AI Overview, Microsoft 365) und schließt Grounding-Dienste Dritter aus, die auf Bing aufbauen.
• 15. Dezember 2026: Websites, die NoArchive oder NoCache verwenden, können in den Bing Webmaster Tools eine vorläufige Grounding-Präferenz hinterlegen.
• 1. Februar 2027: Die neuen Präferenzen werden wirksam, sobald Seiten gecrawlt werden. Wo sie auf einer Website gefunden werden, gelten NoArchive und NoCache dieser Website nicht mehr als KI-Präferenzen.
• 1. März 2027: NoArchive und NoCache zählen überhaupt nicht mehr als Trainings- oder Grounding-Präferenz.
• 30. September 2027: Vorläufige Grounding-Präferenzen laufen aus, oder früher, wenn ein erneutes Crawling den eigenen ai-grounding-Wert der Seite findet.
• Nichts davon ändert den Crawl-Zugriff von Bingbot oder die Eignung für die Bing-Suche.

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

X-Robots-Tag: Bingbot: ai-grounding:disallow

Häufige Fehler

• User-agent: * mit Disallow: / als KI-Opt-out verwenden. Das sperrt Googlebot, Bingbot und jeden anderen Crawler ohne eigene Gruppe, und es ist trotzdem keine Trainingspräferenz.
• Das Token falsch schreiben. __usage-ai-training, _usage_ai-training oder usage_ai-training passen auf nichts, sodass die Datei keine Präferenz ausdrückt.
• Das Token in dieselbe Gruppe wie einen Such-Crawler setzen. User-agent: Googlebot, direkt gefolgt von User-agent: __usage_ai-training und Disallow: /, sperrt Googlebot für die gesamte Website.
• Erwarten, dass ein Training-Opt-out Sie aus Antworten der ChatGPT-Suche, von Claude oder Perplexity entfernt. Diese nutzen ihre Such-Bots; nur das Sperren von OAI-SearchBot, Claude-SearchBot oder PerplexityBot bewirkt das.
• Per gemeinsamem Token aus dem Training aussteigen und annehmen, die Gemini-Apps würden Sie weiterhin zitieren. Ohne eigene Google-Extended-Gruppe plant Google, es als Sperre von Google-Extended zu lesen.
• Widersprüchliche Gruppen stehen lassen, etwa ein gemeinsames Opt-out neben einem alten User-agent: GPTBot mit Allow: /. Die spezifische Gruppe setzt sich für diesen Anbieter wahrscheinlich durch.
• Sich nach dem 1. März 2027 auf NoArchive oder NoCache verlassen, um Bings KI-Nutzung zu begrenzen.

Was das für SEO, AEO und GEO bedeutet

Für klassisches SEO ist der Effekt nach den Aussagen der Anbieter selbst gleich null: Google sagt, Google-Extended wirke sich nicht auf Search aus, und Microsoft sagt, die Eignung für die Bing-Suche bleibe unverändert. Ein Training-Opt-out ist eine geschäftliche Entscheidung über Ihre Inhalte, kein Ranking-Faktor; deshalb senkt Sitequiry keinen Score, weder wenn eine Website kein Opt-out hat noch wenn sie eines hat.

Bei der Sichtbarkeit in KI-Antworten hängt es vom Anbieter ab. Antworten in der ChatGPT-Suche, bei Claude und bei Perplexity hängen von deren Such-Bots ab, die das Trainingssignal nicht berührt. Die Gemini-Apps hängen von Google-Extended ab, das das gemeinsame Opt-out abschaltet, solange Sie keine eigene Gruppe ergänzen. Bings KI-Antworten hängen vom seitenbezogenen Grounding-Wert ab, der vom Training getrennt ist.

Konfiguration prüfen

Der kostenlose KI-Crawler-Check liest Ihre robots.txt und Startseite und zeigt den Crawler-Zugriff, Ihre gemeinsame Trainingspräferenz mit den entscheidenden Zeilen, Ihre Gruppen für Google-Extended, GPTBot und ClaudeBot, die Bing-Werte Ihrer Startseite sowie Warnungen zu den oben genannten Konflikten. Sein Generator schreibt die Gruppe __usage_ai-training mit Pfadausnahmen, ohne die Regeln für Googlebot oder Bingbot anzutasten.

Prüfen Sie Anfang 2027 erneut, wenn Google und Microsoft das Signal auszuwerten beginnen, und vor dem 1. März 2027, wenn Sie sich bei Bing auf NoArchive oder NoCache stützen.

Häufige Fragen