Preference za učenje AI: AIPREF, robots.txt in vidnost v AI iskanju

Kaj se je spremenilo 30. oktobra 2026

Kevin Kelley iz podjetja Anthropic je v okviru dela skupine IETF AI Preferences (AIPREF) objavil Internet-Draft draft-kelley-aipref-training-preference-signal-00. Gre za individualni osnutek: datatracker IETF navaja, da nima formalnega statusa in ga IETF ne podpira, njegova veljavnost pa poteče 3. maja 2027, razen če ga obnovijo ali sprejmejo.

Istega dne so Google, Microsoft in OpenAI napovedali, da ga nameravajo podpreti, Anthropic pa je na poštnem seznamu IETF zapisal, da ga je začel uvajati. Prej je imel vsak ponudnik svoj žeton za učenje, zato je moralo spletno mesto, ki je hotelo učenje izključiti, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended in druge navesti posamično.

Kako deluje skupni signal

Signal je navadna skupina v robots.txt, katere vrstica user-agent ne poimenuje pajka, temveč žeton pravilnika. Prepovedane poti izražajo preferenco proti učenju AI, dovoljene poti pa preferenco za. Pravila, ki štejejo:

• Ni pajek. Noben bot se ne predstavlja kot __usage_ai-training in skupina ne prepreči nobenega obiska. Za omejitev pajkanja uporabite žeton izdelka samega pajka.
• User-agent: * nikoli ne šteje. Osnutek pravi, da se skupine z nadomestnim znakom ne sme obravnavati kot ujemajoče z žetonom pravilnika, zato je User-agent: * z Disallow: / blokada pajkanja za vse, ne preferenca glede učenja.
• Brez skupine ni preference. Datoteka robots.txt brez žetona ne navaja ničesar. To ni niti izključitev niti dovoljenje; vsak ponudnik nato uporabi svoja pravila.
• Ujemanje sledi RFC 9309: žeton se ujema ne glede na velike ali male črke, zaporedne vrstice User-agent si delijo eno skupino, odloča pa najdaljše ujemajoče se pravilo poti, pri enaki dolžini zmaga Allow.
• Specifično prevlada nad splošnim. Osnutek navaja, da naj imajo bolj specifični izrazi prednost, ponudniki pa lahko svoje žetone dokumentirajo kot bolj specifične. Vaša skupina GPTBot ali Google-Extended zato lahko za tistega ponudnika preglasi skupno preferenco.
• Zasebni dogovori, na primer licenčna pogodba s podjetjem za AI, lahko preglasijo to, kar piše v robots.txt.

User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Ta primer iz učenja izključi celotno spletno mesto, razen medijskega kompleta (press kit): /press-kit/ je daljša od /, zato odloča za vse naslove pod njo.

Pajkanje, učenje in grounding so tri različna vprašanja

Večina napak v robots.txt pri AI nastane zaradi mešanja teh vprašanj. Skupni signal odgovarja le na drugo.

Kaj je napovedal posamezen ponudnik

Nobeden od štirih signala še ne podpira. Izjave se razlikujejo po časovnici in po tem, kako skupni žeton deluje skupaj z njihovimi lastnimi nadzori.

Do 31. oktobra 2026 nismo našli napovedi podjetij Apple, Meta, Amazon, Perplexity, ByteDance ali Common Crawl. Njihovi lastni žetoni (Applebot-Extended, meta-externalagent, Amazonbot, CCBot, Bytespider) ostajajo edini način, da jih v robots.txt nagovorite.

Google-Extended: kompromis med učenjem in Gemini Apps

Google-Extended ni pajek. Googlu pove, ali se strani, ki jih je prenesel Googlebot, smejo uporabiti za učenje modelov Gemini ter za utemeljevanje (grounding) odgovorov v Gemini Apps in v Grounding with Google Search v Vertex AI. Dokumentacija pajkov pravi, da ne vpliva na vključitev ali uvrstitev v Google Search.

Obe uporabi sta povezani. Če Google-Extended blokirate, hkrati izključite učenje Gemini in grounding v Gemini Apps; če ga dovolite, dovolite oboje. Ko bo Google bral skupni žeton, bo imela izključitev učenja brez skupine Google-Extended enak učinek kot blokada Google-Extended. Če želite, da Gemini Apps še naprej uporabljajo vaše strani, dodajte lastno skupino:

User-agent: __usage_ai-training
Disallow: /

# Google: ohrani grounding v Gemini Apps (to dovoli tudi učenje Gemini)
User-agent: Google-Extended
Allow: /

AI Overviews in AI Mode sta del Google Search in uporabljata indeks Googlebota. Za omejitev uporabite nosnippet, max-snippet ali data-nosnippet, kar vpliva tudi na običajne izseke.

Bing: učenje in grounding na ravni strani

Microsoft za učenje bere skupni žeton v robots.txt in dodaja dve preferenci na ravni strani, ki veljata za Bingbot. V robots.txt ni pravila za grounding za celotno spletno mesto, vrednost za učenje na ravni strani pa za to stran preglasi robots.txt.

• allow je privzeta vrednost za oboje. disallow pri učenju stran izključi iz učenja generativnih modelov; pri groundingu Microsoftu prepreči, da bi stran uporabil pri oblikovanju generiranih odgovorov.
• disallowextended obstaja samo za grounding. Ohrani grounding v Microsoftovih lastnih izkušnjah (Copilot, Bingov AI Mode in AI Overview, Microsoft 365) in izključi zunanje storitve groundinga, zgrajene na Bingu.
• 15. decembra 2026: spletna mesta, ki uporabljajo NoArchive ali NoCache, lahko v Bing Webmaster Tools zabeležijo začasno preferenco za grounding.
• 1. februarja 2027: nove preference začnejo veljati ob pajkanju strani. Kjer jih najdemo na spletnem mestu, se NoArchive in NoCache na tem mestu ne berejo več kot preference za AI.
• 1. marca 2027: NoArchive in NoCache sploh ne štejeta več kot preferenci za učenje ali grounding.
• 30. septembra 2027: začasne preference za grounding potečejo, ali prej, ko ponovno pajkanje najde vrednost ai-grounding same strani.
• Nič od tega ne spreminja Bingbotovega dostopa do pajkanja ali upravičenosti za Bingovo iskanje.

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

X-Robots-Tag: Bingbot: ai-grounding:disallow

Pogoste napake

• Uporaba User-agent: * z Disallow: / kot izključitve AI. Blokira Googlebot, Bingbot in vse druge pajke brez lastne skupine, pa še vedno ni preferenca glede učenja.
• Napačno črkovan žeton. __usage-ai-training, _usage_ai-training ali usage_ai-training se ne ujemajo z ničemer, zato datoteka ne navaja nobene preference.
• Žeton v isti skupini kot iskalni pajek. User-agent: Googlebot, takoj za njim User-agent: __usage_ai-training in Disallow: /, Googlebotu blokira celotno spletno mesto.
• Pričakovanje, da vas izključitev učenja odstrani iz odgovorov ChatGPT Search, Claude ali Perplexity. Ti uporabljajo svoje iskalne bote; to naredi samo blokada OAI-SearchBot, Claude-SearchBot ali PerplexityBot.
• Izključitev učenja prek skupnega žetona ob domnevi, da vas bo Gemini Apps še navajal. Brez lastne skupine Google-Extended Google načrtuje, da ga bo bral kot blokado Google-Extended.
• Puščanje nasprotujočih si skupin, na primer skupne izključitve ob stari skupini User-agent: GPTBot z Allow: /. Specifična skupina bo za tega ponudnika verjetno prevladala.
• Zanašanje na NoArchive ali NoCache za omejitev uporabe AI v Bingu po 1. marcu 2027.

Kaj to pomeni za SEO, AEO in GEO

Za klasični SEO je učinek po izjavah samih ponudnikov ničen: Google pravi, da Google-Extended ne vpliva na Search, Microsoft pa, da se upravičenost za Bingovo iskanje ne spremeni. Izključitev učenja je poslovna odločitev o vaši vsebini, ne dejavnik uvrstitve, zato Sitequiry ne zniža nobene ocene, ne glede na to, ali ima spletno mesto izključitev ali je nima.

Pri vidnosti v odgovorih AI je odvisno od ponudnika. Odgovori v ChatGPT Search, Claude in Perplexity so odvisni od njihovih iskalnih botov, ki jih signal za učenje ne zadeva. Gemini Apps so odvisne od Google-Extended, ki ga bo skupna izključitev izklopila, če ne dodate lastne skupine. Bingovi odgovori AI so odvisni od vrednosti groundinga na ravni strani, ki je ločena od učenja.

Preverite svojo konfiguracijo

Brezplačni preverjalnik AI pajkov prebere vaš robots.txt in domačo stran ter prikaže dostop pajkov, vašo skupno preferenco glede učenja z odločilnimi vrsticami, vaše skupine Google-Extended, GPTBot in ClaudeBot, Bingove vrednosti na domači strani ter opozorila za zgornje konflikte. Njegov generator zapiše skupino __usage_ai-training z izjemami poti, ne da bi se dotaknil pravil za Googlebot ali Bingbot.

Preverite znova v začetku leta 2027, ko bosta Google in Microsoft začela brati signal, in pred 1. marcem 2027, če se za Bing zanašate na NoArchive ali NoCache.

Pogosta vprašanja