Preverite, kateri AI pajki lahko dostopajo do vaše spletne strani
Vnesite domeno in poglejte, katere AI pajke vaša datoteka robots.txt dovoljuje ali blokira, med njimi GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot in Google-Extended, ter katero nastavitev učenja AI navaja. Pajki za iskanje odločajo, ali se vaše strani lahko uporabijo v AI odgovorih; pajki za učenje in nov skupni signal za učenje AI (__usage_ai-training) pa izražajo le, ali se vaša vsebina sme uporabiti za učenje modelov. Vsak rezultat pokaže vrstico v robots.txt, ki o tem odloča, in kodo, ki jo lahko kopirate za spremembo.
Kateri AI pajki obstajajo in kaj naredi blokada posamezne vrste?
AI podjetja za različna opravila uporabljajo različne pajke, vsak pa ima svoje ime v robots.txt. Običajna napaka je blokada napačnega: lahko vaše strani izloči iz AI odgovorov ali pa sploh nima učinka.
Pajki za iskanje gradijo indeks, na katerem temeljijo odgovori
OAI-SearchBot (iskanje v ChatGPT), Claude-SearchBot, PerplexityBot, DuckAssistBot in Amzn-SearchBot poiščejo strani, ki jih AI iskanje prikaže in poveže. Googlebot in Bingbot gradita Googlov in Bingov indeks, na katerih temeljijo Googlovi funkciji AI Overviews in AI Mode ter Microsoftovi AI odgovori. Blokada pajka za iskanje pomeni, da se vaše strani v tem izdelku verjetno ne bodo pojavile.
Pajki na zahtevo uporabnika preberejo eno stran
ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher in Amzn-User naložijo stran, ker je oseba o njej vprašala asistenta. Anthropic navaja, da Claude-User robots.txt upošteva; OpenAI, Perplexity, Meta in Amazon navajajo, da njihovi pajki morda ne.
Pajki za učenje zbirajo podatke za prihodnje modele
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot in Bytespider zbirajo javne strani za učenje modelov ali nadzirajo, ali se smejo za to uporabiti. Blokada je poslovna odločitev, ni zahteva SEO, vas pa ne odstrani iz AI iskanja. Google-Extended in Applebot-Extended sta nadzorna žetona, ki ne pajkata.
Skupni signal za učenje AI je nastavitev, ne pajek
30. oktobra 2026 je osnutek IETF (Internet-Draft) predlagal eno skupino v robots.txt za vse ponudnike AI: User-agent: __usage_ai-training. Disallow v njej izraža željo proti učenju modelov, Allow željo zanj, brez skupine pa ni izražena nobena. Ne blokira pajkanja, User-agent: * pa se nikoli ne šteje kot ta nastavitev. Google in Microsoft ga nameravata brati od 2027, OpenAI in Anthropic sta podporo napovedala; gre za osnutek, ne za dokončan standard.
Popravek: robots.txt, ki ga lahko kopirate
Izberite, kaj želite, kopirajte kodo in jo dodajte v robots.txt v korenu svoje strani. Obstoječa pravila ohranite, obstoječo skupino za istega bota pa raje uredite, namesto da dodate drugo.
Katera nastavitev ustreza vašemu cilju?
- Želim več vidnosti v AI iskanju Dovolite AI pajke za iskanje in pajke na zahtevo uporabnika, Googlebot in Bingbot pustite odprta ter dodajte zemljevid strani (sitemap). Nastavitev učenja ni obvezna in ne spremeni dostopa za iskanje.
- Nočem, da se moja vsebina uporablja za učenje generativnih modelov Blokirajte pajke ponudnikov za učenje in navedite skupno nastavitev proti učenju. Pajki za iskanje ostanejo dovoljeni. Google-Extended pokriva tudi utemeljevanje v Gemini Apps, podpore za skupni signal pa niso napovedali vsi ponudniki.
-
Dovoli utemeljevanje v AI odgovorih, ne pa učenja
Navedite skupno nastavitev proti učenju ter blokirajte GPTBot, ClaudeBot in druge pajke za učenje, Google-Extended pa dajte Allow, da lahko Gemini Apps še vedno utemeljuje odgovore (to dovoli tudi učenje Gemini). Pri Bingu sta učenje in utemeljevanje ločeni vrednosti na ravni strani: samo
ai-training:disallowpusti utemeljevanje dovoljeno. - Želim razumeti, kaj že imam Zgoraj preverite svojo domeno: rezultat navede dostop pajkov, vašo nastavitev učenja AI, ob njej skupine ponudnikov in vrednosti Bing na vaši začetni strani.
# AI pajki za iskanje: dovoljeni
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /
# Pajki na zahtevo uporabnika: dovoljeni
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /
- V skupni nastavitvi dovoljujete učenje, a blokirate pajke ponudnikov za učenje. Osnutek določa, da imajo prednost specifične skupine, zato pričakujte, da bodo za te ponudnike veljale blokade GPTBot, ClaudeBot in Google-Extended.
- Če nimate skupine Google-Extended, Google od začetka 2027 to odjavo načrtuje brati kot blokado Google-Extended. To Gemini Apps prepreči tudi utemeljevanje odgovorov na vaših straneh. Če to želite ohraniti, obkljukajte »Dovoli Google-Extended (ohrani utemeljevanje v Gemini Apps)«.
- Dovolitev Google-Extended ohrani utemeljevanje v Gemini Apps, a dovoli tudi učenje Gemini. Google upošteva lastno skupino Google-Extended, ne skupne nastavitve.
- Blokada Google-Extended pomeni odjavo od učenja Gemini in prepreči tudi utemeljevanje v Gemini Apps. Iskanje Google, AI Overviews in AI Mode to ne prizadene.
- Če pravilo »User-agent: *« blokira vse, dovoljene skupine tem pajkom vseeno omogočijo dostop. Googlebot in Bingbot ostaneta pod vašimi običajnimi pravili.
- Bot, ki ima lastno skupino, skupino »User-agent: *« povsem prezre, zato v njegovo skupino prepišite morebitna pravila za poti (na primer Disallow: /wp-admin/), če naj zanj še vedno veljajo.
- Pajki robots.txt ponovno preberejo le občasno, zato lahko traja dan ali več, da sprememba začne veljati. Blokada učenja vas ne odstrani iz AI iskanja, blokada pajkov za iskanje pa zmanjša možnost, da vas uporabijo v AI odgovorih.
- Če je bot tu dovoljen, pa vas nikoli ne obišče, preverite nastavitve botov v CDN-ju, požarnem zidu gostovanja in varnostnih vtičnikih: nekateri AI pajke privzeto blokirajo.
- Vsak blok prilepite za zadnje pravilo svoje datoteke, ne neposredno pod drugo vrstico User-agent: zaporedne vrstice User-agent tvorijo eno skupino in pravila bi veljala za obe.
- Nastavitev je prošnja. Google in Microsoft skupni signal načrtujeta brati od 2027, OpenAI in Anthropic sta podporo napovedala, a drugi ponudniki AI ga lahko prezrejo, zasebni dogovori pa ga lahko razveljavijo.
Nastavitve na ravni strani za Bing
Microsoft od 1. februarja 2027 bere nastavitve učenja AI in utemeljevanja (grounding) AI za posamezno stran, v meta oznaki ali glavi HTTP. V robots.txt ni pravila za utemeljevanje za celotno spletno mesto; vrednost učenja na ravni strani za to stran prevlada nad robots.txt.
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">
X-Robots-Tag: Bingbot: ai-training:disallow
X-Robots-Tag: Bingbot: ai-grounding:disallow
Vrednosti: allow (privzeto), disallow, pri utemeljevanju pa tudi disallowextended (samo Microsoftove lastne izkušnje, kot so Copilot, Bingovi AI odgovori in Microsoft 365, brez zunanjih storitev utemeljevanja). NoArchive in NoCache se kot nastavitvi AI nehata upoštevati 1. marca 2027; spletna mesta, ki sta ju uporabljala, lahko od 15. decembra 2026 v Bing Webmaster Tools zabeležijo začasno nastavitev utemeljevanja, ki velja najdlje do 30. septembra 2027.
Pajki, ki jih preverjamo
Preverjamo 21 pajkov podjetij za AI in iskanje. Vloge in obnašanje glede robots.txt sledijo dokumentaciji posameznih ponudnikov (nazadnje preverjeno: 2. oktobra 2026).
| Pajek (ime v robots.txt) | Ponudnik | Vloga | Upošteva robots.txt? | Dokumentacija ponudnika |
|---|---|---|---|---|
Googlebot |
Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija | |
Bingbot |
Microsoft | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
Applebot |
Apple | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
OAI-SearchBot |
OpenAI | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
Claude-SearchBot |
Anthropic | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
PerplexityBot |
Perplexity | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
DuckAssistBot |
DuckDuckGo | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
Amzn-SearchBot |
Amazon | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
ChatGPT-User |
OpenAI | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
Claude-User |
Anthropic | Branje na zahtevo uporabnika | Da, po navedbah ponudnika | Dokumentacija |
Perplexity-User |
Perplexity | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
meta-externalfetcher |
Meta | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
Amzn-User |
Amazon | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
GPTBot |
OpenAI | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
ClaudeBot |
Anthropic | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
Google-Extended |
Učenje modelov | Da, po navedbah ponudnika | Dokumentacija | |
Applebot-Extended |
Apple | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
meta-externalagent |
Meta | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
Amazonbot |
Amazon | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
CCBot |
Common Crawl | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
Bytespider |
ByteDance | Učenje modelov | Sporno | Ni objavljena |
Kaj to preverjanje pove in česa ne
- Prebere pravila v robots.txt, kot jih je prejelo naše orodje. Stran lahko različnim obiskovalcem postreže z različnimi datotekami, požarni zid ali CDN pa lahko pajka blokira, še preden prebere robots.txt.
- Robots.txt je prošnja, ne prisila. Ugledni pajki ga upoštevajo; pajki na zahtevo uporabnika morda ne, nekateri drugi pajki pa ga po poročilih ignorirajo.
- Ne merimo, ali kateri AI izdelek vašo stran dejansko pajka, navaja ali prikazuje. Dovoljeno pomeni pripravljenost, ne vidnost.
- Vloge in pravila sledijo dokumentaciji posameznih ponudnikov (nazadnje preverjeno: 2. oktobra 2026). Ponudniki dodajajo in preimenujejo pajke, zato datoteko pregledajte vsaj dvakrat na leto.
- Nastavitve učenja in utemeljevanja AI so izjave o tem, kaj želite, prebrane iz robots.txt in vaše začetne strani. Ne vidimo, ali jih ponudnik že upošteva: podpora za skupni signal je napovedana, še ne deluje.
Vprašanja o AI pajkih in robots.txt
Ali naj blokiram GPTBot?
Odvisno od tega, ali želite, da OpenAI vaše javne strani uporablja za učenje modelov. GPTBot je pajek OpenAI za učenje, z blokado pa svoje strani izločite iz učenja prihodnjih modelov. To je poslovna odločitev in ni zahteva SEO, prav tako ne vpliva na Googlove uvrstitve. Če vam ustreza, da vaša vsebina modelom pomaga spoznati vašo blagovno znamko, ga lahko pustite dovoljenega.
Ali me blokada GPTBot odstrani iz iskanja v ChatGPT?
Ne. Iskanje v ChatGPT uporablja drug pajek, OAI-SearchBot, strani, ki jih ChatGPT odpre na uporabnikovo prošnjo, pa prebere ChatGPT-User. Blokada GPTBot vpliva le na učenje. Blokada OAI-SearchBot je tista, zaradi katere se vaše strani v rezultatih iskanja v ChatGPT verjetno ne bodo pojavile.
Kakšna je razlika med GPTBot in OAI-SearchBot?
GPTBot zbira javne strani, ki se lahko uporabijo za učenje generativnih modelov OpenAI. OAI-SearchBot poišče strani, ki jih ChatGPT prikaže in poveže v svojem iskanju. Gre za ločeni imeni v robots.txt, zato lahko enega dovolite, drugega pa blokirate.
Katere pajke moram dovoliti, da se pojavim v AI odgovorih?
Dovolite pajke za iskanje: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot ter Googlebot in Bingbot, ki gradita indeksa, na katerih temeljijo Googlovi in Microsoftovi AI odgovori. Z dovoljenjem so vaše strani primerne za uporabo, vendar to ni zagotovilo: robots.txt odloča le, ali sme pajek pajkati, ne pa, ali vas bo kdo navedel.
Ali robots.txt zadošča, da AI pajkom preprečim dostop?
Ne. Je prošnja, ki jo ugledni pajki upoštevajo, ne prisila. Pajki na zahtevo uporabnika ga lahko ignorirajo, po poročilih pa tudi nekateri drugi. Za zanesljivejšo blokado uporabite pravilo v požarnem zidu ali CDN-ju in ne pozabite, da vas blokada pajka za iskanje izloči tudi iz tistega izdelka.
Ali me blokada Google-Extended skrije v Google AI Overviews?
Ne. Google-Extended je nadzorni žeton za učenje in utemeljevanje modelov Gemini. AI Overviews in AI Mode uporabljata običajni Googlov iskalni indeks, ki ga gradi Googlebot, Google pa navaja, da Google-Extended ne vpliva na vključitev v Iskanje ali uvrstitev. Prikaz tam omejite z nadzorom predogleda, kot sta nosnippet ali max-snippet, ki vplivata tudi na običajne izrezke.
Kaj pomeni User-agent: __usage_ai-training?
To je skupna nastavitev učenja AI iz osnutka IETF (Internet-Draft), objavljenega 30. oktobra 2026. Ni pajek. Disallow: / v njeni skupini izraža željo proti uporabi vaše vsebine za učenje modelov AI, Allow: željo zanjo, pravila za poti pa delujejo kot običajno, pri čemer prevlada najdaljše ujemanje. Datoteka brez te skupine ne izraža nobene nastavitve, User-agent: * pa se ne šteje.
Ali odjava od učenja AI škoduje mojemu SEO ali vidnosti v AI odgovorih?
Ne v Iskanju Google: niti skupni signal niti Google-Extended ne vplivata na uvrstitev ali vključitev v Iskanje. Pri Googlu pa ne gre le za učenje: od začetka 2027 Google načrtuje, da bo odjavo bral kot blokado Google-Extended, če nimate skupine Google-Extended, Google-Extended pa nadzira tudi utemeljevanje v Gemini Apps. Pri Bingu sta učenje in utemeljevanje ločeni nastavitvi, zato vas sama odjava od učenja ne odstrani iz Bingovih AI odgovorov.
Kaj sta nastavitvi ai-training in ai-grounding v Bingu?
Nastavitvi na ravni strani, ki jih je Microsoft napovedal 30. oktobra 2026, veljata pa od 1. februarja 2027: <meta name="Bingbot" content="ai-training:disallow"> ali glava X-Robots-Tag: Bingbot: ai-grounding:disallow. Utemeljevanje (grounding) pomeni uporabo strani za oblikovanje ustvarjenega odgovora. disallowextended ohrani utemeljevanje v Microsoftovih lastnih izdelkih, a izključi storitve tretjih oseb za utemeljevanje. Po 1. marcu 2027 kot signala AI nadomestita NoArchive in NoCache.
Želite celotno sliko?
Brezplačna analiza preveri robots.txt skupaj s strukturiranimi podatki, hitrostjo, SEO in citljivostjo za AI. Če želite, da nekdo popravi, kar najde, GE-KO izdeluje in optimizira spletne strani.