Na vsebino
Sitequiry
Brezplačno orodje

Preverite, kateri AI pajki lahko dostopajo do vaše spletne strani

Vnesite domeno in poglejte, katere AI pajke vaša datoteka robots.txt dovoljuje ali blokira, med njimi GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot in Google-Extended, ter katero nastavitev učenja AI navaja. Pajki za iskanje odločajo, ali se vaše strani lahko uporabijo v AI odgovorih; pajki za učenje in nov skupni signal za učenje AI (__usage_ai-training) pa izražajo le, ali se vaša vsebina sme uporabiti za učenje modelov. Vsak rezultat pokaže vrstico v robots.txt, ki o tem odloča, in kodo, ki jo lahko kopirate za spremembo.

Brezplačno, brez računa. Zahtevamo le vaši javni datoteki robots.txt in llms.txt, rezultate pa hranimo eno uro.

Kateri AI pajki obstajajo in kaj naredi blokada posamezne vrste?

AI podjetja za različna opravila uporabljajo različne pajke, vsak pa ima svoje ime v robots.txt. Običajna napaka je blokada napačnega: lahko vaše strani izloči iz AI odgovorov ali pa sploh nima učinka.

Pajki za iskanje gradijo indeks, na katerem temeljijo odgovori

OAI-SearchBot (iskanje v ChatGPT), Claude-SearchBot, PerplexityBot, DuckAssistBot in Amzn-SearchBot poiščejo strani, ki jih AI iskanje prikaže in poveže. Googlebot in Bingbot gradita Googlov in Bingov indeks, na katerih temeljijo Googlovi funkciji AI Overviews in AI Mode ter Microsoftovi AI odgovori. Blokada pajka za iskanje pomeni, da se vaše strani v tem izdelku verjetno ne bodo pojavile.

Pajki na zahtevo uporabnika preberejo eno stran

ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher in Amzn-User naložijo stran, ker je oseba o njej vprašala asistenta. Anthropic navaja, da Claude-User robots.txt upošteva; OpenAI, Perplexity, Meta in Amazon navajajo, da njihovi pajki morda ne.

Pajki za učenje zbirajo podatke za prihodnje modele

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot in Bytespider zbirajo javne strani za učenje modelov ali nadzirajo, ali se smejo za to uporabiti. Blokada je poslovna odločitev, ni zahteva SEO, vas pa ne odstrani iz AI iskanja. Google-Extended in Applebot-Extended sta nadzorna žetona, ki ne pajkata.

Skupni signal za učenje AI je nastavitev, ne pajek

30. oktobra 2026 je osnutek IETF (Internet-Draft) predlagal eno skupino v robots.txt za vse ponudnike AI: User-agent: __usage_ai-training. Disallow v njej izraža željo proti učenju modelov, Allow željo zanj, brez skupine pa ni izražena nobena. Ne blokira pajkanja, User-agent: * pa se nikoli ne šteje kot ta nastavitev. Google in Microsoft ga nameravata brati od 2027, OpenAI in Anthropic sta podporo napovedala; gre za osnutek, ne za dokončan standard.

Popravek: robots.txt, ki ga lahko kopirate

Izberite, kaj želite, kopirajte kodo in jo dodajte v robots.txt v korenu svoje strani. Obstoječa pravila ohranite, obstoječo skupino za istega bota pa raje uredite, namesto da dodate drugo.

Katera nastavitev ustreza vašemu cilju?

  • Želim več vidnosti v AI iskanju Dovolite AI pajke za iskanje in pajke na zahtevo uporabnika, Googlebot in Bingbot pustite odprta ter dodajte zemljevid strani (sitemap). Nastavitev učenja ni obvezna in ne spremeni dostopa za iskanje.
  • Nočem, da se moja vsebina uporablja za učenje generativnih modelov Blokirajte pajke ponudnikov za učenje in navedite skupno nastavitev proti učenju. Pajki za iskanje ostanejo dovoljeni. Google-Extended pokriva tudi utemeljevanje v Gemini Apps, podpore za skupni signal pa niso napovedali vsi ponudniki.
  • Dovoli utemeljevanje v AI odgovorih, ne pa učenja Navedite skupno nastavitev proti učenju ter blokirajte GPTBot, ClaudeBot in druge pajke za učenje, Google-Extended pa dajte Allow, da lahko Gemini Apps še vedno utemeljuje odgovore (to dovoli tudi učenje Gemini). Pri Bingu sta učenje in utemeljevanje ločeni vrednosti na ravni strani: samo ai-training:disallow pusti utemeljevanje dovoljeno.
  • Želim razumeti, kaj že imam Zgoraj preverite svojo domeno: rezultat navede dostop pajkov, vašo nastavitev učenja AI, ob njej skupine ponudnikov in vrednosti Bing na vaši začetni strani.
Kaj naj koda naredi
Skupna nastavitev učenja AI (osnutek IETF AIPREF)
Koda za robots.txt
# AI pajki za iskanje: dovoljeni
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /

# Pajki na zahtevo uporabnika: dovoljeni
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /
  • Če pravilo »User-agent: *« blokira vse, dovoljene skupine tem pajkom vseeno omogočijo dostop. Googlebot in Bingbot ostaneta pod vašimi običajnimi pravili.
  • Bot, ki ima lastno skupino, skupino »User-agent: *« povsem prezre, zato v njegovo skupino prepišite morebitna pravila za poti (na primer Disallow: /wp-admin/), če naj zanj še vedno veljajo.
  • Pajki robots.txt ponovno preberejo le občasno, zato lahko traja dan ali več, da sprememba začne veljati. Blokada učenja vas ne odstrani iz AI iskanja, blokada pajkov za iskanje pa zmanjša možnost, da vas uporabijo v AI odgovorih.
  • Če je bot tu dovoljen, pa vas nikoli ne obišče, preverite nastavitve botov v CDN-ju, požarnem zidu gostovanja in varnostnih vtičnikih: nekateri AI pajke privzeto blokirajo.
  • Vsak blok prilepite za zadnje pravilo svoje datoteke, ne neposredno pod drugo vrstico User-agent: zaporedne vrstice User-agent tvorijo eno skupino in pravila bi veljala za obe.
  • Nastavitev je prošnja. Google in Microsoft skupni signal načrtujeta brati od 2027, OpenAI in Anthropic sta podporo napovedala, a drugi ponudniki AI ga lahko prezrejo, zasebni dogovori pa ga lahko razveljavijo.

Nastavitve na ravni strani za Bing

Microsoft od 1. februarja 2027 bere nastavitve učenja AI in utemeljevanja (grounding) AI za posamezno stran, v meta oznaki ali glavi HTTP. V robots.txt ni pravila za utemeljevanje za celotno spletno mesto; vrednost učenja na ravni strani za to stran prevlada nad robots.txt.

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

X-Robots-Tag: Bingbot: ai-training:disallow
X-Robots-Tag: Bingbot: ai-grounding:disallow

Vrednosti: allow (privzeto), disallow, pri utemeljevanju pa tudi disallowextended (samo Microsoftove lastne izkušnje, kot so Copilot, Bingovi AI odgovori in Microsoft 365, brez zunanjih storitev utemeljevanja). NoArchive in NoCache se kot nastavitvi AI nehata upoštevati 1. marca 2027; spletna mesta, ki sta ju uporabljala, lahko od 15. decembra 2026 v Bing Webmaster Tools zabeležijo začasno nastavitev utemeljevanja, ki velja najdlje do 30. septembra 2027.

Pajki, ki jih preverjamo

Preverjamo 21 pajkov podjetij za AI in iskanje. Vloge in obnašanje glede robots.txt sledijo dokumentaciji posameznih ponudnikov (nazadnje preverjeno: 2. oktobra 2026).

AI in iskalni pajki: ime v robots.txt, ponudnik, vloga in ali zanje robots.txt velja
Pajek (ime v robots.txt) Ponudnik Vloga Upošteva robots.txt? Dokumentacija ponudnika
Googlebot Google Iskalni indeks Da, po navedbah ponudnika Dokumentacija
Bingbot Microsoft Iskalni indeks Da, po navedbah ponudnika Dokumentacija
Applebot Apple Iskalni indeks Da, po navedbah ponudnika Dokumentacija
OAI-SearchBot OpenAI Iskalni indeks Da, po navedbah ponudnika Dokumentacija
Claude-SearchBot Anthropic Iskalni indeks Da, po navedbah ponudnika Dokumentacija
PerplexityBot Perplexity Iskalni indeks Da, po navedbah ponudnika Dokumentacija
DuckAssistBot DuckDuckGo Iskalni indeks Da, po navedbah ponudnika Dokumentacija
Amzn-SearchBot Amazon Iskalni indeks Da, po navedbah ponudnika Dokumentacija
ChatGPT-User OpenAI Branje na zahtevo uporabnika Morda ga ne upošteva (na zahtevo uporabnika) Dokumentacija
Claude-User Anthropic Branje na zahtevo uporabnika Da, po navedbah ponudnika Dokumentacija
Perplexity-User Perplexity Branje na zahtevo uporabnika Morda ga ne upošteva (na zahtevo uporabnika) Dokumentacija
meta-externalfetcher Meta Branje na zahtevo uporabnika Morda ga ne upošteva (na zahtevo uporabnika) Dokumentacija
Amzn-User Amazon Branje na zahtevo uporabnika Morda ga ne upošteva (na zahtevo uporabnika) Dokumentacija
GPTBot OpenAI Učenje modelov Da, po navedbah ponudnika Dokumentacija
ClaudeBot Anthropic Učenje modelov Da, po navedbah ponudnika Dokumentacija
Google-Extended Google Učenje modelov Da, po navedbah ponudnika Dokumentacija
Applebot-Extended Apple Učenje modelov Da, po navedbah ponudnika Dokumentacija
meta-externalagent Meta Učenje modelov Da, po navedbah ponudnika Dokumentacija
Amazonbot Amazon Učenje modelov Da, po navedbah ponudnika Dokumentacija
CCBot Common Crawl Učenje modelov Da, po navedbah ponudnika Dokumentacija
Bytespider ByteDance Učenje modelov Sporno Ni objavljena

Kaj to preverjanje pove in česa ne

  • Prebere pravila v robots.txt, kot jih je prejelo naše orodje. Stran lahko različnim obiskovalcem postreže z različnimi datotekami, požarni zid ali CDN pa lahko pajka blokira, še preden prebere robots.txt.
  • Robots.txt je prošnja, ne prisila. Ugledni pajki ga upoštevajo; pajki na zahtevo uporabnika morda ne, nekateri drugi pajki pa ga po poročilih ignorirajo.
  • Ne merimo, ali kateri AI izdelek vašo stran dejansko pajka, navaja ali prikazuje. Dovoljeno pomeni pripravljenost, ne vidnost.
  • Vloge in pravila sledijo dokumentaciji posameznih ponudnikov (nazadnje preverjeno: 2. oktobra 2026). Ponudniki dodajajo in preimenujejo pajke, zato datoteko pregledajte vsaj dvakrat na leto.
  • Nastavitve učenja in utemeljevanja AI so izjave o tem, kaj želite, prebrane iz robots.txt in vaše začetne strani. Ne vidimo, ali jih ponudnik že upošteva: podpora za skupni signal je napovedana, še ne deluje.

Vprašanja o AI pajkih in robots.txt

Ali naj blokiram GPTBot?

Odvisno od tega, ali želite, da OpenAI vaše javne strani uporablja za učenje modelov. GPTBot je pajek OpenAI za učenje, z blokado pa svoje strani izločite iz učenja prihodnjih modelov. To je poslovna odločitev in ni zahteva SEO, prav tako ne vpliva na Googlove uvrstitve. Če vam ustreza, da vaša vsebina modelom pomaga spoznati vašo blagovno znamko, ga lahko pustite dovoljenega.

Ali me blokada GPTBot odstrani iz iskanja v ChatGPT?

Ne. Iskanje v ChatGPT uporablja drug pajek, OAI-SearchBot, strani, ki jih ChatGPT odpre na uporabnikovo prošnjo, pa prebere ChatGPT-User. Blokada GPTBot vpliva le na učenje. Blokada OAI-SearchBot je tista, zaradi katere se vaše strani v rezultatih iskanja v ChatGPT verjetno ne bodo pojavile.

Kakšna je razlika med GPTBot in OAI-SearchBot?

GPTBot zbira javne strani, ki se lahko uporabijo za učenje generativnih modelov OpenAI. OAI-SearchBot poišče strani, ki jih ChatGPT prikaže in poveže v svojem iskanju. Gre za ločeni imeni v robots.txt, zato lahko enega dovolite, drugega pa blokirate.

Katere pajke moram dovoliti, da se pojavim v AI odgovorih?

Dovolite pajke za iskanje: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot ter Googlebot in Bingbot, ki gradita indeksa, na katerih temeljijo Googlovi in Microsoftovi AI odgovori. Z dovoljenjem so vaše strani primerne za uporabo, vendar to ni zagotovilo: robots.txt odloča le, ali sme pajek pajkati, ne pa, ali vas bo kdo navedel.

Ali robots.txt zadošča, da AI pajkom preprečim dostop?

Ne. Je prošnja, ki jo ugledni pajki upoštevajo, ne prisila. Pajki na zahtevo uporabnika ga lahko ignorirajo, po poročilih pa tudi nekateri drugi. Za zanesljivejšo blokado uporabite pravilo v požarnem zidu ali CDN-ju in ne pozabite, da vas blokada pajka za iskanje izloči tudi iz tistega izdelka.

Ali me blokada Google-Extended skrije v Google AI Overviews?

Ne. Google-Extended je nadzorni žeton za učenje in utemeljevanje modelov Gemini. AI Overviews in AI Mode uporabljata običajni Googlov iskalni indeks, ki ga gradi Googlebot, Google pa navaja, da Google-Extended ne vpliva na vključitev v Iskanje ali uvrstitev. Prikaz tam omejite z nadzorom predogleda, kot sta nosnippet ali max-snippet, ki vplivata tudi na običajne izrezke.

Kaj pomeni User-agent: __usage_ai-training?

To je skupna nastavitev učenja AI iz osnutka IETF (Internet-Draft), objavljenega 30. oktobra 2026. Ni pajek. Disallow: / v njeni skupini izraža željo proti uporabi vaše vsebine za učenje modelov AI, Allow: željo zanjo, pravila za poti pa delujejo kot običajno, pri čemer prevlada najdaljše ujemanje. Datoteka brez te skupine ne izraža nobene nastavitve, User-agent: * pa se ne šteje.

Ali odjava od učenja AI škoduje mojemu SEO ali vidnosti v AI odgovorih?

Ne v Iskanju Google: niti skupni signal niti Google-Extended ne vplivata na uvrstitev ali vključitev v Iskanje. Pri Googlu pa ne gre le za učenje: od začetka 2027 Google načrtuje, da bo odjavo bral kot blokado Google-Extended, če nimate skupine Google-Extended, Google-Extended pa nadzira tudi utemeljevanje v Gemini Apps. Pri Bingu sta učenje in utemeljevanje ločeni nastavitvi, zato vas sama odjava od učenja ne odstrani iz Bingovih AI odgovorov.

Kaj sta nastavitvi ai-training in ai-grounding v Bingu?

Nastavitvi na ravni strani, ki jih je Microsoft napovedal 30. oktobra 2026, veljata pa od 1. februarja 2027: <meta name="Bingbot" content="ai-training:disallow"> ali glava X-Robots-Tag: Bingbot: ai-grounding:disallow. Utemeljevanje (grounding) pomeni uporabo strani za oblikovanje ustvarjenega odgovora. disallowextended ohrani utemeljevanje v Microsoftovih lastnih izdelkih, a izključi storitve tretjih oseb za utemeljevanje. Po 1. marcu 2027 kot signala AI nadomestita NoArchive in NoCache.

Želite celotno sliko?

Brezplačna analiza preveri robots.txt skupaj s strukturiranimi podatki, hitrostjo, SEO in citljivostjo za AI. Če želite, da nekdo popravi, kar najde, GE-KO izdeluje in optimizira spletne strani.