Preverite, kateri AI pajki lahko dostopajo do vaše spletne strani
Vnesite domeno in poglejte, katere AI pajke vaša datoteka robots.txt dovoljuje ali blokira, med njimi GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot in Google-Extended. Od pajkov za iskanje je odvisno, ali se vaše strani lahko uporabijo v AI odgovorih, od pajkov za učenje pa le, ali se vaša vsebina sme uporabiti za učenje modelov. Vsak rezultat pokaže vrstico v robots.txt, ki o tem odloča, in kodo, ki jo lahko kopirate in z njo spremenite pravila.
Kateri AI pajki obstajajo in kaj naredi blokada posamezne vrste?
AI podjetja za različna opravila uporabljajo različne pajke, vsak pa ima svoje ime v robots.txt. Običajna napaka je blokada napačnega: lahko vaše strani izloči iz AI odgovorov ali pa sploh nima učinka.
Pajki za iskanje gradijo indeks, na katerem temeljijo odgovori
OAI-SearchBot (iskanje v ChatGPT), Claude-SearchBot, PerplexityBot, DuckAssistBot in Amzn-SearchBot poiščejo strani, ki jih AI iskanje prikaže in poveže. Googlebot in Bingbot gradita Googlov in Bingov indeks, na katerih temeljijo Googlovi funkciji AI Overviews in AI Mode ter Microsoftovi AI odgovori. Blokada pajka za iskanje pomeni, da se vaše strani v tem izdelku verjetno ne bodo pojavile.
Pajki na zahtevo uporabnika preberejo eno stran
ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher in Amzn-User naložijo stran, ker je oseba o njej vprašala asistenta. Anthropic navaja, da Claude-User robots.txt upošteva; OpenAI, Perplexity, Meta in Amazon navajajo, da njihovi pajki morda ne.
Pajki za učenje zbirajo podatke za prihodnje modele
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot in Bytespider zbirajo javne strani za učenje modelov ali nadzirajo, ali se smejo za to uporabiti. Blokada je poslovna odločitev, ni zahteva SEO, vas pa ne odstrani iz AI iskanja. Google-Extended in Applebot-Extended sta nadzorna žetona, ki ne pajkata.
Popravek: robots.txt, ki ga lahko kopirate
Izberite, kaj želite, kopirajte kodo in jo dodajte v robots.txt v korenu svoje strani. Obstoječa pravila ohranite, obstoječo skupino za istega bota pa raje uredite, namesto da dodate drugo.
# AI pajki za iskanje: dovoljeni
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /
# Pajki na zahtevo uporabnika: dovoljeni
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /- Če pravilo »User-agent: *« blokira vse, dovoljene skupine tem pajkom vseeno omogočijo dostop. Googlebot in Bingbot ostaneta pod vašimi običajnimi pravili.
- Bot, ki ima lastno skupino, skupino »User-agent: *« povsem prezre, zato v njegovo skupino prepišite morebitna pravila za poti (na primer Disallow: /wp-admin/), če naj zanj še vedno veljajo.
- Pajki robots.txt ponovno preberejo le občasno, zato lahko traja dan ali več, da sprememba začne veljati. Blokada učenja vas ne odstrani iz AI iskanja, blokada pajkov za iskanje pa zmanjša možnost, da vas uporabijo v AI odgovorih.
- Če je bot tu dovoljen, pa vas nikoli ne obišče, preverite nastavitve botov v CDN-ju, požarnem zidu gostovanja in varnostnih vtičnikih: nekateri AI pajke privzeto blokirajo.
Pajki, ki jih preverjamo
Preverjamo 21 pajkov podjetij za AI in iskanje. Vloge in obnašanje glede robots.txt sledijo dokumentaciji posameznih ponudnikov (nazadnje preverjeno: 2. oktober 2026).
| Pajek (ime v robots.txt) | Ponudnik | Vloga | Upošteva robots.txt? | Dokumentacija ponudnika |
|---|---|---|---|---|
Googlebot |
Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija | |
Bingbot |
Microsoft | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
Applebot |
Apple | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
OAI-SearchBot |
OpenAI | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
Claude-SearchBot |
Anthropic | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
PerplexityBot |
Perplexity | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
DuckAssistBot |
DuckDuckGo | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
Amzn-SearchBot |
Amazon | Iskalni indeks | Da, po navedbah ponudnika | Dokumentacija |
ChatGPT-User |
OpenAI | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
Claude-User |
Anthropic | Branje na zahtevo uporabnika | Da, po navedbah ponudnika | Dokumentacija |
Perplexity-User |
Perplexity | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
meta-externalfetcher |
Meta | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
Amzn-User |
Amazon | Branje na zahtevo uporabnika | Morda ga ne upošteva (na zahtevo uporabnika) | Dokumentacija |
GPTBot |
OpenAI | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
ClaudeBot |
Anthropic | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
Google-Extended |
Učenje modelov | Da, po navedbah ponudnika | Dokumentacija | |
Applebot-Extended |
Apple | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
meta-externalagent |
Meta | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
Amazonbot |
Amazon | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
CCBot |
Common Crawl | Učenje modelov | Da, po navedbah ponudnika | Dokumentacija |
Bytespider |
ByteDance | Učenje modelov | Sporno | Ni objavljena |
Kaj to preverjanje pove in česa ne
- Prebere pravila v robots.txt, kot jih je prejelo naše orodje. Stran lahko različnim obiskovalcem postreže z različnimi datotekami, požarni zid ali CDN pa lahko pajka blokira, še preden prebere robots.txt.
- Robots.txt je prošnja, ne prisila. Ugledni pajki ga upoštevajo; pajki na zahtevo uporabnika morda ne, nekateri drugi pajki pa ga po poročilih ignorirajo.
- Ne merimo, ali kateri AI izdelek vašo stran dejansko pajka, navaja ali prikazuje. Dovoljeno pomeni pripravljenost, ne vidnost.
- Vloge in pravila sledijo dokumentaciji posameznih ponudnikov (nazadnje preverjeno: 2. oktober 2026). Ponudniki dodajajo in preimenujejo pajke, zato datoteko pregledajte vsaj dvakrat na leto.
Vprašanja o AI pajkih in robots.txt
Ali naj blokiram GPTBot?
Odvisno od tega, ali želite, da OpenAI vaše javne strani uporablja za učenje modelov. GPTBot je pajek OpenAI za učenje, z blokado pa svoje strani izločite iz učenja prihodnjih modelov. To je poslovna odločitev in ni zahteva SEO, prav tako ne vpliva na Googlove uvrstitve. Če vam ustreza, da vaša vsebina modelom pomaga spoznati vašo blagovno znamko, ga lahko pustite dovoljenega.
Ali me blokada GPTBot odstrani iz iskanja v ChatGPT?
Ne. Iskanje v ChatGPT uporablja drug pajek, OAI-SearchBot, strani, ki jih ChatGPT odpre na uporabnikovo prošnjo, pa prebere ChatGPT-User. Blokada GPTBot vpliva le na učenje. Blokada OAI-SearchBot je tista, zaradi katere se vaše strani v rezultatih iskanja v ChatGPT verjetno ne bodo pojavile.
Kakšna je razlika med GPTBot in OAI-SearchBot?
GPTBot zbira javne strani, ki se lahko uporabijo za učenje generativnih modelov OpenAI. OAI-SearchBot poišče strani, ki jih ChatGPT prikaže in poveže v svojem iskanju. Gre za ločeni imeni v robots.txt, zato lahko enega dovolite, drugega pa blokirate.
Katere pajke moram dovoliti, da se pojavim v AI odgovorih?
Dovolite pajke za iskanje: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot ter Googlebot in Bingbot, ki gradita indeksa, na katerih temeljijo Googlovi in Microsoftovi AI odgovori. Z dovoljenjem so vaše strani primerne za uporabo, vendar to ni zagotovilo: robots.txt odloča le, ali sme pajek pajkati, ne pa, ali vas bo kdo navedel.
Ali robots.txt zadošča, da AI pajkom preprečim dostop?
Ne. Je prošnja, ki jo ugledni pajki upoštevajo, ne prisila. Pajki na zahtevo uporabnika ga lahko ignorirajo, po poročilih pa tudi nekateri drugi. Za zanesljivejšo blokado uporabite pravilo v požarnem zidu ali CDN-ju in ne pozabite, da vas blokada pajka za iskanje izloči tudi iz tistega izdelka.
Ali me blokada Google-Extended skrije v Google AI Overviews?
Ne. Google-Extended je nadzorni žeton za učenje in utemeljevanje modelov Gemini. AI Overviews in AI Mode uporabljata običajni Googlov iskalni indeks, ki ga gradi Googlebot, Google pa navaja, da Google-Extended ne vpliva na vključitev v Iskanje ali uvrstitev. Prikaz tam omejite z nadzorom predogleda, kot sta nosnippet ali max-snippet, ki vplivata tudi na običajne izrezke.
Želite celotno sliko?
Brezplačna analiza preveri robots.txt skupaj s strukturiranimi podatki, hitrostjo, SEO in citljivostjo za AI. Če želite, da nekdo popravi, kar najde, GE-KO izdeluje in optimizira spletne strani.