Preverite, ali robots.txt dovoli URL
Vnesite javni URL in izberite pajka. Orodje prebere robots.txt te strani, pokaže, ali sme pajek prenesti URL, in označi vrstico, ki o tem odloči. Brez registracije.
Kako pajek izbere svoja pravila
Pajek upošteva skupino, ki navaja njegovo oznako user-agent; samo če ga ne navaja nobena skupina, velja User-agent: *. Dve skupini za istega pajka se združita, imenovana skupina in skupina * pa ne (Google Search Central). Znotraj skupine zmaga najbolj specifično pravilo (najdaljša pot); ko se Allow in Disallow ujemata enako, Google uporabi manj omejujoče. Poti razlikujejo velike in male črke, imena user-agent ne.
Primer z nytimes.com
10. novembra 2026 je robots.txt strani nytimes.com v vrsticah 15 in 16 skupaj navajal User-agent: * in User-agent: Googlebot, Googlebot pa še enkrat v drugi skupini v vrstici 130. Googlebot upošteva obe svoji skupini skupaj in nič drugega; GPTBot ima svojo skupino z Disallow: / v vrsticah 232 in 233, zato je blokiran za celo stran. Orodje v takih primerih pokaže, katero skupino in vrstico dobi pajek.
Blokiranje pajkanja ni blokiranje indeksiranja
robots.txt določa, katere URL-je sme pajek prenesti, ne pa, kateri se pokažejo v iskanju. Google lahko prepovedan URL, na katerega vodijo povezave od drugod, še vedno indeksira, prikaže ga brez opisa (Google Search Central). Če stran ne sme v rezultate, uporabite noindex in jo pustite dostopno pajkom, sicer Google noindex sploh ne vidi (Google Search Central). Vrstica noindex v robots.txt pri Googlu nima učinka od 1. septembra 2019 (blog Google Search Central).
Ko robots.txt ne odgovori normalno
Manjkajoč robots.txt (vsak odgovor 4xx razen 429) Google obravnava kot »brez omejitev«. Napaka strežnika (5xx) je drugačna: Google za 12 ur ustavi pajkanje strani, nato do 30 dni uporablja zadnjo dobro kopijo (Google Search Central). Google prebere le prvih 500 KiB datoteke. Kaj smejo na celi strani AI pajki, pokaže preverjanje AI pajkov.
Pogosta vprašanja
Ali Disallow odstrani stran iz Googla?
Ne. Disallow ustavi le pajkanje. Prepovedana stran je lahko še vedno prikazana, če nanjo vodijo povezave z drugih strani. Namesto tega uporabite meta oznako ali glavo noindex na strani, ki je dostopna pajkom.
Zakaj Googlebot prezre moja pravila za »User-agent: *«?
Ker ima vaš robots.txt tudi skupino, ki navaja Googlebot. Pajek s svojo skupino upošteva samo njo, zato morate pravila iz * ponoviti tam, če naj veljajo.
Ali Google podpira Crawl-delay?
Ne. Google vrstice crawl-delay prezre. Drugi pajki jo morda berejo, zato lahko ostane v datoteki, vendar ne spremeni hitrosti pajkanja Googlebota.
Preverite strani, ki jih pajki smejo videti
Brezplačna analiza preveri stran za SEO, hitrost z Google PageSpeed, pripravljenost za AI odgovore in citiranje v AI.
Brezplačna SEO orodja
-
Preverjanje meta oznak
Naslov, meta opis, H1 in kanonični URL ene strani, s predogledom zadetka.
-
Preverjanje canonical in hreflang
Kanonični URL, kode hreflang in povratne povezave med jezikovnimi različicami.
-
Preverjanje preusmeritev
Vsak korak preusmeritve enega URL-ja, različice http/https in www ter SEO in varnostne glave končnega odgovora.
-
Preverjanje strukturiranih podatkov
Prebere vsak blok JSON-LD na strani: napake v zapisu, vrste schema.org in lastnosti, ki jih Google dokumentira za Organization, LocalBusiness, Product, Article, BreadcrumbList, Event in Recipe.
-
Preverjanje Open Graph
Našteje oznake Open Graph in twitter: na strani, preveri, ali se slika za deljenje naloži in kako velika je, ter pokaže ilustrativno kartico povezave.
-
Preverjanje sitemapa
Poišče XML sitemap strani, preveri, ali se razčleni, prešteje URL-je, ga primerja z omejitvami protokola in zahteva vzorec navedenih URL-jev.
-
Preverjanje AI pajkov
Katere AI pajke vaš robots.txt dovoljuje ali blokira in ali obstaja llms.txt.
Sorodni vodiči
-
AI pajki in robots.txt: katere bote dovoliti v letu 2026
Boti za učenje, boti za AI iskanje in boti na zahtevo uporabnika niso isto. Tako dovolite tiste, ki prinašajo vidnost.
-
Zakaj moje spletne strani ni na Googlu?
Najprej ugotovite, ali strani ni v indeksu ali je le slabo uvrščena. Nato po vrsti preverite noindex, robots.txt, canonical, preusmeritve in vsebino.