Na vsebino
Sitequiry
Brezplačno orodje

Preverite, ali robots.txt dovoli URL

Vnesite javni URL in izberite pajka. Orodje prebere robots.txt te strani, pokaže, ali sme pajek prenesti URL, in označi vrstico, ki o tem odloči. Brez registracije.

Prebere robots.txt istega gostitelja, protokola in vrat kot URL. Pravila sledijo Googlovi specifikaciji robots.txt.

Kako pajek izbere svoja pravila

Pajek upošteva skupino, ki navaja njegovo oznako user-agent; samo če ga ne navaja nobena skupina, velja User-agent: *. Dve skupini za istega pajka se združita, imenovana skupina in skupina * pa ne (Google Search Central). Znotraj skupine zmaga najbolj specifično pravilo (najdaljša pot); ko se Allow in Disallow ujemata enako, Google uporabi manj omejujoče. Poti razlikujejo velike in male črke, imena user-agent ne.

Primer z nytimes.com

10. novembra 2026 je robots.txt strani nytimes.com v vrsticah 15 in 16 skupaj navajal User-agent: * in User-agent: Googlebot, Googlebot pa še enkrat v drugi skupini v vrstici 130. Googlebot upošteva obe svoji skupini skupaj in nič drugega; GPTBot ima svojo skupino z Disallow: / v vrsticah 232 in 233, zato je blokiran za celo stran. Orodje v takih primerih pokaže, katero skupino in vrstico dobi pajek.

Blokiranje pajkanja ni blokiranje indeksiranja

robots.txt določa, katere URL-je sme pajek prenesti, ne pa, kateri se pokažejo v iskanju. Google lahko prepovedan URL, na katerega vodijo povezave od drugod, še vedno indeksira, prikaže ga brez opisa (Google Search Central). Če stran ne sme v rezultate, uporabite noindex in jo pustite dostopno pajkom, sicer Google noindex sploh ne vidi (Google Search Central). Vrstica noindex v robots.txt pri Googlu nima učinka od 1. septembra 2019 (blog Google Search Central).

Ko robots.txt ne odgovori normalno

Manjkajoč robots.txt (vsak odgovor 4xx razen 429) Google obravnava kot »brez omejitev«. Napaka strežnika (5xx) je drugačna: Google za 12 ur ustavi pajkanje strani, nato do 30 dni uporablja zadnjo dobro kopijo (Google Search Central). Google prebere le prvih 500 KiB datoteke. Kaj smejo na celi strani AI pajki, pokaže preverjanje AI pajkov.

Pogosta vprašanja

Ali Disallow odstrani stran iz Googla?

Ne. Disallow ustavi le pajkanje. Prepovedana stran je lahko še vedno prikazana, če nanjo vodijo povezave z drugih strani. Namesto tega uporabite meta oznako ali glavo noindex na strani, ki je dostopna pajkom.

Zakaj Googlebot prezre moja pravila za »User-agent: *«?

Ker ima vaš robots.txt tudi skupino, ki navaja Googlebot. Pajek s svojo skupino upošteva samo njo, zato morate pravila iz * ponoviti tam, če naj veljajo.

Ali Google podpira Crawl-delay?

Ne. Google vrstice crawl-delay prezre. Drugi pajki jo morda berejo, zato lahko ostane v datoteki, vendar ne spremeni hitrosti pajkanja Googlebota.

Preverite strani, ki jih pajki smejo videti

Brezplačna analiza preveri stran za SEO, hitrost z Google PageSpeed, pripravljenost za AI odgovore in citiranje v AI.