Comprueba si robots.txt permite una URL
Introduce una URL pública y elige un rastreador. La herramienta lee el robots.txt de ese sitio, muestra si el rastreador puede acceder a la URL y resalta la línea que lo decide. Sin registro.
Cómo elige un rastreador sus reglas
Un rastreador sigue el grupo que nombra su propio token de user-agent; solo si ningún grupo lo nombra se aplica User-agent: *. Dos grupos para el mismo rastreador se combinan, pero un grupo con nombre y el grupo * no (Google Search Central). Dentro del grupo gana la regla más específica (la ruta más larga); cuando un Allow y un Disallow coinciden por igual, Google usa la menos restrictiva. Las rutas distinguen mayúsculas y minúsculas; los nombres de user-agent, no.
Un ejemplo de nytimes.com
El 10 de noviembre de 2026, el robots.txt de nytimes.com incluía User-agent: * y User-agent: Googlebot juntos en las líneas 15 y 16, y volvía a nombrar a Googlebot en un segundo grupo en la línea 130. Googlebot obedece sus dos grupos combinados y nada más; GPTBot tiene su propio grupo con Disallow: / en las líneas 232 y 233, así que está bloqueado en todo el sitio. La herramienta muestra en casos así qué grupo y línea corresponden a cada rastreador.
Bloquear el rastreo no es bloquear la indexación
robots.txt controla qué URL puede descargar un rastreador, no cuáles aparecen en la búsqueda. Google puede indexar una URL bloqueada si se enlaza desde otros sitios, y mostrarla sin descripción (Google Search Central). Para que una página no aparezca en los resultados, usa noindex y deja la página rastreable; si no, Google nunca ve el noindex (Google Search Central). Una línea noindex dentro de robots.txt no tiene efecto en Google desde el 1 de septiembre de 2019 (blog de Google Search Central).
Cuando robots.txt no responde con normalidad
Google trata un robots.txt inexistente (cualquier respuesta 4xx salvo 429) como «sin restricciones». Un error del servidor (5xx) es distinto: Google deja de rastrear el sitio durante 12 horas y después usa su última copia válida hasta 30 días (Google Search Central). Google solo lee los primeros 500 KiB del archivo. Para ver qué pueden hacer los rastreadores de IA en todo el sitio, usa el comprobador de rastreadores de IA.
Preguntas frecuentes
¿Disallow elimina una página de Google?
No. Disallow solo detiene el rastreo. Una página bloqueada puede seguir apareciendo si otras páginas la enlazan. Usa en su lugar una metaetiqueta o cabecera noindex en una página rastreable.
¿Por qué Googlebot ignora mis reglas de «User-agent: *»?
Porque tu robots.txt también tiene un grupo que nombra a Googlebot. Un rastreador con grupo propio solo sigue ese grupo, así que las reglas de * deben repetirse allí si deben aplicarse.
¿Admite Google Crawl-delay?
No. Google ignora las líneas crawl-delay. Otros rastreadores pueden leerlas, así que pueden quedarse en el archivo, pero no cambian la velocidad de rastreo de Googlebot.
Revisa las páginas que los rastreadores pueden ver
El análisis gratuito revisa una página en SEO, velocidad con Google PageSpeed, preparación para respuestas de IA y citabilidad en IA.
Herramientas SEO gratis
-
Comprobar metaetiquetas
Título, meta descripción, H1 y canonical de una página, con vista previa del resultado.
-
Comprobar canonical y hreflang
URL canónica, códigos hreflang y enlaces de retorno entre versiones de idioma.
-
Comprobador de redirecciones
Cada salto de redirección de una URL, las variantes http/https y www, y las cabeceras SEO y de seguridad de la respuesta final.
-
Comprobador de datos estructurados
Lee cada bloque JSON-LD de una página: errores de sintaxis, tipos de schema.org y las propiedades que Google documenta para Organization, LocalBusiness, Product, Article, BreadcrumbList, Event y Recipe.
-
Comprobador de Open Graph
Enumera las etiquetas Open Graph y twitter: de una página, comprueba que la imagen para compartir carga y cuánto mide, y muestra una tarjeta de enlace ilustrativa.
-
Comprobador de sitemap
Encuentra el sitemap XML de un sitio, comprueba que se puede analizar, cuenta sus URL, lo compara con los límites del protocolo y solicita una muestra de las URL listadas.
-
Comprobar rastreadores de IA
Qué rastreadores de IA permite o bloquea tu robots.txt y si existe llms.txt.
Guías relacionadas
-
Rastreadores de IA y robots.txt: GPTBot, OAI-SearchBot y más
Los bots de entrenamiento, los de búsqueda con IA y los que actúan a petición del usuario son cosas distintas. Así puedes permitir los que aportan visibilidad.
-
Mi web no aparece en Google: causas y checklist de indexación
Las causas más habituales por las que una página no está en Google y una checklist ordenada para comprobarlas una a una.