Comprueba qué rastreadores de IA pueden acceder a tu web
Escribe tu dominio y comprueba qué rastreadores de IA permite o bloquea tu robots.txt, entre ellos GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot y Google-Extended, y qué preferencia sobre el entrenamiento de IA indica. Los rastreadores de búsqueda deciden si tus páginas pueden usarse en las respuestas de IA; los de entrenamiento y la nueva señal compartida de entrenamiento de IA (__usage_ai-training) solo expresan si tu contenido puede usarse para entrenar modelos. Cada resultado muestra la línea del robots.txt que hay detrás del veredicto y un fragmento que puedes copiar para cambiarla.
¿Qué rastreadores de IA existen y qué ocurre al bloquear cada tipo?
Las empresas de IA usan rastreadores distintos para tareas distintas, y cada uno tiene su propio nombre en robots.txt. El error más habitual es bloquear el equivocado: puede dejar tus páginas fuera de las respuestas de IA o no tener ningún efecto.
Los rastreadores de búsqueda construyen el índice de las respuestas
OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot, PerplexityBot, DuckAssistBot y Amzn-SearchBot encuentran páginas para mostrar y enlazar en la búsqueda con IA. Googlebot y Bingbot construyen los índices de Google y Bing en los que se apoyan AI Overviews y AI Mode de Google y las respuestas de IA de Microsoft. Bloquear un rastreador de búsqueda hace poco probable que tus páginas aparezcan en ese producto.
Los agentes a petición del usuario leen una página cuando se les pide
ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher y Amzn-User cargan una página porque alguien se la ha pedido a un asistente. Anthropic documenta que Claude-User sigue robots.txt; OpenAI, Perplexity, Meta y Amazon indican que los suyos pueden no hacerlo.
Los rastreadores de entrenamiento alimentan modelos futuros
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot y Bytespider recopilan páginas públicas para entrenar modelos o controlan si pueden usarse para ello. Bloquearlos es una decisión de negocio, no un requisito de SEO, y no te saca de la búsqueda con IA. Google-Extended y Applebot-Extended son tokens de control que no rastrean.
La señal compartida de entrenamiento de IA es una preferencia, no un rastreador
El 30 de octubre de 2026, un Internet-Draft del IETF propuso un único grupo de robots.txt para todos los proveedores de IA: User-agent: __usage_ai-training. Un Disallow ahí expresa una preferencia contra el entrenamiento de modelos, un Allow una preferencia a favor, y sin grupo no se expresa nada. No bloquea ningún rastreo, y User-agent: * nunca cuenta como esta preferencia. Google y Microsoft planean leerla a partir de 2027; OpenAI y Anthropic han anunciado que la admitirán. Es un borrador, no un estándar terminado.
Cómo solucionarlo: un robots.txt para copiar
Elige lo que quieres, copia el resultado y añádelo al robots.txt de la raíz de tu web. Conserva tus reglas actuales y, si ya existe un grupo para el mismo bot, edítalo en lugar de añadir un segundo.
¿Qué ajuste encaja con tu objetivo?
- Quiero más visibilidad en la búsqueda con IA Permite los rastreadores de búsqueda de IA y los agentes a petición del usuario, deja abiertos Googlebot y Bingbot y añade tu sitemap. Indicar una preferencia de entrenamiento es opcional y no cambia el acceso de búsqueda.
- No quiero que mi contenido se use para entrenar modelos generativos Bloquea los rastreadores de entrenamiento de los proveedores e indica la preferencia compartida contra el entrenamiento. Los rastreadores de búsqueda siguen permitidos. Google-Extended también cubre el grounding en Gemini Apps, y no todos los proveedores han anunciado que admitirán la señal compartida.
-
Permitir el grounding en respuestas de IA, pero no el entrenamiento
Indica la preferencia compartida contra el entrenamiento y bloquea GPTBot, ClaudeBot y los demás rastreadores de entrenamiento, pero da a Google-Extended un Allow para que Gemini Apps pueda seguir basando sus respuestas en tus páginas (esto también permite el entrenamiento de Gemini). En Bing, entrenamiento y grounding son valores independientes a nivel de página:
ai-training:disallowpor sí solo deja el grounding permitido. - Quiero entender lo que ya tengo Comprueba tu dominio arriba: el resultado enumera el acceso de los rastreadores, tu preferencia de entrenamiento de IA, los grupos de proveedores junto a ella y los valores de Bing de tu página de inicio.
# Rastreadores de búsqueda con IA: permitidos
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
Allow: /
# Agentes a petición del usuario: permitidos
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /
- Permites el entrenamiento en la preferencia compartida, pero bloqueas los rastreadores de entrenamiento de los proveedores. El borrador indica que los grupos específicos deben tener prioridad, así que es de esperar que los bloqueos de GPTBot, ClaudeBot y Google-Extended prevalezcan para esos proveedores.
- Sin un grupo Google-Extended, Google planea (a partir de principios de 2027) leer esta exclusión como un bloqueo de Google-Extended. Eso también impide que Gemini Apps use tus páginas como base de sus respuestas (grounding). Marca «Permitir Google-Extended (mantener el grounding en Gemini Apps)» si quieres conservarlo.
- Permitir Google-Extended mantiene el grounding en Gemini Apps, pero también permite el entrenamiento de Gemini. Google sigue su propio grupo Google-Extended en lugar de la preferencia compartida.
- Bloquear Google-Extended te excluye del entrenamiento de Gemini y también impide el grounding en Gemini Apps. Google Search, AI Overviews y AI Mode no se ven afectados.
- Si una regla «User-agent: *» lo bloquea todo, los grupos permitidos siguen dejando entrar a estos bots. Googlebot y Bingbot siguen sujetos a tus reglas habituales.
- Un bot con su propio grupo ignora por completo el grupo «User-agent: *», así que copia en ese grupo las reglas de rutas (por ejemplo, Disallow: /wp-admin/) si deben seguir aplicándose al bot.
- Los rastreadores solo vuelven a leer el robots.txt de vez en cuando, así que un cambio puede tardar un día o más en aplicarse. Bloquear el entrenamiento no te saca de la búsqueda con IA, pero bloquear los rastreadores de búsqueda reduce la probabilidad de que tus páginas se usen en respuestas de IA.
- Si un bot está permitido aquí pero nunca parece visitarte, revisa los ajustes de bots de tu CDN, del cortafuegos del hosting y de tus plugins de seguridad: algunos bloquean los rastreadores de IA por defecto.
- Pega cada bloque después de la última regla de tu archivo, no justo debajo de otra línea User-agent: las líneas User-agent consecutivas forman un solo grupo y las reglas se aplicarían a ambos.
- Una preferencia es una petición. Google y Microsoft planean leer la señal compartida a partir de 2027 y OpenAI y Anthropic han anunciado que la admitirán, pero otros proveedores de IA pueden ignorarla y los acuerdos privados pueden anularla.
Preferencias a nivel de página para Bing
Microsoft lee las preferencias de entrenamiento y de grounding de IA página por página, en una etiqueta meta o en una cabecera HTTP, a partir del 1 de febrero de 2027. No hay una regla de grounding para todo el sitio en robots.txt; un valor de entrenamiento a nivel de página prevalece sobre robots.txt para esa página.
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">
X-Robots-Tag: Bingbot: ai-training:disallow
X-Robots-Tag: Bingbot: ai-grounding:disallow
Valores: allow (el predeterminado), disallow y, para el grounding, también disallowextended (solo las experiencias propias de Microsoft, como Copilot, las respuestas de IA de Bing y Microsoft 365, sin servicios de grounding de terceros). NoArchive y NoCache dejan de contar como preferencias de IA el 1 de marzo de 2027; los sitios que los usaban pueden registrar una preferencia de grounding temporal en Bing Webmaster Tools desde el 15 de diciembre de 2026, válida como máximo hasta el 30 de septiembre de 2027.
Los rastreadores que comprobamos
El comprobador cubre 21 rastreadores de empresas de IA y de búsqueda. Las funciones y el comportamiento respecto a robots.txt siguen la documentación de cada proveedor, revisada por última vez el 2 de octubre de 2026.
| Rastreador (nombre en robots.txt) | Proveedor | Función | ¿Sigue robots.txt? | Documentación del proveedor |
|---|---|---|---|---|
Googlebot |
Índice de búsqueda | Sí, según el proveedor | Documentación | |
Bingbot |
Microsoft | Índice de búsqueda | Sí, según el proveedor | Documentación |
Applebot |
Apple | Índice de búsqueda | Sí, según el proveedor | Documentación |
OAI-SearchBot |
OpenAI | Índice de búsqueda | Sí, según el proveedor | Documentación |
Claude-SearchBot |
Anthropic | Índice de búsqueda | Sí, según el proveedor | Documentación |
PerplexityBot |
Perplexity | Índice de búsqueda | Sí, según el proveedor | Documentación |
DuckAssistBot |
DuckDuckGo | Índice de búsqueda | Sí, según el proveedor | Documentación |
Amzn-SearchBot |
Amazon | Índice de búsqueda | Sí, según el proveedor | Documentación |
ChatGPT-User |
OpenAI | Agente a petición del usuario | Puede ignorarlo (a petición del usuario) | Documentación |
Claude-User |
Anthropic | Agente a petición del usuario | Sí, según el proveedor | Documentación |
Perplexity-User |
Perplexity | Agente a petición del usuario | Puede ignorarlo (a petición del usuario) | Documentación |
meta-externalfetcher |
Meta | Agente a petición del usuario | Puede ignorarlo (a petición del usuario) | Documentación |
Amzn-User |
Amazon | Agente a petición del usuario | Puede ignorarlo (a petición del usuario) | Documentación |
GPTBot |
OpenAI | Entrenamiento de modelos | Sí, según el proveedor | Documentación |
ClaudeBot |
Anthropic | Entrenamiento de modelos | Sí, según el proveedor | Documentación |
Google-Extended |
Entrenamiento de modelos | Sí, según el proveedor | Documentación | |
Applebot-Extended |
Apple | Entrenamiento de modelos | Sí, según el proveedor | Documentación |
meta-externalagent |
Meta | Entrenamiento de modelos | Sí, según el proveedor | Documentación |
Amazonbot |
Amazon | Entrenamiento de modelos | Sí, según el proveedor | Documentación |
CCBot |
Common Crawl | Entrenamiento de modelos | Sí, según el proveedor | Documentación |
Bytespider |
ByteDance | Entrenamiento de modelos | Cuestionado | No publicada |
Qué puede decirte esta comprobación y qué no
- Lee las reglas del robots.txt tal como las recibió nuestro comprobador. Una web puede mostrar archivos distintos a visitantes distintos, y un cortafuegos o una CDN pueden bloquear a un rastreador antes de que lea el robots.txt.
- robots.txt es una petición, no una imposición. Los rastreadores fiables lo siguen; los agentes a petición del usuario pueden no hacerlo, y se informa de que algunos rastreadores lo ignoran.
- No medimos si algún producto de IA rastrea, cita o muestra realmente tu web. Permitido significa preparación, no visibilidad.
- Las funciones y las reglas siguen la documentación de cada proveedor, revisada por última vez el 2 de octubre de 2026. Los proveedores añaden rastreadores y les cambian el nombre, así que revisa tu archivo al menos dos veces al año.
- Las preferencias de entrenamiento y de grounding de IA son declaraciones de lo que quieres, leídas de robots.txt y de tu página de inicio. No podemos ver si un proveedor ya las aplica: la compatibilidad con la señal compartida está anunciada, todavía no activa.
Preguntas sobre rastreadores de IA y robots.txt
¿Debería bloquear GPTBot?
Depende de si quieres que OpenAI use tus páginas públicas para entrenar modelos. GPTBot es el rastreador de entrenamiento de OpenAI y bloquearlo excluye tus páginas del entrenamiento de futuros modelos. Es una decisión de negocio, no un requisito de SEO, y no afecta a tu posicionamiento en Google. Si te parece bien que tu contenido ayude a los modelos a conocer tu marca, puedes dejarlo permitido.
¿Bloquear GPTBot me saca de la búsqueda de ChatGPT?
No. La búsqueda de ChatGPT usa otro rastreador, OAI-SearchBot, y las páginas que un usuario le pide abrir a ChatGPT las descarga ChatGPT-User. Bloquear GPTBot solo afecta al entrenamiento. Bloquear OAI-SearchBot es lo que hace poco probable que tus páginas aparezcan en los resultados de la búsqueda de ChatGPT.
¿Qué diferencia hay entre GPTBot y OAI-SearchBot?
GPTBot recopila páginas públicas que pueden usarse para entrenar los modelos generativos de OpenAI. OAI-SearchBot encuentra páginas para mostrar y enlazar en las funciones de búsqueda de ChatGPT. Son nombres distintos en robots.txt, así que puedes permitir uno y bloquear el otro.
¿Qué rastreadores debo permitir para aparecer en las respuestas de IA?
Permite los rastreadores de búsqueda: OAI-SearchBot, Claude-SearchBot, PerplexityBot y DuckAssistBot, además de Googlebot y Bingbot, que construyen los índices en los que se apoyan las respuestas de IA de Google y Microsoft. Permitirlos deja tus páginas en condiciones de aparecer, pero no lo garantiza: robots.txt solo decide si un bot puede rastrear, no si alguien te cita.
¿Basta con robots.txt para mantener fuera a los rastreadores de IA?
No. Es una petición que siguen los rastreadores fiables, no una imposición. Los agentes a petición del usuario pueden ignorarla, y se informa de que algunos rastreadores también lo hacen. Para bloquear un bot con más fiabilidad, usa una regla en el cortafuegos o en la CDN. Recuerda que bloquear un rastreador de búsqueda también te deja fuera de ese producto.
¿Bloquear Google-Extended me saca de AI Overviews de Google?
No. Google-Extended es un token de control para el entrenamiento y el grounding de Gemini. AI Overviews y AI Mode usan el índice normal de Google Search que rastrea Googlebot, y Google indica que Google-Extended no afecta a la inclusión en Google Search ni al posicionamiento. Para limitar cómo aparece tu contenido ahí, usa controles de fragmento como nosnippet o max-snippet, que también afectan a los fragmentos normales.
¿Qué significa User-agent: __usage_ai-training?
Es la preferencia compartida de entrenamiento de IA de un Internet-Draft del IETF publicado el 30 de octubre de 2026. No es un rastreador. Disallow: / en su grupo expresa una preferencia contra el uso de tu contenido para entrenar modelos de IA, Allow: una preferencia a favor, y las reglas de ruta funcionan como siempre, con prioridad para la coincidencia más larga. Un archivo sin el grupo no expresa ninguna preferencia, y User-agent: * no cuenta.
¿Excluirme del entrenamiento de IA perjudica mi SEO o mi visibilidad en las respuestas de IA?
No en Google Search: ni la señal compartida ni Google-Extended afectan al posicionamiento ni a la inclusión en Search. Con Google, sin embargo, no se trata solo del entrenamiento: a partir de principios de 2027 Google planea leer la exclusión como un bloqueo de Google-Extended si no tienes un grupo Google-Extended, y Google-Extended también controla el grounding en Gemini Apps. En Bing, entrenamiento y grounding son ajustes independientes, así que excluirte solo del entrenamiento no te saca de las respuestas de IA de Bing.
¿Qué son los ajustes ai-training y ai-grounding de Bing?
Preferencias a nivel de página que Microsoft anunció el 30 de octubre de 2026, con efecto a partir del 1 de febrero de 2027: <meta name="Bingbot" content="ai-training:disallow"> o la cabecera X-Robots-Tag: Bingbot: ai-grounding:disallow. Grounding significa usar una página para fundamentar una respuesta generada. disallowextended mantiene el grounding en los productos propios de Microsoft, pero excluye los servicios de grounding de terceros. Después del 1 de marzo de 2027 sustituyen a NoArchive y NoCache como señales de IA.
¿Quieres ver el panorama completo?
El análisis gratuito revisa robots.txt junto con los datos estructurados, la velocidad de carga, el SEO y la citabilidad en buscadores generativos. Si quieres que alguien corrija lo que encuentre, GE-KO crea y optimiza webs.