Tres tipos de rastreadores de IA
Los rastreadores de entrenamiento recopilan páginas públicas para entrenar futuros modelos. Bloquearlos no te elimina de los resultados de búsqueda con IA.
Los rastreadores de búsqueda y recuperación construyen el índice que un asistente usa para encontrar y citar fuentes. Bloquearlos es lo que te hace invisible en las respuestas de IA.
Los agentes a petición del usuario cargan una sola página porque una persona ha pedido al asistente que la lea. Los proveedores los tratan de forma distinta al rastreo automático, y algunos indican que las reglas de robots.txt pueden no aplicarse a ellos.
Los nombres de user-agent que importan
- OpenAI:
GPTBot(entrenamiento),OAI-SearchBot(ChatGPT Search),ChatGPT-User(peticiones de usuarios). - Anthropic:
ClaudeBot(entrenamiento),Claude-SearchBot(búsqueda),Claude-User(peticiones de usuarios). - Perplexity:
PerplexityBot(índice de búsqueda),Perplexity-User(peticiones de usuarios). - Google:
Google-Extendedes un token de control, no un rastreador aparte. Decide si el contenido descargado por Googlebot puede usarse para los modelos de Gemini y para fundamentar (grounding) respuestas en Gemini Apps. No afecta a Google Search, a AI Overviews ni a AI Mode. - Apple:
Applebot-Extendedcontrola el uso para el entrenamiento de IA de Apple;Appleboten sí alimenta Siri y Spotlight. - Otros que verás en los registros:
CCBot(Common Crawl, muy usado para entrenamiento),meta-externalagent(Meta),Amazonbot,Bytespider(ByteDance),DuckAssistBot(DuckDuckGo).
Un robots.txt razonable como punto de partida
Para la mayoría de las webs de empresa el objetivo es que las encuentren y las citen. Una opción habitual es permitir los bots de búsqueda y los de usuario, y decidir aparte qué hacer con el entrenamiento. Este ejemplo permite la búsqueda con IA y excluye el entrenamiento:
# Search engines and AI search: allowed
User-agent: *
Allow: /
# AI training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /
Sitemap: https://www.example.com/sitemap.xml
Si no te importa que tu contenido se use para entrenar modelos, lo que puede ayudar a que conozcan tu marca, basta con dejar fuera el segundo bloque. En cualquier caso, no bloquees nunca OAI-SearchBot, Claude-SearchBot ni PerplexityBot si quieres aparecer en esos asistentes.
Bloquear Google-Extended también impide que Gemini Apps fundamente respuestas en tus páginas, así que déjalo fuera del bloqueo si te importa que te citen en Gemini Apps.
Novedad desde el 30 de octubre de 2026: una preferencia de entrenamiento para todos los proveedores
En lugar de enumerar cada bot de entrenamiento, un borrador de IETF propone un solo grupo que comunica tu preferencia de entrenamiento a todos los proveedores que lo admitan. Google y Microsoft prevén leerlo a partir de 2027, OpenAI y Anthropic han anunciado que lo admitirán y ningún proveedor lo aplica todavía:
User-agent: __usage_ai-training
Disallow: /
Es una preferencia, no un bloqueo de rastreador, y User-agent: * no cuenta como tal. Mantén los grupos de proveedor anteriores hasta que los proveedores que te importan lean la señal compartida. Nuestra guía sobre las preferencias de entrenamiento de IA explica las reglas, cómo la interpreta Google para Google-Extended y los ajustes de Bing a nivel de página.
Revisa también tu CDN y tu cortafuegos
robots.txt es solo una petición. En la práctica, el problema más frecuente es el contrario: un cortafuegos o una CDN que bloquean a los rastreadores de IA antes de que lleguen a leer robots.txt. Cloudflare, por ejemplo, empezó a bloquear por defecto los rastreadores de IA conocidos en los dominios nuevos en julio de 2025, y muchos plugins de seguridad tienen opciones parecidas.
Si tu robots.txt permite un bot pero tu web sigue sin aparecer en las respuestas de IA, revisa la configuración de bots de tu CDN, del cortafuegos del hosting y de los plugins de seguridad, y busca en los registros del servidor respuestas 403 a esos user-agents.
Qué comprueba Sitequiry
El análisis lee tu robots.txt e informa de qué rastreadores de IA están permitidos o bloqueados, separando los de entrenamiento de los de búsqueda, y avisa cuando una regla general lo bloquea todo. También muestra a modo informativo tu preferencia compartida de entrenamiento de IA y tus valores de Bing a nivel de página, sin cambiar ninguna puntuación. Comprueba reglas de acceso, no si una CDN bloquea al bot a nivel de red, porque eso solo puede verse desde los rangos de IP del propio bot.
Puedes ver el resultado para tu web con un análisis gratis. Es una de las señales técnicas que se describen en la guía de SEO para IA, y de ninguna de ellas se puede deducir que un asistente vaya a citarte.
Preguntas frecuentes
¿Bloquear GPTBot me elimina de ChatGPT?
No. GPTBot es el rastreador de entrenamiento de OpenAI. ChatGPT Search usa OAI-SearchBot, y las páginas por las que pregunta un usuario las descarga ChatGPT-User. Bloquear GPTBot no saca automáticamente tu web de ChatGPT Search.
¿Afecta Google-Extended a AI Overviews?
No. AI Overviews y AI Mode usan el índice normal de Google Search, rastreado por Googlebot. Para limitar cómo aparece tu contenido ahí, usa controles de vista previa como nosnippet o max-snippet, que también afectan a los fragmentos habituales.
¿Es robots.txt jurídicamente vinculante?
No. Es una convención ampliamente respetada. Las grandes empresas de IA documentan que sus rastreadores la siguen, pero no impide técnicamente el acceso.
¿Cada cuánto debería revisarlo?
Al menos dos veces al año. Aparecen rastreadores nuevos con regularidad y los proveedores cambian el nombre de los existentes o los dividen.
Comprueba tu propio robots.txt
Escribe tu dominio y comprueba qué rastreadores de IA permite o bloquea tu robots.txt y qué línea lo decide.
Comprueba tu web en aproximadamente un minuto
El análisis gratuito mide en tu URL los puntos de esta guía y muestra qué corregir primero.