Preferencias de entrenamiento de IA: AIPREF, robots.txt y visibilidad en la búsqueda con IA

Qué cambió el 30 de octubre de 2026

Kevin Kelley, de Anthropic, publicó el Internet-Draft draft-kelley-aipref-training-preference-signal-00 dentro del trabajo de IETF sobre AI Preferences (AIPREF). Es un borrador individual: el datatracker de IETF indica que no tiene carácter formal y que IETF no lo respalda, y caduca el 3 de mayo de 2027 salvo que se renueve o se adopte.

Ese mismo día, Google, Microsoft y OpenAI anunciaron que prevén admitirlo, y Anthropic escribió en la lista de correo de IETF que ha empezado a implementarlo. Antes, cada proveedor tenía su propio token de entrenamiento, así que una web que quería excluirse tenía que enumerar uno a uno GPTBot, ClaudeBot, Google-Extended, Applebot-Extended y otros.

Cómo funciona la señal compartida

La señal es un grupo normal de robots.txt cuya línea user-agent nombra un token de política en lugar de un rastreador. Las rutas con Disallow expresan una preferencia contra el entrenamiento de IA y las rutas con Allow, una preferencia a favor. Las reglas que importan:

• No es un rastreador. Ningún bot se identifica como __usage_ai-training y el grupo no bloquea ninguna visita. Para limitar el rastreo, usa el token de producto del propio rastreador.
• User-agent: * nunca cuenta. El borrador dice que un grupo con comodín no debe tratarse como coincidente con el token de política, así que User-agent: * con Disallow: / es un bloqueo de rastreo para todos, no una preferencia de entrenamiento.
• Sin grupo no hay preferencia. Un robots.txt sin el token no expresa nada. No es ni una exclusión ni un permiso; cada proveedor aplica entonces sus propias reglas.
• La coincidencia sigue RFC 9309: el token coincide sin distinguir mayúsculas de minúsculas, las líneas User-agent consecutivas comparten un grupo y decide la regla de ruta coincidente más larga; en caso de empate gana Allow.
• Lo específico prevalece sobre lo general. El borrador dice que las expresiones más específicas deben tener prioridad y que los proveedores pueden documentar sus propios tokens como más específicos. Un grupo propio para GPTBot o Google-Extended puede, por tanto, anular la preferencia compartida para ese proveedor.
• Los acuerdos privados, como un contrato de licencia con una empresa de IA, pueden prevalecer sobre lo que diga robots.txt.

User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Este ejemplo excluye del entrenamiento todo el sitio salvo el kit de prensa: /press-kit/ es más larga que /, así que decide para cada URL que cuelga de ella.

Rastreo, entrenamiento y grounding son tres preguntas distintas

La mayoría de los errores de robots.txt con la IA vienen de mezclarlas. La señal compartida solo responde a la segunda.

Qué anunció cada proveedor

Ninguno de los cuatro admite todavía la señal. Sus declaraciones difieren en los plazos y en cómo interactúa el token compartido con sus propios controles.

A 31 de octubre de 2026 no encontramos ningún anuncio de Apple, Meta, Amazon, Perplexity, ByteDance ni Common Crawl. Sus propios tokens (Applebot-Extended, meta-externalagent, Amazonbot, CCBot, Bytespider) siguen siendo la única forma de dirigirte a ellos en robots.txt.

Google-Extended: el equilibrio entre entrenamiento y Gemini Apps

Google-Extended no es un rastreador. Indica a Google si las páginas que descargó Googlebot pueden usarse para entrenar modelos de Gemini y para fundamentar (grounding) respuestas en Gemini Apps y en Grounding with Google Search en Vertex AI. La documentación de rastreadores de Google dice que no afecta a la inclusión ni al posicionamiento en Google Search.

Los dos usos van juntos. Si bloqueas Google-Extended, te excluyes a la vez del entrenamiento de Gemini y del grounding de Gemini Apps; si lo permites, permites ambos. Cuando Google lea el token compartido, una exclusión del entrenamiento sin un grupo Google-Extended tendrá el mismo efecto que bloquear Google-Extended. Si quieres que Gemini Apps siga usando tus páginas, añade tu propio grupo:

User-agent: __usage_ai-training
Disallow: /

# Google: mantener el grounding de Gemini Apps (esto también permite el entrenamiento de Gemini)
User-agent: Google-Extended
Allow: /

AI Overviews y AI Mode forman parte de Google Search y usan el índice de Googlebot. Para limitarlos, usa nosnippet, max-snippet o data-nosnippet, que también afectan a los fragmentos normales.

Bing: entrenamiento y grounding a nivel de página

Microsoft lee el token compartido en robots.txt para el entrenamiento y añade dos preferencias a nivel de página que se aplican a Bingbot. No hay una regla de grounding para todo el sitio en robots.txt, y un valor de entrenamiento a nivel de página anula robots.txt para esa página.

• allow es el valor por defecto en ambos. disallow en entrenamiento excluye la página del entrenamiento de modelos generativos; en grounding impide que Microsoft use la página para fundamentar respuestas generadas.
• disallowextended existe solo para el grounding. Mantiene el grounding en las experiencias propias de Microsoft (Copilot, AI Mode y AI Overview de Bing, Microsoft 365) y excluye los servicios de grounding de terceros construidos sobre Bing.
• 15 de diciembre de 2026: los sitios que usan NoArchive o NoCache pueden registrar una preferencia temporal de grounding en Bing Webmaster Tools.
• 1 de febrero de 2027: las nuevas preferencias entran en vigor a medida que se rastrean las páginas. Donde se encuentran en un sitio, NoArchive y NoCache de ese sitio dejan de leerse como preferencias de IA.
• 1 de marzo de 2027: NoArchive y NoCache dejan de contar por completo como preferencias de entrenamiento o de grounding.
• 30 de septiembre de 2027: las preferencias temporales de grounding caducan, o antes, cuando un nuevo rastreo encuentra el valor ai-grounding propio de la página.
• Nada de esto cambia el acceso de rastreo de Bingbot ni la elegibilidad para la búsqueda de Bing.

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

X-Robots-Tag: Bingbot: ai-grounding:disallow

Errores frecuentes

• Usar User-agent: * con Disallow: / como exclusión de IA. Bloquea a Googlebot, Bingbot y a cualquier otro rastreador sin grupo propio, y aun así no es una preferencia de entrenamiento.
• Escribir mal el token. __usage-ai-training, _usage_ai-training o usage_ai-training no coinciden con nada, así que el archivo no expresa ninguna preferencia.
• Poner el token en el mismo grupo que un rastreador de búsqueda. User-agent: Googlebot seguido directamente de User-agent: __usage_ai-training y Disallow: / bloquea a Googlebot en todo el sitio.
• Esperar que excluirte del entrenamiento te saque de las respuestas de ChatGPT Search, Claude o Perplexity. Estos usan sus bots de búsqueda; solo bloquear OAI-SearchBot, Claude-SearchBot o PerplexityBot lo consigue.
• Excluirte del entrenamiento con el token compartido y dar por hecho que Gemini Apps te seguirá citando. Sin un grupo Google-Extended propio, Google prevé leerlo como un bloqueo de Google-Extended.
• Dejar grupos contradictorios, como una exclusión compartida junto a un antiguo User-agent: GPTBot con Allow: /. Es probable que el grupo específico prevalezca para ese proveedor.
• Confiar en NoArchive o NoCache para limitar el uso de IA de Bing después del 1 de marzo de 2027.

Qué significa para SEO, AEO y GEO

Para el SEO clásico el efecto es nulo según las propias declaraciones de los proveedores: Google dice que Google-Extended no afecta a Search y Microsoft dice que la elegibilidad para la búsqueda de Bing no cambia. Excluirse del entrenamiento es una decisión de negocio sobre tu contenido, no un factor de posicionamiento, por lo que Sitequiry no baja ninguna puntuación cuando un sitio no tiene exclusión ni cuando la tiene.

Para la visibilidad en respuestas de IA depende del proveedor. Las respuestas de ChatGPT Search, Claude y Perplexity dependen de sus bots de búsqueda, que la señal de entrenamiento no toca. Gemini Apps depende de Google-Extended, que la exclusión compartida desactivará salvo que añadas tu propio grupo. Las respuestas de IA de Bing dependen del valor de grounding a nivel de página, que es independiente del entrenamiento.

Comprueba tu configuración

El verificador de rastreadores de IA gratuito lee tu robots.txt y tu página de inicio y muestra el acceso de los rastreadores, tu preferencia compartida de entrenamiento con las líneas decisivas, tus grupos Google-Extended, GPTBot y ClaudeBot, los valores de Bing de tu página de inicio y avisos sobre los conflictos anteriores. Su generador escribe el grupo __usage_ai-training con excepciones de ruta, sin tocar las reglas de Googlebot ni de Bingbot.

Vuelve a comprobarlo a principios de 2027, cuando Google y Microsoft empiecen a leer la señal, y antes del 1 de marzo de 2027 si dependes de NoArchive o NoCache en Bing.

Preguntas frecuentes