Robots.txt y entrenamiento de IA: el token compartido

Cuatro empresas, un token y una trampa que afecta a casi todos

El 30 de octubre, OpenAI, Google, Microsoft y Anthropic anunciaron que respetarán una misma instrucción en robots.txt para que cualquier web pueda declarar si acepta que su contenido se use para entrenar modelos de inteligencia artificial.

Es una buena noticia y conviene entenderla bien, porque la mayoría de empresas que creen estar protegidas hoy no lo están. Y no por descuido suyo.

Qué es exactamente

El robots.txt es un archivo de texto que lleva treinta años existiendo en casi todas las webs. Sirve para decirle a los rastreadores automáticos qué pueden visitar y qué no. Nunca ha sido obligatorio cumplirlo, pero los actores serios lo respetan.

Lo que se ha acordado es añadir ahí una instrucción nueva y compartida: __usage_ai-training. Una sola línea que sirve para las cuatro compañías a la vez.

Hasta ahora, excluirse del entrenamiento de IA exigía escribir una regla distinta para cada proveedor: GPTBot para OpenAI, Google-Extended para Google, las etiquetas NoArchive y NoCache de Microsoft. Cada uno con su nombre y su sintaxis. El token nuevo unifica todo eso en una declaración.

La propuesta viene de Kevin Kelley, responsable técnico de estándares en Anthropic, y se tramita dentro del grupo de trabajo AIPREF del IETF, el organismo que define los estándares técnicos de internet.

Dos matices que no conviene saltarse. Es un borrador (Internet-Draft), no un estándar aprobado. Y el cumplimiento es voluntario: ninguna ley obliga a respetarlo, lo que hace es dejar constancia pública de quién lo cumple y quién no.

La trampa: bloquearlo todo no dice nada

Aquí está lo que debería hacer que cualquier responsable revise su web esta semana.

Muchas empresas tienen un robots.txt que prohíbe el acceso a todos los rastreadores, o tienen activada la protección contra bots de su CDN, y dan por hecho que con eso ya han dicho que no al entrenamiento de IA.

No es así. Según el propio borrador, una web que bloquea todo con la regla genérica no se ha pronunciado sobre el entrenamiento de IA. Técnicamente no ha dicho ni que sí ni que no. Quien quiera excluirse tiene que escribir el token nuevo de forma explícita.

Es contraintuitivo, y es exactamente el tipo de detalle que separa estar protegido de creerse protegido.

Hay además una flexibilidad útil en la otra dirección: cada compañía puede tratar sus propias instrucciones como más específicas que la compartida. Eso permite excluirse de forma general y después hacer una excepción con un proveedor concreto, si a la empresa le interesa que uno sí la use y los demás no.

La parte que casi nadie está contando: entrenar no es lo mismo que responder

Y aquí llega lo que de verdad importa para la visibilidad de un negocio.

Hay dos cosas distintas que una IA puede hacer con el contenido de tu web, y se parecen lo justo para confundirlas:

	Qué es	Qué significa para tu negocio
Entrenamiento	Tu contenido se usa para ajustar el modelo. Queda absorbido, sin rastro ni atribución.	No te aporta nada medible
Grounding	El sistema consulta tu web en el momento de responder y te cita como fuente.	Te aporta visibilidad y, a menudo, clics

Excluirse de lo primero es una decisión razonable para casi cualquier empresa. Excluirse de lo segundo es renunciar a aparecer en las respuestas generadas, que es justo donde cada vez más gente busca.

Y las cuatro compañías no tratan esto igual. Microsoft ha habilitado controles que separan ambas cosas: puedes excluirte del entrenamiento y seguir siendo elegible para las respuestas con citación. Google lo gestiona de otro modo. Es decir, un mismo token con dos significados prácticos distintos según quién lo lea.

Esa divergencia es probablemente temporal, porque es difícil de sostener en el tiempo, pero mientras dure obliga a decidir con conocimiento y no por defecto.

Lo que sí han confirmado expresamente las dos: respetar el token no afecta a la posición de una web en los resultados de búsqueda normales. Esa es la pregunta que va a hacer todo el mundo, y la respuesta es tranquilizadora.

Un calendario desigual

Compañía	Estado
Anthropic	Ya lo respeta
OpenAI	«Próximos meses»
Microsoft	2027, con informaciones que apuntan al 1 de febrero
Google	A lo largo de 2027
Meta	Ha manifestado apoyo sin comprometerse

La lectura práctica es que, si añades el token hoy, obtienes protección frente a Anthropic de inmediato y frente al resto a medida que lo vayan activando. No es inmediato, pero tampoco se pierde nada por anticiparse.

Nota del autor: todas las previsiones, sugerencias y datos son acorde a lo recogido en la fecha de publicación. No puedo hacerme responsable de futuros desarrollos de terceros.

Qué hacer, en orden

Primero, decidir. Y es una decisión de negocio, no técnica. Hay empresas a las que les interesa que su conocimiento alimente modelos porque eso refuerza su presencia como referencia del sector. Hay otras, sobre todo con contenido propio que constituye el activo principal, a las que no. No hay respuesta universal.

Segundo, distinguir entrenamiento de grounding. Si te interesa aparecer citado en las respuestas de IA, que a la mayoría de negocios le interesa, asegúrate de no cerrar esa puerta mientras cierras la otra.

Tercero, no retirar lo que ya tienes. Las reglas existentes para GPTBot, Google-Extended y las etiquetas de Microsoft siguen vigentes y conviene mantenerlas hasta que cada compañía confirme que su soporte del token nuevo está activo.

Cuarto, comprobar quién controla tu robots.txt. En webs con CDN o con plugins de seguridad, es frecuente que el archivo lo genere automáticamente una capa intermedia y que las reglas se dupliquen o se contradigan. Antes de añadir nada, merece la pena saber qué dice realmente el archivo que se está sirviendo.

Por qué esto encaja con lo que ya estaba pasando

Esta decisión no llega aislada. Es la tercera pieza de un mismo movimiento en pocas semanas.

• Primero, Google reescribió su documentación sobre presupuesto de rastreo y dejó por escrito que la capacidad de rastreo de un sitio es compartida entre todos sus rastreadores, incluidos los que alimentan sus sistemas de IA.
• Después, Anthropic publicó una política de uso que prohíbe expresamente usar sus modelos para manipular las fuentes de las que los sistemas de IA extraen respuestas.
• Y ahora, cuatro competidores directos se ponen de acuerdo en un instrumento común para que los editores puedan decidir.

Tres movimientos, tres capas distintas de la misma cadena: quién puede acceder, qué se permite crear, y quién decide. La dirección es la misma en los tres casos: menos ambigüedad sobre quién usa qué y con qué permiso.

Para una empresa que publica contenido honesto sobre lo que realmente hace, nada de esto es una amenaza. Es, por primera vez en bastante tiempo, un poco más de control.