Google prevé admitir un control compartido del entrenamiento de IA en robots.txt

El 30 de octubre de 2026, Google anunció que tiene previsto admitir un control compartido del entrenamiento de IA en robots.txt, que ofrecerá a los propietarios de sitios web una única forma de expresar sus preferencias de entrenamiento para varios proveedores de IA. El compromiso se anunció el mismo día que los de Microsoft y OpenAI.

Cómo aplicará Google el control

John Mueller, defensor de la Búsqueda de Google, expuso el plan en una publicación del blog Google Search Central. El control se basa en el trabajo del grupo de trabajo AI Preferences de la Internet Engineering Task Force (IETF) y se apoya en Google-Extended, el control del entrenamiento de IA que, según Google, ofrece desde 2023.

En lugar de gestionar instrucciones distintas para cada desarrollador de IA, los propietarios de sitios web podrán usar un token de política compartido en robots.txt para establecer preferencias generales aplicables a los proveedores de IA participantes. Si un sitio web usa el token para excluirse del entrenamiento y no ha especificado explícitamente Google-Extended, Google prevé interpretar esa configuración como si el editor hubiera desautorizado Google-Extended. Otros proveedores de IA pueden gestionar la señal de forma similar, por lo que los propietarios podrán excluirse de todos los proveedores participantes a la vez o elegir entre ellos.

Según la publicación, los controles específicos de cada empresa seguirán funcionando junto con la señal conjunta. Así, los propietarios de sitios web podrán expresar una preferencia general mediante la señal del sector y, al mismo tiempo, adaptar las instrucciones para cada desarrollador con controles como Google-Extended. Los sitios web que permitan específicamente Google-Extended podrán aparecer en las respuestas y recibir clics mediante la fundamentación en Gemini Apps.

Google afirmó que la propuesta responde a los comentarios de editores, grupos de la sociedad civil, organismos reguladores y otras partes interesadas, que han pedido controles sectoriales para el entrenamiento de IA. También señaló que el respaldo de los principales proveedores de IA permitiría establecer un estándar duradero y aplicable en todo el sector. La empresa añadió que la propuesta es coherente con el Código de buenas prácticas de la UE para proveedores de modelos de IA de propósito general, en el marco de la Ley de IA de la UE, que reconoce robots.txt como un método principal para que los editores web expresen preferencias legibles por máquinas. Google prevé admitir el nuevo control en 2027, junto con otros proveedores de IA, y afirmó que informará sobre sus avances.

OpenAI asumió un compromiso paralelo ese mismo día. En su anuncio, OpenAI afirmó que respetará la señal común de robots.txt, que prevé implementarla en los próximos meses y que mantendrá vigentes y respetará los controles que ya aplica a sus rastreadores. OpenAI señaló en el anuncio que se sumaba a otros participantes del grupo de trabajo AI Preferences e instó a otros proveedores de IA a respetar la señal.

El borrador de la IETF en que se basa la señal

El mecanismo se describe en un borrador de Internet titulado «Machine-Readable Training Preference Signal», redactado por Kevin Kelley, de Anthropic, y fechado el 30 de octubre de 2026. El documento está destinado a la vía de estándares y vence el 3 de mayo de 2027; según el sistema de seguimiento de la IETF, es una propuesta individual que no cuenta con el respaldo de la IETF ni tiene carácter oficial en el proceso de estandarización.

Según el borrador, el operador de un servicio vincula las preferencias de uso a determinadas rutas mediante grupos habituales de robots.txt, identificados por un token de política para cada propósito, __usage_ai-training, en la línea User-Agent. El grupo de ejemplo del borrador expresa una preferencia contraria al entrenamiento de IA para todo el sitio, salvo para las rutas que se encuentran bajo /press-kit/. El mecanismo no incorpora nombres de directivas ni reglas sintácticas nuevos: se mantienen sin cambios el lenguaje de rutas, la precedencia de la coincidencia más larga y la estructura de grupos del estándar robots.txt, RFC 9309. Por ello, los analizadores ya desplegados en internet ignorarán los grupos con tokens de política que no reconozcan. Los grupos comodín, es decir, los que contienen User-Agent: *, no deben interpretarse como coincidentes con el token de política, y un archivo robots.txt que no incluya ningún grupo __usage_ai-training no expresa preferencia alguna.

El significado del token se basa en la definición de entrenamiento de IA del vocabulario AIPREF: «Usar un recurso para modificar los parámetros aprendidos de un modelo de IA generativa». La definición excluye el entrenamiento de modelos destinados exclusivamente a tareas no generativas, aunque el modelo sea capaz de realizar tareas generativas. El borrador también subraya que el token expresa una preferencia sobre el uso del contenido, no una directiva sobre el comportamiento de rastreo, aunque quienes lo reciben pueden tener en cuenta las preferencias al rastrear. Las expresiones específicas deben prevalecer sobre las generales, y los acuerdos privados pueden invalidar las preferencias expresadas.

El 30 de octubre de 2026, Kelley anunció el borrador en la lista de correo ai-control de la IETF y escribió que Anthropic ya había empezado a implementar su compatibilidad. Describió el trabajo como un complemento de los controles que Anthropic ya aplica a sus rastreadores, no como un sustituto.

Adopción de Microsoft y fechas de transición

Microsoft anunció su adopción ese mismo día en una publicación del blog de Bing escrita por Krishna Madhavan, gerente principal de producto de Microsoft Bing. Microsoft afirmó que fue la primera empresa en ofrecer a los editores controles para el entrenamiento y la fundamentación de IA, y señaló las etiquetas NoArchive y NoCache, que introdujo en 2023.

Microsoft adoptará la preferencia compartida de entrenamiento de IA para sitios y rutas, y la ampliará al nivel de página mediante etiquetas meta y encabezados de respuesta HTTP, a la vez que añadirá una preferencia independiente de fundamentación de IA para cada página. Además de Allow y Disallow, la preferencia de fundamentación incorpora una nueva opción, DisallowExtended, que limita el uso de la fundamentación a experiencias operadas por Microsoft, como AI Mode, AI Overview, Copilot y Microsoft 365, y excluye los servicios de fundamentación que Microsoft ofrece a terceros, como Web IQ y la fundamentación mediante acceso a la API en Foundry. Si no se publica ninguna preferencia, ambas tienen Allow como valor predeterminado. Microsoft advirtió que seleccionar Disallow o DisallowExtended para la fundamentación reduce la visibilidad de la marca en las experiencias de IA; las preferencias no modifican la elegibilidad para aparecer en los resultados de búsqueda tradicionales de Bing ni establecen acuerdos de licencia o pago.

Las nuevas preferencias reemplazarán a NoArchive y NoCache para el entrenamiento y la fundamentación, y entrarán en vigor a partir del 1 de febrero de 2027, a medida que Microsoft rastree los sitios. El 15 de diciembre de 2026 se habilitarán en Bing Webmaster Tools las preferencias temporales de transición para la fundamentación, destinadas a los sitios que utilicen las etiquetas anteriores en esa fecha. Esos sitios deberán publicar sus nuevas preferencias y registrar una preferencia temporal de fundamentación antes del 1 de marzo de 2027; a partir de entonces, NoArchive y NoCache dejarán de interpretarse como preferencias para el entrenamiento o la fundamentación. Las preferencias temporales seguirán vigentes hasta que Microsoft vuelva a rastrear una página y detecte la nueva preferencia de fundamentación, o hasta el 30 de septiembre de 2027, lo que ocurra primero.