OpenAI respetará una señal compartida en robots.txt para las preferencias de entrenamiento de IA

OpenAI anunció el 30 de octubre de 2026 que respetará una señal compartida en robots.txt, el archivo que los sitios web utilizan para expresar sus preferencias sobre el uso de su contenido, de modo que los operadores de sitios puedan comunicar una única preferencia sobre el entrenamiento de IA a varios proveedores participantes a la vez.

Una señal voluntaria compartida entre proveedores

En su anuncio, OpenAI describió la iniciativa como voluntaria y señaló que aborda una carga existente: hasta ahora, los operadores de sitios web debían identificar cada rastreador por separado y mantener reglas independientes para todos y cada uno de los proveedores. Según la empresa, una señal compartida permite a los editores y operadores de sitios web comunicar la misma preferencia a varios proveedores participantes a la vez. OpenAI afirmó que espera implementar la señal en los próximos meses y que, cuando lo haga, compartirá otra actualización con los detalles de la implementación.

La empresa indicó que la nueva señal no sustituirá los controles que ya ofrece mediante robots.txt, los cuales, según afirmó, seguirán vigentes y se respetarán. OpenAI presentó esta iniciativa como una forma de apoyarse en el trabajo en curso del grupo de trabajo AI Preferences del Internet Engineering Task Force, señaló que se suma a otros participantes del grupo de trabajo para hacer el anuncio y animó a otros proveedores de IA a respetar la señal. La empresa describió este paso como un avance hacia una web abierta en la que las personas puedan publicar y descubrir información y los propietarios de sitios web dispongan de formas más claras y sencillas de comunicar sus decisiones sobre el uso de su contenido. También afirmó que seguirá adaptando sus prácticas a medida que evolucionen las conversaciones sobre esos estándares.

Cómo funciona la señal

La señal se define en un borrador individual de Internet titulado Señal legible por máquinas de preferencias de entrenamiento (draft-kelley-aipref-training-preference-signal-00), escrito por Kevin Kelley, de Anthropic, fechado el 30 de octubre de 2026 y con vencimiento el 3 de mayo de 2027. El datatracker del IETF señala que un borrador individual de Internet no cuenta con el respaldo del IETF ni tiene reconocimiento formal en el proceso de estándares de la organización.

Según el borrador, un operador de servicios vincula preferencias de uso, como «sin entrenamiento de IA», a determinadas rutas mediante grupos ordinarios de robots.txt identificados por un token de política para cada finalidad en la línea User-Agent. El borrador no introduce nombres de directivas ni gramática nuevos: el lenguaje de rutas, la precedencia de la coincidencia más larga y la estructura de grupos del estándar robots.txt publicado como RFC 9309 no cambian. Por consiguiente, señala el borrador, los analizadores existentes desplegados en internet seguirán interpretando las señales de gestión del tráfico como hasta ahora e ignorarán los grupos con tokens de política, del mismo modo que ignorarían cualquier grupo que nombre un agente de usuario que no reconocen.

El borrador define el token de política entre proveedores __usage_ai-training. En su grupo de ejemplo, la línea «User-Agent: __usage_ai-training» se combina con «Disallow: /» y «Allow: /press-kit/», lo que expresa una preferencia contraria al entrenamiento de IA para todas las rutas, excepto las que se encuentran bajo /press-kit/. Los grupos comodín, es decir, «User-Agent: *», no deben interpretarse como coincidentes con el token de política; si ningún grupo de un archivo contiene ese token, no se ha expresado ninguna preferencia.

El borrador también especifica que el token de política no es una directiva sobre el comportamiento de rastreo. Según el documento, las preferencias sobre el uso del contenido y las señales de gestión del tráfico de los rastreadores son independientes y ortogonales, y los acuerdos privados pueden prevalecer sobre las preferencias expresadas mediante este mecanismo. Entre los objetivos que establece figuran los vínculos específicos para cada ruta, una desviación mínima respecto de RFC 9309, evitar la duplicación de reglas a gran escala, mantener sin cambios el comportamiento de los analizadores que no implementen el mecanismo y garantizar una interpretación coherente entre los distintos consumidores.

El vocabulario en que se basa la señal

El significado del token se ajusta al borrador de vocabulario del grupo de trabajo, Un vocabulario para expresar preferencias de uso de la IA (draft-ietf-aipref-vocab-08), redactado por Paul Keller, de Open Future, y Martin Thomson, de Mozilla. Su última actualización fue en septiembre de 2026 como documento del grupo de trabajo destinado a convertirse en una norma propuesta. Ese vocabulario define el entrenamiento de IA como el uso de un activo para modificar los parámetros aprendidos de un modelo de IA generativa, excluido el entrenamiento de modelos destinados exclusivamente a tareas no generativas. También define un modelo de IA generativa como aquel que se utiliza, o se pone a disposición para su uso, con el fin de generar contenido sintético en una o varias modalidades.

El vocabulario también define una categoría independiente de uso de IA, que abarca los activos utilizados como entrada de un modelo de IA generativa, en lugar de proporcionárselos directamente a un usuario, y una categoría de búsqueda para las aplicaciones cuyo propósito principal es seleccionar activos y dirigir a los usuarios a sus ubicaciones. A cada categoría se le asigna un valor de preferencia: permitido, no permitido o desconocido; si hay declaraciones contradictorias, se aplica la preferencia más restrictiva. El borrador del vocabulario indica que no garantiza que se respeten las preferencias y deja en manos del destinatario la decisión de seguirlas. Además, una nota para los lectores advierte que su contenido todavía no refleja el consenso del grupo de trabajo. Una sección cuya inclusión sigue figurando como asunto pendiente señala que cumplir las preferencias de entrenamiento implica transmitir, junto con un modelo cuando se distribuye, las preferencias asociadas a los activos utilizados para entrenarlo.

En los agradecimientos del borrador de la señal de entrenamiento se menciona a los presidentes del grupo de trabajo, Mark Nottingham, de Cloudflare, y Suresh Krishnan, de Cisco; a los editores del vocabulario, Thomson y Keller; y al director responsable del área, Mike Bishop, de Akamai. También se enumeran participantes individuales, cuyas afiliaciones se indican únicamente con fines de identificación, ya que quienes participan en el IETF lo hacen a título personal. Proceden de organizaciones como OpenAI, Google, Microsoft, Meta, Cloudflare, la Common Crawl Foundation, News Corp, el Financial Times, la BBC, la Electronic Frontier Foundation y Creative Commons.

Los controles de rastreo actuales de OpenAI

La documentación de rastreo de OpenAI, que, según indicó la empresa, seguirá vigente junto con la nueva señal, describe GPTBot como el agente que rastrea contenido que podría utilizarse para entrenar sus modelos fundacionales de IA generativa; impedir el acceso a GPTBot indica que el contenido de un sitio no debe utilizarse para ese entrenamiento. OAI-SearchBot muestra sitios web en las funciones de búsqueda de ChatGPT, y los sitios que opten por excluirse de su rastreo no aparecerán en las respuestas de búsqueda de ChatGPT, aunque sí podrán aparecer como enlaces de navegación. OAI-AdsBot comprueba la seguridad de las páginas web enviadas como anuncios en ChatGPT, y los datos que recopila no se utilizan para entrenar modelos fundacionales de IA generativa. ChatGPT-User gestiona las visitas a páginas que se producen a raíz de acciones de los usuarios en ChatGPT, en lugar del rastreo automático, y la documentación señala que las reglas de robots.txt podrían no aplicarse a esas visitas.

Según la documentación, cada ajuste es independiente de los demás, por lo que un administrador web puede permitir que OAI-SearchBot aparezca en los resultados de búsqueda y, al mismo tiempo, impedir el acceso de GPTBot con fines de entrenamiento. Los cambios en la búsqueda pueden tardar unas 24 horas en aplicarse después de actualizar el archivo robots.txt de un sitio. OpenAI indicó que compartirá los detalles de implementación de la señal compartida cuando la implemente en los próximos meses.