OpenAI respectera un signal partagé dans robots.txt concernant les préférences d’entraînement de l’IA

Le 30 octobre 2026, OpenAI a annoncé qu’il respecterait un signal partagé dans robots.txt — le fichier utilisé par les sites web pour exprimer leurs préférences quant à l’utilisation de leur contenu — afin que les exploitants de sites puissent communiquer en une seule fois la même préférence concernant l’entraînement de l’IA à plusieurs fournisseurs participants.

Un signal facultatif partagé entre fournisseurs

Dans son annonce, OpenAI a présenté cette initiative comme facultative et indiqué qu’elle répondait à une difficulté existante : jusqu’à présent, les exploitants de sites web devaient identifier les robots d’exploration un par un et maintenir des règles distinctes pour chacun des fournisseurs. Selon l’entreprise, un signal partagé permet aux éditeurs et aux exploitants de sites web de communiquer la même préférence en une seule fois à plusieurs fournisseurs participants. OpenAI a indiqué qu’il comptait mettre en œuvre le signal dans les prochains mois et qu’il publierait alors une nouvelle mise à jour contenant des détails sur sa mise en œuvre.

L’entreprise a précisé que le nouveau signal ne remplacerait pas les mécanismes de contrôle déjà proposés par l’intermédiaire de robots.txt, qui continueraient de s’appliquer et d’être respectés. OpenAI a présenté cette initiative comme s’inscrivant dans les travaux en cours du groupe de travail AI Preferences de l’Internet Engineering Task Force, a indiqué qu’il se joignait aux autres membres du groupe pour faire cette annonce et a encouragé les autres fournisseurs d’IA à respecter le signal. L’entreprise a décrit cette démarche comme une avancée vers un web ouvert, où chacun peut publier et découvrir des informations et où les propriétaires de sites disposent de moyens plus clairs et plus simples pour communiquer leurs choix quant à l’utilisation de leur contenu. Elle a ajouté qu’elle continuerait à adapter ses pratiques au fil de l’évolution des discussions sur ces normes.

Fonctionnement du signal

Le signal est défini dans un projet Internet individuel intitulé Signal de préférence d’entraînement lisible par machine (draft-kelley-aipref-training-preference-signal-00), rédigé par Kevin Kelley, d’Anthropic, daté du 30 octobre 2026 et arrivant à expiration le 3 mai 2027. Le datatracker de l’IETF précise qu’un projet Internet individuel n’est pas approuvé par l’IETF et n’a aucun statut officiel dans son processus d’élaboration des normes.

Selon le projet, un exploitant de service associe des préférences d’utilisation, comme « pas d’entraînement de l’IA », à des chemins en rédigeant des groupes ordinaires dans robots.txt, identifiés par un jeton de politique propre à chaque finalité dans la ligne User-Agent. Le projet n’introduit ni nouveau nom de directive ni nouvelle syntaxe : le langage des chemins, la priorité accordée à la correspondance la plus longue et la structure des groupes définis par la norme robots.txt publiée sous la référence RFC 9309 restent inchangés. Par conséquent, indique le projet, les analyseurs déjà déployés sur Internet continueront d’interpréter les signaux de gestion du trafic comme auparavant et ignoreront les groupes utilisant un jeton de politique, comme ils ignoreraient tout groupe désignant un agent utilisateur qu’ils ne reconnaissent pas.

Le projet définit le jeton de politique inter-fournisseurs __usage_ai-training. Dans son exemple, le groupe associe la ligne « User-Agent: __usage_ai-training » aux lignes « Disallow: / » et « Allow: /press-kit/ », ce qui exprime une préférence contre l’entraînement de l’IA pour tous les chemins, à l’exception de ceux situés sous /press-kit/. Les groupes génériques, c’est-à-dire « User-Agent: * », ne doivent pas être interprétés comme correspondant au jeton de politique. Si aucun groupe d’un fichier ne contient ce jeton, aucune préférence n’a été exprimée.

Le projet précise également que le jeton de politique ne constitue pas une directive concernant le comportement d’exploration. Les préférences relatives à l’utilisation du contenu et les signaux de gestion du trafic des robots d’exploration sont indépendants et orthogonaux, indique-t-il, et des accords privés peuvent prévaloir sur les préférences exprimées par ce mécanisme. Parmi ses objectifs figurent l’association de préférences à des chemins précis, un écart minimal par rapport à la RFC 9309, l’absence de duplication massive des règles, le maintien du comportement des analyseurs qui ne mettent pas en œuvre le mécanisme et une interprétation cohérente par les différents consommateurs.

Le vocabulaire à l’origine du signal

La signification du jeton reprend le vocabulaire proposé par le groupe de travail dans son projet, Un vocabulaire pour exprimer les préférences d’utilisation de l’IA (draft-ietf-aipref-vocab-08), rédigé par Paul Keller, d’Open Future, et Martin Thomson, de Mozilla, et mis à jour pour la dernière fois en septembre 2026 en tant que document du groupe de travail destiné à devenir une norme proposée. Ce vocabulaire définit l’entraînement de l’IA comme l’utilisation d’une ressource pour modifier les paramètres appris d’un modèle d’IA générative. Il exclut l’entraînement de modèles utilisés exclusivement pour des tâches non génératives. Il définit un modèle d’IA générative comme un modèle utilisé, ou mis à disposition à cette fin, pour générer du contenu synthétique dans une ou plusieurs modalités.

Le vocabulaire définit également une catégorie distincte, « Utilisation de l’IA », qui couvre les ressources fournies en entrée à un modèle d’IA générative plutôt que directement par un utilisateur, ainsi qu’une catégorie « Recherche » pour les applications dont l’objectif principal est de sélectionner des ressources et d’orienter les utilisateurs vers leur emplacement. Chaque catégorie reçoit une valeur de préférence : autorisée, interdite ou inconnue. En cas de conflit entre plusieurs déclarations, la préférence la plus restrictive s’applique. Le projet de vocabulaire précise qu’il ne garantit pas le respect des préférences et laisse au destinataire le choix de les suivre ou non. Une note aux lecteurs avertit que son contenu ne reflète pas encore le consensus du groupe de travail. Une section, dont l’inclusion fait toujours l’objet d’une question en suspens, indique que le respect des préférences d’entraînement suppose de transmettre avec le modèle, au moment de sa distribution, les préférences associées aux ressources d’entraînement.

Les remerciements du projet de signalement des préférences d’entraînement citent les responsables du groupe de travail, Mark Nottingham de Cloudflare et Suresh Krishnan de Cisco, les éditeurs du vocabulaire, Thomson et Keller, ainsi que le directeur de domaine responsable, Mike Bishop d’Akamai. Ils mentionnent également des participants individuels, dont l’affiliation est indiquée à des fins d’identification uniquement, car les participants à l’IETF contribuent à titre individuel. Ces participants viennent notamment d’OpenAI, de Google, de Microsoft, de Meta, de Cloudflare, de la Common Crawl Foundation, de News Corp, du Financial Times, de la BBC, de l’Electronic Frontier Foundation et de Creative Commons.

Les contrôles existants d’OpenAI concernant ses robots d’exploration

La documentation sur les robots d’exploration d’OpenAI, qui, selon l’entreprise, restera en vigueur parallèlement au nouveau signal, décrit GPTBot comme l’agent qui explore les contenus susceptibles d’être utilisés pour entraîner ses modèles de fondation d’IA générative ; interdire GPTBot indique que le contenu d’un site ne doit pas être utilisé à cette fin. OAI-SearchBot fait apparaître des sites Web dans les fonctions de recherche de ChatGPT. Les sites qui choisissent de ne pas l’autoriser ne figureront pas dans les réponses de recherche de ChatGPT, mais pourront toujours apparaître sous forme de liens de navigation. OAI-AdsBot vérifie la sécurité des pages Web soumises comme publicités sur ChatGPT, et les données qu’il recueille ne servent pas à entraîner des modèles de fondation d’IA générative. ChatGPT-User gère les visites de pages déclenchées par les actions des utilisateurs dans ChatGPT, plutôt que l’exploration automatique, et la documentation précise que les règles du fichier robots.txt peuvent ne pas s’appliquer à ces visites.

Selon la documentation, chaque paramètre est indépendant des autres : un administrateur de site peut donc autoriser OAI-SearchBot à apparaître dans les résultats de recherche tout en interdisant GPTBot pour l’entraînement. Après la mise à jour du fichier robots.txt d’un site, l’ajustement des résultats de recherche peut prendre environ 24 heures. OpenAI a indiqué qu’elle communiquerait les détails de mise en œuvre du signal partagé lorsqu’elle le déploiera, au cours des prochains mois.