Google prévoit de prendre en charge un contrôle partagé de l’entraînement de l’IA dans robots.txt

Le 30 octobre 2026, Google a annoncé qu’il prévoyait de prendre en charge un contrôle partagé de l’entraînement de l’IA dans robots.txt, afin que les propriétaires de sites Web puissent exprimer leurs préférences en matière d’entraînement auprès de plusieurs fournisseurs d’IA à l’aide d’un seul mécanisme. Cet engagement a été annoncé le même jour que des initiatives similaires de Microsoft et d’OpenAI.

Comment Google appliquera le contrôle

Le projet a été présenté dans un article du blog Google Search Central par John Mueller, spécialiste de la recherche Google. Ce contrôle s’appuie sur les travaux du groupe de travail AI Preferences de l’Internet Engineering Task Force (IETF) et prolonge le mécanisme Google-Extended, le contrôle de l’entraînement de l’IA que Google affirme proposer depuis 2023.

Au lieu de gérer des instructions distinctes pour chaque développeur d’IA, les propriétaires de sites Web pourront définir des préférences générales applicables aux fournisseurs d’IA participants au moyen d’un jeton de politique partagé dans robots.txt. Lorsqu’un site Web utilise ce jeton pour refuser l’utilisation de son contenu à des fins d’entraînement sans avoir explicitement indiqué Google-Extended, Google prévoit d’interpréter ce choix comme si l’éditeur avait désactivé Google-Extended. D’autres fournisseurs d’IA pourront traiter le signal de la même manière : les propriétaires de sites pourront ainsi refuser l’utilisation de leur contenu auprès de tous les fournisseurs participants à la fois, ou choisir ceux concernés.

Selon l’article, les contrôles propres à chaque entreprise continueront de fonctionner parallèlement au signal commun. Les propriétaires de sites Web pourront donc exprimer un choix général au moyen du signal sectoriel, tout en adaptant leurs instructions à chaque développeur grâce à des contrôles tels que Google-Extended. Les sites Web qui autorisent explicitement Google-Extended peuvent apparaître dans les réponses et recevoir des clics grâce à l’ancrage dans les applications Gemini.

Google a indiqué que cette proposition tenait compte des retours des éditeurs, des organisations de la société civile, des autorités de régulation et d’autres parties prenantes, qui réclament des contrôles à l’échelle du secteur sur l’entraînement de l’IA. Selon l’entreprise, le soutien des principaux fournisseurs d’IA permettrait de mettre en place une norme durable, applicable à l’ensemble du secteur. Elle a également déclaré que la proposition était conforme au code de bonnes pratiques de l’UE destiné aux fournisseurs de modèles d’IA à usage général dans le cadre du règlement européen sur l’IA, qui reconnaît robots.txt comme un moyen privilégié pour les éditeurs Web d’exprimer des préférences lisibles par machine. Google prévoit de prendre en charge ce nouveau contrôle en 2027, aux côtés d’autres fournisseurs d’IA, et a indiqué qu’il ferait le point sur les progrès accomplis.

OpenAI a pris un engagement similaire le même jour. Dans son annonce, l’entreprise a déclaré qu’elle respecterait le signal commun dans robots.txt, qu’elle prévoyait de le mettre en œuvre dans les mois à venir et qu’elle maintiendrait ses contrôles existants sur les robots d’exploration, qui continueraient d’être respectés. OpenAI a précisé qu’elle se joignait aux autres participants du groupe de travail AI Preferences et a encouragé les autres fournisseurs d’IA à respecter le signal.

Le projet de l’IETF à l’origine du signal

Le mécanisme est défini dans un projet de norme Internet intitulé « Signal de préférence d’entraînement lisible par machine », rédigé par Kevin Kelley, d’Anthropic, et daté du 30 octobre 2026. Le document est destiné à suivre le processus d’élaboration des normes et expire le 3 mai 2027. Selon le datatracker de l’IETF, il s’agit d’une soumission individuelle, qui n’est pas approuvée par l’IETF et n’a aucun statut officiel dans le processus de normalisation.

Selon le projet, l’exploitant d’un service associe des préférences d’utilisation à des chemins en rédigeant des groupes robots.txt ordinaires identifiés par un jeton de politique propre à chaque finalité, __usage_ai-training, dans la ligne User-Agent. Le groupe donné en exemple dans le projet exprime une préférence contre l’utilisation du contenu à des fins d’entraînement de l’IA pour l’ensemble d’un site, à l’exception des chemins situés sous /press-kit/. Le mécanisme n’introduit ni nouveau nom de directive ni nouvelle syntaxe : le langage des chemins, la priorité accordée à la correspondance la plus longue et la structure des groupes de la norme robots.txt, RFC 9309, restent inchangés. Les analyseurs déjà déployés sur Internet ignoreront donc les groupes associés à des jetons de politique qu’ils ne reconnaissent pas. Les groupes génériques, ceux qui comportent User-Agent: *, ne doivent pas être interprétés comme correspondant au jeton de politique. Enfin, un fichier robots.txt qui ne contient aucun groupe __usage_ai-training n’exprime aucune préférence.

Le sens du jeton découle de la définition de l’entraînement de l’IA dans le vocabulaire AIPREF : « Utiliser une ressource pour modifier les paramètres appris d’un modèle d’IA générative. » Cette définition exclut l’entraînement de modèles utilisés exclusivement pour des tâches non génératives, même si ces modèles sont capables d’effectuer des tâches génératives. Le projet souligne également que le jeton exprime une préférence concernant l’utilisation du contenu, et non une directive régissant le comportement des robots d’exploration, même si les destinataires peuvent s’appuyer sur ces préférences pour orienter l’exploration. Les préférences spécifiques doivent prévaloir sur les préférences générales, et des accords privés peuvent primer sur les préférences exprimées.

Le 30 octobre 2026, Kelley a annoncé le projet sur la liste de diffusion ai-control de l’IETF, précisant qu’Anthropic avait déjà commencé à en mettre en œuvre la prise en charge. Il a présenté ces travaux comme un complément aux contrôles existants d’Anthropic sur les robots d’exploration, et non comme un remplacement.

Adoption par Microsoft et dates de transition

Microsoft a annoncé son adoption le même jour dans un article du blog Bing de Krishna Madhavan, chef de produit principal pour Microsoft Bing. L’entreprise a déclaré avoir été la première à proposer aux éditeurs des contrôles de l’entraînement de l’IA et de l’ancrage, en citant les balises NoArchive et NoCache qu’elle a introduites en 2023.

Microsoft adopte la préférence commune d’entraînement de l’IA pour les sites et les chemins, et l’étend à chaque page au moyen de balises meta et d’en-têtes de réponse HTTP, tout en ajoutant une préférence distincte d’ancrage de l’IA au niveau de la page. En plus des options Allow et Disallow, la préférence d’ancrage ajoute une nouvelle option, DisallowExtended, qui limite l’utilisation de l’ancrage aux expériences exploitées par Microsoft, comme AI Mode, AI Overview, Copilot et Microsoft 365, tout en excluant les services d’ancrage que Microsoft fournit à des tiers, comme Web IQ et l’ancrage par accès à l’API dans Foundry. Les deux préférences sont réglées par défaut sur Allow lorsqu’aucune préférence n’est publiée. Microsoft a averti que le choix de Disallow ou de DisallowExtended pour l’ancrage réduit la visibilité des marques dans les expériences d’IA ; ces préférences ne modifient pas l’admissibilité aux résultats de recherche Bing classiques et ne définissent aucun accord de licence ou de paiement.

Les nouvelles préférences remplaceront NoArchive et NoCache pour l’entraînement et l’ancrage et entreront en vigueur à compter du 1er février 2027, au fil de l’exploration par Microsoft. Des préférences temporaires de transition pour l’ancrage seront disponibles dans Bing Webmaster Tools le 15 décembre 2026 pour les sites qui utilisent encore les anciennes balises à cette date. Ces sites devront publier leurs nouvelles préférences et définir une préférence temporaire d’ancrage avant le 1er mars 2027 ; après cette date, NoArchive et NoCache ne seront plus interprétées comme des préférences relatives à l’entraînement ou à l’ancrage. Les préférences temporaires resteront en vigueur jusqu’à ce que Microsoft explore de nouveau une page et y détecte la nouvelle préférence d’ancrage, ou jusqu’au 30 septembre 2027, selon la première éventualité.