Google wil gedeelde robots.txt-regeling voor AI-training ondersteunen

Google maakte op 30 oktober 2026 bekend dat het een gedeelde regeling voor AI-training in robots.txt wil ondersteunen. Daarmee krijgen website-eigenaren één manier om hun voorkeuren voor AI-training kenbaar te maken aan meerdere AI-aanbieders. De toezegging kwam tegelijk met aankondigingen van Microsoft en OpenAI.

Hoe Google de regeling wil toepassen

Het plan werd uiteengezet in een blogbericht van Google Search Central door John Mueller, een Google Search Advocate. De regeling is gebaseerd op werk van de AI Preferences-werkgroep van de Internet Engineering Task Force (IETF) en bouwt voort op Google-Extended, de regeling voor AI-training die Google naar eigen zeggen sinds 2023 aanbiedt.

In plaats van voor elke AI-ontwikkelaar afzonderlijke instructies te beheren, kunnen website-eigenaren met een gedeeld beleidstoken in robots.txt algemene voorkeuren instellen voor alle deelnemende AI-aanbieders. Wanneer een website het token gebruikt om af te zien van training en Google-Extended niet expliciet vermeldt, wil Google dit opvatten alsof de website-eigenaar Google-Extended heeft uitgesloten. Andere AI-aanbieders kunnen het signaal op dezelfde manier verwerken. Zo kunnen website-eigenaren zich in één keer afmelden bij alle deelnemende aanbieders, of zelf kiezen bij welke aanbieders ze dat doen.

Volgens het bericht blijven bestaande bedrijfsspecifieke regelingen naast het gezamenlijke signaal functioneren. Website-eigenaren kunnen zo via het branchesignaal een algemene keuze kenbaar maken en tegelijk hun instructies voor afzonderlijke ontwikkelaars aanpassen met regelingen zoals Google-Extended. Websites die Google-Extended specifiek toestaan, komen in aanmerking om te worden opgenomen in antwoorden en via grounding in Gemini Apps klikken te ontvangen.

Google zei dat het voorstel tegemoetkomt aan de feedback van uitgevers, maatschappelijke organisaties, toezichthouders en andere belanghebbenden, die hebben opgeroepen tot branchebrede regelingen voor AI-training. Volgens Google zou steun van grote AI-aanbieders leiden tot een duurzame standaard die in de hele sector werkt. Het bedrijf zei ook dat het voorstel aansluit bij de EU Code of Practice for general-purpose AI model providers op grond van de EU AI Act, waarin robots.txt wordt erkend als een primaire methode waarmee webuitgevers machineleesbare voorkeuren kenbaar kunnen maken. Google wil de nieuwe regeling in 2027 ondersteunen, samen met andere AI-aanbieders, en zei dat het updates zal geven over de voortgang.

OpenAI deed diezelfde dag een vergelijkbare toezegging. In de aankondiging van OpenAI stond dat het bedrijf het gemeenschappelijke robots.txt-signaal zal respecteren, het de komende maanden wil implementeren en de bestaande crawlerregelingen van kracht zal laten en zal blijven respecteren. OpenAI zei in de aankondiging dat het zich aansloot bij andere deelnemers aan de AI Preferences-werkgroep en riep andere AI-aanbieders op het signaal te respecteren.

Het IETF-concept achter het signaal

De regeling is beschreven in een conceptdocument met de titel “Machine-Readable Training Preference Signal”, geschreven door Kevin Kelley van Anthropic en gedateerd 30 oktober 2026. Het document is bedoeld voor het standaardisatietraject en vervalt op 3 mei 2027. Volgens de IETF-datatracker is het een individuele indiening die niet door de IETF wordt onderschreven en geen formele status heeft in het standaardisatieproces.

Volgens het concept koppelt een dienstaanbieder gebruiksvoorkeuren aan paden door gewone groepen in robots.txt op te nemen, met in de User-Agent-regel een beleidstoken per doel: __usage_ai-training. De voorbeeldgroep in het concept geeft aan dat AI-training voor een hele site niet is toegestaan, behalve voor paden onder /press-kit/. De regeling voegt geen nieuwe directievenamen of grammaticaregels toe: de padnotatie, de voorrang van de langste overeenkomst en de groepsstructuur van de robots.txt-standaard, RFC 9309, blijven ongewijzigd. Daardoor negeren parsers die al op internet zijn geïmplementeerd groepen met beleidstokens die ze niet herkennen. Groepen met jokertekens, met User-Agent: *, mogen niet worden opgevat als groepen die overeenkomen met het beleidstoken. Een robots.txt-bestand zonder groep met __usage_ai-training geeft helemaal geen voorkeur aan.

De betekenis van het token is ontleend aan de definitie van AI-training in de AIPREF-woordenlijst: “Het gebruik van een asset om de aangeleerde parameters van een generatief AI-model aan te passen.” De definitie sluit training uit van modellen die uitsluitend voor niet-generatieve taken worden gebruikt, ook als het model generatieve taken kan uitvoeren. Het concept benadrukt ook dat het token een voorkeur over het gebruik van inhoud aangeeft en geen instructie voor crawlers is, al kunnen afnemers voorkeuren wel meenemen bij het crawlen. Specifieke uitingen moeten voorrang krijgen boven algemene, en privaatrechtelijke overeenkomsten kunnen kenbaar gemaakte voorkeuren terzijde stellen.

Kelley kondigde het concept op 30 oktober 2026 aan op de ai-control-mailinglijst van de IETF. Hij schreef dat Anthropic al was begonnen met de implementatie van ondersteuning ervoor. Hij omschreef het werk als een aanvulling op de bestaande crawlerregelingen van Anthropic, niet als een vervanging daarvan.

Invoering door Microsoft en overgangsdata

Microsoft maakte diezelfde dag bekend dat het de regeling invoert, in een blogbericht van Bing van Krishna Madhavan, Principal Product Manager voor Microsoft Bing. Microsoft zei dat het als eerste bedrijf uitgevers regelingen voor AI-training en grounding aanbood en wees daarbij op de tags NoArchive en NoCache, die het in 2023 introduceerde.

Microsoft neemt de gedeelde voorkeur voor AI-training voor sites en paden over en breidt die via metatags en HTTP-responsheaders uit naar paginaniveau, en voegt daarnaast een afzonderlijke voorkeur voor AI-grounding op paginaniveau toe. Naast Allow en Disallow voegt de grounding-voorkeur de nieuwe optie DisallowExtended toe. Hiermee wordt het gebruik van grounding beperkt tot ervaringen die door Microsoft worden beheerd, zoals AI Mode, AI Overview, Copilot en Microsoft 365. Groundingdiensten die Microsoft aan derden levert, zoals Web IQ en grounding via API-toegang in Foundry, vallen hier niet onder. Als er geen voorkeur is gepubliceerd, staan beide voorkeuren standaard op Allow. Microsoft waarschuwde dat de keuze voor Disallow of DisallowExtended voor grounding de zichtbaarheid van een merk in AI-ervaringen vermindert. De voorkeuren veranderen niet of content in aanmerking komt voor traditionele Bing-zoekresultaten en leggen geen licentie- of betalingsregelingen vast.

De nieuwe voorkeuren vervangen NoArchive en NoCache voor training en grounding en worden vanaf 1 februari 2027 van kracht naarmate Microsoft pagina’s crawlt. Op 15 december 2026 worden in Bing Webmaster Tools tijdelijke overgangsvoorkeuren voor grounding beschikbaar voor sites die op die datum de oudere tags gebruiken. Deze sites moeten hun nieuwe voorkeuren publiceren en vóór 1 maart 2027 een tijdelijke grounding-voorkeur vastleggen. Daarna worden NoArchive en NoCache niet langer gelezen als voorkeuren voor training of grounding. Tijdelijke voorkeuren blijven van kracht totdat Microsoft een pagina opnieuw crawlt en de nieuwe grounding-voorkeur ontdekt, of tot 30 september 2027, afhankelijk van wat het eerst gebeurt.