Google planlægger at understøtte en fælles kontrol af AI-træning i robots.txt

Google meddelte den 30. oktober 2026, at virksomheden planlægger at understøtte en fælles kontrol af AI-træning i robots.txt, så webstedsejere får én måde at angive deres præferencer for træning på tværs af flere AI-udbydere. Tilsagnet kom samtidig med meddelelser samme dag fra Microsoft og OpenAI.

Sådan vil Google anvende kontrollen

Planen blev fremlagt i et blogindlæg på Google Search Central af John Mueller, Google Search Advocate. Kontrollen bygger på arbejde fra arbejdsgruppen AI Preferences under Internet Engineering Task Force (IETF) og videreudvikler Google-Extended, den kontrol af AI-træning, som Google siger, virksomheden har tilbudt siden 2023.

I stedet for at administrere separate instruktioner for hver AI-udvikler vil webstedsejere kunne bruge et fælles politik-token i robots.txt til at angive overordnede præferencer på tværs af deltagende AI-udbydere. Hvis et websted bruger tokenet til at fravælge træning uden udtrykkeligt at have angivet Google-Extended, planlægger Google at fortolke det, som om udgiveren havde afvist Google-Extended. Andre AI-udbydere kan håndtere signalet på samme måde, så ejere kan fravælge træning hos alle deltagende udbydere på én gang eller vælge fra udbyder til udbyder.

Ifølge indlægget vil de eksisterende virksomhedsspecifikke kontroller fortsat fungere sammen med det fælles signal. Webstedsejere kan dermed angive et overordnet valg via branchens signal og samtidig tilpasse instruktionerne til de enkelte udviklere ved hjælp af kontroller som Google-Extended. Websteder, der specifikt tillader Google-Extended, kan blive vist i svar og modtage klik via grounding i Gemini Apps.

Google sagde, at forslaget afspejler tilbagemeldinger fra udgivere, civilsamfundsgrupper, myndigheder og andre interessenter, som har efterlyst kontroller af AI-træning, der gælder for hele branchen. Ifølge Google vil opbakning fra de største AI-udbydere føre til en holdbar standard, der fungerer på tværs af branchen. Virksomheden sagde også, at forslaget er i overensstemmelse med EU’s adfærdskodeks for udbydere af AI-modeller til generelle formål under EU’s AI-forordning, som anerkender robots.txt som en primær metode for webudgivere til at angive maskinlæsbare præferencer. Google sigter mod at understøtte den nye kontrol sammen med andre AI-udbydere i 2027 og sagde, at virksomheden vil orientere om fremskridtene.

OpenAI afgav et tilsvarende tilsagn samme dag. I OpenAIs meddelelse stod der, at virksomheden vil respektere det fælles robots.txt-signal, sigter mod at implementere det i de kommende måneder og vil bevare sine eksisterende crawlerkontroller og fortsat respektere dem. OpenAI sagde i meddelelsen, at virksomheden sluttede sig til de øvrige deltagere i arbejdsgruppen AI Preferences, og opfordrede andre AI-udbydere til at respektere signalet.

IETF-udkastet bag signalet

Mekanismen er beskrevet i et Internet-udkast med titlen “Maskinlæsbar signalering af træningspræferencer”, forfattet af Kevin Kelley fra Anthropic og dateret den 30. oktober 2026. Dokumentet er tiltænkt standardiseringssporet og udløber den 3. maj 2027. Ifølge IETF’s datatracker er det et individuelt bidrag, som ikke er godkendt af IETF og ikke har nogen formel status i standardiseringsprocessen.

Ifølge udkastet knytter en tjenesteudbyder brugspræferencer til stier ved at skrive almindelige robots.txt-grupper, der er knyttet til et politik-token for hvert formål, __usage_ai-training, i User-Agent-linjen. Eksempelgruppen i udkastet udtrykker en præference imod AI-træning for et helt websted med undtagelse af stier under /press-kit/. Mekanismen indfører hverken nye direktivnavne eller ny syntaks: stisproget, forrangen for det længste match og gruppestrukturen i robots.txt-standarden, RFC 9309, er uændrede. Derfor vil parsere, der allerede er udrullet på internettet, ignorere grupper med politik-tokens, de ikke genkender. Grupper med jokertegnet User-Agent: * må ikke fortolkes som matchende politik-tokenet, og en robots.txt-fil uden en __usage_ai-training-gruppe udtrykker ingen præference.

Tokenet får sin betydning fra AIPREF-vokabulariets definition af AI-træning: “Brug af et aktiv til at ændre de indlærte parametre i en generativ AI-model.” Definitionen omfatter ikke træning af modeller, der udelukkende bruges til ikke-generative opgaver, heller ikke når modellen kan udføre generative opgaver. Udkastet understreger også, at tokenet angiver en præference for brug af indhold og ikke er et direktiv om crawleradfærd, selvom brugere kan lade præferencerne indgå i beslutninger om crawling. Specifikke angivelser bør have forrang frem for generelle, og private aftaler kan tilsidesætte de angivne præferencer.

Kelley offentliggjorde udkastet på IETF’s mailingliste for ai-control den 30. oktober 2026 og skrev, at Anthropic allerede er begyndt at implementere understøttelse af det. Han beskrev arbejdet som et supplement til Anthropics eksisterende crawlerkontroller, ikke som en erstatning.

Microsofts indførelse og overgangsdatoer

Microsoft meddelte samme dag, at virksomheden ville indføre løsningen, i et blogindlæg på Bing-bloggen af Krishna Madhavan, Principal Product Manager for Microsoft Bing. Microsoft sagde, at virksomheden var den første til at tilbyde udgiverkontroller for AI-træning og grounding, og henviste til taggene NoArchive og NoCache, som den indførte i 2023.

Microsoft tager den fælles præference for AI-træning i brug for websteder og stier og udvider den til sideniveau via metatags og HTTP-svarheadere, samtidig med at der tilføjes en separat præference for AI-forankring på sideniveau. Ud over Tillad og Afvis tilføjer præferencen for forankring den nye mulighed DisallowExtended, som begrænser brugen af forankring til Microsofts egne tjenester, såsom AI Mode, AI Overview, Copilot og Microsoft 365, og udelukker forankringstjenester, som Microsoft leverer til tredjeparter, såsom Web IQ og forankring via API-adgang i Foundry. Begge præferencer er som standard indstillet til Tillad, hvis der ikke er angivet en præference. Microsoft advarede om, at valg af Afvis eller DisallowExtended for forankring reducerer et brands synlighed i AI-tjenester; præferencerne påvirker ikke muligheden for at blive vist i traditionelle Bing-søgeresultater og fastlægger ikke licens- eller betalingsordninger.

De nye præferencer erstatter NoArchive og NoCache for træning og forankring og træder i kraft fra 1. februar 2027, efterhånden som Microsoft gennemgår webstederne. Midlertidige overgangspræferencer for forankring bliver tilgængelige i Bing Webmaster Tools den 15. december 2026 for websteder, der bruger de ældre tags på denne dato. Disse websteder skal offentliggøre deres nye præferencer og registrere en midlertidig præference for forankring inden 1. marts 2027. Derefter vil NoArchive og NoCache ikke længere blive læst som præferencer for træning eller forankring. De midlertidige præferencer gælder, indtil Microsoft gennemgår en side igen og finder den nye præference for forankring, eller indtil 30. september 2027, alt efter hvad der kommer først.