Google planlegger å støtte en felles kontroll for AI-trening i robots.txt

Google kunngjorde 30. oktober 2026 at selskapet planlegger å støtte en felles kontroll for AI-trening i robots.txt, slik at nettstedseiere får én måte å angi preferanser for trening på hos flere AI-leverandører. Kunngjøringen kom samme dag som tilsvarende kunngjøringer fra Microsoft og OpenAI.

Slik vil Google bruke kontrollen

Planen ble presentert i et innlegg på Google Search Central-bloggen av John Mueller, talsperson for Google Søk. Kontrollen bygger på arbeid fra arbeidsgruppen AI Preferences i Internet Engineering Task Force (IETF) og videreutvikler Google-Extended, kontrollen for AI-trening som Google sier selskapet har tilbudt siden 2023.

I stedet for å administrere separate instruksjoner for hver AI-utvikler skal nettstedseiere kunne bruke et felles policytoken i robots.txt for å angi overordnede preferanser på tvers av AI-leverandørene som deltar. Når et nettsted bruker tokenet til å reservere seg mot trening uten uttrykkelig å ha angitt Google-Extended, planlegger Google å tolke det som om utgiveren hadde avvist Google-Extended. Andre AI-leverandører kan håndtere signalet på tilsvarende måte, slik at nettstedseiere kan reservere seg hos alle deltakende leverandører samtidig eller velge hvilke de vil reservere seg hos.

Ifølge innlegget vil eksisterende selskapsspesifikke kontroller fortsatt fungere sammen med det felles signalet. Dermed kan nettstedseiere angi et overordnet valg gjennom bransjesignalet og samtidig tilpasse instruksjonene for enkeltutviklere ved hjelp av kontroller som Google-Extended. Nettsteder som uttrykkelig tillater Google-Extended, kan vises i svar og få klikk via forankring i Gemini Apps.

Google sa at forslaget gjenspeiler tilbakemeldinger fra utgivere, sivilsamfunnsgrupper, tilsynsmyndigheter og andre interessenter, som har etterlyst bransjeomfattende kontroller for AI-trening. Selskapet sa også at støtte fra store AI-leverandører vil føre til en varig standard som fungerer på tvers av bransjen. Videre opplyste selskapet at forslaget er i tråd med EUs praksiskodeks for leverandører av AI-modeller for allmenn bruk under EUs AI-forordning, som anerkjenner robots.txt som en viktig metode for at nettutgivere skal kunne angi maskinlesbare preferanser. Google tar sikte på å støtte den nye kontrollen i 2027, sammen med andre AI-leverandører, og sa at selskapet vil komme med oppdateringer om fremdriften.

OpenAI ga et tilsvarende løfte samme dag. Kunngjøringen fra OpenAI opplyste at selskapet vil respektere det felles robots.txt-signalet, tar sikte på å innføre det i løpet av de kommende månedene og vil beholde de eksisterende kontrollene for søkeroboter og fortsatt respektere dem. OpenAI sa i kunngjøringen at selskapet sluttet seg til de øvrige deltakerne i arbeidsgruppen AI Preferences, og oppfordret andre AI-leverandører til å respektere signalet.

IETF-utkastet bak signalet

Mekanismen er beskrevet i et internetutkast med tittelen «Maskinlesbart signal om treningspreferanser», skrevet av Kevin Kelley fra Anthropic og datert 30. oktober 2026. Dokumentet er ment for standardiseringsløpet og utløper 3. mai 2027. Ifølge IETFs datatracker er det et individuelt bidrag som ikke er godkjent av IETF, og som ikke har noen formell status i standardiseringsprosessen.

I utkastet knytter en tjenesteoperatør brukspreferanser til baner ved å skrive vanlige robots.txt-grupper med et formålsspesifikt policytoken, __usage_ai-training, i User-Agent-linjen. Eksempelgruppen i utkastet uttrykker en preferanse mot AI-trening for hele nettstedet, med unntak av baner under /press-kit/. Mekanismen innfører verken nye direktivnavn eller ny syntaks: banespråket, prioriteringen av det lengste treffet og gruppestrukturen i robots.txt-standarden, RFC 9309, forblir uendret. Derfor vil tolkeprogrammer som allerede er tatt i bruk på internett, ignorere policytokengrupper de ikke kjenner igjen. Grupper med jokertegn, det vil si grupper med User-Agent: *, må ikke tolkes som om de samsvarer med policytokenet. En robots.txt-fil uten en __usage_ai-training-gruppe uttrykker ingen preferanse.

Tokenet får betydningen sin fra definisjonen av AI-trening i AIPREF-vokabularet: «Bruk av en ressurs til å endre de innlærte parameterne i en generativ AI-modell.» Definisjonen omfatter ikke trening av modeller som utelukkende brukes til ikke-generative oppgaver, selv når modellen kan utføre generative oppgaver. Utkastet understreker også at tokenet uttrykker en preferanse om bruk av innhold, ikke et direktiv for søkeatferd, selv om brukere av signalet kan ta preferansene med i vurderingen av søking. Spesifikke uttrykk skal gå foran generelle, og private avtaler kan overstyre uttrykte preferanser.

Kelley kunngjorde utkastet på IETFs e-postliste for ai-control 30. oktober 2026 og skrev at Anthropic allerede har begynt å implementere støtte for det. Han beskrev arbeidet som et supplement til Anthropics eksisterende kontroller for søkeroboter, ikke som en erstatning.

Microsofts innføring og overgangsdatoer

Microsoft kunngjorde at selskapet tar i bruk kontrollen samme dag, i et innlegg på Bing-bloggen av Krishna Madhavan, ledende produktsjef for Microsoft Bing. Microsoft sa at selskapet var det første som tilbød utgiverkontroller for AI-trening og forankring, og viste til NoArchive- og NoCache-taggene selskapet innførte i 2023.

Microsoft innfører den felles preferansen for AI-trening for nettsteder og nettadresser, og utvider den til å gjelde på sidenivå via metatagger og HTTP-svarhoder. Samtidig legger selskapet til en egen preferanse for AI-forankring på sidenivå. I tillegg til «Allow» og «Disallow» får preferansen for forankring et nytt alternativ, «DisallowExtended», som begrenser bruken av forankring til Microsofts egne tjenester, som AI Mode, AI Overview, Copilot og Microsoft 365, og utelukker forankringstjenester Microsoft tilbyr tredjeparter, som Web IQ og forankring via API-tilgang i Foundry. Begge preferansene er som standard satt til «Allow» hvis ingen preferanse er publisert. Microsoft advarer om at valg av «Disallow» eller «DisallowExtended» for forankring reduserer merkevaresynligheten i AI-opplevelser. Preferansene påvirker ikke om innhold er kvalifisert for tradisjonelle Bing-søkeresultater, og de etablerer heller ingen lisensierings- eller betalingsordninger.

De nye preferansene erstatter NoArchive og NoCache for trening og forankring, og trer i kraft fra 1. februar 2027 etter hvert som Microsoft gjennomsøker nettet. Midlertidige overgangspreferanser for forankring blir tilgjengelige i Bing Webmaster Tools 15. desember 2026 for nettsteder som bruker de eldre taggene på denne datoen. Disse nettstedene må publisere de nye preferansene og registrere en midlertidig preferanse for forankring før 1. mars 2027. Etter dette vil NoArchive og NoCache ikke lenger bli lest som preferanser for trening eller forankring. De midlertidige preferansene gjelder til Microsoft gjennomsøker en side på nytt og finner den nye preferansen for forankring, eller til 30. september 2027, avhengig av hva som inntreffer først.