Google planerar att stödja gemensam kontroll av AI-träning via robots.txt

Google meddelade den 30 oktober 2026 att företaget planerar att stödja en gemensam kontroll av AI-träning i robots.txt. Det ger webbplatsägare ett enda sätt att ange sina preferenser för träning hos flera AI-leverantörer. Åtagandet kom i samband med liknande meddelanden från Microsoft och OpenAI samma dag.

Så kommer Google att tillämpa kontrollen

Planen presenterades i ett blogginlägg på Google Search Central av John Mueller, sökrepresentant för Google. Kontrollen bygger på arbete från arbetsgruppen AI Preferences inom Internet Engineering Task Force (IETF) och vidareutvecklar Google-Extended, den kontroll av AI-träning som Google uppger att företaget har erbjudit sedan 2023.

I stället för att hantera separata instruktioner för varje AI-utvecklare kommer webbplatsägare att kunna använda en gemensam policytoken i robots.txt för att ange övergripande preferenser för de AI-leverantörer som deltar. Om en webbplats använder tokenen för att välja bort träning utan att uttryckligen ange Google-Extended, planerar Google att tolka det som om webbplatsägaren hade förbjudit Google-Extended. Andra AI-leverantörer kan hantera signalen på liknande sätt, så att webbplatsägare kan välja bort träning hos alla deltagande leverantörer på en gång eller välja vilka de vill välja bort.

Enligt inlägget kommer befintliga företagsspecifika kontroller att fortsätta fungera tillsammans med den gemensamma signalen. Webbplatsägare kan alltså ange ett övergripande val genom branschsignalen och samtidigt anpassa instruktionerna för enskilda utvecklare med hjälp av kontroller som Google-Extended. Webbplatser som uttryckligen tillåter Google-Extended kan förekomma i svar och få klick via förankring i Gemini Apps.

Google uppgav att förslaget återspeglar synpunkter från publicister, civilsamhällesgrupper, tillsynsmyndigheter och andra berörda parter, som har efterlyst branschgemensamma kontroller av AI-träning. Företaget sade också att stöd från stora AI-leverantörer skulle leda till en hållbar standard som fungerar i hela branschen. Google uppgav vidare att förslaget är förenligt med EU:s uppförandekod för leverantörer av AI-modeller för allmänna ändamål enligt EU:s AI-förordning, där robots.txt erkänns som en huvudsaklig metod för webbutgivare att ange maskinläsbara preferenser. Google siktar på att stödja den nya kontrollen tillsammans med andra AI-leverantörer under 2027 och uppgav att företaget kommer att lämna uppdateringar om hur arbetet fortskrider.

OpenAI gjorde ett liknande åtagande samma dag. I OpenAI:s tillkännagivande stod det att företaget kommer att följa den gemensamma robots.txt-signalen, siktar på att införa den under de kommande månaderna och kommer att behålla sina befintliga kontroller för sökrobotar och fortsätta respektera dem. OpenAI uppgav i tillkännagivandet att företaget anslöt sig till de övriga deltagarna i arbetsgruppen AI Preferences och uppmanade andra AI-leverantörer att följa signalen.

IETF-utkastet bakom signalen

Mekanismen beskrivs i ett Internetutkast med titeln ”Maskinläsbar signal för träningspreferenser”, författat av Kevin Kelley från Anthropic och daterat den 30 oktober 2026. Dokumentet är avsett för standardiseringsspåret och löper ut den 3 maj 2027. Enligt IETF:s datatracker är det ett individuellt bidrag som inte har godkänts av IETF och som inte har någon formell status i standardiseringsprocessen.

Enligt utkastet kopplar en tjänsteleverantör användningspreferenser till sökvägar genom att skriva vanliga grupper i robots.txt, identifierade med en ändamålsspecifik policytoken, __usage_ai-training, på User-Agent-raden. Exempelgruppen i utkastet anger en preferens mot AI-träning för en hel webbplats, med undantag för sökvägar under /press-kit/. Mekanismen introducerar inga nya direktivnamn eller någon ny grammatik: sökvägsspråket, företrädet för den längsta matchningen och gruppstrukturen i robots.txt-standarden RFC 9309 är oförändrade. Därför kommer parsrar som redan används på internet att ignorera grupper med policytoken som de inte känner igen. Grupper med jokertecken, alltså grupper med User-Agent: *, får inte tolkas som om de matchade policytokenen. En robots.txt-fil utan någon grupp med __usage_ai-training anger ingen preferens alls.

Tokenen får sin betydelse från AIPREF-vokabulärens definition av AI-träning: ”Att använda en tillgång för att ändra de inlärda parametrarna i en generativ AI-modell.” Definitionen omfattar inte träning av modeller som enbart används för icke-generativa uppgifter, även om modellen kan utföra generativa uppgifter. Utkastet betonar också att tokenen uttrycker en preferens om hur innehåll får användas, inte ett direktiv om sökrobotars beteende, även om mottagare kan använda preferenserna som vägledning för genomsökning. Specifika uttryck bör ges företräde framför allmänna, och privata avtal kan åsidosätta uttryckta preferenser.

Kelley tillkännagav utkastet på IETF:s e-postlista ai-control den 30 oktober 2026 och skrev att Anthropic redan hade börjat implementera stöd för det. Han beskrev arbetet som ett komplement till Anthropics befintliga kontroller för sökrobotar, inte som en ersättning.

Microsofts införande och övergångsdatum

Microsoft meddelade att företaget skulle införa kontrollen samma dag i ett blogginlägg på Bing-bloggen av Krishna Madhavan, produktchef med huvudansvar för Microsoft Bing. Microsoft uppgav att företaget var först med att erbjuda publicister kontroller för AI-träning och AI-förankring och hänvisade till taggarna NoArchive och NoCache, som företaget introducerade 2023.

Microsoft inför den gemensamma inställningen för AI-träning för webbplatser och sökvägar och utökar den till sidnivå via metataggar och HTTP-svarshuvuden. Samtidigt lägger företaget till en separat inställning för AI-förankring på sidnivå. Utöver Allow och Disallow tillkommer alternativet DisallowExtended för förankring. Det begränsar användningen av förankring till Microsofts egna tjänster, till exempel AI Mode, AI Overview, Copilot och Microsoft 365, och utesluter förankringstjänster som Microsoft tillhandahåller åt tredje part, till exempel Web IQ och förankring via API-åtkomst i Foundry. Om ingen inställning anges är standardvärdet Allow för båda inställningarna. Microsoft varnade för att valet av Disallow eller DisallowExtended för förankring minskar varumärkets synlighet i AI-tjänster. Inställningarna påverkar inte möjligheten att visas i traditionella Bing-sökresultat och innebär inte att några licens- eller betalningsvillkor fastställs.

De nya inställningarna ersätter NoArchive och NoCache för träning och förankring och börjar gälla den 1 februari 2027, allteftersom Microsoft genomsöker webben. Tillfälliga övergångsinställningar för förankring blir tillgängliga i Bing Webmaster Tools den 15 december 2026 för webbplatser som då använder de äldre taggarna. Dessa webbplatser måste publicera sina nya inställningar och registrera en tillfällig inställning för förankring före den 1 mars 2027. Därefter kommer NoArchive och NoCache inte längre att läsas som inställningar för träning eller förankring. De tillfälliga inställningarna gäller tills Microsoft genomsöker en sida på nytt och hittar den nya inställningen för förankring, eller till och med den 30 september 2027, beroende på vilket som inträffar först.