OpenAI ska följa en gemensam robots.txt-signal för preferenser kring AI-träning

OpenAI meddelade den 30 oktober 2026 att företaget ska följa en gemensam signal i robots.txt, den fil som webbplatser använder för att uttrycka önskemål om hur deras innehåll används, så att webbplatsoperatörer kan förmedla en och samma preferens för AI-träning till flera deltagande leverantörer samtidigt.

En frivillig signal som delas mellan leverantörer

I sitt tillkännagivande beskrev OpenAI initiativet som frivilligt och sade att det ska minska en befintlig arbetsbörda: hittills har webbplatsoperatörer behövt identifiera enskilda webbrobotar och underhålla separata regler för varenda leverantör. En gemensam signal gör det möjligt för utgivare och webbplatsoperatörer att förmedla samma preferens till flera deltagande leverantörer samtidigt, sade företaget. OpenAI uppgav att företaget siktar på att införa signalen under de kommande månaderna och kommer att dela en ny uppdatering med detaljer om införandet när det sker.

Företaget sade att den nya signalen inte ersätter de kontroller som det redan tillhandahåller via robots.txt, vilka enligt företaget även fortsättningsvis kommer att gälla och respekteras. OpenAI beskrev initiativet som en fortsättning på det pågående arbetet i Internet Engineering Task Forces arbetsgrupp AI Preferences, uppgav att företaget ansluter sig till andra deltagare i arbetsgruppen genom att göra tillkännagivandet och uppmuntrade andra AI-leverantörer att följa signalen. Företaget beskrev steget som en rörelse mot en öppen webb där människor kan publicera och hitta information och där webbplatsägare får tydligare och enklare sätt att förmedla sina val kring hur deras innehåll används. Företaget sade också att det kommer att fortsätta anpassa sina metoder i takt med att diskussionerna om standarderna utvecklas.

Så fungerar signalen

Signalen definieras i ett individuellt internetutkast med titeln Maskinläsbar signal för träningspreferenser (draft-kelley-aipref-training-preference-signal-00), författat av Kevin Kelley från Anthropic, daterat den 30 oktober 2026 och med utgångsdatum den 3 maj 2027. IETF:s datatracker påpekar att ett individuellt internetutkast inte har godkänts av IETF och inte har någon formell status i IETF:s standardiseringsprocess.

Enligt utkastet kopplar en tjänsteoperatör användningspreferenser, till exempel ”ingen AI-träning”, till sökvägar genom att skriva vanliga grupper i robots.txt som identifieras med en ändamålsspecifik policysymbol i User-Agent-raden. Utkastet introducerar inga nya direktivnamn eller någon ny grammatik: sökvägsspråket, företrädet för den längsta matchningen och gruppstrukturen i robots.txt-standarden, publicerad som RFC 9309, förblir oförändrade. Därför kommer befintliga tolkare som används på internet, enligt utkastet, även fortsättningsvis att tolka signaler för trafikhantering som tidigare och att ignorera grupper med policysymboler, på samma sätt som de ignorerar grupper som anger en användaragent de inte känner igen.

Utkastet definierar den leverantörsövergripande policysymbolen __usage_ai-training. I dess exempel kombineras raden ”User-Agent: __usage_ai-training” med ”Disallow: /” och ”Allow: /press-kit/”, vilket uttrycker en preferens mot AI-träning för alla sökvägar utom dem under /press-kit/. Grupper med jokertecken, det vill säga ”User-Agent: *”, får inte tolkas som matchande policysymbolen. Om ingen grupp i en fil innehåller symbolen har ingen preferens uttryckts.

Utkastet anger också att policysymbolen inte är ett direktiv för webbcrawlerars beteende. Preferenser för innehållsanvändning och signaler för hantering av crawlertrafik är oberoende av varandra och åtskilda, enligt utkastet, och privata avtal kan åsidosätta preferenser som uttrycks med mekanismen. De angivna målen omfattar sökvägsspecifika kopplingar, minsta möjliga avvikelse från RFC 9309, att undvika storskalig duplicering av regler, oförändrat beteende hos tolkare som inte implementerar mekanismen samt en konsekvent tolkning mellan olika användare.

Vokabulären bakom signalen

Symbolens betydelse följer vokabulärutkastet från arbetsgruppen, En vokabulär för att uttrycka preferenser för AI-användning (draft-ietf-aipref-vocab-08), skrivet av Paul Keller från Open Future och Martin Thomson från Mozilla. Utkastet uppdaterades senast i september 2026 och är ett arbetsgruppsdokument avsett att bli en föreslagen standard. Vokabulären definierar AI-träning som användning av en tillgång för att ändra de inlärda parametrarna i en generativ AI-modell. Definitionen omfattar inte träning av modeller som enbart används för icke-generativa uppgifter. En generativ AI-modell definieras som en modell som används, eller görs tillgänglig för användning, för att generera syntetiskt innehåll i en eller flera modaliteter.

Vokabulären definierar också en separat kategori för AI-användning, som omfattar tillgångar som används som indata till en generativ AI-modell i stället för att tillhandahållas direkt av en användare, samt en sökkategori för applikationer vars huvudsakliga syfte är att välja ut tillgångar och hänvisa användare till deras platser. Varje kategori tilldelas ett preferensvärde: tillåten, otillåten eller okänd. Om uppgifter motsäger varandra gäller den mest restriktiva preferensen. I vokabulärutkastet står det att det inte säkerställer att preferenserna följs; valet att följa dem överlåts till mottagaren. En upplysning till läsarna varnar för att innehållet ännu inte återspeglar arbetsgruppens konsensus. Ett avsnitt, vars införande fortfarande behandlas som en öppen fråga, anger att efterlevnad av träningspreferenser innebär att preferenserna för de tillgångar som används för träning följer med modellen när den distribueras.

I utkastets tackavsnitt för träningssignalen nämns arbetsgruppens ordförande Mark Nottingham från Cloudflare och Suresh Krishnan från Cisco, redaktörerna för vokabulären Thomson och Keller samt ansvarig områdesdirektör Mike Bishop från Akamai. Där listas också enskilda deltagare, med deras organisationstillhörighet angiven enbart i identifieringssyfte eftersom IETF-deltagare medverkar som individer. De kommer från bland annat OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation och Creative Commons.

OpenAI:s befintliga inställningar för sökrobotar

OpenAI:s dokumentation om sökrobotar, som enligt företaget kommer att fortsätta gälla parallellt med den nya signalen, beskriver GPTBot som den agent som genomsöker innehåll som kan användas för att träna företagets generativa AI-grundmodeller. Om GPTBot blockeras signalerar det att webbplatsens innehåll inte ska användas för den träningen. OAI-SearchBot gör webbplatser synliga i ChatGPT:s sökfunktioner. Webbplatser som väljer bort den kommer inte att visas i ChatGPT:s söksvar, men kan fortfarande förekomma som navigeringslänkar. OAI-AdsBot kontrollerar säkerheten på webbsidor som skickas in som annonser på ChatGPT, och de uppgifter som samlas in används inte för att träna generativa AI-grundmodeller. ChatGPT-User hanterar sidbesök som utlöses av användaråtgärder i ChatGPT, snarare än automatisk genomsökning, och dokumentationen påpekar att reglerna i robots.txt kanske inte gäller för dessa besök.

Enligt dokumentationen är varje inställning oberoende av de andra. En webbansvarig kan alltså tillåta att OAI-SearchBot visas i sökresultaten och samtidigt blockera GPTBot från att använda innehållet för träning. Det kan ta omkring 24 timmar innan sökresultaten anpassas efter att en webbplats har uppdaterat sin robots.txt. OpenAI uppgav att företaget kommer att dela information om hur den gemensamma signalen implementeras när det inför den under de kommande månaderna.