OpenAI vil respektere et fælles signal i robots.txt om præferencer for AI-træning

OpenAI bekendtgjorde den 30. oktober 2026, at virksomheden vil respektere et fælles signal i robots.txt – den fil, websites bruger til at angive præferencer for, hvordan deres indhold anvendes – så webstedsoperatører kan kommunikere én præference for AI-træning til flere deltagende udbydere på én gang.

Et frivilligt signal, der deles på tværs af udbydere

I sin meddelelse beskrev OpenAI initiativet som frivilligt og sagde, at det skal afhjælpe en eksisterende byrde: Indtil nu har webstedsoperatører skullet identificere individuelle crawlere og vedligeholde særskilte regler for hver enkelt udbyder. Ifølge virksomheden gør et fælles signal det muligt for udgivere og webstedsoperatører at kommunikere den samme præference til flere deltagende udbydere på én gang. OpenAI sagde, at virksomheden sigter mod at implementere signalet i de kommende måneder og vil dele en ny opdatering med implementeringsdetaljer, når det sker.

Virksomheden sagde, at det nye signal ikke erstatter de kontrolmuligheder, den allerede stiller til rådighed via robots.txt, og at disse fortsat vil gælde og blive respekteret. OpenAI beskrev initiativet som en videreførelse af det igangværende arbejde i Internet Engineering Task Forces arbejdsgruppe om AI-præferencer, sagde, at virksomheden slutter sig til andre deltagere i arbejdsgruppen om at offentliggøre meddelelsen, og opfordrede andre AI-udbydere til at respektere signalet. Virksomheden beskrev tiltaget som et skridt mod et åbent internet, hvor folk kan offentliggøre og finde information, og hvor webstedsejere har klarere og enklere måder at kommunikere deres valg om brugen af deres indhold på. Den sagde også, at den fortsat vil tilpasse sin praksis, efterhånden som drøftelserne om standarderne udvikler sig.

Sådan fungerer signalet

Signalet er defineret i et individuelt internetudkast med titlen Maskinlæsbart signal om træningspræferencer (draft-kelley-aipref-training-preference-signal-00), skrevet af Kevin Kelley fra Anthropic, dateret 30. oktober 2026 og med udløbsdato 3. maj 2027. IETF’s datatracker bemærker, at et individuelt internetudkast ikke er godkendt af IETF og ikke har nogen formel status i IETF’s standardiseringsproces.

Ifølge udkastet knytter en tjenesteoperatør brugspræferencer, såsom »ingen AI-træning«, til stier ved at skrive almindelige grupper i robots.txt, der angives med et formålsspecifikt politik-token i User-Agent-linjen. Udkastet indfører hverken nye direktivnavne eller ny syntaks: Stisproget, prioriteringen af det længste match og gruppestrukturen i robots.txt-standarden, der er offentliggjort som RFC 9309, forbliver uændret. Derfor vil eksisterende parsere, der er udbredt på internettet, fortsat fortolke signaler til trafikstyring som hidtil og ignorere grupper med politik-tokens, ligesom de ville ignorere enhver gruppe, der angiver en brugeragent, de ikke genkender, står der i udkastet.

Udkastet definerer politik-tokenet på tværs af udbydere: __usage_ai-training. I det viste eksempel kombineres linjen »User-Agent: __usage_ai-training« med »Disallow: /« og »Allow: /press-kit/«, hvilket angiver en præference imod AI-træning på alle stier med undtagelse af dem under /press-kit/. Grupper med jokertegn, det vil sige »User-Agent: *«, må ikke fortolkes som et match med politik-tokenet. Hvis ingen gruppe i en fil indeholder tokenet, er der ikke angivet nogen præference.

Udkastet fastslår også, at politik-tokenet ikke er et direktiv for crawlereadfærd. Præferencer for brug af indhold og signaler til trafikstyring for crawlere er uafhængige af hinanden og vedrører forskellige forhold, står der, og private aftaler kan tilsidesætte præferencer, der er angivet via mekanismen. De erklærede mål omfatter stispecifikke tilknytninger, minimal afvigelse fra RFC 9309, ingen omfattende gentagelse af regler, uændret adfærd for parsere, der ikke implementerer mekanismen, og ensartet fortolkning på tværs af forbrugere.

Ordforrådet bag signalet

Tokenets betydning følger arbejdsgruppens udkast til ordforråd, Et ordforråd til at udtrykke præferencer for brug af AI (draft-ietf-aipref-vocab-08), skrevet af Paul Keller fra Open Future og Martin Thomson fra Mozilla og senest opdateret i september 2026 som et arbejdsgruppedokument, der er tiltænkt som en foreslået standard. Ordforrådet definerer AI-træning som brug af et aktiv til at ændre de indlærte parametre i en generativ AI-model, men udelukker træning af modeller, der udelukkende bruges til ikke-generative opgaver. Det definerer desuden en generativ AI-model som en model, der bruges eller stilles til rådighed med henblik på at generere syntetisk indhold i en eller flere modaliteter.

Ordforrådet definerer også en særskilt kategori for AI-brug, som omfatter aktiver, der bruges som input til en generativ AI-model frem for at blive leveret direkte af en bruger, samt en søgekategori for applikationer, hvis primære formål er at udvælge aktiver og lede brugerne hen til deres placering. Hver kategori tildeles en præferenceværdi: tilladt, ikke tilladt eller ukendt. Hvis udsagn er indbyrdes modstridende, gælder den mest restriktive præference. I udkastet til ordforrådet står der, at det ikke sikrer, at præferencerne bliver fulgt, og at det er op til modtageren, om de skal følges. En note til læserne gør opmærksom på, at indholdet endnu ikke afspejler arbejdsgruppens konsensus. Et afsnit, hvis medtagelse stadig behandles som et åbent spørgsmål, fastslår, at efterlevelse af præferencer for træning indebærer, at de præferencer, der er knyttet til træningsaktiver, følger med en model, når den distribueres.

I anerkendelserne i udkastet til træningssignalet nævnes arbejdsgruppens formænd Mark Nottingham fra Cloudflare og Suresh Krishnan fra Cisco, redaktørerne af ordforrådet, Thomson og Keller, samt den ansvarlige områdedirektør Mike Bishop fra Akamai. Derudover nævnes enkelte deltagere med deres tilhørsforhold angivet udelukkende af identifikationshensyn, da IETF-deltagere bidrager som enkeltpersoner. Deltagerne kommer fra blandt andre OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation og Creative Commons.

OpenAI’s eksisterende crawlerindstillinger

OpenAI’s dokumentation om webcrawlere, som ifølge virksomheden fortsat vil gælde sideløbende med det nye signal, beskriver GPTBot som den agent, der gennemgår indhold, der muligvis kan bruges til at træne virksomhedens grundmodeller inden for generativ AI. Hvis GPTBot afvises, angiver det, at webstedets indhold ikke bør bruges til denne træning. OAI-SearchBot gør websteder synlige i ChatGPT’s søgefunktioner, og websteder, der fravælger den, vises ikke i ChatGPT’s søgeresultater, men kan stadig optræde som navigationslinks. OAI-AdsBot kontrollerer sikkerheden på websider, der indsendes som annoncer på ChatGPT, og de data, den indsamler, bruges ikke til at træne grundmodeller inden for generativ AI. ChatGPT-User håndterer sidebesøg, der udløses af brugerhandlinger i ChatGPT, frem for automatisk crawling, og dokumentationen bemærker, at reglerne i robots.txt muligvis ikke gælder for disse besøg.

Ifølge dokumentationen er hver indstilling uafhængig af de øvrige, så en webmaster kan tillade, at OAI-SearchBot vises i søgeresultater, samtidig med at GPTBot afvises med henblik på træning. Det kan tage omkring 24 timer, før ændringer i søgeresultaterne træder i kraft efter en opdatering af et websteds robots.txt-fil. OpenAI har oplyst, at virksomheden vil dele oplysninger om implementeringen af det fælles signal, når det indføres i løbet af de kommende måneder.