OpenAI vil respektere et felles robots.txt-signal for preferanser knyttet til KI-trening

OpenAI kunngjorde 30. oktober 2026 at selskapet vil respektere et felles signal i robots.txt, filen nettsteder bruker til å uttrykke preferanser for hvordan innholdet deres brukes, slik at nettstedoperatører kan formidle én enkelt preferanse for KI-trening til flere deltakende tilbydere samtidig.

Et frivillig signal som deles mellom tilbydere

I kunngjøringen beskrev OpenAI tiltaket som frivillig og sa at det skal løse en eksisterende utfordring: Hittil har nettstedoperatører måttet identifisere enkeltstående robotprogrammer og vedlikeholde separate regler for hver eneste tilbyder. Ifølge selskapet gjør et felles signal det mulig for utgivere og nettstedoperatører å formidle den samme preferansen til flere deltakende tilbydere samtidig. OpenAI sa at selskapet tar sikte på å innføre signalet i løpet av de kommende månedene, og at det vil komme med en ny oppdatering med detaljer om innføringen når dette skjer.

Selskapet sa at det nye signalet ikke vil erstatte kontrollene det allerede tilbyr gjennom robots.txt, og at disse fortsatt vil gjelde og bli respektert. OpenAI beskrev tiltaket som en videreføring av arbeidet som pågår i arbeidsgruppen for AI Preferences i Internet Engineering Task Force, sa at selskapet slutter seg til andre deltakere i arbeidsgruppen i å kunngjøre tiltaket, og oppfordret andre KI-tilbydere til å respektere signalet. Selskapet beskrev dette som et skritt på veien mot et åpent nett der folk kan publisere og finne informasjon, og der nettstedseiere har tydeligere og enklere måter å formidle valgene sine om hvordan innholdet deres brukes på. Selskapet sa også at det vil fortsette å tilpasse praksisen sin etter hvert som samtalene om standardene utvikler seg.

Slik fungerer signalet

Signalet er definert i et individuelt Internet-Draft med tittelen Maskinlesbart signal for treningspreferanser (draft-kelley-aipref-training-preference-signal-00), skrevet av Kevin Kelley fra Anthropic, datert 30. oktober 2026 og med utløpsdato 3. mai 2027. IETF-datatracker opplyser at et individuelt Internet-Draft ikke er godkjent av IETF og ikke har noen formell status i IETFs standardiseringsprosess.

Ifølge utkastet knytter en tjenesteoperatør brukspreferanser, for eksempel «ingen KI-trening», til bestemte stier ved å skrive vanlige grupper i robots.txt, identifisert med et policytoken for hvert bruksområde i User-Agent-linjen. Utkastet innfører verken nye direktivnavn eller ny grammatikk: Stispråket, prioriteten for det lengste treffet og gruppestrukturen i robots.txt-standarden, som er publisert som RFC 9309, forblir uendret. Dermed vil eksisterende parsere som er i bruk på internett, ifølge utkastet, fortsatt tolke signaler for trafikkstyring som før og ignorere grupper med policytoken på samme måte som de ville ignorert enhver gruppe som navngir en brukeragent de ikke kjenner igjen.

Utkastet definerer det leverandøruavhengige policytokenet __usage_ai-training. Eksempelgruppen kombinerer linjen «User-Agent: __usage_ai-training» med «Disallow: /» og «Allow: /press-kit/», noe som uttrykker en preferanse mot KI-trening for alle stier unntatt dem under /press-kit/. Grupper med jokertegn, det vil si «User-Agent: *», skal ikke tolkes som om de samsvarer med policytokenet. Hvis ingen gruppe i en fil inneholder tokenet, er det ikke uttrykt noen preferanse.

Utkastet fastslår også at policytokenet ikke er et direktiv for robotprogrammers atferd ved nettsøk. Preferanser for bruk av innhold og signaler for styring av robotprogrammers trafikk er ifølge utkastet uavhengige og ortogonale, og private avtaler kan overstyre preferanser som uttrykkes gjennom mekanismen. De oppgitte målene omfatter å knytte preferanser til bestemte stier, å avvike minst mulig fra RFC 9309, å unngå omfattende duplisering av regler, å opprettholde uendret atferd hos parsere som ikke implementerer mekanismen, og å sikre konsekvent tolkning hos ulike brukere av mekanismen.

Begrepsapparatet bak signalet

Betydningen av tokenet følger begrepsutkastet til arbeidsgruppen, Et begrepsapparat for å uttrykke preferanser for bruk av KI (draft-ietf-aipref-vocab-08), skrevet av Paul Keller fra Open Future og Martin Thomson fra Mozilla. Det ble sist oppdatert i september 2026 som et arbeidsgruppedokument med sikte på å bli en foreslått standard. Begrepsapparatet definerer KI-trening som bruk av en ressurs til å endre de lærte parameterne i en generativ KI-modell. Dette omfatter ikke trening av modeller som utelukkende brukes til ikke-generative oppgaver. En generativ KI-modell defineres som en modell som brukes, eller gjøres tilgjengelig for bruk, til å generere syntetisk innhold i én eller flere modaliteter.

Begrepsapparatet definerer også en egen kategori for KI-bruk, som omfatter ressurser som brukes som inndata til en generativ KI-modell, i stedet for å bli levert direkte av en bruker, og en søkekategori for applikasjoner der hovedformålet er å velge ressurser og lede brukere til plasseringene deres. Hver kategori får en preferanseverdi: tillatt, ikke tillatt eller ukjent. Hvis opplysninger er motstridende, gjelder den mest restriktive preferansen. Begrepsutkastet sier at det ikke garanterer at preferansene blir fulgt, og overlater til mottakeren å avgjøre om de skal følges. En merknad til leserne presiserer at innholdet ennå ikke gjenspeiler enighet i arbeidsgruppen. I én del, som fortsatt er oppført som et uavklart spørsmål, står det at det å følge treningspreferanser innebærer å videreformidle preferansene knyttet til treningsressurser sammen med en modell når den distribueres.

I utkastets takkeliste nevnes arbeidsgruppelederne Mark Nottingham fra Cloudflare og Suresh Krishnan fra Cisco, redaktørene for vokabularet, Thomson og Keller, samt ansvarlig områdeleder Mike Bishop fra Akamai. Listen omfatter også enkeltpersoner som deltok, med tilknytningene deres oppført kun for identifikasjonsformål, ettersom IETF-deltakere bidrar som enkeltpersoner. De kommer fra organisasjoner som OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation og Creative Commons.

OpenAIs eksisterende innstillinger for søkeroboter

OpenAIs dokumentasjon for søkeroboter, som ifølge selskapet fortsatt vil gjelde parallelt med det nye signalet, beskriver GPTBot som agenten som gjennomsøker innhold som kan brukes til trening av selskapets grunnmodeller for generativ KI. Hvis man blokkerer GPTBot, betyr det at nettstedets innhold ikke skal brukes til slik trening. OAI-SearchBot gjør nettsteder synlige i ChatGPTs søkefunksjoner. Nettsteder som reserverer seg mot den, vises ikke i ChatGPTs søkeresultater, men kan fortsatt vises som navigasjonslenker. OAI-AdsBot kontrollerer sikkerheten til nettsider som sendes inn som annonser på ChatGPT, og dataene den samler inn, brukes ikke til å trene grunnmodeller for generativ KI. ChatGPT-User håndterer sidebesøk som utløses av brukerhandlinger i ChatGPT, i stedet for automatisk gjennomsøking. Dokumentasjonen bemerker at robots.txt-regler kanskje ikke gjelder for slike besøk.

Ifølge dokumentasjonen er hver innstilling uavhengig av de andre. En nettstedsadministrator kan derfor tillate at OAI-SearchBot vises i søkeresultatene, samtidig som GPTBot blokkeres fra å bruke innholdet til trening. Det kan ta rundt 24 timer før endringer i søket trer i kraft etter at nettstedets robots.txt-fil er oppdatert. OpenAI opplyste at selskapet vil dele detaljer om hvordan det felles signalet skal implementeres, når det tar det i bruk i løpet av de kommende månedene.