OpenAI gaat gedeeld robots.txt-signaal voor voorkeuren rond AI-training respecteren

OpenAI kondigde aan dat het vanaf 30 oktober 2026 een gedeeld signaal in robots.txt zal respecteren. Dit bestand gebruiken websites om voorkeuren kenbaar te maken voor het gebruik van hun content. Zo kunnen websitebeheerders één voorkeur voor AI-training tegelijk doorgeven aan meerdere deelnemende aanbieders.

Een vrijwillig signaal dat aanbieders delen

OpenAI omschreef het initiatief in zijn aankondiging als vrijwillig en zei dat het een bestaande last wegneemt: tot nu toe moesten websitebeheerders afzonderlijke crawlers identificeren en voor iedere aanbieder aparte regels bijhouden. Met één gedeeld signaal kunnen uitgevers en websitebeheerders volgens het bedrijf dezelfde voorkeur tegelijk aan meerdere deelnemende aanbieders doorgeven. OpenAI zei het signaal de komende maanden te willen invoeren en dan een nieuwe update met informatie over de implementatie te delen.

Het bedrijf zei dat het nieuwe signaal de instellingen die het al via robots.txt aanbiedt niet vervangt; die blijven van kracht en worden gerespecteerd. OpenAI presenteerde de stap als voortbouwend op het lopende werk van de werkgroep AI Preferences van de Internet Engineering Task Force. Het zei zich aan te sluiten bij andere deelnemers aan de werkgroep om de aankondiging te doen en moedigde andere AI-aanbieders aan het signaal te respecteren. Het bedrijf omschreef de stap als een beweging naar een open web waar mensen informatie kunnen publiceren en ontdekken en website-eigenaren duidelijkere, eenvoudigere manieren hebben om hun keuzes over het gebruik van hun content kenbaar te maken. Ook zei het zijn werkwijzen te blijven aanpassen naarmate de gesprekken over standaarden zich ontwikkelen.

Zo werkt het signaal

Het signaal is vastgelegd in een afzonderlijk Internet-Draft met de titel Machineleesbaar signaal voor trainingsvoorkeuren (draft-kelley-aipref-training-preference-signal-00), opgesteld door Kevin Kelley van Anthropic, gedateerd 30 oktober 2026 en geldig tot 3 mei 2027. De datatracker van de IETF vermeldt dat een afzonderlijk Internet-Draft niet door de IETF wordt onderschreven en geen formele status heeft binnen het standaardisatieproces van de IETF.

Volgens het concept koppelt een dienstbeheerder gebruiksvoorkeuren, zoals “geen AI-training”, aan paden door gewone robots.txt-groepen te gebruiken met een beleidstoken per doel in de User-Agent-regel. Het concept introduceert geen nieuwe directievenamen of grammaticaregels: de padnotatie, de voorrang van de langste overeenkomst en de groepsstructuur van de robots.txt-standaard die is gepubliceerd als RFC 9309 blijven ongewijzigd. Daardoor zullen bestaande parsers die overal op internet worden gebruikt verkeersbeheersignalen blijven interpreteren zoals voorheen, aldus het concept, en groepen met beleidstokens negeren, net als groepen met een gebruikersagent die ze niet herkennen.

Het concept definieert het beleidstoken voor meerdere aanbieders: __usage_ai-training. In het voorbeeld wordt de regel “User-Agent: __usage_ai-training” gecombineerd met “Disallow: /” en “Allow: /press-kit/”. Dit geeft aan dat AI-training niet is toegestaan voor alle paden, behalve de paden onder /press-kit/. Groepen met jokertekens, oftewel “User-Agent: *”, mogen niet worden opgevat als een overeenkomst met het beleidstoken. Als geen enkele groep in een bestand het token bevat, is er geen voorkeur kenbaar gemaakt.

Het concept vermeldt ook dat het beleidstoken geen directief is voor crawlgedrag. Voorkeuren voor contentgebruik en signalen voor crawlerverkeersbeheer staan los van elkaar en zijn orthogonaal, aldus het concept; particuliere overeenkomsten kunnen voorkeuren die via dit mechanisme zijn kenbaar gemaakt, terzijde stellen. De genoemde doelen zijn onder meer koppelingen aan specifieke paden, minimale afwijking van RFC 9309, geen grootschalige duplicatie van regels, ongewijzigd gedrag van parsers die het mechanisme niet implementeren en een consistente interpretatie door alle systemen die de signalen verwerken.

De woordenschat achter het signaal

De betekenis van het token sluit aan bij het vocabulaireconcept van de werkgroep, Een vocabulaire om voorkeuren voor AI-gebruik uit te drukken (draft-ietf-aipref-vocab-08), opgesteld door Paul Keller van Open Future en Martin Thomson van Mozilla. Het document is voor het laatst bijgewerkt in september 2026 en is een werkgroepdocument dat bedoeld is als Proposed Standard. In dit vocabulaire wordt AI-training gedefinieerd als het gebruik van een asset om de aangeleerde parameters van een generatief AI-model aan te passen. De definitie sluit de training uit van modellen die uitsluitend worden gebruikt voor niet-generatieve taken. Een generatief AI-model wordt gedefinieerd als een model dat wordt gebruikt, of beschikbaar wordt gesteld voor gebruik, om synthetische content te genereren in een of meer modaliteiten.

Het vocabulaire definieert ook een afzonderlijke categorie AI-gebruik, voor assets die als invoer voor een generatief AI-model worden gebruikt en niet rechtstreeks door een gebruiker worden aangeleverd, en een categorie Zoeken voor toepassingen die primair bedoeld zijn om assets te selecteren en gebruikers naar de bijbehorende locaties te leiden. Voor elke categorie geldt een voorkeurswaarde: toegestaan, niet toegestaan of onbekend. Bij tegenstrijdige verklaringen geldt de meest beperkende voorkeur. In het vocabulaireconcept staat dat het niet garandeert dat voorkeuren worden nageleefd; de ontvanger bepaalt zelf of hij ze volgt. Een opmerking voor lezers waarschuwt dat de inhoud nog geen consensus van de werkgroep weerspiegelt. In een sectie waarvan de opname nog als openstaand punt wordt bijgehouden, staat dat het naleven van trainingsvoorkeuren inhoudt dat de voorkeuren die bij trainingsassets horen samen met een model worden doorgegeven wanneer dat model wordt verspreid.

In de dankbetuigingen bij het concept voor het trainingssignaal worden de voorzitters van de werkgroep genoemd: Mark Nottingham van Cloudflare en Suresh Krishnan van Cisco, evenals de redacteuren van de vocabulaire, Thomson en Keller, en de verantwoordelijke directeur voor het aandachtsgebied, Mike Bishop van Akamai. Ook worden individuele deelnemers vermeld, met hun affiliaties uitsluitend ter identificatie, aangezien IETF-deelnemers op persoonlijke titel bijdragen. Zij zijn afkomstig van onder meer OpenAI, Google, Microsoft, Meta, Cloudflare, de Common Crawl Foundation, News Corp, de Financial Times, de BBC, de Electronic Frontier Foundation en Creative Commons.

De bestaande crawlerinstellingen van OpenAI

In de documentatie over crawlers van OpenAI, die volgens het bedrijf naast het nieuwe signaal van kracht blijft, wordt GPTBot beschreven als de agent die content crawlt die mogelijk wordt gebruikt om de generatieve AI-basismodellen van het bedrijf te trainen. Als een website GPTBot de toegang ontzegt, geeft dat aan dat de content niet voor die training mag worden gebruikt. OAI-SearchBot zorgt ervoor dat websites verschijnen in de zoekfuncties van ChatGPT. Websites die deze bot uitsluiten, worden niet getoond in zoekantwoorden van ChatGPT, maar kunnen nog wel als navigatielink verschijnen. OAI-AdsBot controleert de veiligheid van webpagina’s die als advertenties bij ChatGPT worden ingediend. De gegevens die deze bot verzamelt, worden niet gebruikt om generatieve AI-basismodellen te trainen. ChatGPT-User verwerkt pagina’s die worden bezocht naar aanleiding van gebruikersacties in ChatGPT, in plaats van ze automatisch te crawlen. In de documentatie staat dat de regels in robots.txt mogelijk niet van toepassing zijn op deze bezoeken.

Volgens de documentatie staat elke instelling op zichzelf. Zo kan een webmaster OAI-SearchBot toestaan in zoekresultaten te verschijnen, terwijl GPTBot voor trainingsdoeleinden wordt geweerd. Het kan ongeveer 24 uur duren voordat aanpassingen in de zoekresultaten zichtbaar zijn na een wijziging van het robots.txt-bestand van een website. OpenAI zei de implementatiedetails voor het gedeelde signaal te delen zodra het dit de komende maanden invoert.