OpenAI noudattaa yhteistä robots.txt-signaalia tekoälyn koulutusta koskevista valinnoista

OpenAI ilmoitti 30. lokakuuta 2026 noudattavansa robots.txt-tiedostoon lisättävää yhteistä signaalia. Verkkosivustot käyttävät tätä tiedostoa ilmaistakseen, miten niiden sisältöä saa käyttää. Signaalin avulla sivustojen ylläpitäjät voivat kertoa yhdellä kertaa useille siihen osallistuville palveluntarjoajille, haluavatko he sallia tekoälyn kouluttamisen sisällöllään.

Palveluntarjoajien yhteinen, vapaaehtoinen signaali

OpenAI kuvaili ilmoituksessaan hanketta vapaaehtoiseksi ja sanoi sen ratkaisevan nykyisen ongelman: tähän asti verkkosivustojen ylläpitäjien on täytynyt tunnistaa yksittäiset indeksoijat ja ylläpitää erillisiä sääntöjä jokaiselle palveluntarjoajalle. Yhtiön mukaan yhteisen signaalin avulla julkaisijat ja verkkosivustojen ylläpitäjät voivat kertoa saman valinnan kerralla useille siihen osallistuville palveluntarjoajille. OpenAI kertoi pyrkivänsä ottamaan signaalin käyttöön tulevien kuukausien aikana ja julkaisevansa sen yhteydessä uuden päivityksen, jossa kerrotaan käyttöönoton yksityiskohdista.

Yhtiön mukaan uusi signaali ei korvaa robots.txt-tiedoston kautta jo tarjottuja hallintakeinoja, jotka pysyvät voimassa ja joita noudatetaan jatkossakin. OpenAI kertoi hankkeen pohjautuvan Internet Engineering Task Forcen AI Preferences -työryhmän käynnissä olevaan työhön. Se sanoi liittyvänsä muiden työryhmän osallistujien joukkoon ilmoituksen tekemisessä ja kannusti muita tekoälypalveluntarjoajia noudattamaan signaalia. Yhtiö kuvaili tätä askelta kohti avointa verkkoa, jossa ihmiset voivat julkaista ja löytää tietoa ja verkkosivustojen omistajilla on selkeämmät ja yksinkertaisemmat keinot kertoa valinnoistaan sisältönsä käyttöön liittyen. Yhtiö sanoi myös jatkavansa käytäntöjensä mukauttamista standardeja koskevan keskustelun edetessä.

Näin signaali toimii

Signaali määritellään yksittäisessä Internet-luonnoksessa, jonka nimi on Koneellisesti luettava signaali koulutusta koskevista valinnoista (draft-kelley-aipref-training-preference-signal-00). Sen on kirjoittanut Kevin Kelley Anthropicilta. Luonnos on päivätty 30. lokakuuta 2026, ja sen voimassaolo päättyy 3. toukokuuta 2027. IETF:n datatracker-palvelussa huomautetaan, ettei yksittäinen Internet-luonnos ole IETF:n hyväksymä eikä sillä ole virallista asemaa IETF:n standardointiprosessissa.

Luonnoksen mukaan palvelun ylläpitäjä liittää käyttöä koskevat valinnat, kuten ”ei tekoälyn kouluttamista”, tiettyihin polkuihin kirjoittamalla tavanomaisia robots.txt-ryhmiä, joiden User-Agent-rivillä on käyttötarkoituskohtainen käytäntötunniste. Luonnoksessa ei oteta käyttöön uusia direktiivien nimiä eikä uutta kielioppia: polkujen syntaksi, pisimmän osuman etusijaisuus ja RFC 9309 -standardissa määritelty robots.txt-tiedoston ryhmärakenne pysyvät ennallaan. Luonnoksen mukaan internetissä jo käytössä olevat jäsentimet tulkitsevat liikenteenhallinnan signaaleja jatkossakin kuten ennenkin ja ohittavat käytäntötunnisteella merkityt ryhmät samoin kuin ryhmät, joissa mainitaan niille tuntematon käyttäjäagentti.

Luonnoksessa määritellään eri palveluntarjoajille yhteinen käytäntötunniste __usage_ai-training. Esimerkissä rivi ”User-Agent: __usage_ai-training” yhdistetään riveihin ”Disallow: /” ja ”Allow: /press-kit/”. Näin ilmaistaan, ettei tekoälyä haluta koulutettavan millään muulla polulla kuin /press-kit/-polun alaisilla poluilla. Yleismerkkiryhmiä, joissa lukee ”User-Agent: *”, ei saa tulkita käytäntötunnisteeseen sopiviksi. Jos tiedoston missään ryhmässä ei ole tunnistetta, valintaa ei ole ilmaistu.

Luonnoksessa todetaan myös, ettei käytäntötunniste ole indeksointikäyttäytymistä ohjaava direktiivi. Sisällön käyttöä koskevat valinnat ja indeksoijien liikenteenhallintasignaalit ovat luonnoksen mukaan toisistaan riippumattomia ja erillisiä, ja yksityiset sopimukset voivat syrjäyttää tämän mekanismin kautta ilmaistut valinnat. Luonnoksessa mainittuihin tavoitteisiin kuuluvat polkukohtaiset sidokset, mahdollisimman vähäiset poikkeamat RFC 9309 -standardista, sääntöjen laajamittaisen monistamisen välttäminen, mekanismia toteuttamattomien jäsenninten toiminnan säilyminen ennallaan sekä yhdenmukainen tulkinta eri käyttäjien kesken.

Signaalin taustalla oleva sanasto

Tunnisteen merkitys perustuu työryhmän sanastoluonnokseen Sanasto tekoälyn käyttöä koskevien valintojen ilmaisemiseen (draft-ietf-aipref-vocab-08). Sen ovat kirjoittaneet Paul Keller Open Futuresta ja Martin Thomson Mozillasta. Syyskuussa 2026 viimeksi päivitetty työryhmäasiakirja on tarkoitettu ehdotukseksi standardiksi. Sanastossa tekoälyn kouluttaminen määritellään toiminnaksi, jossa aineistoa käytetään generatiivisen tekoälymallin opittujen parametrien muokkaamiseen. Määritelmän ulkopuolelle jää sellaisten mallien kouluttaminen, joita käytetään yksinomaan ei-generatiivisiin tehtäviin. Generatiivinen tekoälymalli puolestaan määritellään malliksi, jota käytetään tai joka on saatavilla käytettäväksi synteettisen sisällön tuottamiseen yhdessä tai useammassa modaliteetissa.

Sanastossa määritellään myös erillinen tekoälyn käyttöä kuvaava luokka, joka kattaa aineiston käytön generatiivisen tekoälymallin syötteenä silloin, kun käyttäjä ei anna aineistoa suoraan, sekä hakuluokka sovelluksille, joiden ensisijaisena tarkoituksena on valita aineistoja ja ohjata käyttäjiä niiden sijainteihin. Kullekin luokalle annetaan valinnan arvo: sallittu, kielletty tai tuntematon. Jos ilmoitukset ovat ristiriidassa keskenään, noudatetaan rajoittavinta valintaa. Sanastoluonnoksessa todetaan, ettei se takaa valintojen noudattamista, vaan niiden noudattamisesta päättää vastaanottaja. Lukijoille suunnatussa huomautuksessa varoitetaan, ettei asiakirjan sisältö vielä vastaa työryhmän yhteistä kantaa. Yhdessä osiossa, jonka sisällyttäminen on yhä avoin kysymys, todetaan, että koulutusta koskevien valintojen noudattaminen tarkoittaa myös koulutusaineistoon liittyvien valintojen välittämistä mallin mukana, kun malli jaetaan.

Koulutussignaalia koskevan luonnoksen kiitoksissa mainitaan työryhmän puheenjohtajat Mark Nottingham Cloudflaresta ja Suresh Krishnan Ciscosta, sanaston toimittajat Thomson ja Keller sekä vastuullinen aluejohtaja Mike Bishop Akamaista. Niissä luetellaan myös yksittäisiä osallistujia organisaatioista, kuten OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation ja Creative Commons. Organisaatioyhteydet mainitaan vain tunnistamista varten, sillä IETF:n osallistujat osallistuvat työhön yksityishenkilöinä.

OpenAI:n nykyiset indeksointirobottien hallinta-asetukset

OpenAI:n indeksointirobotteja koskevassa dokumentaatiossa, jonka yhtiö sanoi pysyvän voimassa uuden signaalin rinnalla, GPTBot kuvataan botiksi, joka indeksoi sisältöä, jota voidaan käyttää sen generatiivisten tekoälyn perustamallien kouluttamiseen. GPTBotin estäminen ilmaisee, ettei sivuston sisältöä tulisi käyttää tähän koulutukseen. OAI-SearchBot tuo verkkosivustoja näkyviin ChatGPT:n hakutoiminnoissa, eikä siitä kieltäytyneiden sivustojen sisältöä näytetä ChatGPT:n hakuvastauksissa, vaikka sivustot voivat silti näkyä navigointilinkkeinä. OAI-AdsBot tarkistaa ChatGPT:ssä mainoksiksi lähetettyjen verkkosivujen turvallisuuden, eikä sen keräämiä tietoja käytetä generatiivisten tekoälyn perustamallien kouluttamiseen. ChatGPT-User käsittelee ChatGPT:ssä käyttäjän toimintojen käynnistämiä sivukäyntejä automaattisen indeksoinnin sijaan, ja dokumentaatiossa huomautetaan, etteivät robots.txt-säännöt välttämättä koske näitä käyntejä.

Dokumentaation mukaan kukin asetus toimii muista riippumatta, joten verkkovastaava voi sallia OAI-SearchBotin näkymisen hakutuloksissa ja samalla estää GPTBotin käytön koulutukseen. Hakutulosten päivittyminen voi kestää noin 24 tuntia sivuston robots.txt-tiedoston päivittämisestä. OpenAI ilmoitti jakavansa yhteisen signaalin toteutusta koskevat tiedot, kun se ottaa signaalin käyttöön tulevien kuukausien aikana.