Google aikoo tukea yhteistä robots.txt-ohjausta tekoälymallien koulutukseen

Google ilmoitti 30. lokakuuta 2026 aikovansa tukea robots.txt-tiedostossa käytettävää yhteistä tekoälymallien koulutuksen ohjausta. Sen avulla verkkosivustojen omistajat voivat ilmaista koulutusta koskevat toiveensa yhdellä tavalla useille tekoälypalveluntarjoajille. Ilmoitus julkaistiin samana päivänä kuin Microsoftin ja OpenAI:n vastaavat ilmoitukset.

Näin Google aikoo soveltaa ohjausta

Suunnitelmasta kerrottiin John Muellerin, Google Search Advocate -asiantuntijan, Google Search Central -blogikirjoituksessa. Ohjaus perustuu Internet Engineering Task Force (IETF) -järjestön AI Preferences -työryhmän työhön ja rakentuu Google-Extendedin pohjalle. Googlen mukaan se on tarjonnut tätä tekoälymallien koulutuksen ohjauskeinoa vuodesta 2023 lähtien.

Sen sijaan, että verkkosivustojen omistajien pitäisi hallinnoida erillisiä ohjeita jokaiselle tekoälyn kehittäjälle, he voivat asettaa yhteisellä käytäntötokenilla robots.txt-tiedostossa yleisiä toiveita kaikille siihen osallistuville tekoälypalveluntarjoajille. Jos verkkosivusto käyttää tokenia kieltäytyäkseen koulutuskäytöstä eikä ole erikseen määrittänyt Google-Extended-asetusta, Google aikoo tulkita tämän niin, että julkaisija olisi kieltänyt Google-Extendedin käytön. Muut tekoälypalveluntarjoajat voivat käsitellä signaalia samalla tavalla, joten sivustojen omistajat voivat kieltäytyä kaikkien osallistuvien palveluntarjoajien käytöstä kerralla tai valita, keitä kielto koskee.

Kirjoituksen mukaan yrityskohtaiset nykyiset ohjauskeinot toimivat jatkossakin yhteisen signaalin rinnalla. Näin verkkosivustojen omistajat voivat ilmaista yleisen valintansa alan yhteisellä signaalilla ja samalla mukauttaa ohjeita yksittäisille kehittäjille esimerkiksi Google-Extendedin kaltaisilla ohjauskeinoilla. Verkkosivustot, jotka sallivat Google-Extendedin käytön erikseen, voivat näkyä Gemini Apps -sovellusten vastauksissa ja saada klikkauksia sovelluksissa tapahtuvan tietoon ankkuroinnin kautta.

Googlen mukaan ehdotus perustuu julkaisijoiden, kansalaisyhteiskunnan ryhmien, sääntelyviranomaisten ja muiden sidosryhmien palautteeseen. Nämä ovat vaatineet koko alaa koskevia tekoälymallien koulutuksen ohjauskeinoja, ja Googlen mukaan suurten tekoälypalveluntarjoajien tuki loisi kestävän, koko alalla toimivan standardin. Yhtiö totesi myös, että ehdotus on yhdenmukainen EU:n tekoälysäädöksen mukaisen yleiskäyttöisten tekoälymallien tarjoajia koskevan EU:n käytännesäännöstön kanssa. Säännöstössä robots.txt tunnustetaan keskeiseksi keinoksi, jolla verkkojulkaisijat voivat ilmaista koneellisesti luettavia toiveita. Google aikoo muiden tekoälypalveluntarjoajien kanssa tukea uutta ohjausta vuonna 2027 ja kertoi tiedottavansa edistymisestään.

OpenAI sitoutui vastaavaan käytäntöön samana päivänä. OpenAI:n ilmoituksen mukaan yhtiö noudattaa yhteistä robots.txt-signaalia, pyrkii ottamaan sen käyttöön tulevien kuukausien aikana ja pitää nykyiset indeksointiohjaimensa voimassa sekä noudattaa niitä jatkossakin. OpenAI kertoi ilmoituksessa liittyvänsä muiden AI Preferences -työryhmän osallistujien joukkoon ja kehotti muita tekoälypalveluntarjoajia noudattamaan signaalia.

Signaalin taustalla oleva IETF-luonnos

Mekanismi on määritelty Internet-luonnoksessa nimeltä ”Machine-Readable Training Preference Signal”. Sen on laatinut Anthropicilla työskentelevä Kevin Kelley, ja se on päivätty 30. lokakuuta 2026. Asiakirja on tarkoitettu standardointipolulle, ja sen voimassaolo päättyy 3. toukokuuta 2027. IETF:n datatracker-palvelun mukaan kyseessä on yksittäinen ehdotus, jota IETF ei ole hyväksynyt ja jolla ei ole virallista asemaa standardointiprosessissa.

Luonnoksen mukaan palvelun ylläpitäjä liittää käyttöä koskevat toiveet polkuihin kirjoittamalla tavallisia robots.txt-ryhmiä, joiden User-Agent-rivillä käytetään tarkoituskohtaista käytäntötokenia __usage_ai-training. Luonnoksen esimerkkiryhmä ilmaisee, ettei koko sivuston sisältöä haluta käytettävän tekoälymallien koulutukseen, lukuun ottamatta /press-kit/-polun alaisia polkuja. Mekanismi ei tuo mukanaan uusia ohjekäskyjen nimiä eikä uutta kielioppia: robots.txt-standardin (RFC 9309) polkukieli, pisimmän vastaavuuden etusija ja ryhmärakenne pysyvät ennallaan. Siksi internetissä jo käytössä olevat jäsentimet sivuuttavat käytäntötokenia sisältävät ryhmät, joita ne eivät tunnista. Jokerimerkkiryhmiä, joissa on User-Agent: *, ei saa tulkita käytäntötokenia vastaaviksi, eikä robots.txt-tiedosto ilmaise mitään toivetta, jos siinä ei ole __usage_ai-training-ryhmää.

Tokenin merkitys perustuu AIPREF-sanaston tekoälymallien koulutusta koskevaan määritelmään: ”Aineiston käyttäminen generatiivisen tekoälymallin opittujen parametrien muuttamiseen.” Määritelmä ei kata sellaisten mallien koulutusta, joita käytetään yksinomaan muihin kuin generatiivisiin tehtäviin, vaikka malli pystyisi myös generatiivisiin tehtäviin. Luonnoksessa painotetaan lisäksi, että token ilmaisee sisältöä koskevan käyttötoiveen eikä indeksointikäyttäytymistä ohjaavaa käskyä, vaikka signaalin vastaanottajat voivat hyödyntää toiveita indeksoinnin ohjaamisessa. Yksityiskohtaisten ilmausten tulee olla yleisiä ensisijaisempia, ja yksityiset sopimukset voivat syrjäyttää ilmaistut toiveet.

Kelley ilmoitti luonnoksesta IETF:n ai-control-postituslistalla 30. lokakuuta 2026 ja kirjoitti, että Anthropic on jo aloittanut sen tuen toteuttamisen. Hän kuvaili työtä Anthropicin nykyisiä indeksointiohjaimia täydentäväksi, ei niitä korvaavaksi.

Microsoftin käyttöönotto ja siirtymän ajankohdat

Microsoft ilmoitti käyttöönotostaan samana päivänä Krishna Madhavanin, Microsoft Bingin Principal Product Managerin, Bingin blogikirjoituksessa. Yhtiön mukaan se oli ensimmäinen yritys, joka tarjosi julkaisijoille ohjauskeinoja tekoälymallien koulutukseen ja tietoon ankkurointiin. Microsoft viittasi vuonna 2023 käyttöön ottamiinsa NoArchive- ja NoCache-tunnisteisiin.

Microsoft ottaa käyttöön sivustoille ja poluille yhteisen tekoälykoulutusasetuksen ja laajentaa sen sivutasolle metatunnisteiden ja HTTP-vastausotsakkeiden avulla. Lisäksi se ottaa käyttöön erillisen sivutasoisen tekoälyn ankkurointiasetuksen. Ankkurointiasetukseen lisätään Allow- ja Disallow-vaihtoehtojen rinnalle uusi DisallowExtended-vaihtoehto, joka rajoittaa ankkuroinnin käytön Microsoftin ylläpitämiin palveluihin, kuten AI Modeen, AI Overview’hun, Copilotiin ja Microsoft 365:een. Se sulkee pois ankkurointipalvelut, joita Microsoft tarjoaa kolmansille osapuolille, kuten Web IQ:n ja Foundryn API-rajapinnan kautta tarjottavan ankkuroinnin. Molempien asetusten oletusarvo on Allow, jos asetusta ei ole julkaistu. Microsoft varoitti, että ankkuroinnin Disallow- tai DisallowExtended-vaihtoehdon valitseminen heikentää brändin näkyvyyttä tekoälypalveluissa. Asetukset eivät vaikuta sivuston kelpoisuuteen näkyä perinteisissä Bing-hakutuloksissa eivätkä määritä lisensointi- tai maksujärjestelyjä.

Uudet asetukset korvaavat NoArchive- ja NoCache-asetukset koulutuksen ja ankkuroinnin osalta, ja ne tulevat voimaan 1. helmikuuta 2027 alkaen sitä mukaa kuin Microsoft indeksoi sivustoja. Väliaikaiset ankkuroinnin siirtymäasetukset tulevat Bing Webmaster Toolsissa saataville 15. joulukuuta 2026 sivustoille, jotka käyttävät tuolloin vanhoja tunnisteita. Näiden sivustojen on julkaistava uudet asetuksensa ja kirjattava väliaikainen ankkurointiasetus ennen 1. maaliskuuta 2027. Tämän jälkeen NoArchive- ja NoCache-asetuksia ei enää tulkita koulutusta tai ankkurointia koskeviksi asetuksiksi. Väliaikaiset asetukset pysyvät voimassa, kunnes Microsoft indeksoi sivun uudelleen ja löytää uuden ankkurointiasetuksen tai kunnes 30. syyskuuta 2027, sen mukaan, kumpi ajankohta tulee ensin.