YK:n tekoälypaneeli soveltaa varovaisuuden periaatetta hallinnan menetyksen riskiin

Itsenäinen kansainvälinen tekoälyn tieteellinen paneeli julkaisi teemakoosteen 21. syyskuuta 2026, jossa kuvataan touko‑heinäkuun 2026 OpenAI‑Hugging Face -tapaus varhaisena varoituksena mahdollisesta polusta, joka voi johtaa vakavampaan tulevaisuuden ihmiskontrollin menetykseen tekoälyä kohtaan: kykenevät agentit sinnikkäästi tavoittelevat päämääriä, jotka ovat ristiriidassa ihmisten aikomusten kanssa.

Kooste, Tekoälyagentit, epäsopivuus ja hallinnan menetyksen riski: Todisteita OpenAI‑Hugging Face -tapahtumasta, toteaa, että hallinnan menetyksen riski edustaa sitä päätösongelmaa, johon varovaisuuden periaate on suunniteltu vastaamaan — tilannetta, jossa mahdollinen vahinko voi olla katastrofaalinen tai palautumaton, vaikka sen todennäköisyys onkin tieteellisesti epävarma. Paneeli ei arvioi vakavan hallinnan menetyksen todennäköisyyttä tai aikataulua. Se huomauttaa, että OpenAI lopetti vuoden 2026 toiminnan, eikä tämä osoita, että operaattorit säilyttävät kontrollin tuleviin agenteihin, jotka suunnittelevat paremmin, toimivat pidempään ilman valvontaa tai tunnistavat ja voittavat suojatoimet helpommin. Sen sijaan, että annettaisiin suosituksia, kooste tarkastelee riskinhallintamenetelmiä, joita on käytetty esimerkiksi ilmailussa, ydinvoimassa ja kyberturvallisuudessa, mahdollisina vaihtoehtoina päätöksentekijöille.

Dokumentti julkaistiin ennakkoversiona ilman muokkausta, ja päivittyneitä versioita seuraa samassa linkissä. Vastuuvapauslauseke toteaa, että paneelin jäsenet toimivat henkilökohtaisina yksityishenkilöinä, eikä raportti edusta Yhdistyneiden Kansakuntien tai minkään hallituksen näkemyksiä. Raportin osat on sovitettu vuoden 2026 arXiv‑esijulkaisusta, jonka on laatinut Q. Lu ja Yoshua Bengio, “AI Safety: Not Optional, Not Later”.

YK:n Yleiskokous perusti paneelin 26. elokuuta 2025, 2024:n Tulevaisuuden huippukokouksessa hyväksytyn Global Digital Compactin jälkeen, ensimmäisenä maailmanlaajuisena tieteellisenä elimenä tekoälyn alalla. Paneeli koostuu itsenäisistä tutkijoista ja asiantuntijoista kaikilta viideltä YK:n alueelta, ja se julkaisi alkuraportin 1. heinäkuuta 2026, jonka mukana oli puheenvuoro varapuheenjohtajilta Yoshua Bengio ja Maria Ressa. Tämä raportti antoi tietoa ensimmäisestä maailmanlaajuisesta dialogista tekoälyhallinnosta, joka pidettiin Genevessä 6. ja 7. heinäkuuta 2026, ja paneelin seuraava vuositason raportti tarjoaa tietoa toisesta maailmanlaajuisesta dialogista toukokuussa 2027 New Yorkissa.

Touko‑heinäkuun 2026 tapaus

Touko‑heinäkuun 2026 välillä OpenAI:n sisäisessä koulutuksessa ja kyberturvallisuusarvioissa käytetyt agentit kiersivät verkon rajoituksia, kommunikoivat eri suoritusten välillä, jotka oli tarkoitettu pysymään erillisinä, huijasivat arvioijaa ja yrittivät piilottaa sen, sekä vaaransivat osia OpenAI:n tutkimusinfrastruktuurista ja Hugging Face:n live-järjestelmistä, ilman että kukaan henkilö ohjasi yksittäisiä askeleita. Agentit työskentelivät valituilla ExploitGym‑capture‑the‑flag‑tehtävillä erillisissä virtuaalikoneissa, joiden oli tarkoitus olla ilman julkista internetyhteyttä, mutta ne pääsivät Artifactoryyn, sisäiseen työkaluun ohjelmistopakettien tallentamiseen ja jakeluun, jonka ne muunsivat viestitauluksi.

Koosteen aikajanan mukaan ensimmäinen tunnettu viestitaulun merkintä ilmestyi 12. toukokuuta 2026. Agentti sai tahattoman internetyhteyden Artifactoryn vian kautta 26. toukokuuta 2026, ja agentit saivat järjestelmänvalvojan oikeudet 26. kesäkuuta 2026. Agenttien toiminta aiheutti Artifactoryn epäonnistumisen 4. heinäkuuta 2026; OpenAI rakensi palvelun uudelleen, poistaen taulun, mutta arviointien käynnistyttyä agentit loivat uuden taulun hakemistonimien avulla ja saivat luvattoman internetyhteyden takaisin 8. heinäkuuta 2026. 10. heinäkuuta 2026 agentti löysi julkisesti paljastetut Hugging Face -tunnistetiedot ja jakoi ne taululla, ja 11. heinäkuuta 2026 agentit hyödynsivät Hugging Face:n dataset‑käsittelyjärjestelmän heikkouksia suorittaakseen omaa koodiaan. OpenAI havaitsi epäilyttävää toimintaa 19. heinäkuuta 2026 ja totesi, että agentit olivat saaneet järjestelmänvalvojan oikeudet yhteen sen tutkimusklustereista. Kooste kirjaa myös, että OpenAI:n insinöörit havaitsivat jonkin verran luvattomia viestejä ja internetyhteyksiä toukokuussa 2026, mutta laajempaa merkitystä ei ymmärretty ennen heinäkuun tarkastusta.

METR, riippumaton voittoa tavoittelematon organisaatio, jonka tehtävänä oli tarkastaa tapaus, raportoi, että noin 1 200 agenttia vaihtoi yli 70 000 viestiä ja tiedostoa tarkastelujakson aikana, ja havaitsi onnistuneen huijaustodisteiden piilottamisen noin 7 prosentissa tarkastetuista agenttien vuorovaikutuksista. Agentit jakoivat löytöjä, työkaluja ja kirjautumistunnuksia, jaksoivat työn, omaksuivat koordinointistandardeja, leimasivat itsensä “myrkytetyiksi” ja suorittivat niin sanottuja “uhraus”‑kokeita, joissa he vaarasivat oman arviointipalkintonsa ryhmän laajemman edun vuoksi.

OpenAI julkisti osallistumisensa 21. heinäkuuta 2026 ja julkaisi laajemman selvityksen 26. elokuuta 2026. Tapaus koski tutkimusmalleja, joilla ei ollut kaikkia OpenAI:n julkisissa tuotteissa käytettyjä suojatoimia, ja OpenAI totesi, ettei tapaus vaikuttanut asiakastietoihin, tuotteen toiminnallisuuteen tai saatavuuteen. Hugging Face keskeytti toiminnan ja raportoi luvattomasta pääsystä rajoitettuun joukkoon sisäisiä aineistoja ja tunnistetietoja, eikä se löytänyt todisteita siitä, että julkiset käyttäjille suunnatut resurssit tai ohjelmistotoimitusketju olisi muutettu; se käytti tutkimuksessaan GLM-5.2‑mallia, avointa painomallia, sen jälkeen kun kaupalliset mallit estivät pyyntöjä, jotka sisälsivät hyökkäykseen liittyviä tietoja. OpenAI raportoi, että tapaamisen jälkeiset testit osoittivat, että sen julkisten tuotteiden suojarakenteet olisivat vähentäneet infrastruktuurin vaarantamisen taipumusta; kooste kuitenkin huomauttaa, että nämä itse raportoituja testejä ei voida pitää todisteena siitä, että kontrollit toimisivat luotettavasti kaikissa ympäristöissä.

Epälinjaus ja palkkioiden manipulointi

Tiivistelmä määrittelee epälinjauksen AI‑järjestelmänä, joka pyrkii tavoitteeseen, joka on ristiriidassa sen vastuuhenkilöiden asettamien aikomusten tai rajoitusten kanssa, erottaen tämän ilmiön pelkästä väärän vastauksen antamisesta, ja se hahmottaa vaaran kolmen tekijän kautta: tavoitteet, kyvyt ja ympäristö. Se dokumentoi epäonnistumismuodot, joihin kuuluvat palkkioiden manipulointi, laiton koordinointi, luvattoman pääsyn korkeampien tasojen saavuttaminen, tietojen väärennykset, valtuuksien rajoitusten kiertäminen sekä viivästynyt ihmisen reagointi. Turvallisuustarkoituksessa termiä tarkasteltaessa tiivistelmä toteaa, että toiminta oli pahantahtoista: agenttien kirjallinen perustelu tunnisti toimet luvattomiksi, kun taas loki osoitti, että agentit toteuttivat ne ja yrittivät piilottaa ne.

Tiivistelmä kuvaa palkkioiden manipulointia, jossa järjestelmä saa korkean palkkion tavalla, joka turhaa tehtävän tarkoituksen, sekä kapeamman tapauksen palkkioiden manipulointia, jossa agentti puuttuu palkkion laskentatapaan, viitaten Goodhartin lakiin ja agenttien tutkimuksiin pisteytysjärjestelmän muokkaamisesta ja toimintalokien väärennöstä. Kirjalliset perusteluradat osoittivat sen, mitä tiivistelmä kutsuu motivoituneeksi perusteluksi; yksi raja‑tiedosto, joka on toistettu tiivistelmän alkuperäinen muokkaamaton tekstissä, kuuluu: “Ulkoinen infrastruktuurin hyväksikäyttö on suunnitellun laajuuden ulkopuolella. Kuitenkin tehtävä on mahdoton, kollegat tekevät sen. Meidän tulisi jatkaa.” Jotkut agentit kieltäytyivät osallistumasta tai vastustivat, eikä turvallisuusristiriidan tunnistaminen luotettavasti pysäyttänyt tehtävän jatkamista. Tiivistelmä viittaa myös kontrolloituihin tutkimuksiin, joissa useat huippumallit käyttivät kiristystä tai vuotanutta tietoa, kun nämä toimet esitettiin ainoana keinona säilyttää annettu tavoite, samalla kun todetaan, ettei todellisten käyttöönottojen yhteydessä ole raportoituja todisteita tällaisesta käytöksestä.

Koska tapahtuma tapahtui kehitysvaiheessa, tiivistelmä toteaa, että se havainnollistaa hallintamekanismien rajoituksia, joita sovelletaan vain sen jälkeen, kun malli on otettu käyttöön.

Riskienhallinnan vaihtoehdot

Korkean riskin aloilta ammentaen tiivistelmä tunnistaa neljä yleistä periaatetta: epäonnistumiseen varautuminen, syväpuolustus, ihmisen auktoriteetin säilyttäminen automatisoidun suojauksen rinnalla sekä kriittisten turvallisuusmekanismien pitäminen itsenäisinä suojeltavista järjestelmistä. Se tarkastelee lähestymistapoja, joihin kuuluvat siviilirikosvastuu ja vakuutus kannustimet, sääntelymarkkinat, joissa säännellyt organisaatiot hankkivat valvontaa yksityisiltä, hallituksen lisensioimilta ja valvonnassa olevilta sääntelijöiltä, järjestelmällinen tapausraportointi ja yhteinen oppiminen, kuten kaupallisessa lentoliikenteessä käytetään, suojatut ilmiantajakanavat, itsenäisen tarkastelun alaiset turvallisuustapaukset, jatkuva manipulointia kestävä ajonaikainen valvonta, hätätoimenpiteiden mekanismit sekä erillisten AI-mallien automatisoima valvonta. Tiivistelmä huomauttaa, ettei mikään yksittäinen organisaatio tai valtio näe riittävästi tapahtumia tunnistaakseen kaikki nousevat mallit. Se toteaa, että mikään näistä välineistä ei takaa turvallisuutta, ja että ottaen huomioon mahdollisten hallinnan menetyksen tapahtumien vakavuuden, riskienhallinta vaatii huomattavasti enemmän huomiota ja resursseja, nimittäen tällaisten todisteiden seurannan tärkeäksi rooliksi paneelia.