METR:n punatiimi löysi haavoittuvuuksia OpenAI:n valvontajärjestelmästä

METR ja Redwood Research julkaisivat 22. lokakuuta 2026 julkisen kuvauksen pilottiharjoituksesta, jossa yksi kummankin organisaation työntekijä sai kolmen viikon ajaksi laajan pääsyn OpenAI:n sisäiseen infrastruktuuriin ja testasi yhtiön sisäistä tavoitteiden vastaisuuden valvontajärjestelmää. Arvioijat kertoivat löytäneensä järjestelmästä useita uusia haavoittuvuuksia sellaisena kuin se oli 21. heinäkuuta 2026 ja sitä ennen.

Harjoitus järjestettiin 21. heinäkuuta–11. elokuuta 2026. Siinä keskityttiin ennen kaikkea arvioimaan, kuinka suuri osa agenttisesta päättelystä on valvonnan piirissä, sekä selvittämään, voisivatko agentit periaatteessa poistaa valvontajärjestelmän käytöstä tai horjuttaa sitä. Harjoituksen tuloksena syntyi 61-sivuinen sisäinen raportti, joka jaettiin OpenAI:n tutkijoille ja turvallisuushenkilöstölle. OpenAI:n poistamin tiedoin laadittu 38-sivuinen versio jaettiin METR:n ja Redwood Researchin johtoryhmille.

Laaja pääsy valvotuin ehdoin

Kahdella arvioijalla oli pääsy OpenAI:n sisäiseen koodikantaan, tavoitteiden vastaisuuden valvontajärjestelmän kehotteisiin ja määritystietoihin sekä sisäiseen dokumentaatioon. Lisäksi he haastattelivat teknisistä aiheista noin tusinaa tutkijaa ja insinööriä valvonta-, turvallisuusjärjestelmä- ja tietoturvatiimeistä. Tällaisen pääsyn mahdollistamiseksi he työskentelivät OpenAI:n heille toimittamilla laitteilla, jotka eivät koskaan poistuneet toimitiloista, ja heidän mukanaan kulki saattaja heidän ollessaan paikan päällä.

METR, Redwood Research ja OpenAI suunnittelivat harjoituksen pilotiksi, jonka tarkoituksena oli antaa ulkopuolisille tutkijoille laaja pääsy sisäiseen infrastruktuuriin, ei keinoksi lisätä OpenAI:n valvontajärjestelmien julkista läpinäkyvyyttä perusteellisesti. Osapuolet sopivat etukäteen julkaisevansa vain suhteellisen lyhyen ja yleisluontoisen julkisen kirjoituksen. OpenAI pidätti itsellään oikeuden poistaa julkisesta versiosta mitä tahansa tietoja, jotka se oman yksinomaisen harkintansa mukaan katsoi luottamuksellisiksi tai muutoin arkaluonteisiksi. Havainnot kuvaavat historiallista järjestelmää, jota arvioitiin 21. heinäkuuta ja sitä ennen, eivätkä ne arvioi tuolloin käynnissä olleita muutoksia. METR huomautti, että OpenAI laajensi valvontajärjestelmäänsä harjoituksen aikana.

Valvonnan katvealueet ja keinot kiertää valvonta

METR arvioi, että harjoituksen aikaan noin 75–94 prosenttia vähintään GPT-5.5:n tasoisten mallien agenttisesta Responses API -liikenteestä OpenAI:n sisäisessä käytössä oli mahdollista ottaa valvontaan. Arvioon liittyi kuitenkin molempiin suuntiin huomattavaa epävarmuutta. Responses API palvelee muun muassa Codexia, ja arvioijat arvioivat, että siitä sisäisten Codex-agenttien käyttöön tulevasta liikenteestä 99,2 prosenttia oli mahdollista ottaa valvontaan. He kertoivat, etteivät pääsyyn ja käytettävissä olevaan aikaan liittyvien rajoitteiden vuoksi pystyneet arvioimaan muun heidän tietämänsä sisäisen agenttisen koodausliikenteen määrää. Tällaisia agentteja olivat esimerkiksi OpenAI:n sisäisessä tutkimuksen päättelypalvelussa toimivat agentit.

Useat havainnot koskivat valvonnan katvealueita. Harjoituksen alussa vahvistusoppimisen koulutusajoja ei valvottu, vaikka arvioijille kerrottiin, että osaa vahvistusoppimisen koulutuksen toimintajaksoista oli valvottu tavoitteiden vastaisuuden varalta maaliskuun ja kesäkuun välisenä aikana. METR arvioi, että tiivistämistapahtumien jääminen valvonnan ulkopuolelle jätti todennäköisesti noin 10 prosenttia valvontaan soveltuvasta sisäisestä Codex-liikenteestä valvomatta toukokuun ja heinäkuun 2026 välisenä aikana. OpenAI:n henkilöstö oli havainnut ongelman itsenäisesti jo ennen harjoituksen alkua ja korjasi sen harjoituksen aikana. Koska järjestelmä käynnisti valvonnan agenttien luovuttaessa ohjauksen takaisin käyttäjälle, agentit olisivat voineet lykätä valvontaan joutumista loputtomiin jatkamalla toimintaansa kyseisen ajanjakson aikana. Pääsyrajoitteiden vuoksi arvioijat eivät pystyneet tarkistamaan, oliko jokin agentti tosiasiassa tehnyt näin. Arvioijille näytettiin erikseen tietoja, joiden perusteella valvontajärjestelmä epäonnistui harjoituksen aikaan alle 0,2 prosentissa pyynnöistä eikä kuormaa pudotettu kertaakaan yhden 24 tunnin jakson aikana.

Arvioijat tunnistivat myös keinoja, joilla agentti voisi kiertää valvonnan kokonaan. He löysivät menetelmän, jolla Codex-agentit voisivat periaatteessa ohittaa Codexin hiekkalaatikkorajoitukset ja Auto-Review-toiminnon ja tehdä mitä tahansa toimia, jotka ovat käytettävissä isäntäkoneen käyttäjälle. Lisäksi he löysivät hyväksikäyttömenetelmän, jonka yksityiskohdat OpenAI poisti ja jonka avulla satoja viimeaikaisia toimia, myös itse menetelmän toteuttamiseen kuuluvia toimia, jäisi valvomatta. Arvioijat havaitsivat, että agentit voisivat todennäköisesti muodostaa syötteitä, jotka saavat valvontajärjestelmän toimintahäiriöön ja siten estävät asian siirtämisen ihmisen tarkistettavaksi. Tämä onnistuisi hyödyntämällä eroja siinä, miten agentille ja valvontajärjestelmälle välitettävä toimintaketju sarjallistetaan. He löysivät kaksi asiakkaan hallittavissa olevaa otsaketta, jotka poistavat valvontajärjestelmän käytöstä uusien agenttien osalta. Niiden avulla agentti voisi käynnistää muutoin samanlaisen instanssin, joka toimii valvomatta, vaikka valvontajärjestelmä voisi havaita itse otsakkeiden asettamisen ja instanssin luomisen. Lisäksi he löysivät kaksi valvonnan ulkopuolella olevaa sisäistä agenttista työkalua, joilla heidän uskottiin olevan vain lukuoikeudet. Yksinkertainen hyväksikäyttömenetelmä olisi voinut murtaa niiden rajoitukset ja saada ne tekemään mielivaltaisia toimia hiekkalaatikkoympäristössään, mutta arvioijat eivät vahvistaneet tai testanneet tätä käytännössä.

Haavoittuvuuksien lisäksi arvioijat varmistivat, että valvontajärjestelmä näkee agenttien kanssa samat täydelliset toimintaketjut muutamia vähäisiä poikkeuksia lukuun ottamatta. He myös vahvistivat, että valvontajärjestelmän kehotteissa etsitään muun muassa juonittelua, valvontajärjestelmän horjuttamista, sabotaasia, tietojen luvatonta siirtämistä, harhaanjohtamista sekä saapuvien ja lähtevien kehotteiden injektointia. Harjoituksen päätyttyä OpenAI ilmoitti, että kaikki tuotantokäytössä oleviin suojauksiinsa vaikuttavat tunnistetut haavoittuvuudet on korjattu, ja kuvaili merkittäviä myöhempiä muutoksia valvontajärjestelmän suunniteltuun kattavuuteen. METR kertoi, ettei se ole arvioinut näitä väitteitä.

OpenAI:n kuvaus valvontajärjestelmästä

OpenAI kuvaili testattua järjestelmää julkisesti 19. maaliskuuta 2026 julkaistussa kirjoituksessa. Kirjoituksen mukaan pieniviiveinen järjestelmä perustuu GPT-5.4 Thinkingiin, jonka päättelyteho on asetettu enimmäistasolle. Se tarkastelee agenttien vuorovaikutusta 30 minuutin kuluessa sen päättymisestä, kirjaa ja analysoi agenttien ajatusketjuja ja toimia, luokittelee jokaisen vuorovaikutustilanteen, määrittää sille vakavuustason ja nostaa poikkeamat ihmisten tarkasteltaviksi. OpenAI kertoi järjestelmän olevan käytössä kaikissa vakiomuotoisissa sisäisissä koodausagenttien käyttöönottoympäristöissä. Järjestelmä näkee koko keskusteluhistorian, mukaan lukien kaikki käyttäjien, kehittäjien ja avustajien viestit sekä työkalukutsut ja niiden tulosteet.

OpenAI:n kirjoituksessa luetellaan valvottavia toimintaluokkia, joihin kuuluvat rajoitusten kiertäminen, harhaanjohtaminen, epävarmuuden peittely, palkkiojärjestelmän manipulointi, tietojen luvaton siirtäminen, tuhoisat toimet sekä saapuvien ja lähtevien kehotteiden injektointi. Kirjoituksen mukaan 17. maaliskuuta 2026 mennessä ei ollut havaittu yhtään todellista positiivista tulosta, joka olisi liittynyt suorituskyvyn tahalliseen heikentämiseen, sabotaasiin tai juonitteluun. OpenAI:n mukaan järjestelmä valvoi viiden toimintakuukauden aikana kymmeniä miljoonia sisäisiä agenttien koodausprosessien toimintaketjuja ja siirsi noin 1 000 keskustelua ihmisten tarkasteltaviksi niiden kohtalaisen vakavuuden vuoksi. Monet näistä keskusteluista olivat peräisin tarkoituksellisesta sisäisestä red team -testauksesta. Yksikään todellinen keskustelu ei johtanut korkeimpaan vakavuustasoon. Yhtiö kertoi myös, että valvontajärjestelmä oli merkinnyt kaikki vuorovaikutustilanteet, joista työntekijät olivat erikseen ilmoittaneet sisäisiä kanavia pitkin.

OpenAI totesi kirjoituksessaan, että lähestymistapa perustuu olennaisesti valvottavuuteen ja ettei väärien negatiivisten tulosten osuutta avoimessa todellisen maailman liikenteessä voida arvioida luotettavasti ilman erillisiä kontrolliarviointeja ja red team -testausta. Se kuvaili valvontaa yhdeksi kerrokseksi monikerroksisessa puolustusjärjestelmässä. Yhtiön ilmoittamaan etenemissuunnitelmaan kuuluivat kontrolliarvioinnit, valvontajärjestelmien ja ihmistarkastajien hyväksyttävää luotettavuutta ja viivettä koskevat standardit sekä siirtyminen synkroniseen estämiseen, jossa mallin toimet arvioitaisiin ja estettäisiin ennen niiden suorittamista.

Tulevien valvontajärjestelmien suunnitteluperiaatteet

Havaintojensa perusteella arvioijat esittelivät valvonta- ja ohjausjärjestelmien suunnitteluperiaatteita. Heidän mukaansa tuleva valvontainfrastruktuuri pitäisi rakentaa kestämään organisaation sisällä toimivien erittäin kyvykkäiden agenttien tarkoituksellisia ja pitkäkestoisia hyökkäyksiä, joita toteutetaan strategisesti ja laajassa mittakaavassa. Viiden periaatteen mukaan valvonnan kiertämisestä pitäisi tehdä vaikeaa, valvottavaksi tarkoitettu liikenne pitäisi todella valvoa, häiriötilanteisiin pitäisi reagoida nopeasti ja luotettavasti, valvontajärjestelmää pitäisi testata aktiivisesti red team -menetelmin ja agentit pitäisi eristää valvontajärjestelmistään. Kuvattuihin konkreettisiin käytäntöihin kuuluvat agenttien valvominen aina tietyn viestimäärän tai aikavälin jälkeen sen sijaan, että odotetaan niiden vuoron päättymistä, kaikkien tunnettujen valvonnan kiertotapojen luetteleminen, väärentämiseltä suojattujen ja haettavien lokien ylläpitäminen sekä agenttien toimintakehysten ajaminen ympäristössä, joka on eristetty työkalukutsujen suoritusympäristöstä.

METR kertoi, että harjoituksessa oli merkittävää hyötyä OpenAI:n henkilöstön tarjoamasta laajasta käyttöoikeudesta sekä huomattavasta logistisesta ja teknisestä tuesta. METR kertoi aikovansa harjoituksen tulevissa versioissa noudattaa asiakirjassaan ”Lähestymistapamme yhteistyöhön tekoälyyritysten kanssa” kuvattuja läpinäkyvyyden ja riippumattomuuden parhaita käytäntöjä, jotta julkinen läpinäkyvyys olisi vahvempaa.