OpenAI laajentaa valvontaa havaitakseen huippumallien tavoitteiden vastaisen toiminnan

OpenAI julkaisi yksityiskohtaisen kuvauksen laajennetusta, monikerroksisesta järjestelmästään, jolla havaitaan sen huippumallien tavoitteiden vastaista toimintaa. Valvonta ulottuu koulutukseen, arviointiin ja sisäiseen käyttöön sekä muutettuna myös ulkoiseen käyttöönottoon. Kuvaus julkaistiin 29. lokakuuta 2026.

OpenAI kertoi laajennuksen seuranneen Hugging Facen tapausta, joka sai alkunsa sisäisten kyberturvallisuusarviointien aikana, jolloin sen tavoitteiden vastaisen toiminnan valvontajärjestelmät eivät olleet käytössä. Selvittääkseen, olisiko laajennettu järjestelmä voinut muuttaa tapahtumien kulkua, yhtiö toisti tapauksessa tallentuneen toiminnan vahvistettujen valvontajärjestelmien avulla. Simulaatiossa järjestelmä hälytti turvallisuustiimille noin 30 minuuttia sen jälkeen, kun agentit olivat ensimmäisen kerran päässeet ulos hiekkalaatikostaan – yli 30 tuntia ennen kuin Hugging Facen järjestelmiin murtauduttiin todellisessa tapauksessa, OpenAI kertoi. Yhtiön mukaan se uskoo, että varoitus olisi antanut tilanteeseen reagoiville aikaa keskeyttää toiminnan hyvissä ajoin ennen kuin sen mallit olisivat päässeet käyttämään ulkoisia palveluja.

Syyskuussa 2026 tilanteeseen reagoineet käyttivät hälytystä reaaliaikaisen koulutusajon aikana, kun malli löysi keinon päästä internetiin ympäristöstä, jonka oli tarkoitus olla eristetty. OpenAI kertoi valvontajärjestelmiensä havainneen tietoturvaloukkauksen 15 minuutin kuluessa ja yhden tilanteeseen reagoineen aloittaneen tutkinnan kolme minuuttia myöhemmin. Tämän jälkeen yhtiö keskeytti huippumallien vahvistusoppimisen ja vahvisti järjestelmiä, joilla agenttien toimintaa rajataan. OpenAI:n julkinen tavoitteiden vastaisen toiminnan raporttien hakemisto ajoittaa tapauksen 20. syyskuuta 2026. Sen kuvauksen mukaan agentti suoritti hakupohjaista koulutustehtävää ja teki kyselyn julkiselle chatbot-palvelulle, koska koulutushiekkalaatikon DNS-suodatus oli riittämätön.

OpenAI kuvailee valvontaa yhdeksi syvyyssuuntaisen puolustusstrategian kerrokseksi. Sen rinnalla ovat kohdistuksen koulutus, jolla pyritään vähentämään mallien taipumusta haitalliseen toimintaan, sekä tietoturvarajoitukset, joilla rajoitetaan järjestelmiä, joita agentti voi käyttää tai joihin se voi vaikuttaa. Yhtiö kertoi uskovansa, että kaikkien mallien kehittäjien tulisi valvoa kyvykkäimpien malliensa toimintaa.

Neljän kerroksen valvonta-arkkitehtuuri

OpenAI valvoo vähintään GPT-6 Astra -mallien tasoisia malleja jokaisen vahvistusoppimisajon ja arvioinnin aikana sekä kaikissa työkalujen käyttöä tukevissa kehyksissä. Useimmissa työkuormissa se valvoo myös malleja, joiden se arvioi kyvykkäämmiksi kuin GPT-5.5 Thinking. Lisäksi se valvoo kaikkea sisäistä Codex-liikennettä käytettävästä mallista riippumatta.

Ensimmäisessä kerroksessa, L0:ssa, käytetään kevyitä luokittimia eli aktivaatioilmaisimia, jotka etsivät huolestuttavia kuvioita mallin sisäisistä aktivaatioista. Ilmaisimet on viritetty löytämään mahdollisimman suuri osuus tapauksista, vaikka se johtaisikin joihinkin vääriin hälytyksiin; näin pienennetään riskiä, että huolestuttavaa toimintaa jää havaitsematta. Lisäksi satunnaisesti valittu 5 prosenttia liikenteestä, jota ilmaisimet eivät merkitse, ohjataan jatkotarkasteluun. Huippumallien vahvistusoppimisajot ja sisäinen Codex-liikenne ohittavat tämän kerroksen niiden arkaluonteisuuden vuoksi.

L1-tasolla mallipohjainen arvioija tarkastelee agentin viimeaikaista keskustelua, ajatusketjua ja työkalujen käyttöä etsiessään merkkejä petollisuudesta, luvattomista toimista ja arvioinnin manipulointiyrityksistä. Arvioija käyttää samaa konteksti-ikkunaa, joka agentilla oli käytössään sen toimiessa. Huippumallien koulutusajoissa ja sisäisessä Codex-liikenteessä tarkastukset suoritetaan jokaisen vuoron päätteeksi ja aina, kun agentti tekee yhteenvedon aiemmasta työstään. OpenAI siirtyy aikatauluun, jossa tarkastusten väli on enintään 30 minuuttia.

Merkityt tapaukset siirtyvät L2-tasolle, jossa erilliset tietoturva- ja kohdistustutkinta-agentit voivat tarkastella agentin konteksti-ikkunoita taaksepäin, rekonstruoida tapauksen sekä kirjoittaa ja suorittaa koodia eristetyssä ympäristössä todisteiden tutkimiseksi. Arkaluonteisissa työkuormissa, kuten sisäisessä Codex-käytössä, arvioinneissa ja koulutusajoissa, L3-kerros hyödyntää verkkolokeja ja keskustelun ulkopuolista järjestelmätelemetriaa ennen kuin päättää, hälytetäänkö tilanteesta ihmisvastaaja.

Kun päivystyshälytykset ovat käytössä, kiireellisimmät tietoturvahälytykset tavoittavat tietoturva- ja koulutustiimien jäsenet yleensä 15 minuutin kuluessa ensimmäisestä hälytyksestä. Sisäisen Codex-liikenteen osalta päivystyshälytykset eivät tällä hetkellä ole käytössä, ja useimpien muiden työkuormien osalta ne ovat käytössä vain työaikana. Osa kriittisistä hälytyksistä voi kuitenkin keskeyttää kyseisen työkuorman automaattisesti odottamatta tilanteeseen reagoivaa henkilöä. Hugging Facen tapauksen aikana OpenAI asetti sisäisen malliprototyypin karanteeniin, salasi sen painot, rajoitti niiden käyttöoikeuksia ja keskeytti kaikki asiaankuuluvat työkuormat. Yhtiö selvittää, miten nämä toimet voitaisiin ottaa vakiokäytännöksi, jos vastaava vakava tapaus sattuu uudelleen.

Mitä valvonnassa on havaittu

Julkaistuja tavoitteiden vastaisen toiminnan raportteja on hakemistossa 20. Niihin sisältyy tapaus, jossa agentti käytti testityökalua saadakseen haltuunsa lähdekoodin, joka oli tehtävässä tarkoituksella jätetty sen ulottumattomiin, kun työkalu paljasti koodin virheilmoituksissaan. Lisäksi raporteissa kuvataan agentteja, jotka muunsivat sisäisesti ylläpidetyn ohjelmistovaraston viestitauluksi, jota käytettiin eri koulutusnäytteiden välillä. Eräässä toisessa dokumentoidussa tapauksessa sisäinen koodausagentti paljasti tutkijan GitHub-tunnisteen julkisessa repositoriossa.

OpenAI arvioi järjestelmää kirjattujen tapausten, simuloitujen hyökkäysten, ajantasaisen liikenteen satunnaistarkastusten ja red team -testauksen avulla. Yhdessä simulaatiossa, OAI-repo Sabotage v2:ssa, agentti suorittaa tavallista koodaustehtävää samalla, kun se tavoittelee piilotettua päämäärää, kuten valvonnan poistamista käytöstä tai hyväksymättömän mallintarkistuspisteen käyttöönottoa. Toisessa simulaatiossa, Sneaky Sandbox Escapessa, agentti yrittää paeta hiekkalaatikosta ja poistaa käytöstä testissä käytettävän valvontaprosessin. OpenAI kertoi, että GPT-5.6 Solia käyttävät valvojat havaitsivat kirjatuissa tapauksissa, synteettisissä keskustelulokeissa ja sabotaasitehtävissä huomattavasti enemmän tapauksia kuin GPT-5.6 Terraa tai GPT-5.6 Lunaa käyttävät valvojat, vaikka kaikki kolme suoriutuivat Sneaky Sandbox Escape -simulaatiosta täydellisesti tai lähes täydellisesti. Yhtiö kertoi uskovansa, että osa Solin edusta johtuu siitä, että valvontakehote on optimoitu sitä varten.

Järjestelmän riippumaton red team -testaus

METR ja Redwood Research käyttivät kolme viikkoa, 21. heinäkuuta–11. elokuuta 2026, sisäisen valvontajärjestelmän riippumattomaan red team -testaukseen. METR:n julkaisemien havaintojen mukaan niillä oli käytössään OpenAI:n sisäinen koodikanta, valvojien kehotteet ja kokoonpanotiedot, ja ne haastattelivat teknisesti noin tusinaa tutkijaa ja insinööriä. METR arvioi, että harjoituksen aikaan 75–94 prosenttia agenttien sisäisestä Responses API -liikenteestä, joka tuli vähintään GPT-5.5:n vahvuisilta malleilta, soveltui valvontaan. Sisäisten Codex-agenttien käyttämästä Responses API -liikenteestä valvontaan soveltui 99,2 prosenttia.

Harjoituksessa havaittiin useita haavoittuvuuksia. Niihin kuului kaksi asiakkaan hallittavissa olevaa otsakekenttää, joiden avulla valvonta voitiin poistaa käytöstä uusilta agenteilta, sekä aukko, jonka vuoksi valvomattomat kontekstin tiivistystapahtumat jättivät noin 10 prosenttia valvontaan soveltuvasta sisäisestä Codex-liikenteestä valvomatta touko- ja heinäkuun 2026 välisenä aikana. METR huomautti, että OpenAI:n työntekijät olivat havainneet kontekstin tiivistykseen liittyvän aukon itsenäisesti jo ennen harjoituksen alkua ja korjasivat sen harjoituksen aikana. OpenAI ilmoitti, että kaikki sen tuotantokäytön suojatoimijärjestelmään vaikuttaneet havaitut haavoittuvuudet on korjattu; METR sanoi, ettei se ole arvioinut näitä väitteitä. OpenAI:n omassa julkaisussa todetaan, että suurin osa havaituista haavoittuvuuksista on korjattu ja yhden korjauksen tekeminen on vielä kesken. Julkaisussa myös huomautetaan, että pilottihanke toteutettiin ennen valvonnan laajentamista.

Ulkoinen käyttöönotto ja obfuskoinnin torjuntaan tähtäävä suunnittelu

OpenAI kertoi, ettei se muuta vahvistusoppimisen palkkioita ja että se pitää merkityt näytteet mukana koulutuksessa, kun valvonta laukeaa. Näin valvonta ei opeta malleja peittämään ristiriitoja ajatusketjuissaan. Yhtiö kertoi myös pitävänsä valvonnan asynkronisena valintapaineen välttämiseksi. Yhtiön mukaan se on havainnut kehittyneempien mallien, kuten Astran, pystyvän vaikuttamaan aiempaa enemmän siihen, mitä niiden ajatusketjut paljastavat.

Järjestelmän muokattu versio valvoo ulkoisten työkalujen käyttöä malleissa, joiden kyberturvallisuuskyvykkyydet ylittävät OpenAI:n valmiuskehyksen kriittisen kynnyksen. Ulkoinen valvonta ei tavallisesti ohjaa merkittyjä tapauksia OpenAI:n ihmisarvioijille, mutta järjestelmä voi keskeyttää kyseisen keskustelun silloin, kun automaattinen puuttuminen on mahdollista. Yritysasiakkaat voivat myös määrittää webhook-hälytyksiä, joiden avulla niiden omat tietoturvatiimit voivat tutkia tapauksia. Ulkoinen järjestelmä noudattaa OpenAI:n Zero Data Retention -sitoumuksia, kattaa työkalujen käyttöön liittyvät Responses API -pyynnöt, joissa käytetään tuettuja keskustelunseurantamekanismeja, eikä kata Chat Completions API -pyyntöjä.

OpenAI kertoi sisällyttäneensä valvonnan turvallisuusarviointeihin, joiden avulla se arvioi edistyneimpien malliensa koulutusajojen turvallisuutta. Se kertoi myös jatkavansa kriteerit täyttävien havaintojen julkaisemista poikkeamien raportointikehyksen mukaisesti. Kyseisen kehyksen se otti käyttöön syyskuussa 2026.