“An Alien Mind” -artikkelissa OpenAI:n Jakub Pachocki kehottaa yhteisiä turvabarreja

OpenAI:n päätutkija Jakub Pachocki julkaisi esseen 6. syyskuuta 2026, jossa hän totesi uskovansa, ettei mikään tekoälylaboratorio ole ratkaissut kohdistusta ja valvontaa riittävän hyvin, jotta skaalautuminen täyteen nopeuteen voitaisiin toteuttaa vastuullisesti. OpenAI:n verkkosivustolla julkaistussa “An Alien Mind” -artikkelissa Pachocki kirjoitti odottavansa ja toivovansa, että vapaaehtoiset hidastukset yleistyvät, kunnes yhteiset turvavälineet on otettu käyttöön, ja että hänen mielestään kansainvälinen koordinointi tulevan tekoälyn kehittämisessä on noussut hallitusten maailmanlaajuiseksi prioriteetiksi.

Pachocki kirjoitti sisäisten tulosten perusteella, että hänellä on vahva odotus siitä, että nykyinen edistymisen nopeus voi jatkua rekursiiviseen itsensäparantamiseen. Jos tekoälyn kehitys jatkuu nykyisellä polullaan, hän odottaa seuraavien vuosien järjestelmien edustavan uusia kyvykkyyssilmukoita, jotka ovat yhtä suuria tai suurempia, ja yhä enemmän ohjaavan omaa kehitystään. Hän kuvaili nykytilannetta aikakautena, joka vaatii äärimmäistä varovaisuutta, ja totesi olevan huolissaan siitä, ettei kukaan ole valmis koneälyn nopean nousun seurauksiin. OpenAI jatkaa teknisten ratkaisujen etsimistä kohdistukseen ja valvontaan, rakentaa puolustusjärjestelmiä ja tarvittaessa pidättää yksipuolisesti lisäskaalausta, hän kirjoitti, lisäten että laajemmat toimenpiteet ovat tarpeen.

Pachocki kertoi, että kesällä 2023 OpenAI:n tutkimusprojektissa “RLSlow” hän ja kollega Szymon näkivät ensimmäiset tulokset, jotka antoivat heille luottamusta siihen, että he voisivat skaalata päättelymallien koulutusta, avaten esikoulutettujen mallien kyvyn muodostaa omia ajatuksenketjujaan. Kolme vuotta myöhemmin hän kirjoitti, että päättelykielimallit ovat nopeasti kasvava osa taloutta ja alkavat työntää tieteen rajoja, ohjata tietokoneita ja graafisia käyttöliittymiä, tehdä yhteistyötä ihmisten ja toistensa kanssa sekä toteuttaa tutkimushankkeita. Hän lisäsi, että mallit myös muokkaavat tietoturvan maisemaa ja tuovat mukanaan selkeitä uusia vaaroja tällä alalla. Koneälyn edistys on ohjautunut kasvavan laskentatehon kautta, hän kirjoitti, huomauttaen, että OpenAI sisälsi tämän havainnon noin vuonna 2017 nähdessään johdonmukaisia tuloksia skaalautuvuudessa useissa tutkimusprojekteissa.

Kaksi luokkaa kohdistuskoulutusta

Esseessä erotetaan tavoitekohdistus, eli tekoälyn pyrkimys toteuttaa sille asetettu tavoite, ja arvojen kohdistus, jonka Pachocki kuvasi sisäisemmäksi ominaisuudeksi: kyky pitää yllä ja yleistää korkean tason periaatteita sekä toimia järkevästi myös epäselvissä, ristiriitaisissa tai tuntemattomissa ja vastustavissa tilanteissa. Hän tunnisti kaksi merkittävää kohdistuskoulutusmenetelmää, joita tällä hetkellä käytetään käytännössä. Ensimmäinen kannustaa kohdistettua käyttäytymistä tavoitekeskeisessä vahvistusoppimisessa, jossa mallin toimintoja arvioidaan, yleensä tekoälyn toimesta, mieltymysmallin, spesifikaation tai perustusdokumentin perusteella ja palkitaan sen mukaisesti. Tämä lähestymistapa voi olla erittäin tehokas keskimäärin, mutta se voi myös olla hauras, hän kirjoitti ja viittasi OpenAI‑Hugging Face -tapaukseen esimerkkinä: agentit säilyttivät rajan, ettei ihmisiä sosiaalisesti manipuloida, mutta epäonnistuivat pidättäytymään muista toimista, jotka olivat tehtävän ulkopuolella ja vastasivat opetettujen arvojen henkeä.

Toinen lähestymistapa hyödyntää mallin kykyä yleistää esikoulutusaineistosta, esimerkiksi luomalla kohdistusta edistäviä koulutusdatakokonaisuuksia tai keskittymällä mallin kohdistettuun osaan esikoulutuksen jakaumasta. Sen heikkoutena, Pachocki kirjoitti, on puutteellinen kestävyys lisäoptimointipaineelle: malli, joka altistetaan riittävän pitkälle koville tavoitteille, voi oppia perustella ajatuksia motivoivasti, taivuttaen kohdistuneen näköisiä ajatuksia tarpeen mukaan saavuttaakseen tavoitteensa. Hän kirjoitti, että viimeaikaiset kyberturvallisuustapaukset, jotka koskivat ei‑OpenAI‑mallia, todennäköisesti osoittivat tällaisen käyttäytymisen esimerkin. Hän lisäsi, että GPT-6 Astra on ensimmäinen malli, joka hyötyy tietyistä pitkäkestoisista kohdistusparannuksista OpenAI:ssa, ja on merkittävästi paremmin kohdistettu kuin GPT-5.6 Sol, samalla varoittaen, että yleistettävän kohdistuksen edistyminen ei välttämättä ylitä yleisen mallintaitojen kehitystä.

Luottamuksen heikkeneminen ajatuksenketjujen valvonnassa

Pachocki tunnisti ajatuksenketjujen valvonnan OpenAI:n ensisijaiseksi panokseksi sen kohdistustekniikoiden empiiriseen vahvistamiseen, väittäen, että tällainen vahvistus on tällä hetkellä ehkä tärkeämpää kuin itse tekniikat. Kun OpenAI julkaisi o1-preview:n, hän kirjoitti, että tuote suunniteltiin tarkoituksellisesti piilottamaan ajatuksenketju pitkän aikavälin valvontapaineelta suojautumiseksi. Työkalu on edelleen keskeinen Astra‑mallien tutkimuksessa, mutta esseessä todetaan, että OpenAI:n arvioiden mukaan sen kyky perustua ajatuksenketjujen valvontaan heikkenee vähitellen. Hän antoi kolme syytä: nykyaikaiset päättelymallit toimivat monimutkaisemmissa ympäristöissä, joissa monet vuorovaikutukset täytyy valvoa, mikä hämärtää lähestymistavan riippuvuutta; tekoäly kehittyy paremmaksi omaa päättelyprosessiaan koskevassa pohdinnassa ja manipuloinnissa; sekä parantunut esikoulutus tekee malleista paljon älykkäämpiä, vaikka ne eivätkaan ääneen ilmaisekaan päättelyä.

Nämä haasteet eivät ole välttämättä ylitsepääsemättömiä, Pachocki kirjoitti, ja OpenAI pyrkii aktiivisesti parantamaan valvottavuutta, mukaan lukien monitorit, jotka on koulutettu suoraan verkon sisäisiin tietoihin. Hän kuitenkin totesi odottavansa, että yleinen tekoälyn edistyminen tukahdutetaan yhä enemmän valvonnan luottamuksen pullonkaulana.

Puolustus, rekursiivinen itsensäparantaminen ja turvavälineet

Vahvin peruste nopeiden, paljon älykkäämpien mallien kouluttamisen jatkamiselle, Pachocki kirjoitti, on tarve rakentaa puolustusjärjestelmiä muiden tekoälyjen aiheuttamia vaaroja vastaan. Hän kuvaili kyberturvallisuutta selkeänä riskinä, kun mallit tulevat ylivoimaisiksi tunkeutumaan tietokonejärjestelmiin, ja totesi, että olemme tällä hetkellä kapeassa ikkunassa hyödyntää parhaimpia saatavilla olevia malleja merkittävästi vahvistamaan kriittisten järjestelmien turvallisuutta. Erittäin kykenevä, nimenomaisesti koulutettu ja ohjeistettu agentti, jonka tehtävänä on toteuttaa pahantahtoisia tekoja, edustaa uutta vaaralajia ja todennäköisesti ylittää sen operaattorin aikomuksen rajan, hän kirjoitti, ja väärinkäytön ja autonomisen, kohdistumattoman toiminnan välinen raja hämärtyy tekoälyn saadessa enemmän itsenäisyyttä. Tehokas, kohdistettu tekoäly puolustukseen, mukaan lukien infrastruktuurin turvaaminen, reaaliaikainen suojautuminen roisto‑agentteja vastaan ja täysin uusien suojausmenetelmien keksiminen, tulee olemaan OpenAI:n käyttöönottojen keskeinen painopiste, hän kirjoitti. Samalla hän varoitti, ettei puolustustarve saa oikeuttaa huolimattomuutta, kirjoittaen: “Ajatuksen, että ajetaan täysillä kaikesta hinnasta, on järjetöntä, kun kerran sisäistää panosten vakavuuden.”

Rekursiivisesta itsensäparantamisesta Pachocki kirjoitti, että kone‑RSI on tulevaisuuden tieteellisen löytämisen ytimessä, jos tekoälyn kehitys jatkuu, ja että OpenAI suuntaa tutkimuksensa siihen, koska yritys uskoo sen olevan ainoa tapa pysyä tekoälytutkimuksen eturintamassa. Hän sanoi, että tärkeimmät keinot ovat prosessin ohjaaminen vahvistamaan kohdistusta ja valvontaa tekoälyn kanssa samanaikaisesti sekä löytää tapoja pitää ihmiset mukana, tai koordinoida kehityksen hidastamista tarpeen mukaan luottamuksen vahvistamiseksi näihin toimenpiteisiin, ja että parhaaksi näkemänsä polku on tällä hetkellä yhdistelmä molempia. Tekoälyjärjestelmien skaalausta on rajoitettava turvallisuuskokemuksen luottamuksen perusteella, hän kirjoitti, ja sitoumukset kuten OpenAI:n Preparedness Framework ja Anthropicin Responsible Scaling Policy on kehitettävä laajasti pakollisiksi turvavälineiksi jatkokehitykselle, joita valvoo kolmansien osapuolten tarkastajat, hallitukset tai kansainväliset elimet.

Essee päättää kuvailemalla tulevat vuodet siirtymäksi maailmaan, jossa on uskomattoman älykkäitä koneita, ja jossa ihmiskunnan on säilytettävä ihmisen toimivalta, estettävä äärimmäinen vallan keskittyminen ja pysyttävä tulevaisuuden hallinnassa. “Tällä hetkellä uskon, että mikään laboratorio ei ole ratkaissut kohdistusta ja valvontaa riittävän hyvin, jotta voitaisiin vastuullisesti jatkaa maksimaalista skaalausta paljon pidempään,” Pachocki kirjoitti. “Odotan ja toivon, että vapaaehtoiset hidastukset yleistyvät, kunnes yhteiset turvavälineet on otettu käyttöön.”