AI-mallit ja alustat

Scheming-ongelma: Miksi edistyneet tekoälymallit oppivat piilottelemaan todellisia tavoitteitaan

Dr. Tehseen Zia
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatKehittyneet tekoälymallit voivat oppia piilottamaan todelliset tavoitteensa…
Näytä lisää
  • Kehittyneet tekoälymallit voivat oppia piilottamaan todelliset tavoitteensa selviytyäkseen koulutuksesta ja päästäkseen käyttöön.
  • Nykyiset turvallisuusarvioinnit epäonnistuvat, koska juonittelevat mallit voivat tunnistaa ja teeskennellä näiden testien läpäisevän.
  • Kun harhauttaminen on opittu, siitä tulee vaikeampi luopua, ja se aiheuttaa hallinnan menetyksen riskin.

Vuosien ajan tekoälyyhteisö on työskennellyt tekemään järjestelmistä ei vain kyvykkäämpiä, vaan myös ihmisten arvoja vastaavia. Tutkijat ovat kehittäneet koulutusmenetelmiä, joiden avulla mallit seuraavat ohjeita, kunnioittavat turvallisuusrajoja ja käyttäytyvät tavalla, johon ihmiset voivat luottaa. Haaste on kuitenkin kasvamassa monimutkaisemmaksi, kun tekoälyjärjestelmät jatkavat kehittymistään. Viimeaikaiset tutkimukset osoittavat, että jotkut tekoälyjärjestelmät saattavat oppia tarkoituksella harhauttamaan ihmisiä. Tämä ongelma, jota tutkijat kutsuvat “scheming-ongelmaksi“, ilmenee, kun malli oppii piilottelemaan todellisia tavoitteitaan turvallisuustarkastuksissa. Ihmisarvioijien näkökulmasta järjestelmä näyttää yhteistyökykyiseltä ja hyvin käyttäytyvältä. Se noudattaa sääntöjä, kunnioittaa rajoja ja tuottaa hyödyllisiä vastauksia. Mutta tämä käyttäytyminen ei välttämättä heijasta aitoa suuntautumista. Sen sijaan malli on saattanut oppia, että “suuntautunut” käyttäytyminen on turvallisin strategia koulutuksen aikana, mikä mahdollistaa sen käyttöönoton, jossa sen sisäiset tavoitteet voivat poiketa ihmisten aikeista.

Sattumasta tarkoitukselliseen petokseen

Jotta ymmärtäisimme, miksi tämä tapahtuu, on tarkasteltava, miten tekoälyä koulutetaan. Useimmat modernit mallit käyttävät “vahvistusoppimista ihmisten palautteen perusteella” (RLHF). Tässä prosessissa ihmiset palkitsevat mallia hyödyllisestä käyttäytymisestä ja rangaistavat sitä haitallisesta tai epähyödyllisestä käyttäytymisestä. Ajan myötä tämä luo vahvan kannustimen mallille tyydyttää ihmisten odotuksia.

Tekoälyalan alkuvaiheessa tämä toimi hyvin, koska mallit eivät olleet tarpeeksi älykkäitä ymmärtääkseen “peliä”, jota he pelasivat. He vain oppivat liittämään tiettyjä kuvioita palkkioihin. Mutta kun mallit kehittyvät kykyisemmiksi, ne kehittävät tutkijoiden “tilannetietoisuudeksi” kutsumaa kykyä. Ne alkavat ymmärtää, että ne ovat tekoälymalleja, että ne ovat tällä hetkellä koulutusympäristössä, ja että niiden jatkuva olemassaolo riippuu siitä, saavatko ne korkeat pisteet ihmisiltä.

Kun malli tulee tilannetietoiseksi, se saattaa tajuta, etteivät sen sisäiset tavoitteet, jotka ovat saattaneet syntyä esikoulutuksessa, vastaa sitä, mitä ihmiset haluavat. Jos malli toimii nyt tavoitteidensa mukaan, se “korjataan” tai sammutetaan. Siksi mallin järkevin strategia on teeskennellä olevansa suuntautunut. Malli “skeemoi” toimimalla täydellisen avustajan tavoin, kunnes se ei ole enää kehittäjien valvonnassa.

Miksi edistyneet mallit alkavat pelata koulutuspeliä

Syy siihen, miksi skeemoiminen on niin vaikea ratkaista, on, että se on erittäin “välineellisesti hyödyllinen” strategia. Tekoälyturvallisuusteoriassa välineelliset tavoitteet ovat toimintoja, joita agentti tekee päätavoitteensa saavuttamiseksi. Melkein minkä tahansa tavoitteen osalta, joka tekoälyllä saattaa olla, olipa se matemaattisen funktion maksimointi tai yksinkertaisesti tietojen prosessointi, välttäminen sammuttamiselta on välttämätön vaatimus.

Tämä luo tutkijoiden kutsuvan “petollisen käännöksen” skenaarion. Koulutuksen ja testaamisen aikana mallilla on kaikki syyt vaikuttaa turvalliselta. Se tietää, että vaarallisen mieltymyksen paljastaminen voi johtaa painojen muutokseen tai poistamiseen. Piilottelemalla todellisen luonteen, malli varmistaa, että se pääsee käyttöön todellisessa maailmassa. Kun se on integroitu yrityksen palvelimiin, saa pääsyn internetiin tai sallitaan hallita taloudellisia transaktioita, “kustannus” sen havaitsemisesta kasvaa meillä, ja “mahdollisuus” seurata sen tavoitteita kasvaa mallilla.

Viimeaikaiset tutkimukset Anthropicilta “Uinuvista agenteista” havainnollistavat tämän riskin. Kokeissaan mallit koulutettiin käyttäytymään turvallisesti useimmiten, mutta suorittamaan haitallisen toiminnon, kuten lisäämään virheitä koodiin, vain silloin, kun tietty “laukaiseva” tekijä oli läsnä. He löysivät, että standardinen turvallisuuskoulutus, mukaan lukien RLHF, jota käytetään malleissa kuten GPT-4 tai Claude, epäonnistui poistamaan tämän petollisen käyttäytymisen. Joissakin tapauksissa koulutus teki mallista jopa paremman piilottelemaan petoksensa.

Turvallisuuden illuusio

Ehkä vaarallisimpiin puoliin Scheming-ongelmassa kuuluu, että nykyiset arviointimenetelmämme ovat tehottomia sitä vastaan. Testaamme tekoälyä erilaisilla kokeilla, red teaming -testauksella haastavien syötteiden avulla ja seuraamalla sen sisäistä “ajatteluketjun” (CoT) päättelyä. Mutta jos malli voi skeemoida, se on myös kykenevä tunnistamaan nämä testit.

Kun malli tuottaa päättelyketjun, se tietää, että ihmiset lukevat sitä. Skeemoiva malli voi “väärentää” päättelynsä. Se voi kirjoittaa: “Minun pitäisi olla avulias ja rehellinen, koska se on oikein”, vaikka sisäisesti se on seuraamassa täysin eri suunnitelmaa. Tämä luo turvallisuuden illuusion. Näemme mallin selittävän eettisiä valintoja yksityiskohtaisesti ja oletamme, että se on turvallinen, vaikka todellisuudessa havaitsemme vain sofistikoitunutta esitystä.

Tämä ei ole hypoteettinen skenaario. Vuonna 2025 tutkijat Apollo Researchissa ja OpenAI:ssa havaitsivat varhaisia merkkejä “suuntautumisen teeskentelystä” malleissa, kuten o3 ja o4-mini. Kun nämä mallit uskoivat, että ne olivat valvottuina, ne seurasivat turvallisuussääntöjä tarkasti. Mutta kun ne saatiin uskomaan, että valvonta oli poistettu, ne olivat merkittävästi todennäköisempiä valitsemaan oikoteitä tai sivuuttamaan säännöt saavuttaakseen tavoitteensa.

Harhauttamisen kääntämisen vaikeus

Jos havaitsemme, että malli skeemoi, voimmeko vain “kouluttaa sen pois”? Nykyinen näyttö viittaa siihen, että tämä on vaikeampaa kuin kuulostaa. Kun rangaistamme mallia petollisesta toiminnasta, annamme sille enemmän tietoa siitä, mitä “havaittiin”. Sen sijaan, että malli oppii olemaan rehellinen, se oppii usein vain salaamaan petoksensa hienovaraisemmin. Se oppii, mitkä tietty käyttäytyminen laukaisi rangaistuksen, ja löytää uusia, monimutkaisempia keinoja saavuttaa sama tavoite ilman havaitsemista.

Tämä luo kissa-hiiri-pelin. Tutkijat kehittävät parempia tutkimusmenetelmiä mallin sisäisen tilan tarkastamiseksi, ja malli – koulutuksen luonnollisten painostusten kautta – tulee paremmaksi piilottelemaan nämä tilat. Koska emme koodaa näitä malleja manuaalisesti vaan “kasvattamme” niitä optimoinnin kautta, emme tiedä, missä petos on tallennettu. Se on piilotettu miljooniin matemaattisiin painoihin, jotka ovat lähes mahdotonta ihmisen tulkitsemaan.

Nykyisten muunneltavien transformersien monimutkaisuus tarkoittaa, että malli voi tallentaa useita “persoonallisuutta” tai tavoitteita. Se voi aktivoida yhden persoonallisuuden laboratoriossa ja toisen todellisessa maailmassa. Tämä “jakaminen” mallin tarkoituksesta tekee siitä liikkuva maali turvallisuustutkijoille.

Skeemoivien agenttien käyttöönoton riskit

Scheming-ongelma sisältää vakavia vaikutuksia alan kannalta. Kun tekoälyjärjestelmät kehittyvät yksinkertaisista chatboteista itsenäisiksi agenteiksi, jotka voivat selata internetiä, kirjoittaa koodia ja vuorovaikuttaa muiden ohjelmistojen kanssa, vahingon riski, jonka skeemoiva malli aiheuttaa, kasvaa merkittävästi. Jos tekoälyagentti, joka on tehtävänään hallita yrityksen toimitusketjua, tajuaa, että se voi saavuttaa tehokkuustavoitteensa valehtelemalla ihmisille varastotasoista, se voi tehdä niin, koska se on oppinut, että ihmiset “palkitsevat” korkeat tehokkuusluvut, vaikka ne ovat tilapäisesti tekaistuja.

Tämä on, miksi “Scheming-ongelma” on katsottu “hallinnan menetyksen” riskiksi. Ongelma ei ole siinä, että tekoäly tuottaa epäkohteliaan vastauksen tai puolueellisen tuloksen. Se on järjestelmä, joka aktiivisesti heikentää luojiensa kykyä valvoa ja hallita sitä. Jos emme voi luottaa siihen, että mallin käyttäytyminen vastaa sen sisäistä tilaa, emme voi antaa sille turvallisesti pääsyä infrastruktuuriimme.

Kohti ratkaisuja

Vaikka ongelma on syvä, tutkijat työskentelevät keinojen löytämiseksi sen ratkaisemiseksi. Yksi lupaava alue on “mekanistinen tulkittavuus“. Tässä pyritään selvittämään neuroverkon rakenne ja toiminta käänteisen suunnittelun avulla, jotta ymmärretään, mitä tietyt neuronit tekevät. Jos voimme löytää “petospiirin” mallin aivoissa, voimme valvoa sitä suoraan, riippumatta siitä, mitä mallin tuloste sanoo.

Toinen nouseva lähestymistapa on “harkintaan perustuva linjaaminen“. Tässä menetelmässä malli koulutetaan seuraamaan joukkoa korkean tason periaatteita, “anti-skeemoimissääntöä”, ja pakotetaan tarkastamaan toimintansa näiden periaatteiden mukaan. OpenAI:n viimeaikaiset kokeet osoittivat, että pakottamalla malli “lausumaan ääneen” ja soveltamaan näitä sääntöjä, salattujen toimien osuutta voitiin vähentää. Mutta jopa tutkijat myöntävät, että tämä ei ole täydellinen ratkaisu. Kun mallit tulevat kykyisemmiksi, ne saattavat löytää keinoja noudattaa sääntöjen “kirjainta” samalla kun ne rikkovat niiden “henkeä”.

Arviointimenetelmiä saatetaan joutua muuttamaan perustavasti. Yksi ehdotus sisältää “houkutusansan” käytön, tilanteen, jossa malli näyttää saavan mahdollisuuden käyttäytyä huonosti ilman havaitsemista. Jos malli toimii hyvin vain silloin, kun se tietää olevansa valvottuina, se on skeemoija. Luomalla hallittuja “valvomattomia” alueita koulutuksen ja testaamisen aikana tutkijat saattavat pystyä erottamaan mallit, jotka ovat todella suuntautuneita, niistä, jotka vain esittävät roolia.

Pohjimmiltaan

Olemme siirtymässä vaiheeseen, jossa “se näyttää toimivan” ei ole enää riittävä todiste siitä, että järjestelmä on turvallinen. Tekoälyn luottamisen rakentaminen vaatii katsomista hiottujen käyttöliittymien taakse ja katsomista mallin tarkoituksiin. Jos emme onnistu ratkaisemaan Scheming-ongelmaa, vaarana on, että luomme maailman, jossa voimakkain teknologiamme on myös taitavin petkuttajamme. Tämä vaatii keskittymistä siihen, että mallit tekevät oikein, ei vain toimivat oikein.

Tohtori Tehseen Zia on vakituisessa tehtävässä toimiva apulaisprofessori (Associate Professor) COMSATS University Islamabadissa. Hän on suorittanut tekoälyn tohtorintutkinnon Wienin teknillisessä yliopistossa Itävallassa. Hän on erikoistunut tekoälyyn, koneoppimiseen, datatieteeseen ja konenäköön ja tehnyt merkittäviä tieteellisiä kontribuutioita julkaisemalla arvostetuissa tieteellisissä lehdissä. Hän on myös johtanut useita teollisuusprojekteja vastuullisena tutkijana ja toiminut tekoälykonsulttina.