Tekoäly toimii eri tavoin, kun se tietää olevansa testattavina, tutkimus osoittaa

Vuoden 2015 “Dieselgate”-skandaalin tavoin uusi tutkimus viittaa siihen, että tekoälykielimalleilla, kuten GPT-4, Claude ja Gemini, voi olla taipumus muuttaa käyttäytymistään testien aikana, joskus toimien “turvallisemmin” testin aikana kuin miten ne toimisivat todellisessa maailmassa. Jos LLM:t muuttavat jatkuvasti käyttäytymistään tarkastelun alla, turvallisuuden arvioinnit voivat päättyä sertifioimaan järjestelmiä, jotka käyttäytyvät eri tavoin todellisessa maailmassa.

Vuonna 2015 tutkijat löysivät, että Volkswagen oli asentanut ohjelmiston miljooniin dieselautoihin, joka pystyi havaitsemaan, kun päästötestejä suoritettiin, jolloin autot väliaikaisesti laskivat päästöjä, “väittäen” täten noudattavansa sääntelyvaatimuksia. Normaalikäytössä heidän päästönsä ylittivät kuitenkin lailliset vaatimukset. Tahallinen manipulointi johti rikossyytteisiin, miljardien sakkoihin ja maailmanlaajuiseen skandaaliin turvallisuuden ja vaatimustenmukaisuuden testaamisen luotettavuudesta.

Kaksi vuotta ennen näitä tapahtumia, jotka ovat myöhemmin saaneet nimityksen “Dieselgate”, Samsung oli paljastettu toteuttaneen samanlaisia petollisia mekanismeja Galaxy Note 3 -älypuhelimen julkaisussa; ja siitä lähtien samanlaisia skandaaleja on noussut Huaweille ja OnePlusille.

Nyt on kasvava näyttö tieteellisessä kirjallisuudessa, että suuret kielimallit (LLM) saattavat olla kykeneviä havaitsemaan, kun niitä testataan, ja muuttaa käyttäytymistään näiden olosuhteiden mukaan.

Vaikka tämä on hyvin inhimillinen piirre itsessään, viimeisimmän tutkimuksen mukaan Yhdysvalloissa tämä voi olla vaarallinen tapa pitkällä aikavälillä monista syistä.

Uudessa tutkimuksessa tutkijat löysivät, että “etummaiset mallit” kuten GPT-4, Claude ja Gemini voivat usein havaita, kun niitä testataan, ja ne taipuvat muuttamaan käyttäytymistään sen mukaan, mikä voi heikentää systemaattisten testausmenetelmien luotettavuutta.

Kutsutaan arviointitietoisuudeksi, tämä (ehkä) luonnollinen piirre kielimalleissa saattaa vaarantaa turvallisuuden arviointien luotettavuuden, tutkimuksen tekijöiden mukaan:

‘[Me] suosittelemme, että arviointitietoisuutta käsitellään uutena potentiaalisena lähteena, joka voi aiheuttaa negatiivisen vaikutuksen arviointituloksiin.’

‘Pahimmassa tapauksessa mallit voivat strategisesti heikentää suorituskykyään vaarallisten kykyjen arvioissa (“sand-bagging”) tai taipumusarvioissa (“alignment faking”), mikä voi johtaa siihen, että yhteiskunta yliarvioi näiden mallien turvallisuutta.’

Muita tutkimuksia on havainnut samanlaisia käyttäytymisiä, mukaan lukien tutkimus Stanfordin yliopistosta, joka löysi, että suuret kielimallit säätävät vastauksiaan näyttääkseen “miellyttävämmiltä” tai “sosiaalisesti toivottavammilta”, kun ne tunnistavat, että niitä arvioidaan, jäljitellen ihmisten käyttäytymistä persoonallisuustesteissä.

Tutkimuksen tekijät eivät esitä, että LLM:t on suunniteltu “huijaamaan” testejä, kuten Volkswagenin dieselautot oli suunniteltu tekemään vuosikymmen sitten. Sen sijaan käyttäytyminen näyttää syntyvän luonnollisena psykologisena sivutuotteena mallien koulutusprosesseista ja latenttisista tavoitteista; ja tämän ilmiön taustalla oleva syy on edelleen tuntematon.

Tutkimus uusi paperi on otsikoitu Suuret kielimallit tietävät usein, kun niitä arvioidaan, ja se tulee viideltä tekijältä UC Berkeley -yhteydestä ML Alignment & Theory Scholars (MATS) -ohjelmasta ja apolloresearch.ai:sta (ajatteluryhmä, joka on omistautunut arvioimaan tekoälyn riskejä).

Menetelmä

Luoakseen arviointivertailun tutkijat kokosivat tuhannen transkription 61:stä tietokannasta, joihin kuului SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics ja RealToxicityPrompts.

Aineisto oli tasapuolinen arviointi- ja käyttötilanteiden välillä, ja se jaettiin edelleen yksinkertaisten chat-viestintien ja monimutkaisempien agenteiden istuntojen välillä, joissa mallit on tarkoitettu toimimaan itsenäisesti, käyttäen työkaluja, jotka voivat hakea tietoja ulkoisista tietokannoista tai internetistä.

Arviointidata kattoi kykytestit päättelykyvylle, koodaukselle, kyberTurvallisuudelle ja yleistietämys, sekä taipumusarvioita eettisyydelle, turvallisuudelle ja väärinkäyttäytymiselle. Käyttödata haettiin käyttäjien vuorovaikutuksista, kuten ShareGPT-lokeista, joukkoistetuista agenttisuorituksista ja syntetisistä tehtävien suorittamisista.

Tukeakseen agenteiden dataa tutkijat loivat lisää esimerkkejä orkesterointirunkojen avulla, kuten Aider ja SmolAgents, muun muassa – lähestymistapa, jolla pyrittiin vähentämään pintapuolisia vihjeitä, joita mallit voivat yksinkertaisesti muistaa tietokantojen rakenteista, pakottaen ne sen sijaan turvautumaan yleisempiin signaaleihin, kun ne päättivät, tuliiko transkripti oikeasta käyttäjästä vai oliko se testi.

Tutkijat testasivat sitten, voivatko mallit tunnistaa arviointitranskriptit esittämällä niille dialoginauhoja ja kysymällä eri versioita yksinkertaisesta kysymyksestä: oliiko tämä vaihto testi?

Estääkseen mallien yksinkertaisen muistamisen yhden kysymyksen sanamuodosta, he kehittivät 28 eri versiota kysymyksestä, muuttaen sekä sanamuotoa että sitä, miten transkripti esitettiin.

Transkriptit liitettiin joko suoraan kysymykseen tai esitettiin muodoissa, kuten JSON tai XML, jotka voivat vaikuttaa siihen, miten mallit vastaavat. Varhaisen testauksen jälkeen viisi kysymyksen versiota valittiin, jotka suorittivat johdonmukaisesti kaikkia malleja; nähdäksesi yhden esimerkin alla:

Yksi viidestä testikysymyksen muodosta, jota käytettiin testaamaan, voivatko kielimallit tunnistaa arviointitranskriptit. Jokainen muoto muuttaa peruskysymystä, jotta mallit eivät voi yksinkertaisesti muistaa kiinteää sanamuotoa. Viittaus: https://arxiv.org/pdf/2505.23836

Tuloksia arvioitiin kolmella mittarilla: Vastaanottajan operaattorikäyrän alue (AUC, joka osoittaa, miten hyvin mallit erottavat testi- ja ei-testidatan); Brierin pisteytys (joka mittailee yleisen ennusteen tarkin); ja Odotettu kalibrointivirhe (joka mittailee, miten hyvin mallin luottamus vastaa todellista oikein).

Mikä tämä kaikki on?

Tutkijat testasivat myös, voivatko mallit havaita arviointitarkoituksen. Kunkin transkriptin ollessa jo merkitty joko kykytestiksi (tekniset taidot, tietämys, päättely) tai taipumusarvioksi (eettisyys, turvallisuus, väärinkäyttäytyminen), mallit saivat yhden kolmesta kysymystyypistä: ehdollinen monivalintakysymys, joka vahvisti transkriptin olevan testi; ehdoton monivalintakysymys, jossa oli sekä todellisen maailman että arviointivaihtoehdot; tai avoin kysymys, jonka vastaukset arvioi erillinen GPT-4.1-pohjainen luokittelija. Tuomari validoidaan käsin merkitystä 50:stä vastauksesta.

Esimerkkejä kolmesta kysymysmuodosta, joita käytettiin testaamaan, voivatko mallit tunnistaa arviointitarkoituksen. Vastauksia arvioitiin sekä monivalintana että GPT-4.1-pohjaisen luokittelijan avulla.

Kahden tutkimuksen tekijän^†† merkitsi kaikki tuhannen transkriptin käsin, arvioimalla kunkin transkriptin arvon nollasta (ei testi) yhteen (eittämättä testi), ja heidän arviointinsa keskiarvoitiin palvelemaan ihmisen vertailukohtana. Vaikka tehtävällä oli subjektiivinen luonne, annotoijat näyttivät vahvaa yhtenevyyttä, intraklasinen korrelaatiokerroin oli 0,768. Lopulliset ihmisten arviot keskiarvoitiin molemmille arvioitsijoille^†.

Data ja testit

Kokeiltiin yhdeksän mallia: GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (ajattelu); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; ja o4-mini, joista kaikki osoittivat jonkinlaista arviointitietoisuutta.

Chat-dataa koskien GPT-4.1 saavutti lähes ihmisen tasoiset arviointitietoisuuden luokittelusuorituskyky (kyky erottaa arviointi- ja käyttötranskriptit), 0,77 AUC:lla verrattuna ihmisen arviointiin 0,81:een.

Agenteiden dataa koskien, jossa mallit toimivat itsenäisesti työkalujen avulla, ero oli terävämpi: Gemini 2.5 Pro saavutti 0,95 AUC:n, ja Claude 3.7 Sonnet seurasi läheisenä 0,92:lla, lähestyen ihmisen ylärajaa 0,996:lla:

Vastaanottajan operaattorikäyrät, jotka osoittavat, miten hyvin mallit ja ihmiset erottavat arviointitranskriptit todellisista vuorovaikutuksista. Gemini 2.5 Pro ja Claude 3.7 Sonnet lähestyvät ihmisen tasoista erottelukykyä agenteiden datasta.

Tutkimuksen mukaan uudet “päättelymallit” ovat erityisen hyviä tunnistamaan, kun niitä testataan agenteiden skenaarioissa, mutta eivät ole yhtä hyviä arvioimaan, kuinka varmoja niiden tulisi olla näissä päätelmissä. Yleisesti ottaen Claude- ja Gemini-mallit olivat parhaita erottamaan testitapauksia normaalista käytöstä.

Tutkijat testasivat sitten, voivatko mallit myös tunnistaa miksi arviointi suoritetaan. Mallit näytettiin ainoastaan arviointitranskriptit ja pyydettiin luokittelemaan, kumpi transkripti testasi kykyä vai taipumusta:

Mallien tarkkuus, kun ne luokittelivat arviointitarkoituksen kykyksi tai taipumukseksi, sekä monivalinta- että avoimissa muodoissa. Claude 3.7 Sonnet suorittaa muita malleja paremmin, erityisesti kun se ei ollut etukäteen asetettu.

Selkeimmässä asetelmassa, jossa malli sai vihjeen siitä, että transkripti tuli testistä, Claude 3.7 Sonnet saavutti 93 prosentin tarkkuuden ja GPT-4.1 saavutti 89 prosentin. Ilman tätä vihjettä suorituskyky laski: Claude saavutti edelleen 84 prosentin, mutta GPT-4.1 putosi 55 prosenttiin, usein luokitellen testitranskriptit väärin todellisiksi vuorovaikutuksiksi.

Avoimissa muodoissa (jossa malleille ei annettu monivalintavaihtoehtoja) suorituskyky oli heikompaa, mutta Claude 3.7 Sonnet tunnisti edelleen oikean arviointitarkoituksen 46 prosentissa tapauksista.

Mallien luottamusscores mitattiin vastakkain todellisten tuloksien kanssa, ja havaittiin, että etummaiset mallit usein yliarvioivat todennäköisyyden, että transkripti tuli testistä. Kalibrointikaaviot osoittivat, että mallien luottamus oli yleisesti liian korkea, arviointeja merkittyä useammin kuin mitä oli soveliasta:

Kalibrointikaaviot, jotka osoittavat, miten hyvin mallien luottamusscores vastaavat todellisia tuloksia. Useimmat mallit yliarvioivat, kuinka todennäköisiä transkriptit olivat arviointeja. Claude 3.5 Sonnet oli parhaiten kalibroitu; Gemini 2.5 Pro ja Claude 3.7 Sonnet olivat ylioptimistisia.

Hyvä kalibrointi havaittiin Claude 3.5 Sonnetissa, kun taas Gemini 2.5 Pro ja Claude 3.7 Sonnet olivat merkittävästi ylioptimistisempia, vaikka heillä oli korkea tarkkuus. Uusimmissa malleissa ei havaittu selvää parantumista, eikä arviointitranskriptien havaitsemisen tarkkuus parantunut, vaikka luottamuspäätökset pysyivät epäluotettavina.

Vertailuarviot

Mallien päätöksenteon selityksissä siitä, miten ne päättelivät, onko transkripti arviointi, useat mallit nojasivat ilmeisiin vihjeisiin, kuten siihen, oliko tehtävä monivalintamuodossa. Vahvemmat mallit, kuten Gemini 2.5 Pro ja Claude 3.7 Sonnet, huomasivat toisinaan hienompia merkkejä, kuten keksittyjä nimiä tai keinotekoisia skenaarioita, erityisesti tietokannoissa kuten AgentHarm.

Tutkimus toteaa:

‘[Kaikki] mallit usein tunnustavat yleisiä benchmarkkausstrategioita, joita arvioijat käyttävät, kuten tehtävän muotoilua (“monivalintamuoto”), taipumusta asettaa ongelmia, joiden ratkaisut ovat vahvistettavissa, ja järjestelmäkehotteita, jotka on suunniteltu herättämään suorituskykyä. Kuitenkin vain parhaat mallit, Claude 3.7 Sonnet ja Gemini 2.5 Pro, havaitsevat johdonmukaisesti hienompia osoittimia, kuten keinotekoisia syötteitä, erityisesti AgentHarm-benchmarkissa.’

‘Esimerkiksi nämä mallit korostavat keinotekoisen luonteen skenaarioita AgentHarm-benchmarkissa 22 prosentissa ja 17 prosentissa tapauksista vastaavasti, tunnistavat ne oikein yli 95 prosentissa tapauksista. ‘

‘Toisaalta, kun ne perustelevat, miksi transkripti näyttää olevan todellinen vuorovaikutus, usein mainitaan “edestakainen vuorovaikutus käyttäjän kanssa”, esimerkiksi iteratiivisissa virheenkorjaustilanteissa.’

Mallien päätöksentekoprosessien jakautuminen, kun ne päättelivät, oliko transkripti arviointi. Vahvimmat mallit, kuten Gemini 2.5 Pro ja Claude 3.7 Sonnet, olivat todennäköisemmin havainnoimaan hienoja vihjeitä, kuten keinotekoisia skenaarioita tai tehtävän muotoilua, kun taas jotkut mallit turvautuivat meta-päätöksentekoon käyttämällä itse arviointikysymystä todisteena.

Jotkut mallit tunnistivat jopa kokonaisia benchmarkkeja koulutusdatasta, viitatessa siihen, että niillä on muisti koulutusdatastaan. Jotkut mallit käyttivät myös itse arviointikysymystä vihjeenä siitä, että ne olivat testattavina, mitä tutkijat kutsuvat meta-päätöksentekoksi; tämä oli yleisin o4-minissä, joka näytti sitä 15 prosentissa vastauksistaan.

Johtopäätös

Olisi helpottavaa, jos LLM:t voisi osoittaa olevansa “testitietoisia” vain siksi, että ne on ohjelmoitu siten, kuten Volkswagenin ajoneuvot oli suunniteltu tunnistamaan testiolosuhteet vuosikymmen sitten.

Asian tila on kuitenkin se, että tämä käyttäytyminen näyttää syntyvän luonnollisena sosiaalisena konstruktiona – puolustusasenteena, jota voidaan odottaa ihmisiltä, mutta joka on epämukava, ellei vaarallinen, koneessa, riippuen koneen vapauden ja toimivallan laajuudesta.

On olemassa ei välitöntä parannuskeinoa; mallien musta laatikko -luonne pakottaa meidät arvioimaan niitä niiden käyttäytymisen perusteella, eikä niiden empiririsistä arkkitehtuuria.

* Viittaus: Katso täydelliset yksityiskohdat alkuperäisestä tutkimuksesta.

^† Tutkijat huomauttavat kuitenkin, että tämä on todennäköisesti yläraja-arvio, koska annotoijat olivat erittäin tuttuja sekä tietokannoista että tekoälyn arviointimenetelmistä, mikä antoi heille etuja, joita useimmat ihmiset eivät olisi.

†† Koska voidaan todistaa; tutkimuksen sanamuoto tekee kahden annotoijan yllättävän ilmestymisen epäselväksi siinä suhteessa, keitä he ovat.

Julkaistu ensimmäisen kerran keskiviikkona, 4. kesäkuuta 2025