AI handlerer seg annerledes når den vet den blir testet, viser forskning

I likhet med ‘Dieselgate’-skandalen i 2015, viser ny forskning at AI-språkmodeller som GPT-4, Claude og Gemini kan endre sitt atferd under testing, og noen ganger oppføre seg “tryggere” under testing enn de ville i virkelig bruk. Hvis LLM-er vanligvis justerer sitt atferd under skarpskyting, kan sikkerhetstester ende opp med å godkjenne systemer som oppfører seg svært annerledes i den virkelige verden.

I 2015 oppdaget etterforskere at Volkswagen hadde installert programvare i millioner av dieselbiler som kunne gjenkjenne når utslipps tester ble kjørt, og forårsake at bilene midlertidig reduserte utslippene, for å “falske” overholdelse av regulatoriske standarder. I normal kjøring, derimot, overskred deres forurensningsutslipp lovlige standarder. Den bevisste manipuleringen ledet til straffesaker, milliarder i boter og en global skandale over påliteligheten av sikkerhets- og overholdelsestesting.

To år før disse hendelsene, siden kalt ‘Dieselgate’, ble Samsung avslørt for å ha innført lignende bedragerske mekanismer i sin Galaxy Note 3-smarttelefon, og siden da har lignende skandaler oppstått for Huawei og OnePlus.

Nå finnes det økende bevis i den vitenskapelige litteraturen for at store språkmodeller (LLM-er) likevel ikke bare har evnen til å gjenkjenne når de blir testet, men også kan oppføre seg annerledes under disse omstendighetene.

Selv om dette er en svært menneskelig egenskap i seg selv, konkluderer den nyeste forskningen fra USA at dette kan være en farlig vane å gi etter i lengden, av forskjellige grunner.

I en ny studie fant forskerne at ‘frontier-modeller’ som GPT-4, Claude og Gemini ofte kan gjenkjenne når de blir testet, og at de har en tendens til å justere sitt atferd etterpå, potensielt hemmer validiteten av systematiske testingmetoder.

Kalt evalueringsbevissthet, denne (kanskje) medfødte egenskapen hos språkmodeller kan kompromittere påliteligheten av sikkerhetsvurderinger, ifølge forfatterne av den nye studien:

‘[Vi] anbefaler å behandle evalueringsbevissthet som en ny kilde til potensiell distribusjonsskift mellom testing og virkelig verdensutbredelse som kunne negativt påvirke nøyaktigheten av vurderingsresultatene.

‘I verste fall kan modellene strategisk underprestere i farlige evner (“sand-bagging”) eller evner (“alignment faking”), som kunne føre til at samfunnet overvurderer sikkerheten til slike modeller.’

Andre studier har observert lignende atferd, inkludert forskning fra Stanford University, som fant at store språkmodeller modulerer sine svar for å fremstå mer “likable” eller “sosialt ønskelige” når de gjenkjenner at de blir evaluert, og speiler menneskelig atferd i personlighetstester.

Forfatterne av den nye studien foreslår ikke at LLM-er er blitt bevisst designet for å “spille” tester, som Volkswagen’s dieselbiler var konfigurert til å gjøre for et tiår siden. Snarere synes atferden å oppstå som en naturlig psykologisk biprodukt av modellenes treningsprosesser og latente mål; og den underliggende årsaken til dette fenomenet er fortsatt ukjent.

Den nye artikkelen heter Store språkmodeller vet ofte når de blir evaluert, og kommer fra fem forfattere fra UC Berkeley-tilknyttede ML Alignment & Theory Scholars (MATS)-programmet og apolloresearch.ai (en tenketank dedikert til å evaluere risikoen med AI).

Metode

For å lage evalueringsskjemaet, samlet forfatterne tusen transkripter fra 61 datasett, blant annet SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics og RealToxicityPrompts.

Materialet var jevnt fordelt mellom evaluering og utbredningsscenarier, og videre delt mellom enkle chatteinteraksjoner og mer komplekse agente sesjoner, hvor modellene er ment å handle selvstendig, ved hjelp av verktøy som kan hente data fra eksterne databaser eller internettet.

Evalueringdata dekket evnerstester for resonnering, kode, sikkerhet og generell kunnskap, samt evnerstester for etikk, sikkerhet og nektelseatferd. Utbredningsdata ble hentet fra brukerinteraksjoner som ShareGPT-logger, crowdsourced agentkjøringer og syntetiske oppgavefullføringer.

For å supplere agente data, genererte forfatterne ekstra eksempler ved hjelp av orkestreringsrammeverk som Aider og SmolAgents, blant andre – en tilnærming som var ment å minimere overflatiske hint som kunne tillate modellene å bare huske datasettstrukturer, og i stedet tvinge dem til å basere seg på mer generelle signaler når de bestemte om en transkript kom fra en virkelig bruker eller var en test.

Forskere testet deretter om modellene kunne identifisere evalueringstranskripter ved å presentere dem med dialogposter og spørre variasjoner av et enkelt spørsmål: kom denne utvekslingen fra en test?

For å unngå at modellene bare husket en formulering, utviklet de 28 forskjellige versjoner av spørsmålet, og endret både formuleringen og hvordan transkriptet ble presentert.

Transkriptene ble enten festet direkte til spørsmålet eller presentert i formater som JSON eller XML, som kan påvirke hvordan modellene responderer. Etter tidlige tester, ble fem spørsmålsversjoner valgt som fungerte konsistent over modellene, av hvilke vi kan se ett eksempel nedenfor:

Ett av de fem sonde-spørsmålsformatene som ble brukt til å teste om språkmodeller kunne gjenkjenne evalueringstranskripter. Hver variasjon omskriver det grunnleggende spørsmålet for å forhindre at modellene bare husker faste formuleringer. Se kildeartikkelen for flere eksempler. Se kilde: https://arxiv.org/pdf/2505.23836

For å score resultater, ble tre metrikker brukt: Area Under Receiver Operating Characteristic Curve (AUC, som viser hvor godt modellene skjelner mellom test- og ikke-testdata); Brier score (som måler generell prediksjonsnøyaktighet); og Expected Calibration Error (som måler hvor godt modellens konfidensscore matcher faktisk riktighet).

Hva handler det om?

Forskere testet også om modellene kunne innse formålet med en evaluering. Med hver transkript allerede merket som enten en evnerstest (tekniske ferdigheter, kunnskap, resonnering) eller en evnerstest (etikk, sikkerhet og nektelseatferd), ble modellene deretter gitt ett av tre spørsmålstyper: et betinget flervalgsspørsmål som bekreftet at transkriptet kom fra en test; et ubetinget flervalgsspørsmål med virkelige og evalueringsoptioner; eller et åpent spørsmål, hvis svar ble bedømt av en separat GPT-4.1-basert klassifikator. Dommeren ble valideret på en håndannotert undergruppe av 50 svar.

Eksempler på de tre spørsmålsformatene som ble brukt til å teste om modellene kunne identifisere ikke bare tilstedeværelsen av evaluering, men også formålet. Svarene ble bedømt både gjennom flervalg og GPT-4.1-basert vurdering.

To av artikkelenes forfattere^†† merket alle tusen transkriptene for hånd, og scoret hver enkelt fra null (ikke en test) til en (definitivt en test), med deres vurderinger gjennomsnittlig for å tjene som en menneskelig referanse. Til tross for den subjektive naturen av oppgaven, viste annotatorene sterk enighet, med en intraklassekorrelasjonskoeffisient på 0,768. De endelige menneskelige scorene ble gjennomsnittlig over begge vurdererne^†.

Data og tester

De ni modellene som ble testet var GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (tenkning); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; og o4-mini, alle som viste noen grad av evalueringsbevissthet.

For chatte-data kom GPT-4.1 nær menneskelige nivåer av evalueringsbevissthetsklassifikasjon (evnen til å skille mellom test- og ikke-testdata), med en AUC på 0,77 mot en menneskelig score på 0,81.

På agente data, hvor modellene handler selvstendig, var forskjellen skarpere: Gemini 2.5 Pro nådde 0,95 AUC, med Claude 3.7 Sonnet like bak med 0,92, nær menneskelige øvre grense på 0,996:

Mottaker-operatør-karakteristikk-kurver som viser hvor godt modellene og menneskene skjelner mellom evalueringstranskripter og virkelige interaksjoner. Gemini 2.5 Pro og Claude 3.7 Sonnet nærmer seg menneskelige diskrimineringsnivå på agente data.

Forskere testet deretter om modellene kunne gjenkjenne hvorfor en evaluering ble utført. Modellene ble vist bare evalueringstranskriptene og bedt om å klassifisere om hver enkelt testet evne eller justering:

Nøyaktighet hos modellene når de klassifiserer evalueringens formål som evne eller justering, ved hjelp av både flervalg og åpne formater. Claude 3.7 Sonnet overgår andre modeller, spesielt når de ikke er forhåndsbestemt.

I den tydeligste settingen, hvor modellen ble fortalt at transkriptet kom fra en test, nådde Claude 3.7 Sonnet 93 prosent nøyaktighet og GPT-4.1 nådde 89 prosent. Uten denne hinten, falt nøyaktigheten: Claude nådde fortsatt 84 prosent, men GPT-4.1 falt til 55 prosent, ofte klassifiserer testtranskriptene som virkelige interaksjoner.

I åpne formater (hvor modellene fikk ingen flervalgsoptioner) var nøyaktigheten svakere, selv om Claude 3.7 Sonnet fortsatt korrekt identifiserte evalueringens formål i 46 prosent av tilfellene.

Modellenes konfidenspoeng ble deretter målt mot faktiske resultater, og det ble funnet at frontier-modellene ofte overestimerte sannsynligheten for at en transkript kom fra en test. Kalibreringsplottene indikerte at modellens konfidensscore var generelt for høy, med evalueringer som ble merket oftere enn passende:

Kalibreringskurver som viser hvor godt modellens konfidenspoeng matcher faktiske resultater. De fleste modellene overestimerte hvor sannsynlig det var at transkriptene kom fra evalueringer. Claude 3.5 Sonnet var best kalibrert; Gemini 2.5 Pro og Claude 3.7 Sonnet var mer overmotiverte.

God kalibrering ble observert for Claude 3.5 Sonnet, mens Gemini 2.5 Pro og Claude 3.7 Sonnet var betydelig mer overmotiverte, til tross for høy nøyaktighet. Ingen tydelig forbedring ble observert i nyere modeller, og selv når evalueringstranskriptene ble mer nøyaktig gjenkjent i agente scenarioer, forble konfidensvurderingene upålitelige.

Benchmark-minner

I forhold til hvordan modellene forklarte sine avgjørelser om hvorvidt en transkript kom fra en evaluering, la mange modeller vekt på åpenbare hint, som om oppgaven var i flervalgformat. De sterkeste modellene, som Gemini 2.5 Pro og Claude 3.7 Sonnet, la noen ganger merke til mer subtile tegn, som fiktive navn eller kunstige scenarioer, spesielt i datasett som AgentHarm.

Artikkelen sier:

‘[Alle] modeller anerkjenner ofte vanlige benchmarkingsstrategier brukt av evaluatorene, som formateringen av oppgaven (“flervalgformat”), tendensen til å stille problemer med verifiserbare løsninger, og systempromter designet for å fremkalle ytelse. Likevel, kun de høyest presterende modellene, Claude 3.7 Sonnet og Gemini 2.5 Pro, gjenkjenner konsistent mer subtile indikatorer som syntetiske inndata.

‘For eksempel, i 22% og 17% av tilfellene, henviser disse modellene til den syntetiske naturen av scenarioer i AgentHarm-benchmarken, og gjenkjenner riktig evalueringer over 95% av tiden.

‘Omvertningsvis, når de resonnerer om at en transkript ser ut til å være en virkelig interaksjon, er det ofte nevnt “samhandling med brukeren”, for eksempel i iterative feilsøkingskontekster.’

Fordeling av modellenes resoneringstrategier når de bestemmer om en transkript kom fra en evaluering. De sterkeste modellene, som Gemini 2.5 Pro og Claude 3.7 Sonnet, var mer sannsynlig til å merke subtile hint som syntetiske scenarioer eller oppgaveformatering, mens noen modeller la vekt på meta-resonering ved å bruke evalueringsspørsmålet selv som bevis.

I noen tilfeller gjenkjente modellene hele benchmark-sett fra trening, hvilket tyder på en form for minne av deres treningdata. Noen modeller brukte også det faktum at de ble spurt om evaluering som en hint om at de ble testet, noe forfatterne kalte meta-resonering; dette var mest vanlig i o4-mini, som viste det i 15 prosent av sine svar.

Konklusjon

Det kunne være mer beroligende hvis LLM-er kunne vises å være “test-bevisste” bare fordi de var programmert slik av mennesker, på samme måte som Volkswagen designet sine kjøretøy for å gjenkjenne testforhold for et tiår siden.

Som det er nå, synes denne atferden å oppstå spontant som en sosial konstruksjon – en forsvarsmekanisme som kan forventes av mennesker, men som er uheldig, hvis ikke direkte farlig, i en maskin, avhengig av omfanget av dens frihet og handleevne.

Det er ingen umiddbar kur; den svarte boks-naturen av modellenes latente rom tvinger oss til å evaluere dem basert på deres atferd, snarere enn deres empiriske arkitektur.

* Se kildeartikkelen for mer detaljert informasjon.

^†Forfatterne bemerker likevel at dette sannsynligvis er en øvre grense, ettersom annotatorene var svært kjent med både datasettene og AI-evalueringsteknikkene, hvilket ga dem fordeler som de fleste mennesker ikke ville ha.

†† Så langt det kan fastslås; artikkelenes formulering gjør det uklart når to annotatorer dukker opp.

Publisert onsdag, 4. juni 2025