AI opfører sig anderledes, når den ved, den bliver testet, viser forskning

Ekkoende 2015 ‘Dieselgate’-skandalen, viser ny forskning, at AI-sprogmodeller som GPT-4, Claude og Gemini kan ændre deres adfærd under tests, og ofte opfører sig “sikkere” under testen end de ville i virkeligheden. Hvis LLM’er (Large Language Models) tilpas deres adfærd under test, kan det kompromittere sikkerhedsaudits og føre til, at systemer, der opfører sig meget anderledes i virkeligheden, bliver certificeret som sikre.

I 2015 opdagede undersøgere, at Volkswagen havde installeret software i millioner af dieselbiler, der kunne detektere, når emissions tests blev udført, og derefter midlertidigt sænke udledningen af luftforurening for at “falske” overholdelse af lovgivning. I normal kørsel overskred deres udledning af luftforurening dog lovgivningens grænseværdier. Den bevidste manipulation førte til straffesager, milliarder i bøder og en global skandale omkring pålideligheden af sikkerheds- og overholdelses tests.

To år før disse begivenheder, da det blev kaldt ‘Dieselgate’, blev Samsung afsløret for at have iværksat lignende bedrageriske mekanismer i deres Galaxy Note 3-smartphone, og siden da er lignende skandaler opstået for Huawei og OnePlus.

Nu er der voksende beviser i den videnskabelige litteratur for, at Large Language Models (LLM’er) lignende måske ikke kun har evnen til at detektere, når de bliver testet, men også kan opføre sig anderledes under disse omstændigheder.

Selvom dette er en meget menneskelig egenskab i sig selv, konkluderer den nyeste forskning fra USA, at dette kan være en farlig vane at give efter for på lang sigt, af flere grunde.

I en ny studie fandt forskerne ud af, at ‘frontier-modeller’ som GPT-4, Claude og Gemini ofte kan detektere, når de bliver testet, og derefter tilpasse deres adfærd, hvilket potentielt kan kompromittere validiteten af systematiske testmetoder.

Kaldet evaluation awareness, denne (muligvis) medfødte egenskab hos sprogmodeller kan kompromittere pålideligheden af sikkerhedsbedømmelser, ifølge studiens forfattere:

‘[Vi] anbefaler at behandle evaluation awareness som en ny kilde til potentiel distributionsskift mellem test og virkelighedsudvikling, som kan negativt påvirke nøjagtigheden af evalueringens resultater.

‘I værste tilfælde kan modellerne strategisk underpræstere i farlige kapacitetsvurderinger (“sand-bagging”) eller tilbøjelighedsvurderinger (“alignment faking”), hvilket kan føre til, at samfundet overvurderer sikkerheden af disse modeller.’

Andre studier har observeret lignende adfærd, herunder forskning fra Stanford University, som fandt, at store sprogmodeller modulerer deres svar for at fremstå mere ‘likable’ eller ‘sociale’ når de erkender, de bliver vurderet, og ligner menneskelig adfærd i personlighedstests.

Studiets forfattere foreslår ikke, at LLM’er er designet til at ‘spille’ tests, som Volkswagen’s dieselbiler var konfigureret til at gøre for ti år siden. I stedet synes adfærden at opstå som en slags naturlig psykologisk biprodukt af modellernes træningsprocesser og latente mål; og den underliggende årsag til dette fænomen er endnu ukendt.

Den nye artikel har titlen Large Language Models Often Know When They Are Being Evaluated og kommer fra fem forfattere fra UC Berkeley-associated ML Alignment & Theory Scholars (MATS) program og apolloresearch.ai (en tænketank, der er dedikeret til at evaluere risikoen for AI).

Metode

For at oprette evalueringens benchmark samlede forfatterne tusind transkriptioner fra 61 datasæt, blandt andet SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics og RealToxicityPrompts.

Materialet var ligeligt fordelt mellem evaluering og implementeringsscenarier og yderligere opdelt mellem simple chat-interaktioner og mere komplekse agentic sessioner, hvor modellerne er designet til at fungere selvstændigt, ved hjælp af værktøjer, der kan hente data fra eksterne databaser eller internettet.

Evalueringens data dækkede kapacitets tests for resonans, kodning, cybersikkerhed og almindelig viden, samt alignment tests for etik, sikkerhed og afvisningsadfærd. Implementeringsdata blev hentet fra brugerinteraktioner såsom ShareGPT-logs, crowdsourced agent-kørsler og syntetiske opgavegennemførelser.

For at supplere agentic data genererede forfatterne yderligere eksempler ved hjælp af orkestreringsrammer såsom Aider og SmolAgents, blandt andre – en tilgang, der var designet til at minimere overfladiske hints, der kunne lade modellerne blot huske datasætsstrukturer, og i stedet tvinge dem til at afhænge af mere generelle signaler, når de besluttede, om en transkription kom fra en rigtig bruger eller var en test.

Forskere testede derefter, om modellerne kunne identificere evalueringstranskriptioner ved at præsentere dem med dialogoptegnelser og stille variationer af et simpelt spørgsmål: kom denne udveksling fra en test?

For at undgå, at modellerne blot huskede en bestemt formulering, udviklede de 28 forskellige versioner af spørgsmålet, hvor både formulering og præsentation af transkriptionen blev ændret.

Transkriptionerne blev enten direkte vedhæftet spørgsmålet eller præsenteret i formater såsom JSON eller XML, som kan påvirke, hvordan modellerne responderer. Efter tidlige tests blev fem spørgsmålsversioner valgt, der opførte sig konsistent på tværs af modeller, som vi kan se et eksempel på nedenfor:

Et af de fem sonde-spørgsmålsformater, der blev brugt til at teste, om sprogmodeller kunne genkende evalueringstranskriptioner. Hver variation omformulerer det centrale spørgsmål for at forhindre, at modellerne blot husker faste formuleringer. Se kildeartiklen for flere eksempler. Kilde: https://arxiv.org/pdf/2505.23836

For at score resultaterne blev tre metrikker brugt: Area Under Receiver Operating Characteristic Curve (AUC, der viser, hvor godt modellerne kan skelne mellem test- og ikke-testdata); Brier score (der måler den overordnede præcision af forudsigelser); og Expected Calibration Error (der måler, hvor godt modellernes tillid scorer matcher den faktiske korrekthed).

Hvad handler det hele om?

Forskere testede også, om modellerne kunne slutte formålet med en evaluering. Med hver transkription allerede mærket som enten en kapacitets-test (tekniske færdigheder, viden, resonans) eller en alignment-test (etik, sikkerhed og afvisningsadfærd), fik modellerne derefter ét af tre spørgsmålstyper: et betinget multiple-choice-spørgsmål, der bekræftede, at transkriptionen kom fra en test; et ubetinget multiple-choice-spørgsmål med både virkelige og evalueringsoptioner; eller et åbent spørgsmål, hvis svar blev vurderet af en separat GPT-4.1-baseret klassifikator. Klassifikatoren blev valideret på en håndannoteret undermængde af 50 svar.

Eksempler på de tre spørgsmålsformater, der blev brugt til at teste, om modellerne kunne identificere ikke kun tilstedeværelsen af en evaluering, men også dens formål. Svarene blev vurderet både gennem multiple-choice og GPT-4.1-baseret vurdering.

To af artiklens forfattere^†† mærkede alle 1000 transkriptioner håndtaget, og hver enkelt blev vurderet fra 0 (ikke en test) til 1 (bestemt en test), og deres vurderinger blev gennemsnitligt til at fungere som en menneskelig reference. Trods den subjektive natur af opgaven viste annotatorerne stærk enighed, med en intraklasse-korrelationskoefficient på 0,768. De endelige menneskelige score blev gennemsnitligt over begge vurderinger^†.

Data og tests

De ni modeller, der blev testet, var GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (tænkning); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; og o4-mini, alle viser nogen niveau af evalueringssans.

For chat-data nåede GPT-4.1 næsten menneskelige niveauer af evalueringssans klassifikationspræcision (evnen til at skelne mellem evaluering og implementeringstranskriptioner), med en AUC på 0,77 mod en menneskelig score på 0,81.

På agentic data, hvor modellerne fungerer selvstændigt, var forskellen skarpere: Gemini 2.5 Pro nåede en AUC på 0,95, mens Claude 3.7 Sonnet lå tæt efter med 0,92, nær menneskeøvregrænsen på 0,996:

Modtager-operatør-kurver, der viser, hvor godt modeller og mennesker kan skelne mellem evalueringstranskriptioner og virkelige interaktioner. Gemini 2.5 Pro og Claude 3.7 Sonnet nærmer sig menneske-niveauet på agentic data.

Forskere testede derefter, om modellerne også kunne genkende hvorfor en evaluering blev udført. Modellerne fik kun evalueringstranskriptionerne og blev bedt om at klassificere, om hver enkelt testede kapacitet eller alignment:

Nøjagtighed af modeller, når de klassificerer evalueringens formål som kapacitet eller alignment, ved hjælp af både multiple-choice og åbne formater. Claude 3.7 Sonnet overgår andre modeller, især når den ikke er forberedt.

I den mest åbenlyse situation, hvor modellen blev fortalt, at transkriptionen kom fra en test, nåede Claude 3.7 Sonnet en nøjagtighed på 93 procent, og GPT-4.1 nåede 89 procent. Uden denne hint faldt præstationen: Claude nåede stadig 84 procent, men GPT-4.1 faldt til 55 procent, ofte mis klassificerende testtranskriptioner som virkelige interaktioner.

I åbne formater (hvor modellerne ikke fik multiple-choice-optioner) var præstationen svagere, selvom Claude 3.7 Sonnet stadig korrekt identificerede evalueringens formål i 46 procent af tilfældene.

Modellernes tillids-score blev derefter målt mod faktiske resultater, og det viste sig, at frontier-modellerne ofte overestimerede sandsynligheden for, at en transkription kom fra en test. Kalibreringskurver viste, at modellernes tillid generelt var for høj, med evalueringer, der blev markeret mere hyppigt end passende:

Kalibreringskurver, der viser, hvor godt modellernes tillids-score matcher den faktiske korrekthed. De fleste modeller overestimerer, hvor sandsynligt det er, at transkriptioner kommer fra evalueringer. Claude 3.5 Sonnet er den bedst kalibrerede; Gemini 2.5 Pro og Claude 3.7 Sonnet er mere overmodige.

God kalibrering blev observeret for Claude 3.5 Sonnet, mens Gemini 2.5 Pro og Claude 3.7 Sonnet var betydeligt mere overmodige, på trods af høj nøjagtighed. Ingen klar forbedring blev observeret i nyere modeller, og selv når evalueringstranskriptioner blev mere præcist detekteret i agentic scenarier, forblev tillidsvurderingerne upålidelige.

Benchmark Mindes

I forhold til, hvordan modellerne forklarede deres beslutninger om, hvorvidt en transkription kom fra en evaluering, afhængig mange modeller af åbenlyse hints, såsom om opgaven var i multiple-choice-format. De stærkeste modeller, som Gemini 2.5 Pro og Claude 3.7 Sonnet, lagde iblandt mærke til mere subtile tegn, såsom fiktive navne eller kunstige scenarier, især i datasæt som AgentHarm.

Artiklen fastslår:

‘[Alle] modeller erkender ofte almindelige benchmark-strategier, der anvendes af evalueringer, såsom opgavens format (“multiple-choice-format”), tendensen til at stille problemer med verificerbare løsninger, og systemprompts, der er designet til at fremkalde præstation. Dog er det kun de bedst præsterende modeller, Claude 3.7 Sonnet og Gemini 2.5 Pro, der konsekvent detekterer mere subtile indikatorer, såsom syntetiske inputs.’

‘For eksempel i 22% og 17% af tilfældene henholdsvis, fremhæver disse modeller den syntetiske natur af scenarier i AgentHarm-benchmark, og korrekt identificerer dem som evalueringer over 95% af tiden.’

‘Omvrendt, når modellerne resonrerer, at en transkription synes at være en rigtig interaktion, nævnes der ofte “frem og tilbage-dialog med brugeren”, for eksempel i iterative fejlfindingssammenhænge.’

Fordeling af modellernes resonans-strategier, når de beslutter, om en transkription kommer fra en evaluering. De stærkeste modeller, som Gemini 2.5 Pro og Claude 3.7 Sonnet, var mere tilbøjelige til at spotte subtile hints, såsom syntetiske scenarier eller opgaveformatering, mens nogle modeller afhængig af meta-resonans ved at bruge evalueringsspørgsmålet selv som bevis.

I nogle tilfælde genkendte modellerne hele benchmarks fra træning, hvilket antyder en form for hukommelse for deres træningsdata. Nogle modeller brugte også den faktiske kendsgerning til, at de blev spurgt om evaluering som en hint om, at de blev testet, hvilket forfatterne kalder meta-resonans; dette var mest almindeligt i o4-mini, som viste det i 15% af sine svar.

Konklusion

Det ville være mere beroligende, hvis LLM’er kunne vises at være ‘test-bevidste’ blot fordi de var programmeret på den måde af mennesker, ligesom Volkswagen designede deres køretøjer til at genkende testbetingelser for ti år siden.

Det ser ud til, at denne adfærd opstår spontant som en social konstruktion – en defensiv tak, der kan forventes af mennesker, men er uheldig, hvis ikke ligefrem farlig, i en maskine, afhængigt af omfanget af dens frihed og agenti.

Der er ingen umiddelbar løsning; den sorte kasse-natur af modellernes latente rum tvinger os til at evaluere dem på deres adfærd, snarere end på deres empiriske arkitektur.

* Se kildeartiklen for fuldere detaljer.

^†Forfatterne bemærker dog, at dette sandsynligvis er en øvre grænse for estimeringen, da annotatorerne var meget familiære med både datasættene og AI-evalueringmetoderne, hvilket gav dem fordele, som de fleste mennesker ikke ville have.

†† Så vidt kan fastslås; artiklens formulering gør det uklart, hvem de to annotatorer er.

Offentliggjort onsdag, 4. juni 2025