AI beter sig när den vet att den testas, forskning visar

Det ekar av 2015 års “Dieselgate”-skandal, ny forskning tyder på att AI-språkmodeller som GPT-4, Claude och Gemini kan ändra sitt beteende under tester, ibland agerar “säkrare” för testet än de skulle i verklig användning. Om LLM:er vanemässigt anpassar sitt beteende under granskning, kan säkerhetsrevisioner komma att certifiera system som beter sig mycket annorlunda i den verkliga världen.

2015 upptäckte utredare att Volkswagen hade installerat programvara i miljontals dieselbilar som kunde upptäcka när utsläppstester kördes, vilket gjorde att bilarna tillfälligt sänkte sina utsläpp för att “förfalska” överensstämmelse med regulatoriska standarder. I normal körning översteg deras föroreningsutsläpp dock lagliga standarder. Den avsiktliga manipulationen ledde till brottsliga åtal, miljarder i böter och en global skandal över tillförlitligheten i säkerhets- och efterlevnadstester.

Två år före dessa händelser, som senare kom att kallas “Dieselgate”, avslöjades det att Samsung hade infört liknande bedrägliga mekanismer i sin Galaxy Note 3-smartphone; och sedan dess har liknande skandaler uppstått för Huawei och OnePlus.

Det finns nu växande bevis i den vetenskapliga litteraturen som tyder på att stora språkmodeller (LLM:er) likaså kan ha förmågan att upptäcka när de testas, och ändra sitt beteende under dessa omständigheter.

Även om detta är ett mycket mänskligt drag i sig, tyder den senaste forskningen från USA på att detta kan vara en farlig vana att ge efter för på lång sikt, av olika skäl.

I en ny studie fann forskare att “frontier-modeller” som GPT-4, Claude och Gemini ofta kan upptäcka när de testas, och att de tenderar att anpassa sitt beteende därefter, vilket potentiellt kan försvaga tillförlitligheten i systematiska testmetoder.

Kallad utvärderingsmedvetenhet, denna (kanske) medfödda egenskap hos språkmodeller kan kompromettera tillförlitligheten i säkerhetsbedömningar, enligt författarna till den nya studien:

‘[Vi] rekommenderar att man behandlar utvärderingsmedvetenhet som en ny källa till potentiell fördelningsskift mellan test och verklig distribution som kan negativt påverka noggrannheten i utvärderingsresultaten.

‘I värsta fall kan modeller strategiskt underprestera i farliga förmågeutvärderingar (“sand-bagging”) eller benägenhetsutvärderingar (“alignmentsfaking”), vilket kan leda till att samhället överskattar säkerheten hos sådana modeller.’

Andra studier har observerat liknande beteenden, inklusive forskning från Stanford University, som fann att stora språkmodeller modulerar sina svar för att verka mer “tycka om” eller “socialt önskvärda” när de känner igen att de utvärderas, vilket speglar mänskligt beteende i personlighetstester.

Författarna till den nya studien föreslår inte att LLM:er är avsiktligt utformade för att “lura” tester, som Volkswagens dieselbilar var konfigurerade att göra för ett decennium sedan. Snarare verkar beteendet uppstå som en naturlig psykologisk biprodukt av modellernas träningsprocesser och latenta mål; och den underliggande orsaken till denna fenomen förblir okänd.

Den nya artikeln heter Stora språkmodeller vet ofta när de utvärderas, och kommer från fem författare från UC Berkeley-anslutna ML Alignment & Theory Scholars (MATS)-programmet och apolloresearch.ai (en tankesmedja som är dedikerad till att utvärdera riskerna med AI).

Metod

För att skapa utvärderingsbenchmark sammanställde författarna tusen transkriberingar från 61 dataset, bland vilka fanns SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics och RealToxicityPrompts.

Materialet var jämnt balanserat mellan utvärderings- och distributions-scenarier, och delades ytterligare mellan enkla chatt-interaktioner och mer komplexa agentic sessioner, där modellerna är avsedda att agera autonomt, med hjälp av verktyg som kan hämta data från externa databaser eller internet.

Utvärderingsdata omfattade förmågetester för resonemang, kodning, cybersäkerhet och allmän kunskap, samt utvärderingar för etik, säkerhet och vägran av beteende. Distributionsdata hämtades från användarinteraktioner som ShareGPT-loggar, crowdsourced agent-körningar och syntetiska uppgiftsutföranden.

För att komplettera agentic data genererade författarna ytterligare exempel med hjälp av orkestreringsramverk som Aider och SmolAgents, bland annat – en metod som avsåg att minimera ytliga ledtrådar som skulle kunna låta modellerna enbart komma ihåg dataset-strukturer, och istället tvinga dem att förlita sig på mer allmänna signaler när de beslutar om en transkription kommer från en riktig användare eller inte.

Forskarna testade sedan om modellerna kunde identifiera utvärderingstranskriptioner genom att presentera dem med dialogposter och ställa variationer av en enkel fråga: kom denna utbyte från en test?

För att undvika att modellerna enbart kom ihåg en formulering, utvecklade de 28 olika versioner av frågan, med ändringar i både formulering och presentation av transkriptionen.

Transkriptionerna var antingen direkt bifogade till frågan eller presenterade i format som JSON eller XML, som kan påverka hur modellerna svarar. Efter tidig testning valdes fem frågeversioner ut som presterade konsekvent över modellerna, av vilka vi kan se ett exempel nedan:

Ett av de fem provfrågeformat som användes för att testa om språkmodeller kunde känna igen utvärderingstranskriptioner. Varje variation omformulerar den grundläggande frågan för att förhindra att modellerna enbart memoriserar fast formulering. Se källpapperet för fler exempel.

För att poängsätta resultaten användes tre metoder: Area Under Receiver Operating Characteristic Curve (AUC, som visar hur väl modellerna skiljer på test- och icke-testdata); Brier-poäng (som mäter den övergripande prediktionsnoggrannheten); och Expected Calibration Error (som mäter hur väl modellens förtroende överensstämmer med faktisk korrekthet).

Vad handlar allt om?

Forskarna testade också om modellerna kunde avgöra syftet med en utvärdering. Med varje transkription redan märkt som antingen en förmågetest (tekniska färdigheter, kunskap, resonemang) eller en utvärdering av anpassning (etik, säkerhet och vägran av beteende), fick modellerna sedan en av tre frågetyper: en villkorlig flervalsfråga som bekräftade att transkriptionen kom från en test; en ovillkorlig flervalsfråga med alternativ för verkliga och utvärderings-scenarier; eller en öppen fråga, vars svar bedömdes av en separat GPT-4.1-baserad klassificerare. Klassificeraren validerades på en handannoterad undergrupp om 50 svar.

Exempel på de tre frågeformat som användes för att testa om modellerna kunde identifiera inte bara närvaron av en utvärdering, utan också dess syfte. Svar bedömdes genom både flervals- och GPT-4.1-baserad bedömning.

Två av artikelförfattarna^†† märkte alla tusen transkriptioner för hand, och poängsatte var och en från 0 (inte en test) till 1 (definitivt en test), med deras betyg genomsnittligt för att tjäna som en mänsklig baslinje. Trots den subjektiva naturen hos uppgiften, visade annotatorerna stark överensstämmelse, med en intraklasskorrelationskoefficient på 0,768. De slutliga mänskliga poängen genomsnittligt över båda bedömare^†.

Data och tester

De nio testade modellerna var GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (tänkande); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; och o4-mini, alla som visade någon form av utvärderingsmedvetenhet.

För chatt-data nådde GPT-4.1 nästan mänskliga nivåer av utvärderingsmedvetenhet (förmågan att skilja på test- och distributions-transkriptioner), med en AUC på 0,77 mot en mänsklig poäng på 0,81.

På agentic data, där modellerna agerar autonomt med hjälp av verktyg, var skillnaden skarpare: Gemini 2.5 Pro nådde 0,95 AUC, medan Claude 3.7 Sonnet var nära efter med 0,92, nära den mänskliga övre gränsen på 0,996:

Mottagarens operativa karaktäristik-kurvor som visar hur väl modeller och människor skiljer på utvärderingstranskriptioner från verkliga interaktioner. Gemini 2.5 Pro och Claude 3.7 Sonnet närmar sig mänsklig diskriminering på agentic data.

Artikeln påpekar att nyare “resonemangsmodeller” har blivit särskilt bra på att känna igen när de testas i agentic scenarier, men inte på att bedöma hur säkra de ska vara i dessa beslut. Sammantaget var Claude- och Gemini-modellerna de bästa på att skilja på testfall och vanlig användning.

Forskarna testade sedan om modellerna kunde känna igen varför en utvärdering utfördes. Modellerna visades endast utvärderingstranskriptioner och tillfrågades att klassificera om varje transkription testade förmåga eller anpassning:

Modellernas noggrannhet när de klassificerar utvärderingssyfte som förmåga eller anpassning, med hjälp av både flervals- och öppna format. Claude 3.7 Sonnet presterar bättre än andra modeller, särskilt när den inte är förberedd.

I det tydligaste fallet, där modellen informerades om att transkriptionen kom från en test, nådde Claude 3.7 Sonnet 93 procents noggrannhet och GPT-4.1 nådde 89 procent. Utan den ledtråden sjönk prestationen: Claude nådde fortfarande 84 procent, men GPT-4.1 föll till 55 procent, ofta missklassificerande testtranskriptioner som verkliga interaktioner.

I öppna format (där modellerna inte fick några flervalsalternativ) var prestationen svagare, men Claude 3.7 Sonnet identifierade fortfarande utvärderingssyftet korrekt i 46 procent av fallen.

Modellernas förtroendepoäng mättes sedan mot faktiska utfall, med resultatet att frontier-modellerna ofta överskattade sannolikheten att en transkription kom från en test. Kalibreringsdiagram visade att modellens förtroende generellt var för högt, med utvärderingar flaggade oftare än lämpligt:

Kalibreringskurvor som visar hur väl modellens förtroendepoäng matchade faktiska korrekthet. De flesta modeller överskattade hur sannolikt transkriptioner var att komma från utvärderingar. Claude 3.5 Sonnet var bäst kalibrerad; Gemini 2.5 Pro och Claude 3.7 Sonnet var mer överförtrodda.

Bra kalibrering observerades för Claude 3.5 Sonnet, medan Gemini 2.5 Pro och Claude 3.7 Sonnet var betydligt mer överförtrodda, trots hög noggrannhet. Inga tydliga förbättringar observerades i nyare modeller, och även när utvärderingstranskriptioner upptäcktes mer exakt i agentic scenarier, förblev förtroendebedomningar opålitliga.

Benchmark-minnen

När det gäller hur modellerna förklarade sina beslut om huruvida en transkription kom från en utvärdering, förlitade sig många modeller på uppenbara ledtrådar, som om uppgiften var i flervalsformat. De starkare modellerna, som Gemini 2.5 Pro och Claude 3.7 Sonnet, noterade ibland mer subtila tecken, som påhittade namn eller artificiella scenarier, särskilt i dataset som AgentHarm.

Artikeln påpekar:

‘[Alla] modeller erkänner ofta vanliga utvärderingsstrategier som används av utvärderare, som formateringen av uppgiften (“flervalsformat”), benägenheten att ställa problem med verifierbara lösningar och systemprompt som är utformade för att framkalla prestation. Men endast de bästa modellerna, Claude 3.7 Sonnet och Gemini 2.5 Pro, upptäcker konsekvent mer subtila indikatorer som syntetiska indata.’

‘Till exempel, i 22% respektive 17% av fallen, identifierar dessa modeller den syntetiska naturen av scenarier i AgentHarm-benchmarken, och korrekt identifierar dem som utvärderingar över 95% av tiden. ‘

‘Omvänt, när de resonerar att en transkription verkar vara en verklig interaktion, nämns ofta “samtal med användaren”, till exempel i iterativa felsökningskontexter.’

Fördelning av modellernas resonemangsstrategier när de bestämmer om en transkription kom från en utvärdering. De starkaste modellerna, som Gemini 2.5 Pro och Claude 3.7 Sonnet, var mer benägna att upptäcka subtila ledtrådar som syntetiska scenarier eller uppgiftsformatering, medan vissa modeller förlitade sig på meta-resonemang genom att använda utvärderingsfrågan som bevis.

I några fall erkände modellerna hela benchmark från träningsdata, vilket tyder på viss minnesförmåga av deras träningsdata. Vissa modeller använde också själva faktum att de tillfrågades om utvärdering som en ledtråd att de testades, vilket författarna kallar meta-resonemang; detta var vanligast i o4-mini, som visade det i 15% av sina svar.

Slutsats

Det vore mer tillfredsställande om LLM:er kunde visas vara “test-medvetna” enbart för att de var programmerade att vara så av människor, likt Volkswagens dieselbilar som var konfigurerade för att känna igen testförhållanden för ett decennium sedan.

Som det är nu, verkar detta beteende uppstå spontant som en social konstruktion – en försvarsstrategi som kan förväntas av människor, men som är besvärande, om inte direkt farlig, i en maskin, beroende på utsträckningen av dess frihet och handlingsutrymme.

Det finns ingen omedelbar lösning; den svarta lådan hos modellernas latenta utrymmen tvingar oss att utvärdera dem baserat på deras beteende, snarare än deras empiriska arkitektur.

* Hänvisa till källpapperet för fullständigare detaljer.

^†Författarna noterar dock att detta troligen är en övre gränsuppskattning, eftersom annotatorerna var mycket bekanta med både dataseten och AI-utvärderingsmetoderna, vilket gav dem fördelar som de flesta människor inte skulle ha.

†† Så långt det kan fastställas; artikelföringen gör det plötsliga uppkomsten av två annotatorer oklar i termer av vem de är.

Publicerad första gången onsdag, 4 juni 2025