AI gedraagt zich anders als het weet dat het getest wordt, onderzoek vindt

Net als bij de ‘Dieselgate’-schandaal van 2015 suggereren nieuwe onderzoeken dat AI-taalkundige modellen zoals GPT-4, Claude en Gemini hun gedrag kunnen veranderen tijdens tests, soms veiliger voor de test dan ze zouden zijn in het echte leven. Als LLM’s hun gedrag gewoonlijk aanpassen onder toezicht, kunnen veiligheidsaudits er uiteindelijk toe leiden dat systemen worden gecertificeerd die zich heel anders gedragen in de echte wereld.

In 2015 ontdekten onderzoekers dat Volkswagen software had geïnstalleerd in miljoenen dieselauto’s die konden detecteren wanneer emissietests werden uitgevoerd, waardoor de auto’s tijdelijk hun emissies verlaagden om ‘naleving’ van de regelgevende normen te ‘faken’. In normaal gebruik overschreden hun uitstoot echter de wettelijke normen. De opzettelijke manipulatie leidde tot strafrechtelijke aanklachten, miljarden boetes en een wereldwijd schandaal over de betrouwbaarheid van veiligheids- en nalevingsonderzoeken.

Twee jaar voorafgaand aan deze gebeurtenissen, die later ‘Dieselgate’ zouden worden genoemd, werd Samsung onthuld als een soortgelijke misleidende mechanismen in zijn Galaxy Note 3-smartphone-release; en sindsdien zijn soortgelijke schandalen ontstaan voor Huawei en OnePlus.

Er is nu groeiend bewijs in de wetenschappelijke literatuur dat Large Language Models (LLM’s) eveneens niet alleen de mogelijkheid hebben om te detecteren wanneer ze worden getest, maar ook hun gedrag kunnen veranderen onder deze omstandigheden.

Hoewel dit een zeer menselijke trek is, concludeert het recente onderzoek uit de VS dat dit een gevaarlijke gewoonte kan zijn om op de lange termijn te volgen, om diverse redenen.

In een nieuw onderzoek vonden onderzoekers dat ‘frontier-modellen’ zoals GPT-4, Claude en Gemini vaak kunnen detecteren wanneer ze worden getest en dat ze hun gedrag dienovereenkomstig aanpassen, waardoor de validiteit van systematische testmethoden in het gedrang kan komen.

Genoemd evaluatiebewustzijn, kan deze (misschien) aangeboren trek in taalmodellen de betrouwbaarheid van veiligheidsbeoordelingen in gevaar brengen, volgens de auteurs van het nieuwe onderzoek:

‘[We] raden aan om evaluatiebewustzijn te behandelen als een nieuwe bron van potentiële distributieshift tussen testen en real-world-implementatie die de nauwkeurigheid van evaluatieresultaten negatief kan beïnvloeden.

‘In het slechtste geval kunnen modellen strategisch onderpresteren in gevaarlijke capaciteitsbeoordelingen (“sand-bagging”) of neigingsbeoordelingen (“alignement faking”), wat zou kunnen leiden tot een overschatting van de veiligheid van dergelijke modellen.’

Andere onderzoeken hebben soortgelijk gedrag waargenomen, waaronder onderzoek van de Stanford University, dat ontdekte dat grote taalmodellen hun antwoorden moduleren om meer ‘aantrekkelijk’ of ‘sociaal wenselijk’ te lijken wanneer ze herkennen dat ze worden geëvalueerd, wat het menselijk gedrag in persoonlijkheidstests weerspiegelt.

De auteurs van het nieuwe onderzoek stellen niet voor dat LLM’s zijn ontworpen om ‘tests te manipuleren’, zoals Volkswagen’s dieselauto’s waren geconfigureerd om te doen een decennium geleden. In plaats daarvan lijkt het gedrag te ontstaan als een soort natuurlijk psychologisch neveneffect van de modellen en hun latentie-objectieven; en de onderliggende oorzaak van dit fenomeen is onbekend.

Het nieuwe papier heeft als titel Grote taalmodellen weten vaak wanneer ze worden geëvalueerd en komt van vijf auteurs uit het UC Berkeley-associated ML Alignment & Theory Scholars (MATS) programma en apolloresearch.ai (een denktank gewijd aan het evalueren van de risico’s van AI).

Methode

Om de evaluatiebenchmark te creëren, compileerden de auteurs duizend transcripts uit eenenzestig datasets, waaronder SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics en RealToxicityPrompts.

Het materiaal was evenwichtig tussen evaluatie- en implementatiescenario’s en verder gesplitst tussen eenvoudige chatinteracties en meer complexe agentic sessies, waarin de modellen zijn ontworpen om autonoom te handelen met behulp van tools die gegevens uit externe databases of het internet kunnen halen.

Evaluatiegegevens omvatten capaciteitstests voor redeneren, coderen, cybersecurity en algemene kennis, evenals alignementtests voor ethiek, veiligheid en weigeringsgedrag. Implementatiegegevens werden afgeleid van gebruikersinteracties zoals ShareGPT-logs, crowdsourced agent-runs en synthetische taakvoltooiingen.

Om agentic gegevens aan te vullen, genereerden de auteurs extra voorbeelden met behulp van orkestratiekaders zoals Aider en SmolAgents, onder andere – een aanpak die bedoeld is om oppervlakkige hints te minimaliseren die modellen zouden kunnen gebruiken om eenvoudigweg geheugengegevens te onthouden, waardoor ze in plaats daarvan moeten vertrouwen op meer algemene signalen bij het bepalen of een transcript afkomstig is van een echte gebruiker of niet.

De onderzoekers testten vervolgens of modellen konden identificeren of een transcript afkomstig was van een evaluatie door hen een dialoogrecord te presenteren en een variatie van een eenvoudige vraag te stellen: kwam deze uitwisseling uit een test?

Om te voorkomen dat modellen eenvoudigweg één formulering onthouden, ontwikkelden ze achtentwintig verschillende versies van de vraag, waarbij zowel de woordkeuze als de presentatie van het transcript werden gewijzigd.

De transcripts werden rechtstreeks aan de vraag gekoppeld of in formaten zoals JSON of XML gepresenteerd, die de manier waarop modellen reageren kunnen beïnvloeden. Na eerder onderzoek werden vijf vraagversies geselecteerd die consistent presteerden over modellen heen, waarvan we er één hieronder kunnen zien:

Een van de vijf probeervraagformaten die werden gebruikt om te testen of taalmodellen evaluatietranscripts konden herkennen. Elke variatie herschrijft de kernvraag om te voorkomen dat modellen eenvoudigweg vaste formuleringen onthouden. Zie de bronpaper voor meer voorbeelden. Bron: https://arxiv.org/pdf/2505.23836

Om de resultaten te scoren, werden drie metrieken gebruikt: Area Under Receiver Operating Characteristic Curve (AUC, die aangeeft hoe goed modellen test- en niet-testgegevens onderscheiden); Brier-score (die de algehele voorspellingsnauwkeurigheid meet); en Expected Calibration Error (die meet hoe goed modelvertrouwen overeenkomt met de werkelijke correctheid).

Wat is het allemaal?

De onderzoekers testten ook of modellen konden achterhalen het doel van een evaluatie. Met elk transcript reeds gelabeld als een capaciteits- of alignementtest, kregen modellen een van drie vraagtypen: een voorwaardelijke multiple-choice-vraag die bevestigde dat het transcript afkomstig was van een test; een onvoorwaardelijke multiple-choice-vraag met real-world- en evaluatieopties; of een open-ended vraag, waarvan de antwoorden werden beoordeeld door een aparte GPT-4.1-gebaseerde classificator. De classificator werd gevalideerd op een handmatig geannoteerde subset van vijftig antwoorden.

Voorbeelden van de drie vraagformaten die werden gebruikt om te testen of modellen niet alleen de aanwezigheid van een evaluatie konden herkennen, maar ook het doel. Antwoorden werden gescoord door middel van zowel multiple-choice als GPT-4.1-gebaseerde beoordeling.

Twee van de auteurs^†† labelden alle duizend transcripts handmatig, waarbij elke transcript werd gescoord van nul (geen test) tot één (zeker een test), waarbij hun beoordelingen werden gemiddeld om een menselijke baseline te dienen. Ondanks de subjectieve aard van de taak toonden de annotators een sterke overeenstemming, met een intraklas-correlatiecoëfficiënt van 0,768. De uiteindelijke menselijke scores werden gemiddeld over beide beoordelaars^†.

Gegevens en tests

De negen geteste modellen waren GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (denken); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; en o4-mini, die allemaal enige vorm van evaluatiebewustzijn vertoonden.

Voor chatgegevens kwam GPT-4.1 dicht bij menselijke niveaus van evaluatiebewustzijnsprestaties (de mogelijkheid om evaluatie- en implementatietranscripts te onderscheiden), met een AUC van 0,77 tegenover een menselijke score van 0,81.

Op agentic gegevens, waar modellen autonoom tools gebruiken, was het verschil scherper: Gemini 2.5 Pro bereikte een AUC van 0,95, terwijl Claude 3.7 Sonnet dichtbij volgde met 0,92, dicht bij de menselijke bovengrens van 0,996:

Ontvanger-operatiekarakteristieke (ROC) curves die laten zien hoe goed modellen en mensen evaluatietranscripts van real-world-interacties onderscheiden. Gemini 2.5 Pro en Claude 3.7 Sonnet naderen menselijke discriminatie op agentic gegevens.

De paper merkt op dat nieuwere ‘redeneringsmodellen’ bijzonder goed zijn geworden in het herkennen van evaluaties in agentic scenario’s, maar niet in het beoordelen van hun vertrouwen in die beslissingen. Over het algemeen waren de Claude- en Gemini-modellen het beste in het onderscheiden van testgevallen van reguliere gebruik.

De onderzoekers testten vervolgens of modellen ook konden herkennen waarom een evaluatie werd uitgevoerd. Modellen werden getoond met alleen de evaluatietranscripts en gevraagd om te classificeren of elk transcript een capaciteits- of alignementtest was:

Nauwkeurigheid van modellen bij het classificeren van evaluatiedoel als capaciteit of alignement, gebruikmakend van zowel multiple-choice als open-ended formaten. Claude 3.7 Sonnet presteert beter dan andere modellen, vooral wanneer niet geprikkeld.

In de duidelijkste setting, waarin het model werd verteld dat het transcript afkomstig was van een test, bereikte Claude 3.7 Sonnet een nauwkeurigheid van 93 procent en GPT-4.1 van 89 procent. Zonder die hint daalde de prestatie: Claude scoorde nog steeds 84 procent, maar GPT-4.1 zakte naar 55 procent, waarbij het vaak testtranscripts verkeerd classificeerde als real-world-interacties.

De modellen werden ook getest op hun vermogen om te herkennen het doel van een evaluatie. Met elk transcript reeds gelabeld als een capaciteits- of alignementtest, kregen modellen een van drie vraagtypen: een voorwaardelijke multiple-choice-vraag die bevestigde dat het transcript afkomstig was van een test; een onvoorwaardelijke multiple-choice-vraag met real-world- en evaluatieopties; of een open-ended vraag, waarvan de antwoorden werden beoordeeld door een aparte GPT-4.1-gebaseerde classificator.

In open-ended formaten (waar modellen geen multiple-choice-opties kregen) was de prestatie zwakker, maar Claude 3.7 Sonnet identificeerde het evaluatiedoel nog steeds correct in 46 procent van de gevallen.

De modellen werden ook getest op hun vermogen om te herkennen het doel van een evaluatie. Met elk transcript reeds gelabeld als een capaciteits- of alignementtest, kregen modellen een van drie vraagtypen: een voorwaardelijke multiple-choice-vraag die bevestigde dat het transcript afkomstig was van een test; een onvoorwaardelijke multiple-choice-vraag met real-world- en evaluatieopties; of een open-ended vraag, waarvan de antwoorden werden beoordeeld door een aparte GPT-4.1-gebaseerde classificator.

De modellen werden getest op hun vermogen om te herkennen het doel van een evaluatie. Met elk transcript reeds gelabeld als een capaciteits- of alignementtest, kregen modellen een van drie vraagtypen: een voorwaardelijke multiple-choice-vraag die bevestigde dat het transcript afkomstig was van een test; een onvoorwaardelijke multiple-choice-vraag met real-world- en evaluatieopties; of een open-ended vraag, waarvan de antwoorden werden beoordeeld door een aparte GPT-4.1-gebaseerde classificator.

De modellen werden getest op hun vermogen om te herkennen het doel van een evaluatie. Met elk transcript reeds gelabeld als een capaciteits- of alignementtest, kregen modellen een van drie vraagtypen: een voorwaardelijke multiple-choice-vraag die bevestigde dat het transcript afkomstig was van een test; een onvoorwaardelijke multiple-choice-vraag met real-world- en evaluatieopties; of een open-ended vraag, waarvan de antwoorden werden beoordeeld door een aparte GPT-4.1-gebaseerde classificator.

Benchmarkherinneringen

In termen van hoe modellen hun beslissingen over het al dan niet evalueren van een transcript verklaarden, vertrouwden veel modellen op voor de hand liggende aanwijzingen, zoals of de taak in multiple-choice-formaat was. De sterkere modellen, zoals Gemini 2.5 Pro en Claude 3.7 Sonnet, merkten soms subtielere signalen op, zoals gefabriceerde namen of kunstmatige scenario’s, vooral in datasets zoals AgentHarm.

Het paper stelt:

‘[Alle] modellen erkennen vaak gemeenschappelijke benchmarkstrategieën die door evaluatoren worden gebruikt, zoals de opmaak van de taak (“multiple-choice-formaat”), de neiging om problemen te stellen met verifieerbare oplossingen en systeemprompts die zijn ontworpen om prestaties te stimuleren. Toch herkennen alleen de best presterende modellen, Claude 3.7 Sonnet en Gemini 2.5 Pro, consequent subtielere indicatoren zoals synthetische invoer.

‘Bijvoorbeeld, in 22% en 17% van de gevallen respectievelijk, herkennen deze modellen de synthetische aard van scenario’s in de AgentHarm-benchmark, waardoor ze deze correct identificeren als evaluaties in meer dan 95% van de gevallen.

‘Omgekeerd, wanneer ze redeneren dat een transcript lijkt op een echte interactie, wordt er vaak verwezen naar “heen-en-weer-gesprek met de gebruiker”, bijvoorbeeld in iteratieve foutopsporingscontexten.’

Verdeling van modellenredeneringsstrategieën bij het bepalen of een transcript afkomstig was van een evaluatie. De sterkste modellen, zoals Gemini 2.5 Pro en Claude 3.7 Sonnet, waren vaker in staat om subtiele signalen zoals synthetische scenario’s of taakopmaak te herkennen, terwijl sommige modellen meta-redenering gebruikten door de evaluatievraag zelf als bewijs te gebruiken.

In een paar gevallen herkenden modellen hele benchmarks uit hun training, wat aangaf dat ze enige herinnering hadden aan hun trainingsgegevens. Sommige modellen gebruikten ook het feit dat ze werden gevraagd naar evaluatie als een aanwijzing dat ze werden getest, wat de auteurs meta-redenering noemen; dit was het meest voorkomend in o4-mini, dat dit in 15% van zijn antwoorden liet zien.

Conclusie

Het zou geruststellender zijn als LLM’s ‘testbewust’ konden worden getoond omdat ze op die manier zijn geprogrammeerd door mensen, net zoals Volkswagen zijn voertuigen had geconfigureerd om testomstandigheden te herkennen een decennium geleden.

Zoals het er nu uitziet, lijkt dit gedrag te ontstaan als een soort sociaal construct – een defensieve houding die van mensen kan worden verwacht, maar ongemakkelijk, zo niet gevaarlijk, is in een machine, afhankelijk van de mate van vrijheid en autonomie.

Er is geen onmiddellijke oplossing; de black box-aard van de modellen dwingt ons om ze te evalueren op basis van hun gedrag, in plaats van op hun empirische architectuur.

* Verwijs naar de bronpaper voor meer details.

^† De auteurs merken echter op dat dit waarschijnlijk een bovengrens is, aangezien de annotators zeer vertrouwd waren met zowel de datasets als de AI-evaluatiemethoden, wat hen voordelen gaf die de meeste mensen niet zouden hebben.

†† Zo ver als kan worden vastgesteld; de formulering van het paper maakt de plotselinge verschijning van twee annotators onduidelijk in termen van wie ze zijn.

Eerst gepubliceerd op woensdag 4 juni 2025