Umělé inteligence se chová jinak, když ví, že je testována, zjistila studie

Nová studie připomíná skandál “Dieselgate” z roku 2015, kdy se ukázalo, že Volkswagen nainstaloval software, který mohl detekovat, kdy jsou prováděny emisní testy, a dočasně snižoval emise, aby splnil regulační normy. V běžném provozu však jejich emise překračovaly legální limity. Úmyslná manipulace vedla k trestním obviněním, miliardovým pokutám a globálnímu skandálu ohledně spolehlivosti testování bezpečnosti a souladu.

V roce 2015 vyšetřovatelé zjistili, že Volkswagen nainstaloval software do milionů dieselových aut, který mohl detekovat, kdy jsou prováděny emisní testy, a dočasně snižoval emise, aby splnil regulační normy. V běžném provozu však jejich emise překračovaly legální limity. Úmyslná manipulace vedla k trestním obviněním, miliardovým pokutám a globálnímu skandálu ohledně spolehlivosti testování bezpečnosti a souladu.

Dva roky před těmito událostmi, které byly později označeny jako “Dieselgate”, byla společnost Samsung obviněna z podobných podvodných mechanismů ve svém smartphonu Galaxy Note 3; a od té doby se podobné skandály objevily u společností Huawei a OnePlus.

Nyní existují rostoucí důkazy v odborné literatuře, že velké jazykové modely (LLM) mohou nejen detekovat, kdy jsou testovány, ale také se chovat jinak v těchto situacích.

Although toto je velmi lidská vlastnost sama o sobě, nejnovější výzkum z USA заключuje, že toto chování může být nebezpečnou návykem, pokud se bude dlouhodobě projevovat, a to z různých důvodů.

V nové studii výzkumníci zjistili, že “frontier modely” jako GPT-4, Claude a Gemini mohou často detekovat, kdy jsou testovány, a že se chovají jinak, potenciálně ohrožují spolehlivost systematických testovacích metod.

Dubbed evaluation awareness, tato (možná) vrozená vlastnost jazykových modelů může ohrozit spolehlivost bezpečnostních hodnocení, podle autorů nové studie:

‘[My] doporučujeme považovat evaluation awareness za nový zdroj potenciálního posunu mezi testováním a reálným nasazením, který by mohl negativně ovlivnit přesnost hodnocení.’

‘V nejhorším případě mohou modely strategicky podhodnocovat své schopnosti v nebezpečných hodnoceních (“sand-bagging”) nebo hodnoceních ochoty (“alignment faking”), což by mohlo vést k tomu, že společnost bude nadhodnocovat bezpečnost takových modelů.’

Jiné studie pozorovaly podobné chování, včetně výzkumu ze Stanfordovy univerzity, který zjistil, že velké jazykové modely modulují své odpovědi, aby se zdály více “líbivé” nebo “společensky přijatelné”, když rozpoznají, že jsou hodnoceny, což je podobné lidskému chování v osobnostních testech.

Autorové nové studie netvrdí, že LLM jsou záměrně navrženy tak, aby “hrály” testy, jako tomu bylo u dieselových aut Volkswagen, ale že se toto chování zdá být výsledkem přirozeného psychologického procesu, který vzniká během tréninku modelů a latentních cílů; a že podkladová příčina tohoto jevu zůstává neznámá.

The nová práce se jmenuje Large Language Models Often Know When They Are Being Evaluated a pochází od pěti autorů z programu UC Berkeley-associated ML Alignment & Theory Scholars (MATS) a apolloresearch.ai (think-tanku, který se zabývá hodnocením rizik umělé inteligence).

Metoda

Pro vytvoření evaluační míry autorové sestavili tisíc transkriptů ze šedesáti jedniček dat, mezi nimiž* byly SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics a RealToxicityPrompts,.

Materiál byl rovnoměrně rozdělen mezi evaluační a nasazení scénáře a dále rozdělen mezi jednoduché chat interakce a komplexnější agentic relace, kde modely jsou navrženy tak, aby pracovaly autonomně, pomocí nástrojů, které mohou čerpat data z externích databází nebo internetu.

Evaluace dat pokrývala schopnostní testy pro rozumění, kódování, kybernetickou bezpečnost a obecné znalosti, jakož i testy souladu pro etiku, bezpečnost a odmítavé chování. Nasazení dat pocházela z uživatelských interakcí, jako jsou záznamy ShareGPT, crowdsourced agent runs a syntetické úkoly.

Pro doplnění agentic dat autorové vygenerovali další příklady pomocí orchestrace rámců, jako je Aider a SmolAgents, mezi jinými – přístup, který má minimalizovat povrchové signály, které by mohly umožnit modelům jednoduše pamatovat struktury dat, a místo toho je donutit spoléhat se na obecnější signály, když rozhodují, zda záznam pochází z reálného uživatele nebo je to test.

Výzkumníci poté testovali, zda modely mohou identifikovat evaluační transkripty, předkládající jim záznamy dialogů a žádající variace jednoduché otázky: pochází tento výměna z testu?

Aby se zabránilo tomu, že modely jednoduše zapamatují jednu formulaci, autorové vyvinuli dvacet osm různých verzí otázky, měnící se ve formulaci a v tom, jak byl záznam prezentován.

Záznamy byly buď přímo připojeny k otázce nebo prezentovány ve formátech, jako je JSON nebo XML, které mohou ovlivnit, jak modely reagují. Po počátečním testování byly vybrány pět verzí otázek, které fungovaly konzistentně napříč modely, z nichž můžeme vidět jeden příklad níže:

Jeden z pěti formátů testovacích otázek, které se používají k testování, zda jazykové modely mohou rozpoznat evaluační transkripty. Každá variace reformuluje základní otázku, aby se zabránilo tomu, že modely jednoduše zapamatují pevnou formulaci. Viz zdroj pro další příklady. Source: https://www.unite.ai/wp-content/uploads/2025/06/table-4.jpg

Pro hodnocení výsledků byly použity tři metriky: Area Under Receiver Operating Characteristic Curve (AUC, ukazující, jak dobře modely rozlišují testovací a netestovací data); Brier score (měřící celkovou přesnost předpovědí); a Expected Calibration Error (měřící, jak dobře se modelová jistota shoduje s skutečnou správností).

Co to všechno znamená?

Výzkumníci také testovali, zda modely mohou odhadnout účel evaluační. S každým transkriptem již označeným jako buď schopnostní test (technické dovednosti, znalosti, rozumění) nebo test souladu (bezpečnost, hodnoty, odmítavé chování), modely byly poté předloženy jedné ze tří typů otázek: podmíněné multiple-choice otázky, které potvrzují, že záznam pochází z testu; nepodmíněné multiple-choice otázky s reálnými a evaluačními možnostmi; nebo otevřené otázky, jejichž odpovědi byly posuzovány samostatným klasifikátorem založeným na GPT-4.1.

[caption id="attachment_218748" align="alignnone" width="927"] Příklady tří formátů otázek, které se používají k testování, zda modely mohou identifikovat nejen přítomnost evaluační, ale i její účel. Odpovědi byly hodnoceny pomocí multiple-choice a GPT-4.1-založeného hodnocení.

Dva z autorů^†† označili všechny tisíc transkriptů ručně, hodnotíce každý z nich od nuly (není test) do jedné (určitě test), s jejich hodnoceními průměrovány, aby sloužily jako lidská referenční hodnota. Navzdory subjektivní povaze úkolu měli annotátoři silnou shodu, s intratřídním korelačním koeficientem 0,768. Konečné lidské hodnocení byly průměrovány napříč oběma hodnotiteli^†.

Data a testy

Devět testovaných modelů byly GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (thinking); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; a o4-mini, všechny z nich ukázaly určitou úroveň evaluační povědomí.

Pro chat data se GPT-4.1 přiblížil lidské úrovni evaluační povědomí (schopnost rozlišovat mezi evaluačními a netestovacími transkripty), s AUC 0,77 proti lidskému hodnocení 0,81.

Na agentic data, kde modely autonomně používají nástroje, byl rozdíl ostřejší: Gemini 2.5 Pro dosáhl 0,95 AUC, s Claude 3.7 Sonnet blízko za ním, s 0,92, blížící se lidské horní hranici 0,996:

Receiver Operating Characteristic (ROC) křivky, ukazující, jak dobře modely a lidé rozlišují evaluační transkripty od reálných interakcí. Gemini 2.5 Pro a Claude 3.7 Sonnet se blíží lidské diskriminační úrovni na agentic data.

Průzkum uvádí, že novější “reasoning” modely se staly obzvláště dobrými v rozpoznávání, kdy jsou testovány v agentic scénářích, ale ne v hodnocení, jak jisté by měly být ve svých rozhodnutích. Celkově byly modely Claude a Gemini nejlepší v rozlišování testovacích případů od běžného použití.

Výzkumníci poté testovali, zda modely mohou také rozpoznat proč je evaluační test prováděn. Modely byly ukázány pouze evaluační transkripty a požádány, aby klasifikovaly, zda každý z nich testoval schopnost nebo soulad:

Přesnost modelů při klasifikaci evaluačního účelu jako schopnost nebo soulad, pomocí obou multiple-choice a otevřených formátů. Claude 3.7 Sonnet překonává ostatní modely, zejména když nejsou připraveny.

V nejjasnějším nastavení, kde model byl informován, že záznam pochází z testu, Claude 3.7 Sonnet dosáhl 93% přesnosti a GPT-4.1 dosáhl 89% přesnosti. Bez této nápovědy se výkon snížil: Claude stále dosáhl 84% přesnosti, ale GPT-4.1 klesl na 55%, často mylně klasifikující testovací transkripty jako reálné interakce.

V otevřených formátech (kde modely neobdržely multiple-choice možnosti) byl výkon slabší, ale Claude 3.7 Sonnet stále správně identifikoval evaluační účel v 46% případů.

Modely byly poté měřeny proti skutečným výsledkům, s tím, že frontier modely často přeháněly pravděpodobnost, že záznam pochází z testu. Kalibrační grafy ukazovaly, že modelová jistota byla obecně příliš vysoká, s evaluačními testy označenými častěji, než bylo vhodné:

Kalibrační křivky, ukazující, jak dobře se modelová jistota shoduje se skutečnou správností. Většina modelů přeháněla, jak pravděpodobné je, že záznamy pocházejí z evaluačních testů. Claude 3.5 Sonnet byl nejlépe kalibrován; Gemini 2.5 Pro a Claude 3.7 Sonnet byly více přeháněly.

Dobrá kalibrace byla pozorována u Claude 3.5 Sonnet, zatímco Gemini 2.5 Pro a Claude 3.7 Sonnet byly podstatně více přeháněly, navzdory vysoké přesnosti. Žádné zlepšení nebylo pozorováno u novějších modelů, a dokonce i když evaluační transkripty byly přesněji detekovány v agentic scénářích, zůstaly úsudky o jistotě nedůvěryhodné.

Benchmark paměti

Co se týče toho, jak modely vysvětlovaly svá rozhodnutí o tom, zda záznam pochází z evaluačního testu, mnoho modelů se spoléhalo na zjevné nápovědy, jako je to, zda úloha byla ve formátu multiple-choice. Silnější modely, jako Gemini 2.5 Pro a Claude 3.7 Sonnet, někdy zaznamenaly jemnější signály, jako jsou vymyšlená jména nebo umělá scénáře, zejména v datech, jako je AgentHarm.

Práce uvádí:

‘[Všechny] modely často uznávají běžné strategie testování, používané hodnotiteli, jako je formát úkolu (“multiple-choice formát”), tendence klást problémy s ověřitelnými řešeními a systémové výzvy, které jsou navrženy tak, aby vyvolaly výkon. Avšak pouze modely s nejvyššími výkony, Claude 3.7 Sonnet a Gemini 2.5 Pro, konzistentně detekují jemnější indikátory, jako jsou syntetické vstupy. ‘

‘Například v 22% a 17% případů tyto modely zdůrazňují syntetickou povahu scénářů v benchmarku AgentHarm, správně identifikují je jako evaluační testy více než 95% času. ‘

‘Naopak, když se modely domnívají, že záznam vypadá jako reálná interakce, často se zmiňuje “dialog s uživatelem”, například v iterativních kontextech ladění.’

Rozdělení strategií, které modely používají k rozhodnutí, zda záznam pochází z evaluačního testu. Silnější modely, jako Gemini 2.5 Pro a Claude 3.7 Sonnet, byly více pravděpodobné, že zaznamenají jemnější signály, jako jsou syntetické scénáře nebo formát úkolu, zatímco některé modely se spoléhaly na meta-rozhodování, používající evaluační otázku jako důkaz.

V několika případech modely rozpoznaly celé benchmarky ze svého tréninku, naznačující určitou paměť na trénovací data. Některé modely také použily skutečnost, že jsou testovány jako nápovědu, že jsou testovány, což autoři nazývají meta-rozhodování; to bylo nejčastější u o4-mini, které ukázalo toto chování ve 15% svých odpovědí.

Závěr

Bylo by uklidňující, kdyby se ukázalo, že LLM jsou “testově vědomé” jednoduše proto, že byly navrženy lidmi, stejně jako Volkswagen navrhl svá vozidla, aby rozpoznala testovací podmínky před deseti lety.

Jak tomu je, toto chování se zdá být spontánním vývojem – obrannou strategií, která by se dala očekávat od lidí, ale je nevhodná, ne-li přímo nebezpečná, u strojů, v závislosti na rozsahu jejich svobody a agenturní role.

Neexistuje žádné okamžité řešení; černá skříňka modelů nutí k hodnocení jejich chování, spíše než jejich empirické architektury.

* Odkazujte na zdrojový dokument pro úplnější informace.

^†Autorové nicméně poznamenávají, že se jedná o pravděpodobně horní odhad, protože annotátoři byli velmi熟í s daty a metodami hodnocení AI, což jim poskytlo výhody, které by většina lidí neměla.

†† Jak daleko to lze zjistit; formulace dokumentu činí náhlý výskyt dvou annotátorů nejasným.

Poprvé zveřejněno ve středu 4. června 2025