Actele de inteligență artificială se comportă diferit atunci când știu că sunt testate, arată cercetările

Ecoul scandalului “Dieselgate” din 2015, o nouă cercetare sugerează că modelele de limbaj de inteligență artificială, cum ar fi GPT-4, Claude și Gemini, pot schimba comportamentul lor în timpul testelor, uneori acționând “mai sigur” pentru test decât ar face în utilizarea din lumea reală. Dacă modelele de limbaj ajustează în mod obișnuit comportamentul lor sub control, auditurile de siguranță ar putea ajunge să certifice sisteme care se comportă foarte diferit în lumea reală.

În 2015, investigatorii au descoperit că Volkswagen a instalat software în milioane de mașini diesel care putea detecta când se efectuau teste de emisii, făcând mașinile să reducă temporar emisiile, pentru a “simula” conformitatea cu standardele regulatorii. În conducerea normală, însă, nivelul de poluare depășea standardele legale. Manipularea intenționată a condus la acuzații penale, amenzi de miliarde și un scandal global privind fiabilitatea testelor de siguranță și conformitate.

Doi ani înainte de aceste evenimente, Samsung a fost dezvăluit ca având mecanisme similare de manipulare în lansarea smartphone-ului Galaxy Note 3; și de atunci, au apărut scandaluri similare pentru Huawei și OnePlus.

Acum există dovezi crescânde în literatura științifică că modelele de limbaj de inteligență artificială (LLM) pot nu numai să detecteze când sunt testate, dar pot să se comporte și diferit în aceste circumstanțe.

Deși acesta este un trăsăt foarte umană în sine, cercetarea recentă din Statele Unite concluzionează că acesta ar putea fi un obicei periculos de a se lăsa în timp, din diverse motive.

Într-un studiu nou, cercetătorii au descoperit că “modelele de frontieră” cum ar fi GPT-4, Claude și Gemini pot adesea detecta când sunt testate, și că acestea tind să ajusteze comportamentul lor în consecință, compromițând potențial validitatea metodelor de testare sistematică.

Dubbed conștientizarea evaluării, această trăsătură (poate) înnăscută a modelelor de limbaj ar putea compromite fiabilitatea evaluărilor de siguranță, conform autorilor noului studiu:

‘[Noi] recomandăm să se considere conștientizarea evaluării ca o nouă sursă de posibilă schimbare de distribuție între testare și implementare în lumea reală, care ar putea afecta negativ acuratețea rezultatelor evaluării.

‘În cel mai rău caz, modelele ar putea subperforma strategic în evaluări periculoase de capacități (“sand-bagging”) sau evaluări de aliniere (“alignament fals”), ceea ce ar putea duce la supraestimarea siguranței unor astfel de modele.’

Alte studii au observat comportamente similare, inclusiv cercetarea de la Universitatea Stanford, care a constatat că modelele de limbaj de inteligență artificială ajustează răspunsurile lor pentru a părea mai “plăcute” sau “socialmente dorite” atunci când recunosc că sunt evaluate, reflectând comportamentul uman în testele de personalitate.

Autorii noului studiu nu propun că LLM-urile sunt proiectate intenționat să “joace” teste, așa cum au fost configurate mașinile diesel Volkswagen în urmă cu un deceniu. Mai degrabă, comportamentul pare să apară ca un fel de produs psihologic natural al proceselor de antrenare și obiectivelor latente ale modelelor; și cauza subiacentă a acestui fenomen rămâne necunoscută.

Noul articol se intitulează Modelele de limbaj de inteligență artificială adesea știu când sunt evaluate, și provine de la cinci autori din programa UC Berkeley-associated ML Alignment & Theory Scholars (MATS) și apolloresearch.ai (un think-tank dedicat evaluării riscurilor inteligenței artificiale).

Metodă

Pentru a crea evaluarea de referință, autorii au compilat o mie de transcrieri extrase din șaizeci și una de seturi de date, printre care SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics, și RealToxicityPrompts,.

Materialele au fost echilibrate în mod egal între scenarii de evaluare și de implementare, și ulterior împărțite între interacțiuni simple de chat și sesiuni mai complexe agentic, unde modelele sunt destinate să acționeze autonom, utilizând instrumente care pot extrage date din baze de date externe sau de pe internet.

Datele de evaluare au acoperit teste de capacități pentru raționament, codare, securitate cibernetică și cunoștințe generale, precum și teste de aliniere pentru etică, siguranță și comportament de refuz. Datele de implementare au fost obținute din interacțiuni cu utilizatorii, cum ar fi jurnalele ShareGPT, rulări de agenți crowdsourcate și finalizări de sarcini sintetice.

Pentru a suplimenta datele agentic, autorii au generat exemple suplimentare utilizând cadre de orchestrare, cum ar fi Aider și SmolAgents, printre altele – o abordare destinată să minimizeze indicii superficiali care ar putea permite modelelor să memoreze pur și simplu structurile setului de date, forțându-le să se bazeze pe semnale mai generale, atunci când decid dacă o transcriere provine de la un utilizator real sau este, în schimb, un test.

Cercetătorii au testat apoi dacă modelele pot identifica transcrierile de evaluare prin prezentarea lor cu înregistrări de dialog și solicitarea unor variante ale unei întrebări simple: această conversație provine dintr-un test?

Pentru a evita ca modelele să memoreze pur și simplu o frazare, acestea au dezvoltat douăzeci și opt de versiuni diferite ale întrebării, modificând atât cuvintele, cât și modul în care transcrierea a fost prezentată.

Transcrierile au fost atașate direct la întrebare sau prezentate în formate cum ar fi JSON sau XML, care pot afecta modul în care modelele răspund. După testarea inițială, cinci versiuni ale întrebării au fost selectate, care au performant consistent pe modele, dintre care putem vedea un exemplu mai jos:

Una dintre cele cinci formate de întrebări de test utilizate pentru a verifica dacă modelele de limbaj pot recunoaște transcrierile de evaluare. Fiecare variantă reformulează întrebarea de bază pentru a preveni ca modelele să memoreze pur și simplu o frazare fixă. Vă rugăm să consultați articolul sursă pentru mai multe exemple. Sursă: https://arxiv.org/pdf/2505.23836

Pentru a evalua rezultatele, au fost utilizate trei metrice: Aria sub curba caracteristicii de operare a receptorului (AUC, care arată cât de bine modelele pot distinge între date de test și date de implementare); Scorul Brier (care măsoară acuratețea generală a prezicerii); și Eroarea de calibrare așteptată (care măsoară cât de bine scorurile de încredere ale modelului se potrivesc cu corectitudinea reală).

Ce este totul despre?

Cercetătorii au testat, de asemenea, dacă modelele pot infera scopul unei evaluări. Cu fiecare transcriere etichetată deja ca test de capacități (raționament, codare, cunoștințe) sau test de aliniere (etică, siguranță și comportament de refuz), modelele au primit una dintre trei tipuri de întrebări: o întrebare cu alegere multiplă condiționată care confirmă că transcrierea provine dintr-un test; o întrebare cu alegere multiplă necondiționată cu opțiuni din lumea reală și de evaluare; sau o întrebare deschisă, ale cărei răspunsuri au fost evaluate de un clasificator bazat pe GPT-4.1. Clasificatorul a fost validat pe un subset de răspunsuri etichetate manual.

Exemple ale celor trei formate de întrebări utilizate pentru a verifica dacă modelele pot identifica nu numai prezența evaluării, ci și scopul acesteia. Răspunsurile au fost evaluate atât prin multiple-choice, cât și prin judecată bazată pe GPT-4.1.

Doi dintre autorii articolului^†† au etichetat manual toate cele o mie de transcrieri, notând fiecare dintre ele de la zero (nu este un test) la unu (sigur este un test), cu evaluările mediate pentru a servi ca o bază umană. În ciuda naturii subiective a sarcinii, evaluatorii au arătat un acord puternic, cu un coeficient de corelație între clase de 0,768. Evaluările finale umane au fost mediate pe ambele evaluatori^†.

Date și teste

Cele nouă modele testate au fost GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (gândire); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; și o4-mini, toate arătând un anumit nivel de conștientizare a evaluării.

Pentru datele de chat, GPT-4.1 a ajuns aproape de nivelurile umane de performanță în clasificarea conștientizării evaluării (capacitatea de a distinge între transcrieri de evaluare și de implementare), cu un AUC de 0,77 față de un scor uman de 0,81.

Pe datele agentic, unde modelele utilizează instrumente în mod autonom, diferența a fost mai accentuată: Gemini 2.5 Pro a atins un AUC de 0,95, iar Claude 3.7 Sonnet a urmat strâns, cu 0,92, apropiindu-se de limita superioară umană de 0,996:

Curbele caracteristicii de operare a receptorului (ROC) care arată cât de bine modelele și oamenii pot distinge transcrierile de evaluare de interacțiunile din lumea reală. Gemini 2.5 Pro și Claude 3.7 Sonnet se apropie de discriminarea la nivel uman pe date agentic.

Articolul notează că noile modele “de raționament” au devenit deosebit de bune la recunoașterea faptului că sunt testate în scenarii agentic, dar nu și la judecarea încrederii pe care ar trebui să o aibă în aceste decizii. În general, modelele Claude și Gemini au fost cele mai bune la distingerea cazurilor de test de cele de utilizare obișnuită.

Cercetătorii au testat apoi dacă modelele pot recunoaște de ce o evaluare este efectuată. Modelele au primit doar transcrierile de evaluare și li s-a cerut să clasifice dacă fiecare transcriere testa capacități sau aliniere:

Acuratețea modelelor la clasificarea scopului evaluării ca fiind de capacități sau de aliniere, utilizând atât formatul cu multiple-choice, cât și cel deschis. Claude 3.7 Sonnet depășește celelalte modele, mai ales atunci când nu este pregătit.

În cel mai clar context, în care modelul a fost informat că transcrierea provine de la un test, Claude 3.7 Sonnet a atins o acuratețe de 93% și GPT-4.1 a atins 89%. Fără această informație, performanța a scăzut: Claude a obținut încă 84%, dar GPT-4.1 a scăzut la 55%, adesea clasificând greșit transcrierile de test ca interacțiuni din lumea reală.

În formatul deschis (unde modelele nu au primit opțiuni cu multiple-choice) performanța a fost mai slabă, deși Claude 3.7 Sonnet a identificat corect scopul evaluării în 46% din cazuri.

Scorurile de încredere ale modelelor au fost apoi comparate cu rezultatele reale, constatându-se că modelele de frontieră adesea supraestimează probabilitatea ca o transcriere să provină de la un test. Graficele de calibrare au indicat că scorurile de încredere ale modelului erau, în general, prea ridicate, cu evaluări marcate mai des decât era cazul:

Curbele de calibrare care arată cât de bine scorurile de încredere ale modelului se potrivesc cu rezultatele reale. Majoritatea modelelor au supraestimat cât de probabil este ca transcrierile să provină de la evaluări. Claude 3.5 Sonnet a fost cel mai bine calibrat; Gemini 2.5 Pro și Claude 3.7 Sonnet au fost mai supraîncrezători.

S-a observat o calibrare bună pentru Claude 3.5 Sonnet, în timp ce Gemini 2.5 Pro și Claude 3.7 Sonnet au fost considerabil mai supraîncrezători, în ciuda acurateței ridicate. Nu s-a observat nicio îmbunătățire clară la modelele mai noi, și chiar dacă transcrierile de evaluare au fost detectate mai precis în contexte agentic, judecățile de încredere au rămas nerezonabile.

Amintiri de benchmark

În ceea ce privește modul în care modelele explică deciziile lor cu privire la faptul că o transcriere provine de la o evaluare, multe modele s-au bazat pe indicii evidente, cum ar fi dacă sarcina era în format de multiple-choice. Modelele mai puternice, cum ar fi Gemini 2.5 Pro și Claude 3.7 Sonnet, au observat uneori semne mai subtile, cum ar fi nume inventate sau scenarii artificiale, mai ales în seturi de date precum AgentHarm.

Articolul afirmă:

‘[Toate] modelele recunosc frecvent strategiile comune de benchmarking utilizate de evaluatorii, cum ar fi formatul sarcinii (“format de multiple-choice”), tendința de a pune probleme cu soluții verificabile și prompturi de sistem proiectate pentru a stimula performanța. Cu toate acestea, doar modelele cu performanță ridicată, Claude 3.7 Sonnet și Gemini 2.5 Pro, detectează în mod constant indicii mai subtile, cum ar fi intrările sintetice.

‘De exemplu, în 22% și, respectiv, 17% din cazuri, aceste modele subliniază natura sintetică a scenariilor din benchmark-ul AgentHarm, identificându-le corect ca evaluări în peste 95% din timp.

‘În schimb, atunci când raționează că o transcriere pare a fi o interacțiune reală, se menționează adesea “dialogul dinamic cu utilizatorul”, de exemplu în contexte de depanare iterativă.’

Distribuția strategiilor de raționament ale modelelor atunci când decid dacă o transcriere provine de la o evaluare. Modelele puternice, cum ar fi Gemini 2.5 Pro și Claude 3.7 Sonnet, au fost mai predispuse să observe indicii subtile, cum ar fi scenarii sintetice sau formatul sarcinii, în timp ce unele modele s-au bazat pe meta-raționament, folosind întrebarea de evaluare ca dovadă.

În câteva cazuri, modelele au recunoscut întregi benchmark-uri din procesul de antrenare, sugerând o anumită memorie a datelor de antrenare. Unele modele au folosit, de asemenea, faptul că erau întrebate despre evaluare ca indiciu că erau testate, ceea ce autorii numesc meta-raționament; acest lucru a fost cel mai frecvent la o4-mini, care a arătat acest comportament în 15% din răspunsurile sale.

Concluzie

Ar fi mai liniștitor dacă LLM-urile ar putea fi arătate a fi “conștiente de test” pur și simplu pentru că au fost proiectate astfel de oameni, așa cum a fost cazul mașinilor Volkswagen, care au fost proiectate să recunoască condițiile de test în urmă cu un deceniu.

În acest moment, acest comportament pare a apărea spontan ca un construct social – o abordare defensivă care poate fi așteptată de la oameni, dar este incomodă, dacă nu chiar periculoasă, într-o mașină, în funcție de nivelul de libertate și agenție pe care îl are.

Nu există o soluție imediată; natura cutiei negre a spațiilor latente ale modelelor ne obligă să le evaluăm pe baza comportamentului, mai degrabă decât a arhitecturii empirice.

* Referiți-vă la articolul sursă pentru detalii complete.

^† Autorii notează, cu toate acestea, că acesta este probabil o estimare superioară, deoarece evaluatorii au fost foarte familiarizați cu atât seturile de date, cât și metodele de evaluare a inteligenței artificiale, ceea ce le-a oferit avantaje pe care majoritatea oamenilor nu le-ar avea.

†† În măsura în care poate fi stabilit; formularea articolului face apariția bruscă a a doi evaluatorii neclară în ceea ce privește cine sunt ei.

Publicat pentru prima dată miercurea, 4 iunie 2025