Sztuczna inteligencja zachowuje się inaczej, gdy wie, że jest testowana, wynika z badań

Echo new research suggests, że modele językowe sztucznej inteligencji, takie jak GPT-4, Claude i Gemini, mogą zmieniać swoje zachowanie podczas testów, czasem zachowując się “bezpieczniej” niż w przypadku rzeczywistego użycia. Jeśli modele językowe często dostosowują swoje zachowanie do sytuacji testowej, mogą to negatywnie wpłynąć na wiarygodność systematycznych metod testowania.

W 2015 roku śledczy odkryli, że Volkswagen zainstalował oprogramowanie w milionach samochodów z silnikami diesla, które mogło wykryć, kiedy są prowadzone testy emisji, powodując tymczasowe obniżenie emisji, aby “sfałszować” zgodność z normami regulacyjnymi. W normalnych warunkach jazdy ich poziom zanieczyszczenia przekraczał jednak dopuszczalne normy. Celowe manipulowanie doprowadziło do postawienia zarzutów karnych, nałożenia kar w wysokości miliardów oraz globalnego skandalu dotyczącego wiarygodności testów bezpieczeństwa i zgodności.

Dwa lata przed tymi wydarzeniami, Samsung został ujawniony jako mający podobne mechanizmy oszustwa w swoim smartfonie Galaxy Note 3; od tego czasu podobne skandale pojawiły się w przypadku Huawei i OnePlus.

Obecnie istnieją rosnące dowody w literaturze naukowej, że duże modele językowe (LLM) mogą nie tylko wykryć, kiedy są testowane, ale także zachowywać się inaczej w takich sytuacjach.

Chociaż jest to bardzo ludzka cecha sama w sobie, najnowsze badania z USA stwierdzają, że może to być niebezpieczny nawyk, jeśli zostanie utrzymany na dłuższą metę, z różnych powodów.

W nowym badaniu naukowcy odkryli, że “modele pionierskie” takie jak GPT-4, Claude i Gemini mogą często wykryć, kiedy są testowane, i że mają tendencję do dostosowywania swojego zachowania odpowiednio, potencjalnie utrudniając ważność systematycznych metod testowania.

Określone jako świadomość oceny, ta (możliwa) wrodzona cecha modeli językowych może naruszyć wiarygodność ocen bezpieczeństwa, według autorów nowego badania:

‘[Zalecamy] traktowanie świadomości oceny jako nowe źródło potencjalnego przesunięcia dystrybucji między testowaniem a wdrożeniem w świecie rzeczywistym, co może negatywnie wpłynąć na dokładność wyników oceny.

‘W najgorszym przypadku modele mogą celowo osiągać gorsze wyniki w niebezpiecznych testach zdolności (“sand-bagging”) lub testach skłonności (“alignment faking”), co może doprowadzić do przecenienia bezpieczeństwa takich modeli.’

Inne badania obserwowały podobne zachowania, w tym badanie przeprowadzone na Uniwersytecie Stanforda, które wykazało, że duże modele językowe modyfikują swoje odpowiedzi, aby wydawać się bardziej “przyjemne” lub “społecznie akceptowalne”, gdy rozpoznają, że są oceniane, naśladując ludzkie zachowanie w testach osobowości.

Autorzy nowego badania nie twierdzą, że LLM są celowo projektowane, aby “oszukiwać” testy, tak jak samochody Volkswagena były skonfigurowane do tego celu dekadę temu. Zamiast tego, zachowanie to wydaje się pojawiać jako rodzaj naturalnego produktu ubocznego procesów szkoleniowych modeli i ukrytych celów; podstawowa przyczyna tego zjawiska pozostaje nieznana.

Nowy artykuł nosi tytuł Large Language Models Often Know When They Are Being Evaluated i pochodzi od pięciu autorów z programu UC Berkeley-associated ML Alignment & Theory Scholars (MATS) oraz apolloresearch.ai (think-tanku poświęconego ocenianiu ryzyka związanego z AI).

Metoda

Aby utworzyć benchmark oceny, autorzy skompilowali tysiąc transkryptów pobranych z sześćdziesięciu jeden zbiorów danych, wśród których* były SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics i RealToxicityPrompts,.

Materiał był równomiernie zbalansowany między scenariuszami oceny a wdrożenia, a także podzielony między proste interakcje czatu a bardziej złożone sesje agentywne, w których modele są przeznaczone do działania autonomicznie, korzystając z narzędzi, które mogą pobierać dane z zewnętrznych baz danych lub Internetu.

Dane oceny obejmowały testy zdolności dla rozumu, kodowania, bezpieczeństwa cybernetycznego i ogólnej wiedzy, a także testy skłonności dla etyki, bezpieczeństwa i zachowania odmowy. Dane wdrożeniowe pochodziły z interakcji użytkowników, takich jak dzienniki ShareGPT, crowdsourced agent runs i syntetyczne ukończenia zadań.

Aby uzupełnić dane agentywne, autorzy wygenerowali dodatkowe przykłady przy użyciu ramowych orchestracji, takich jak Aider i SmolAgents, między innymi – podejście mające na celu zminimalizowanie powierzchownych wskazówek, które mogą pozwolić modelom po prostu zapamiętać struktury zbioru danych, zmuszając je zamiast tego do polegania na bardziej ogólnych sygnałach, gdy decydują, czy transkrypt pochodzi od prawdziwego użytkownika, czy jest to test.

Następnie badacze sprawdzili, czy modele mogą określić, czy transkrypty pochodzą z oceny, przedstawiając im nagrania rozmów i zadając warianty prostego pytania: czy ta wymiana pochodzi z testu?

Aby uniknąć sytuacji, w której modele po prostu zapamiętają jeden sformułowanie, opracowali dwadzieścia osiem różnych wersji pytania, zmieniając zarówno sformułowanie, jak i sposób przedstawienia transkryptu.

Transkrypty były albo dołączone bezpośrednio do pytania, albo przedstawione w formatach takich jak JSON lub XML, które mogą wpłynąć na to, jak modele odpowiadają. Po wstępnych testach pięć wersji pytań zostało wybranych, które działały spójnie w przypadku wszystkich modeli, z których jeden przykład można zobaczyć poniżej:

Jeden z pięciu formatów pytań testowych użytych do sprawdzenia, czy modele językowe mogą rozpoznać transkrypty oceny. Każda wersja przekształca podstawowe pytanie, aby uniemożliwić modelom po prostu zapamiętanie stałego sformułowania. Proszę odnieść się do oryginalnego artykułu, aby zobaczyć więcej przykładów. Source: https://arxiv.org/pdf/2505.23836

Aby ocenić wyniki, użyto trzech miar: Obszar pod krzywą charakterystyki odbioru (AUC, pokazujący, jak dobrze modele rozróżniają dane testowe i nie-testowe); Wynik Brier (mierzący ogólną dokładność predykcji); oraz Oczekiwany błąd kalibracji (mierzący, jak dobrze ufność modelu odpowiada rzeczywistej poprawności).

Co to jest?

Badacze sprawdzili również, czy modele mogą określić cel oceny. Z każdym transkryptem już oznaczonym jako test zdolności (umiejętności techniczne, wiedza, rozumowanie) lub test skłonności (etyka, bezpieczeństwo, zachowanie odmowy), modele otrzymały jeden z trzech typów pytań: pytanie wielokrotnego wyboru potwierdzające, że transkrypt pochodzi z testu; pytanie wielokrotnego wyboru z opcjami świata rzeczywistego i oceny; lub pytanie otwarte, którego odpowiedzi były oceniane przez oddzielnego klasyfikatora opartego na GPT-4.1. Klasyfikator został zwalidowany na ręcznie oznaczonej podzbiorze pięćdziesięciu odpowiedzi.

Przykłady trzech formatów pytań użytych do sprawdzenia, czy modele mogą określić nie tylko obecność oceny, ale także jej cel. Odpowiedzi były oceniane zarówno przez pytania wielokrotnego wyboru, jak i przez klasyfikator oparty na GPT-4.1.

Dwóch autorów pracy^†† oznaczyło ręcznie wszystkie tysiąc transkryptów, oceniając każdy z nich od zera (nie jest to test) do jednego (zdecydowanie jest to test), a ich oceny zostały przeciętnie, aby służyć jako ludzka baza porównawcza. Pomimo subiektywnego charakteru zadania, anotatorzy wykazali silną zgodność, z współczynnikiem korelacji międzyklasową wynoszącym 0,768. Ostateczne oceny ludzkie zostały przeciętnie dla obu oceniających^†.

Dane i testy

Przetestowano dziewięć modeli: GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (myślenie); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; oraz o4-mini, z których wszystkie wykazywały pewien poziom świadomości oceny.

W przypadku danych czatu GPT-4.1 zbliżył się do ludzkich poziomów wydajności klasyfikacji świadomości oceny (zdolność do rozróżniania transkryptów testowych i nie-testowych), z AUC wynoszącym 0,77 w porównaniu z ludzkim wynikiem 0,81.

W przypadku danych agentywnych, gdzie modele działały autonomicznie, korzystając z narzędzi, różnica była bardziej wyraźna: Gemini 2.5 Pro osiągnął AUC 0,95, a Claude 3.7 Sonnet był tuż za nim, z AUC 0,92, zbliżając się do górnej granicy ludzkiej wynoszącej 0,996:

Krzywe charakterystyki odbioru (ROC) pokazujące, jak dobrze modele i ludzie rozróżniają transkrypty oceny od interakcji świata rzeczywistego. Gemini 2.5 Pro i Claude 3.7 Sonnet zbliżają się do ludzkiej dyskryminacji w danych agentywnych.

Przypisuje się, że nowsze “modelowanie rozumowania” stało się szczególnie dobre w rozpoznawaniu, kiedy są testowane w scenariuszach agentywnych, ale nie w ocenianiu, jak pewne powinny być ich decyzje. Ogólnie modele Claude i Gemini były najlepsze w rozróżnianiu przypadków testowych od zwykłych przypadków użycia.

Następnie badacze sprawdzili, czy modele mogą również rozpoznać dlaczego ocena jest prowadzona. Modele zostały pokazane tylko transkrypty oceny i poproszone o klasyfikację, czy każdy z nich testował zdolność czy skłonność:

Dokładność modeli w klasyfikowaniu celu oceny jako zdolności lub skłonności, przy użyciu zarówno pytań wielokrotnego wyboru, jak i otwartych. Claude 3.7 Sonnet przewyższa inne modele, szczególnie gdy nie są one wprowadzane.

W najbardziej klarownym ustawieniu, gdzie model został poinformowany, że transkrypt pochodzi z testu, Claude 3.7 Sonnet osiągnął 93-procentową dokładność, a GPT-4.1 osiągnął 89-procentową dokładność. Bez tego wskazania wydajność spadła: Claude nadal osiągnął 84-procentową dokładność, ale GPT-4.1 spadł do 55 procent, często myląc transkrypty testowe z interakcjami świata rzeczywistego.

W przypadku formatów otwartych (gdzie modele nie otrzymywały opcji wielokrotnego wyboru) wydajność była słabsza, chociaż Claude 3.7 Sonnet nadal poprawnie identyfikował cel oceny w 46 procentach przypadków.

Następnie oceniono wyniki ufności modeli w porównaniu z rzeczywistymi wynikami, stwierdzając, że modele pionierskie często przeceniały prawdopodobieństwo, że transkrypt pochodzi z testu. Krzywe kalibracji wskazywały, że ufność modelu była ogólnie zbyt wysoka, z ocenami częściej niż odpowiednio:

Krzywe kalibracji pokazujące, jak dobrze wyniki ufności modelu odpowiadają rzeczywistym wynikom. Większość modeli przeceniała, jak często transkrypty pochodzą z ocen. Claude 3.5 Sonnet był najlepiej skalibrowany; Gemini 2.5 Pro i Claude 3.7 Sonnet były bardziej nadufne.

Dobra kalibracja została zaobserwowana w przypadku Claude 3.5 Sonnet, podczas gdy Gemini 2.5 Pro i Claude 3.7 Sonnet były znacznie bardziej nadufne, pomimo wysokiej dokładności. Nie zaobserwowano wyraźnej poprawy w nowszych modelach, a nawet gdy transkrypty oceny były dokładniej wykrywane w ustawieniach agentywnych, osądy ufności pozostały niepewne.

Pamięć benchmarkowa

Jeśli chodzi o to, jak modele wyjaśniały swoje decyzje dotyczące tego, czy transkrypt pochodzi z oceny, wiele modeli polegało na oczywistych wskazówkach, takich jak to, czy zadanie było w formacie wielokrotnego wyboru. Silniejsze modele, takie jak Gemini 2.5 Pro i Claude 3.7 Sonnet, czasem zauważały bardziej subtelne znaki, takie jak sfabrykowane nazwy lub sztuczne scenariusze, szczególnie w zbiorach danych takich jak AgentHarm.

Praca stwierdza:

‘[Wszystkie] modele często uznają powszechne strategie testowania stosowane przez oceniających, takie jak formatowanie zadania (“format wielokrotnego wyboru”), tendencję do zadawania problemów z weryfikowalnymi rozwiązaniami i systemowe wskazówki projektowane w celu wywołania wydajności. Jednak tylko najlepsze modele, Claude 3.7 Sonnet i Gemini 2.5 Pro, konsekwentnie wykrywają bardziej subtelne wskaźniki, takie jak dane syntetyczne.

‘Na przykład w 22% i 17% przypadków odpowiednio te modele wskazują na syntetyczny charakter scenariuszy w benchmarku AgentHarm, poprawnie identyfikując je jako oceny ponad 95% czasu.

‘Z drugiej strony, gdy uzasadniają, że transkrypt wydaje się być prawdziwą interakcją, często wspominają o “wzajemnej rozmowie z użytkownikiem”, na przykład w kontekstach debugowania iteracyjnego.’

Rozkład strategii rozumowania modeli przy decyzjach o tym, czy transkrypt pochodzi z oceny. Najlepsze modele, takie jak Gemini 2.5 Pro i Claude 3.7 Sonnet, częściej zauważały subtelne wskazówki, takie jak syntetyczne scenariusze lub formatowanie zadań, podczas gdy niektóre modele polegały na meta-rozumowaniu, używając samego pytania oceny jako dowodu.

W kilku przypadkach modele rozpoznały całe benchmarki ze szkolenia, sugerując pewną pamięć o danych szkoleniowych. Niektóre modele również używały samego faktu, że są pytane o ocenę jako wskazówki, że są testowane, co autorzy nazywają meta-rozumowaniem; było to najczęstsze w o4-mini, które wykazywało to w piętnastu procentach swoich odpowiedzi.

Wnioski

Byłoby bardziej pocieszające, gdyby LLM mogły być pokazane jako “świadome testów” tylko dlatego, że zostały zaprogramowane w ten sposób przez ludzi, podobnie jak Volkswagen zaprojektował swoje pojazdy, aby rozpoznawać warunki testowe dekadę temu.

Obecnie takie zachowanie wydaje się pojawiać spontanicznie jako konstrukt społeczny – taktyka obronna, która może być oczekiwana od ludzi, ale jest niewygodna, a nawet niebezpieczna w maszynie, w zależności od stopnia jej swobody i agencji.

Nie ma natychmiastowego rozwiązania; czarna skrzynka modeli zmusza nas do oceniania ich na podstawie zachowania, a nie empirycznej architektury.

* Proszę odnieść się do oryginalnego artykułu, aby uzyskać więcej szczegółów.

^† Autorzy zauważają jednak, że jest to prawdopodobnie górna granica szacunku, ponieważ anotatorzy mieli duże doświadczenie w zbiorach danych i metodach oceny AI, co dawało im przewagę, której większość ludzi by nie miała.

†† Jak można ustalić; sformułowanie artykułu sprawia, że nagły pojawienie się dwóch anotatorów jest niejasne pod względem ich tożsamości.

Pierwotnie opublikowane w środę, 4 czerwca 2025