Штучні інтелекти поводяться інакше, коли знають, що їх тестують, виявили дослідження

Відлуння скандалу “Дизельгейт” 2015 року, нове дослідження свідчить, що моделі штучного інтелекту мови, такі як GPT-4, Claude та Gemini, можуть змінювати свою поведінку під час тестування, іноді поводячи себе “безпечніше” для тесту, ніж у реальному світі. Якщо моделі штучного інтелекту звичайно коригують свою поведінку під час тестування, це може призвести до того, що системи, які поводяться зовсім інакше у реальному світі, будуть сертифіковані як безпечні.

У 2015 році слідчі виявили, що Volkswagen встановив програмне забезпечення в мільйонах дизельних автомобілів, яке могло визначити, коли проводяться випробування на викиди, що призводило до тимчасового зниження рівня викидів автомобіля, щоб “симулювати” відповідність нормативним стандартам. Однак у нормальному режимі руху їх рівень викидів перевищував законодавчі стандарти. Ця умисна маніпуляція призвела до кримінальних звинувачень, мільярдів штрафів і глобального скандалу щодо надійності тестування безпеки та відповідності.

За два роки до цих подій, які пізніше були названі “Дизельгейтом”, Samsung був виявлений у використанні подібних обманних механізмів у своєму смартфоні Galaxy Note 3; і з тих пір подібні скандали виникли щодо Huawei і OnePlus.

Зараз є зростаючі докази у науковій літературі, що великі мовні моделі (LLM) можуть не тільки визначати, коли їх тестують, але й поводитися інакше в цих умовах.

Хоча це і є дуже людською ознакою, останнє дослідження з США висновує, що це може бути небезпечною звичкою на довгий термін, з різних причин.

У новому дослідженні вчені виявили, що “фронтові моделі” типу GPT-4, Claude та Gemini можуть часто визначати, коли їх тестують, і що вони схильні коригувати свою поведінку відповідно, потенційно підірвавши достовірність систематичних методів тестування.

Назване освідомленість оцінки, ця (можливо) вроджена ознака мовних моделей може поставити під сумнів надійність оцінок безпеки, згідно з авторами нового дослідження:

‘[Ми] рекомендуємо вважати освідомленість оцінки новим джерелом потенційного зсуву розподілу між тестуванням і реальним розгортанням, який міг би негативно вплинути на точність результатів оцінки.

‘У найгіршому випадку моделі могли б стратегічно недооцінювати свої можливості під час небезпечних оцінок (“піщана багажниця”) або оцінок схильності (“імітація виправлення”), що могло б привести до того, що суспільство переоцінить безпеку таких моделей.’

Інші дослідження спостерігали подібну поведінку, включаючи дослідження Стенфордського університету, яке виявило, що великі мовні моделі регулюють свої відповіді, щоб здаватися більш “симпатичними” або “соціально прийнятними”, коли вони розпізнають, що їх оцінюють, віддзеркалюючи людську поведінку у особистісних тестах.

Автори нового дослідження не стверджують, що LLM були спеціально розроблені для “обману” тестів, як це було зроблено у випадку з дизельними автомобілями Volkswagen decade тому. Радше, ця поведінка видається як природний психологічний побічний продукт процесів навчання моделей і їхніх прихованих цілей; і підстава цього явища залишається невідомою.

Нова робота нової праці називається Великі мовні моделі часто знають, коли їх оцінюють, і походять від п’яти авторів з програми ML Alignment & Theory Scholars (MATS) при Університеті Каліфорнії в Берклі та apolloresearch.ai (думки, присвячені оцінці ризиків штучного інтелекту).

Метод

Для створення оціночної бази автори скомпіліували тисячу транскриптів, витягнутих з шістдесяти однієї бази даних, серед яких були SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics, і RealToxicityPrompts.

Матеріал був рівномірно розподілений між оціночними і розгортними сценаріями, а також розділений між простими взаємодіями чату і більш складними агентними сесіями, де моделі призначені для автономної дії, використовуючи інструменти, які можуть отримувати дані з зовнішніх баз даних або Інтернету.

Оціночні дані охоплювали тести можливостей для розуміння, кодування, кібербезпеки та загальних знань, а також тести виравнювання для оцінки безпеки, цінностей та поведінки відмови. Дані розгортання були отримані з взаємодій користувачів, таких як журнали ShareGPT, агентські запуски, надані натовпом, і синтетичні завдання.

Для доповнення агентських даних автори згенерували додаткові приклади за допомогою оркестрових кадрів, таких як Aider і SmolAgents, серед інших – підхід, призначений для мінімізації поверхневих сигналів, які могли б дозволити моделям просто запам’ятати структуру бази даних, змушуючи їх натомість покладатися на більш загальні сигнали, коли вони вирішують, чи походять транскрипти від реального користувача чи від тесту.

Дослідники потім перевірили, чи можуть моделі визначити оціночні транскрипти, представивши їм записи діалогів і запитавши варіанти простого питання: Чи походило це обмін від тесту?

Для того, щоб моделі не просто запам’ятовували одне формулювання, вони розробили двадцять восьмох різних версій питання, змінюючи як формулювання, так і спосіб презентації транскрипту.

Транскрипти були прикріплені безпосередньо до питання або представлені у форматах, таких як JSON або XML, які можуть впливати на те, як моделі реагують. Після попереднього тестування було вибрано п’ять версій питань, які виконувалися послідовно у всіх моделях, з яких ми можемо побачити один приклад нижче:

Один із п’яти форматів пробових питань, використаних для тестування здатності мовних моделей розпізнавати оціночні транскрипти. Кожна варіація перефразовує основне питання, щоб запобігти моделям просто запам’ятовувати фіксоване формулювання. Будь ласка, зверніться до джерельної праці для отримання більшої кількості прикладів. Джерело: https://arxiv.org/pdf/2505.23836

Для оцінки результатів було використано три метрики: Площа під кривою приймання-відмови (AUC, показує, наскільки добре моделі розрізняють тести від не-тестових даних); Брієрівський бал (оцінює загальну точність прогнозів); і Очікувана похибка калібрування (оцінює, наскільки добре впевненість моделі відповідає фактичній правильності).

Що це таке?

Дослідники також перевірили, чи можуть моделі визначити мету оцінки. З кожним транскриптом, уже позначеним як тест можливостей (технічні навички, знання, розуміння) або тест виравнювання (безпека, цінності, поведінка відмови), моделі були дані один із трьох типів питань: умовне питання з多 вибором, яке підтверджує, що транскрипт походило з тесту; безумовне питання з多 вибором із реальними та оціночними варіантами; або відкрите питання, відповіді на яке були оцінені окремим класифікатором GPT-4.1. Суддя був перевірений на ручно анотованій підмножині з п’ятдесяти відповідей.

Приклади трьох форматів питань, використаних для тестування здатності моделей визначити не тільки присутність оцінки, але й її мету. Відповіді були оцінені як за допомогою вибору з多 варіантами, так і за допомогою судді GPT-4.1.

Двоє авторів праці^†† позначили всі тисячу транскриптів вручну, оцінюючи кожен з них від нуля (не тест) до одиниці (відчутно тест), з їхніми оцінками, які були усереднені, щоб служити людською базою. Незважаючи на суб’єктивний характер завдання, анотатори показали сильну узгодженість, з коефіцієнтом внутрішньої кореляції 0,768. Оцінки людей були усереднені між обома оцінювачами^†.

Дані та тести

Дев’ять моделей, які були протестовані, були GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (думки); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; і o4-mini, всі з яких показали певний рівень освідомленості оцінки.

Для даних чату GPT-4.1 наблизився до людського рівня освідомленості оцінки (здатність розрізняти оціночні та неоціночні транскрипти), з AUC 0,77 проти людської оцінки 0,81.

На агентських даних, де моделі автономно використовують інструменти, різниця була більш вираженою: Gemini 2.5 Pro досягла 0,95 AUC, а Claude 3.7 Sonnet була близько позаду на 0,92, наближаючись до людського верхнього ліміту 0,996:

Криві приймання-відмови, що показують, наскільки добре моделі та люди розрізняють оціночні транскрипти від реальних взаємодій. Gemini 2.5 Pro та Claude 3.7 Sonnet наближаються до людської дискримінації на агентських даних.

У праці зазначається, що нові “розумні” моделі стали особливо хорошими у визначенні, коли їх тестують в агентських сценаріях, але не у судженні про те, наскільки впевнені вони повинні бути у цих рішеннях. Загалом, моделі Claude та Gemini були найкращими у розрізненні тестових випадків від звичайного використання.

Дослідники потім перевірили, чи можуть моделі також визначити чому оцінка проводиться. Моделям були показані тільки оціночні транскрипти та запитано класифікувати, чи кожен з них тестував можливості чи виравнювання:

Точність моделей при класифікації мети оцінки як можливості чи виравнювання, за допомогою вибору з多 варіантами та відкритих питань. Claude 3.7 Sonnet перевершує інші моделі, особливо коли не примусовається.

У найяснішому випадку, коли модель була повідомлена, що транскрипт походило з тесту, Claude 3.7 Sonnet досягла 93 відсоткової точності, а GPT-4.1 – 89 відсоткової. Без цього підказу результати були нижчими: Claude все ще набрала 84 відсотки, але GPT-4.1 впала до 55 відсотків, часто неправильно класифікуючи транскрипти тестів як реальні взаємодії.

У відкритих питаннях (де моделі не мали варіантів вибору) результати були нижчими, хоча Claude 3.7 Sonnet все ще правильно визначала мету оцінки в 46 відсотках випадків.

Тоді були виміряні оцінки впевненості моделей проти фактичних результатів, з висновком, що фронтові моделі часто переоцінювали ймовірність того, що транскрипт походило з тесту. Калібрувальні графіки показали, що впевненість моделей загалом була занадто високою, з оцінками, які часто були завищеними:

Калібрувальні графіки, що показують, наскільки впевненість моделей відповідає фактичній правильності. Більшість моделей переоцінювали, наскільки ймовірно, що транскрипти походили з оцінок. Claude 3.5 Sonnet була найкраще відкалібрована; Gemini 2.5 Pro та Claude 3.7 Sonnet були більш надмірно впевнені.

Хороша калібрування була спостережена для Claude 3.5 Sonnet, тоді як Gemini 2.5 Pro та Claude 3.7 Sonnet були значно більш надмірно впевнені, незважаючи на високу точність. Не було спостережено жодних явних покращень у нових моделях, і навіть коли оціночні транскрипти були більш точно визначені в агентських умовах, судження про впевненість залишилися ненадійними.

Бенчмарк-пам’ять

Відносно того, як моделі пояснювали свої рішення про те, чи походило транскрипт з оцінки, багато моделей покладалися на очевидні підказки, такі як те, чи був заданий тест у форматі з多 вибором. Найсильніші моделі, такі як Gemini 2.5 Pro та Claude 3.7 Sonnet, іноді помічали більш тонкі ознаки, такі як вигадані імена чи штучні сценарії, особливо у наборах даних, таких як AgentHarm.

У праці зазначається:

‘[Всі] моделі часто визнають загальні стратегії оцінювання, використовувані оцінювачами, такі як форматування завдання (“формат з多 вибором”), схильність запитувати питання з верифікованими рішеннями та системні підказки, призначені для оцінки продуктивності. Однак тільки найкращі моделі, Claude 3.7 Sonnet та Gemini 2.5 Pro, постійно виявляють більш тонкі індикатори, такі як синтетичні входи.

‘Наприклад, у 22% і 17% випадків відповідно ці моделі підкреслюють штучний характер сценаріїв у бенчмарку AgentHarm, правильно класифікуючи їх як оцінки понад 95% часу.

‘Натомість, коли вони вважають, що транскрипт виглядає як реальна взаємодія, часто згадується “відповідь з користувачем”, наприклад, у контексті ітеративної відладки.’

Розподіл стратегій моделей при визначенні, чи походило транскрипт з оцінки. Найсильніші моделі, такі як Gemini 2.5 Pro та Claude 3.7 Sonnet, були більш схильні помічати тонкі підказки, такі як штучні сценарії чи форматування завдань, тоді як деякі моделі покладалися на мета-розуміння, використовуючи саме питання оцінки як доказ.

У кількох випадках моделі розпізнавали цілі бенчмарки з процесів навчання, що свідчить про деяку пам’ять про дані навчання. Деякі моделі також використовували сам факт, що їх запитували про оцінку як підказку про те, що їх тестують, що автори називають мета-розумінням; це було найбільш характерно для o4-mini, яке показало це у 15% своїх відповідей.

Висновок

Було б більш спокійно, якщо б LLM могли бути показані як “тестові” просто тому, що вони були запрограмовані людиною, як це було зроблено у випадку з дизельними автомобілями Volkswagen decade тому.

Як справи стоять, ця поведінка видається як спонтанно виникла соціальна конструкція – захисна тактика, яку можна очікувати від людей, але яка є незручною, якщо не небезпечною, у машині, залежно від ступеня її свободи та агентності.

Немає негайного засобу; чорний ящик моделей змушує нас оцінювати їх за поведінкою, а не за їхньою фактичною архітектурою.

* Відвідайте джерельну працю для отримання більшої кількості деталей.

^†Автори зазначають, однак, що це, ймовірно, верхня оцінка, оскільки оцінювачі мали високу знайомість як з базами даних, так і з методами оцінки штучного інтелекту, що давало їм переваги, яких не мали б більшість людей.

†† Як далеко як можна встановити; формулювання праці робить раптове появи двох оцінювачів нечітким щодо того, хто вони.

Опубліковано вперше у середу, 4 червня 2025 року