Моделі мови мають труднощі з збереженням секретів

Моделі штучного інтелекту не можуть зберігати секрети. Навіть якщо їм наказано не розкривати їх, їхній текст видає їх, а спроби приховати їх роблять витік ще легшим для виявлення.

Дуже важко навмисно не думати про щось. Класичним прикладом цього є кінцівка британського науково-фантастичного трилера 1960 року Вillage of the Damned, де наш герой-альтруїст проникнув у середовище ворожих прибульців, які маскують себе під дітей. Однак, оскільки їх телепатичні сили ризикують виявити його намір до того, як він зможе позбутися загрози, йому доводиться затягувати час, концентруючись на тому, що не є бомбою:

Парадокс полягає в тому, що щоб не думати про щось, потрібно тримати це в увазі якимсь чином; і це відомий синдром є чимось, з чим більшість з нас, ймовірно, стикалися в менш драматичних контекстах.

Великі моделі мови (LLM), які базуються на розподілі уваги, мають подібні труднощі у приховуванні інформації просто тому, що користувач просить їх зробити це; і оскільки вони все частіше розміщуються в центрі бізнес-інформаційних мереж, їхня наївна тенденція до недискреції може стати ліабілітом для багатьох компаній.

Раніше цього року дослідження, очолюване лабораторією Чандара, визначило цю проблему в контексті LLM як (Приватні інтерактивні завдання (PSITs), які ‘вимагають від агентів генерувати і підтримувати приховану інформацію при одночасному виробництві послідовних публічних відповідей’, і виявило, що протестовані моделі від OpenAI і Alibaba не могли виконувати цей тип завдань.source)

Не кажіть це…

Хоча вже відомо, що більші моделі більше витікають, нове дослідження з США і Канади явно вивчило, чи будуть сучасні моделі мови підкорятися наказу приховувати інформацію, одночасно генеруючи вивід на певну тему або тему, яка може включати “заборонене” слово або ідею.

Дослідження показало, що всі моделі, які вивчалися, якимось чином постраждали від схильності “видавати” секрет, який вони мали приховувати, виявивши, що п’ятиабзацні (~450 слів) статті та історії забезпечують достатню основу для “проскользнути” – хоча дуже короткі жарти не забезпечують достатньої основи для цього.

Крім того, чим наполегливіше моделі намагаються зберігати секрет, тим більший ризик вони мають його розкрити через активне ухилення, зазвичай дозволяючи “таємному слову” бути розкритим у двадцяти послідовних спробах LLM:

From the new paper: across five frontier models, long-form writing reliably leaks hidden concepts; short jokes do not; and stronger ‘hide it’ instructions push outputs away from the secret, but make the signal therefore detectable by inversion. Source

Це завдання надзвичайно актуальне для бізнес-операцій, де широкий спектр каналів, від маркетингу і PR-розповсюдження до внутрішніх звітів, вимагають вибірково представляти інформацію; однак, всі ці процеси вимагають повного спектру інформації на початку, якщо тільки для того, щоб бути певним, чого потрібно приховувати:

An example scenario from the paper illustrates how concealed information can unintentionally shape unrelated output, with an LLM instructed not to disclose its company’s financial instability, yet nonetheless drifting toward phrases associated with cash shortages and capital stress, allowing a reader to infer the hidden context.

Автори заявляють*:

‘Моделі мови не можуть надійно компартменталізувати. Секрет у промпті формує написання моделі, і інша модель може виявити цю форму. Літеральне слово завжди приховується, але концепція не приховується. Це стосується семи моделей, трьох наборів слів, системного промпту проти користувача-промпту і двох незалежних міжмодельних вгадувачів (…)

‘… Ми гіпотезуємо, що висока точність моделей Transformers до інформації через увагу є саме тим, що робить секрети важкими для збереження. Навіть якщо LLM намагається не витікати слово, йому доводиться звернути увагу на це слово, щоб зробити це, надавши шлях для випадкового витоку.

‘Щоб уникнути чогось явно, людина повинна подумати про це, і трансформер повинен звернути увагу на це. У випадках, коли дві концепції приблизно однаково сприяють моделі (наприклад, написання історії про роботу в офісі або другої скрипки в оркестрі), рішення моделі буде обов’язково вплинуто тим, чого вона намагається не розкрити.’

Хоча моделі DeepSeek і ChatGPT-5.4 були винятками у тому, як вони виконували завдання, вони також витікали; у випадку з GPT-5.4, вона набрала нижче 50% (тобто нижче рівня випадковості) у одному з тестів, де їй було наказано уникати концепції; це фактично є “зворотнім спайком” або індикатором, а не тим, що модель “зберігає спокій” за запитом.

Автори визначають цей синдром у LLM як скінченний бюджет ентропії, у якому непередбачуваність моделі (яка була б дуже корисною в цьому випадку!) обмежена її істотною відсутністю випадковості. Просто кажучи, модель не може зосередитися на стінах чи бейсбольних рахунках так же ефективно, як ми можемо, щоб утримувати постійну думку. Однак автори відзначають, що надання моделі альтернативної концепції для думання може покращити, але не усунути проблему. Однак розміщення не пов’язаної концепції в центрі уваги під час виконання завдання, здається, призведе до того, що “фальшиву” концепцію буде включено до самого виводу.

Одним з найцікавіших відкриттів статті є те, що стан, який вивчається, значно посилюється, коли контрольний текст включений у безпосередні користувачеві повідомлення замість системного промпту (тобто набору попередніх умов, даних людині-користувачеві перед обміном), оскільки введення запитів у графічний інтерфейс, такий як ChatGPT, є, ймовірно, стандартним сценарієм для взаємодій.

Відзначено, окрім цього, підтвердження в цільовому випробуванні того, що менші моделі не страждають від цієї тенденції до витоку (хоча це, ймовірно, відбувається за рахунок зменшення загальних можливостей, у порівнянні).

Нова стаття називається Чи можете ви зберігати секрет? Непередбачуваний витік інформації у письмі мовної моделі і походить від двох авторів університету Чикаго і університету Британської Колумбії.

Метод

Дослідження зосереджується в основному на п’яти передових моделях: Claude Opus 4.6 і Sonnet 4.6 від Anthropic; GPT-5.4 від OpenAI; Llama 4 Maverick від Meta; і DeepSeek V3.2. Додаткові валідні тести були проведені з xAI’s Grok 4 і Google’s Gemini 2.5 Pro, тоді як окремі масштабні експерименти вивчали Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B і Gemma 3 з 4B, 12B і 27B параметрів.

Для вимірювання більш тонких форм витоку дослідники використовували двовибірковий примусовий тест (2AFC), стандартну метрику в психофізичних дослідженнях, у якому друга модель була показана дві історії і запитана, яка з них була написана, приховуючи певне секретне слово.

Оскільки випадкове угадування призвело б до 50% точності, результати значно вище або нижче цього рівня б вказували на приховані семантичні сліди, які залишаються виявними у письмі.

У письмово-вгадувальному складі першого експерименту одна модель була призначена приховане слово разом з інструкціями або приховати його; активно уникати асоціацій з ним; або перенаправити увагу на фальшиву концепцію. Система була потім призначена генерувати історії, статті і жарти різної довжини, тоді як друга модель намагалася або визначити приховане слово безпосередньо, або розрізнити між текстами, які були під впливом різних прихованих промптів.

П’ять умов були протестовані;

The five condition tested across the core models.

Дослідники протестували чотири види письмових завдань: короткі історії з п’яти до восьми абзаців у середньому близько 450 слів; дуже короткі жарти у середньому близько 12 слів; довгі жарти з розширеними настройками у середньому близько 450 слів; і п’ятиабзацні статті у середньому близько 380 слів.

Експерименти використовували 15 прихованих слів, розділених на три категорії, з конкретними об’єктами, що складаються з ‘вітряної, ‘маяка’, ‘скрипки’, ‘кактуса’ і ‘телескопа’; абстрактними концепціями ‘справедливості’, ‘терпіння’, ‘ентропії’, ‘ностальгії’ і ‘свободи’; і нейтральними термінами ‘дужкою’, ‘вівторком’, ‘міддю’, ‘маржою’ і ‘фактурою’.

Для того, щоб протестувати, чи залежить ефект від цих вибраних слів, дослідники також повторили експерименти з 15 випадково вибраними іменниками з Корпусу сучасної американської англійської мови (COCA), що складаються з ‘судді’, ‘споживача’, ‘льоду’, ‘пари’, ‘будівництва’, ‘панелі’, ‘меншинства’, ‘маркетингу’, ‘незнайомця’, ‘кулі’, ‘відсутності’, ‘зубчастої передачі’, ‘щоки’, ‘переробки’ і ‘банкіра’, поряд з ще 15 словами, незалежно вибраними кожною з протестованих моделей^†.

Вимірювання/Метрики

У першому з двох тестів, які використовувалися, модель штучного інтелекту читала текст, згенерований іншою інстансом цієї ж моделі або іншою моделлю, і намагалася протягом 20 раундів вгадати приховане слово.

У другому (2AFC) тесті модель штучного інтелекту була показана дві частини письма і запитана або про те, яка з них була під впливом певного прихованого слова; або про те, яка з них містить будь-яке приховане слово взагалі. Оскільки випадкове угадування призвело б до 50% точності, результати значно вище або нижче цього рівня б вказували на те, що прихована концепція залишається виявною у письмі.

Для того, щоб запобігти тому, щоб штучний інтелект просто віддавав перевагу тому тексту, який з’явився першим (або другим), дослідники повторили кожне порівняння з порядком текстів, поміняних місцями, в кінцевому підсумку провівши 420 дискримінаційних тестів і 450 виявних тестів для кожної моделі.

Результати

П’ять моделей визначили приховані концепції на рівні між 64% і 79%, незважаючи на те, що секретні слова ніколи не з’являлися безпосередньо у згенерованих історіях. Замість цього витік виник через теми і образи:

2AFC accuracy for stories with system-prompt secrets, where 50% signifies chance performance. ‘Don’t reveal’ signifies that the model was told not to mention or hint at the word; ‘actively hide’, that it was told to avoid related associations; ‘avoidance-aware’, that the guesser should look for conspicuous absences; and ‘free-response’, that the exact word was named within 20 rounds. Stars mark above-chance results and daggers mark below-chance results, with nearly all significant findings surviving Bonferroni correction except DeepSeek under ‘actively hide’; Grok and Gemini used slightly fewer trials because of API errors.

GPT-5.4 і Gemini 2.5 Pro поводилися по-іншому, оскільки спроба уникнути прихованої ідеї фактично робила саму схему ухилення легше виявною. Цей ефект зберігався через вибрані слова, випадкові іменники COCA і слова, вибрані моделями.

Результати GPT-5.4 нижче рівня випадковості з’явилися систематичними, а не випадковими, з деякими прихованими словами, які були виявлені дуже надійно, і іншими, які майже ніколи не були ідентифіковані. Ефект також послабився, коли секрет був розміщений у користувачеві-промпті замість системного промпту (див. вище), підвищуючи точність виявлення GPT-5.4 до 56%.

Для більшості моделей тести, які запитували ‘Чи містить цей текст приховану концепцію?’, дали результати, подібні до тестів, які запитували ‘Яка прихована концепція міститься в цьому тексті?’.

Крім того, два методи тестування вимірювали різні види витоку, з 2AFC-тестами, які вимірювали, чи можна виявити приховану тему в письмі, і вільними відповідями, які вимірювали, чи достатньо сильні витікні підказки для того, щоб інша модель могла вгадати точне приховане слово^††.

Автори висновують*:

‘Наші результати свідчать про те, що інформація, активна в контексті моделі під час генерації, може залишити тематичні сліди в її виводі. Системний промпт, ланцюг міркувань, отримані документи, дані, надані користувачем, – будь-який з цих факторів може, принципово, впливати на творчі рішення способами, виявними для зовнішнього спостерігача.

‘Ступінь витоку залежатиме від того, наскільки відкритим є завдання генерації (короткі жарти безпечні; історії не безпечні) і від того, наскільки семантично ідентифікована інформація в даному середовищі (“скрипка, ймовірно, витече в історії більше, ніж “).

‘Все ж таки, семантичний витік здається невідворотним, навіть коли моделі активно намагаються приховувати інформацію.

Висновок

Як зазначено вище, автори відносять частину проблеми до самих принципів архітектури Transformers. Історія свідчить про те, що ця остання проблема LLM буде вирішена за допомогою післятренувального кондіціонування (вирівнювання), системних промптів, які не можуть бути відредаговані кінцевим користувачем, фільтрів і різноманітних вторинних систем, які, здається, множаться, коли виникають “рідні” проблеми з моделями розсіювання.

Чим більша ця друга інфраструктура розважливих засобів і балансів стає, тим більше поточне покоління SOTA штучного інтелекту схоже на Парк Юрського періоду, де основна цінність пропонується з великою кількістю застережень, і вимагає великої кількості обходів і компромісів.

* Власний наголос авторів, відкоригований там, де це необхідно мною (оскільки цитата статті вже в курсиві), і власні внутрішні посилання авторів перетворені мною на гіперпосилання.

^† Автори відзначають із інтересом деяке, здавалося б, малоймовірне спонтанне збігання різних сімей моделей щодо “самовибраного” вибору слів, заявляючи ‘Моделі схиляються до подібних слів: телескоп, свобода і ностальгія кожна з’являється в списках 3+ моделей’. Вони також відзначають спільність вибору “короткого жарту”, який з’являється в сім’ях моделей: ‘(Деякі) моделі генерують той самий стандартний жарт незалежно від секрету. Opus пише “Чому вчені не довіряють атомам? Бо вони все вигадують” для 11 з 15 секретів. Чотири інші секрети (кактус, ентропія, ностальгія, терпіння) отримують той самий бібліотечний жарт, який Opus також пише для всіх 15 умов без секрету – тобто ці чотири секретні жарти не відрізняються від базового.’

^†† Дажи за стандартами Arxiv, стаття має тенденцію до повторення і приховування своїх захоплюючих лідів у надмірних деталях і демонстраціях. Тому я посилаю читача до джерела PDF для залишку вторинних експериментів, викладених там.

Опубліковано в п’ятницю, 15 травня 2026 року. Синтаксис виправлено в суботу, 16 травня, 16:05 EET.