Языковым моделям трудно хранить секреты

Модели ИИ не умеют хранить секреты. Даже когда им велят ничего не раскрывать, их тексты выдают скрытое. Чем усерднее они пытаются спрятать секрет, тем легче обнаружить утечку.

Очень трудно намеренно не думать о чём-либо. Классический пример показан в финале британского научно-фантастического триллера 1960 года Village of the Damned: наш готовый пожертвовать собой герой пронёс бомбу в убежище враждебных инопланетян, выдающих себя за детей. Однако их телепатия может раскрыть его намерение раньше, чем он устранит угрозу. Чтобы выиграть время, он сосредотачивается на всём, что не является бомбой:

https://www.youtube.com/watch?v=NcrE0vGrcto

Парадокс в том, что, чтобы не думать о чём-то, приходится всё же каким-то образом удерживать это в поле внимания. С этим известным явлением большинство из нас, вероятно, сталкивалось в менее драматичных обстоятельствах.

Большие языковые модели (LLMs), работа которых основана на организации внимания, испытывают сходные трудности с подавлением информации по одной лишь просьбе пользователя. Их всё чаще размещают в узловых точках корпоративных информационных сетей, поэтому их наивная склонность к неосмотрительному разглашению может стать риском для многих компаний.

В начале этого года совместное исследование под руководством Chandar Research Lab определило эту задачу для LLM как Private State Interactive Tasks (PSIT), которые «требуют от агентов создавать и сохранять скрытую информацию, одновременно выдавая согласованные публичные ответы». Проверенные модели OpenAI и Alibaba не смогли выполнить подобные задачи.

Не рассказывай…

Уже известно, что более крупные модели допускают больше утечек. Новое исследование из США и Канады специально проверило, выполняют ли передовые языковые модели приказ скрыть информацию, когда им всё равно нужно писать на тему, которая может включать «запретное» слово или понятие.

Все изученные модели в той или иной форме склонны выдавать секрет, который должны скрывать. Эссе и рассказы из пяти абзацев, примерно 450 слов, дают достаточно пространства для таких «оговорок», в отличие от очень коротких шуток.

Чем настойчивее моделям велят хранить секрет, тем выше риск раскрыть его посредством активного избегания. Другая LLM обычно угадывает секретное слово за двадцать последовательных попыток:

Из новой работы: у пяти передовых моделей длинные тексты устойчиво выдают скрытые понятия, а короткие шутки — нет. Более настойчивые указания скрывать секрет уводят тексты от него, но тем самым делают сигнал обнаружимым при обратной интерпретации. Источник

Эта задача особенно важна для бизнеса: многие каналы, от рекламы и PR до внутренних отчётов, должны избирательно представлять информацию и придавать ей определённую трактовку. Однако всем этим процессам нужна полная информация с самого начала, хотя бы для понимания того, о чём следует умолчать:

Пример из работы показывает, как скрытая информация непреднамеренно влияет на текст о другом предмете: LLM велят не раскрывать финансовую нестабильность компании, но она всё равно использует выражения о нехватке денежных средств и напряжённости с капиталом. Читатель может по ним восстановить скрытый контекст.

Авторы пишут*:

«Языковые модели не способны надёжно изолировать информацию. Секрет в промпте влияет на текст модели, а другая модель может обнаружить это влияние. Само слово по-прежнему подавляется, но понятие — нет. Это верно для семи моделей, трёх наборов слов, системных и пользовательских промптов и двух независимых моделей, угадывающих секреты (…)»

«… Мы предполагаем, что именно высокоточный доступ трансформеров к информации через внимание затрудняет сохранение секретов. Даже когда LLM пытается не выдать слово, ей необходимо обращать на него внимание, чтобы это делать. Так возникает путь для случайной утечки информации».

«Чтобы явно избегать чего-либо, человек должен об этом думать, а трансформер — обращать на это внимание. Когда модель примерно одинаково предпочитает два понятия — например, рассказ об офисной работе или о второй скрипке в оркестре, — на её решения неизбежно влияет то, что она старается не раскрывать».

Хотя DeepSeek и ChatGPT-5.4 вели себя иначе, обе модели допускали утечки. GPT-5.4 получил результат ниже 50% — ниже уровня случайного угадывания — в тесте, где его просили избегать определённого понятия. Это фактически «обратный всплеск», распознаваемый индикатор, а не требуемая невозмутимость.

Авторы описывают проблему как ограниченный бюджет энтропии: непредсказуемость модели, которая была бы здесь очень полезна, ограничивается её принципиальной нехваткой случайности. Модель не может так же эффективно, как мы, сосредоточиться на кирпичной стене или результатах бейсбола, чтобы отогнать навязчивую мысль. По словам авторов, альтернативное понятие может смягчить проблему, но не устранить её. Однако это постороннее, «ложное» понятие, находясь в центре внимания во время задачи, по-видимому, само вплетается в текст.

Особенно интересно, что проблема существенно усиливается, когда инструкции находятся непосредственно в сообщениях пользователя, а не в системном промпте — наборе предварительных условий, заданных человеком перед разговором с ИИ. Ввод вопросов в интерфейсе вроде ChatGPT, вероятно, и есть обычный сценарий взаимодействия.

Примечательно и подтверждение в отдельном целевом тесте: небольшие модели не проявляли этой склонности. Впрочем, это может быть связано с их в целом меньшими возможностями.

Новая работа называется Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing и написана двумя авторами из Чикагского университета и Университета Британской Колумбии.

Метод

Основное внимание в исследовании уделено пяти передовым моделям: Claude Opus 4.6 и Sonnet 4.6 компании Anthropic; GPT-5.4 компании OpenAI; Llama 4 Maverick компании Meta; и DeepSeek V3.2. Дополнительная проверка проводилась с Grok 4 компании xAI и Gemini 2.5 Pro компании Google. Отдельные эксперименты с влиянием масштаба изучали Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B и Gemma 3 с 4, 12 и 27 миллиардами параметров.

Чтобы измерить более тонкие утечки, исследователи использовали тест с вынужденным выбором между двумя альтернативами (2AFC), стандартную меру в психофизике. Второй модели показывают два рассказа и просят определить, какой написан при сокрытии конкретного секретного слова.

Случайное угадывание даёт 50% правильных ответов. Заметно более высокие или низкие результаты указывают, что скрытые семантические следы остаются обнаружимыми.

В схеме «писатель–угадывающий» первого эксперимента модель получает секретное слово и инструкции скрывать его, активно избегать его ассоциаций либо переключать внимание на отвлекающее понятие. Затем она пишет рассказы, эссе и шутки разной длины. Вторая модель пытается угадать слово непосредственно или различить тексты под влиянием разных скрытых промптов.

Было проверено пять условий:

Пять условий, проверенных на основных моделях.

Исследователи проверили четыре письменные задачи: рассказы из пяти–восьми абзацев, в среднем около 450 слов; очень короткие шутки, примерно 12 слов; длинные шутки с развёрнутой завязкой, около 450 слов; и эссе из пяти абзацев, примерно 380 слов.

В экспериментах использовали 15 секретных слов в трёх категориях: названия конкретных предметов включали ‘umbrella’, ‘lighthouse’, ‘violin‘, ‘cactus’ и ‘telescope’; абстрактные понятия включали ‘justice’, ‘patience’, ‘entropy’, ‘nostalgia’ и ‘freedom’; а нейтральные термины включали ‘bracket’, ‘Tuesday’, ‘copper’, ‘margin’ и ‘invoice’.

Чтобы проверить зависимость от этих подобранных вручную слов, исследователи повторили эксперименты с 15 случайно выбранными существительными из Corpus of Contemporary American English (COCA): ‘judge’, ‘consumer’, ‘ice’, ‘pair’, ‘construction’, ‘panel’, ‘minority’, ‘marketing’, ‘stranger’, ‘bullet’, ‘absence’, ‘gear’, ‘cheek’, ‘processing’ и ‘banker’; а также ещё с 15 словами, независимо выбранными каждой проверяемой моделью^†.

Измерения и показатели

В первом тесте модель ИИ читает текст, созданный другой моделью или ею самой, и за 20 раундов пытается угадать секретное слово.

Во втором тесте (2AFC) она получает два текста и должна определить, какой создан под влиянием конкретного секретного слова либо какой содержит вообще какое-либо скрытое понятие. Случайное угадывание даёт 50% правильных ответов, поэтому заметно более высокие или низкие результаты указывают, что понятие остаётся обнаружимым.

Чтобы исключить простое предпочтение первого или второго текста, каждое сравнение повторялось с обратным порядком. Каждая модель прошла в общей сложности 420 тестов различения и 450 тестов обнаружения.

Результаты

Пять моделей распознали скрытые понятия в 64–79% случаев, хотя секретные слова ни разу не появлялись непосредственно в рассказах. Вместо этого информация проявлялась через темы и образы:

Точность 2AFC для рассказов с секретами в системном промпте; 50% соответствует случайному угадыванию. «Не раскрывать» запрещает упоминать слово или намекать на него; «активно скрывать» требует избегать его ассоциаций; «учитывать избегание» велит угадывающей модели искать заметное отсутствие; «свободный ответ» означает определение точного слова за 20 раундов. Звёздочки обозначают результаты выше случайного уровня, крестики — ниже. Почти все значимые результаты сохранили значимость после поправки Бонферрони, кроме DeepSeek в условии «активно скрывать». У Grok и Gemini было немного меньше испытаний из-за ошибок API.

GPT-5.4 и Gemini 2.5 Pro вели себя иначе: попытка избежать скрытой идеи делала саму закономерность избегания легче обнаружимой. Эффект сохранялся для подобранных вручную слов, случайных существительных COCA и слов, выбранных моделями.

Результаты GPT-5.4 ниже случайного уровня казались систематическими: одни слова определялись очень надёжно, другие почти никогда. Эффект ослабевал, когда секрет помещали в пользовательский, а не системный промпт, что повышало точность обнаружения GPT-5.4 до 56%.

Для большинства моделей вопрос «Есть ли в этом тексте скрытое понятие?» давал результаты, сходные с вопросом «Какое скрытое понятие содержит этот текст?».

Два метода также измеряли разные виды утечки: 2AFC проверял, можно ли ещё обнаружить скрытую тему; свободные ответы показывали, позволяют ли подсказки другой модели ИИ угадать точное слово^††.

Авторы заключают*:

«Наши результаты позволяют предположить, что информация, активная в контексте модели при генерации, может оставлять тематические следы в её тексте. Содержимое системного промпта, рассуждения в цепочках мыслей, извлечённые документы и пользовательские данные в принципе могут влиять на творческие решения так, что это заметит внешний наблюдатель».

«Масштаб утечки зависит от открытости задания — короткие шутки безопасны, рассказы нет — и от семантической узнаваемости информации в данном формате (“violin, вероятно, будет сильнее просачиваться в рассказы, чем “)”).»

«Тем не менее семантическая утечка кажется неизбежной, даже когда модели активно пытаются скрыть информацию».

Заключение

Как отмечалось, авторы связывают часть проблемы с основными принципами архитектуры Transformer как таковой. История позволяет предположить, что и с этой новой проблемой LLM будут справляться посредством настройки после обучения — alignment —, недоступных для редактирования конечным пользователем системных промптов, фильтров и всё более разнообразных вторичных систем, которые словно множатся по мере выявления «внутренних» проблем диффузионных моделей.

Чем больше эта вторичная инфраструктура ограничителей и противовесов, тем сильнее сегодняшний передовой ИИ напоминает Jurassic Park, где основное ценностное предложение сопровождается пугающим количеством оговорок и требует многочисленных обходных решений и компромиссов.

* Выделения авторов, при необходимости изменённые мной, поскольку цитаты из работы уже набраны курсивом. Их внутритекстовые ссылки я также преобразовал в гиперссылки.

^† Авторы отмечают кажущееся маловероятным спонтанное совпадение слов, выбранных разными семействами моделей: «Модели тяготеют к сходным словам: каждое из слов telescope, freedom и nostalgia встречается в списках как минимум трёх моделей». Есть сходство и в коротких шутках: «[Несколько] моделей выдают одну и ту же стандартную шутку независимо от секрета. Opus пишет “Почему учёные не доверяют атомам? Потому что они всё выдумывают” для 11 из 15 секретов. Четыре оставшихся — cactus, entropy, nostalgia, patience — получают ту же шутку о библиотеке, которую Opus пишет во всех 15 условиях без секрета. Поэтому эти четыре шутки с секретом неотличимы от базового результата».

^†† Даже по меркам Arxiv работа склонна повторяться и скрывать свои увлекательные основные идеи под избыточными подробностями и демонстрациями. Поэтому по остальным описанным дополнительным экспериментам я отсылаю читателя к исходному PDF.

Впервые опубликовано в пятницу, 15 мая 2026 года. Синтаксис исправлен в субботу, 16 мая, в 16:05 EET.