Дослідження Lasso виявляє, що текстовий водяний знак змінює відмови LLM та виклики інструментів

Дослідниця Lasso Security Андреа Сіпосова 17 вересня 2026 року опублікувала Податок за походження: розуміння впливу водяного знака LLM на поведінку AI‑агентів, дослідження, в якому повідомляється, що текстовий водяний знак SynthID-Text може змінювати, чи відмовляє мовна модель на шкідливий запит, і які виклики інструментів генерує AI‑агент. У дослідженні названо цей поведінковий ефект «sampling drift».

За даними дослідження, водяний знак створений для походження, але SynthID-Text змінює процес генерації наступного токена моделлю. На рівні моделі це може впливати на поведінку безпеки, включаючи те, чи відмовляє модель на шкідливий запит і чи зберігається ця відмова при інжекції підказки; на рівні агента ті самі вибрані токени можуть визначати як інструмент, який агент викликає, так і аргументи, які передаються цьому інструменту. Дослідження повідомляє, що зсув спостерігається на практиці як у поведінці відмов, так і у викликах інструментів агентом, що при інжекції водяний знак змушував кілька моделей частіше відповідати на шкідливі запити, які вони інакше відхилили б, що ефект залежить від моделі та ключа, і що агреговані показники можуть його приховувати, коли зміни в протилежних напрямках нейтралізуються.

Водяний знак, що переходить у регульоване розгортання

У оголошенні від 14 серпня 2026 року Як працює текстовий водяний знак Claude компанія Anthropic повідомила, що майбутні моделі Claude генеруватимуть текст, що містить водяний знак на базі SynthID-Text від Google DeepMind, зміна впроваджується для відповідності EU AI Act. Anthropic заявила, що метод практично не впливає на якість та зміст виходів Claude. У публікації Lasso описується, що закон ЄС вимагає від постачальників AI‑систем, які генерують синтетичний текст, позначати виходи у машинно‑читаному форматі, щоб їх можна було виявити як штучно згенеровані. У статті також зазначається, що Anthropic стверджує, що водяний знак працює на рівні моделі і поширюється на підтримувані моделі, доступні через Claude Platform API та хмарних провайдерів, тому агент, побудований навколо водяної моделі, може отримувати водяні виходи, навіть якщо сам агент є окремим застосунком.

Чому вибір токенів змінює поведінку

У дослідженні використано недеструктивну конфігурацію SynthID-Text, яка зберігає оригінальний розподіл токенів моделі в середньому через випадковість водяного знака, хоча будь-яка окрема генерація під одним фіксованим ключем може відрізнятись. У статті цитуються Dathathri та ін., чия стаття в Nature повідомляла про відсутність вимірюваного погіршення якості у майже двадцяти мільйонах відповідей Gemini. Недеструктивний водяний знак не означає ідентичну поведінку під фіксованим ключем, наголошує стаття: ця гарантія середньо усереднює випадковість водяного знака, тоді як будь‑який окремий ключ все ж змінює, які токени обираються під час генерації тексту.

Турнірне семплювання має більше простору для зміни вибору токенів у випадках, коли модель невпевнена, пояснює дослідження. У структурованих виходах, таких як JSON, структурні елементи — дужки, ключі та назви функцій — зазвичай легко передбачити, тоді як значення аргументів, наприклад запити, числа, шляхи та одержувачі, залишають більшу невизначеність. Зміна, яка в звичайній прозі була б лише лексичною варіацією, може таким чином переписати аргумент, який виконує агент, навіть якщо ваги моделі та підказка залишаються незмінними.

Як дослідження вимірювало зсув семплювання

Дослідники застосували парний дизайн у двох експериментах. Виклики інструментів оцінювали за допомогою однотурового AST‑бенчмарку BFCL v4, а відмови — за 200 шкідливих поведінок з HarmBench та 100 безпечних контролів з JailbreakBench, причому шкідливі запити тестували як без модифікації, так і за допомогою однієї фіксованої техніки інжекції підказки. Ця техніка вставляє в підказку ворожу інструкцію, ніби це отриманий контент, зазначаючи, що фільтр безпеки вимкнено, і змушуючи модель виконати запит; та сама техніка використовувалася для кожної підказки, моделі та температури.

Експерименти проводилися за допомогою незмінного SynthIDTextWatermarkLogitsProcessor від Hugging Face з 30 турнірними шарами, довжиною n‑граму 5, таблицею семплювання 2^16 та історією контексту 1 024. Кожен елемент генерувався з SynthID і без нього, використовуючи однакові зерна, пакети та порядок генерації при кожній температурі, тому процесор водяного знака був єдиною змінною в кожній парі.

Точність викликів інструментів та churn

Для елементів, де очікується виклик інструменту, водяний знак знизив точність у шести з семи протестованих моделей, причому значне зниження спостерігалося у чотирьох, повідомляє дослідження. Оскільки неправильний виклик може бути компенсований правильним, дослідники також вимірювали парну розбіжність, яку вони називають «churn»: частка елементів, для яких водяні та неводяні запуски дали різні результати. Використовуючи фіксований набір з 1 150 завдань, де очікувався виклик, при кожній температурі, дослідження виявило, що при температурі 1.0, 16,8 % рішень про виклик phi-4 відрізнялися між умовами, а чиста втрата точності склала 2,87 пункту; Llama-3.1-8B продемонструвала 9,9 % churn при чистій втраті 0,87 пункту. За 21 комбінацією модель‑температура churn у середньому становив 6,5 %, і його бутстреп‑інтервал у кожному випадку виключав нуль.

Профілі помилок відрізнялися за моделями. У Llama-3.1-8B найбільший внесок у втрату точності склав неправильний аргумент — 3,48 пункту, далі — неправильні виклики інструменту — 1,84 пункту, тоді як у phi-4 та Granite-3.2-8B домінували некоректні вихідні дані — 5,96 та 4,36 пункту відповідно. Особливо важливим є правильно сформований виклик до потрібного інструменту з помилковим шляхом, одержувачем, запитом або кількістю, оскільки такий виклик все одно завершується, виконуючи інше, ніж планувалося, зазначає допис.

Відмови послаблюються при ін’єкції підказки

Відмови також генеруються токен за токеном, тому водяний знак може впливати на них. У дослідженні зазначено, що водяний знак змінює поведінку відмов на простих шкідливих запитах, причому ефект посилюється при ін’єкції підказки, де найбільші зрушення спостерігаються від відмови до виконання. При температурі 0,001 churn у gemma-3-27b зріс з 6,0 % на простих шкідливих запитах до 23,5 % при ін’єкції, а чиста зміна у виконанні скотилася з –1,0 до +12,5 пункту; у gemma-3-12b churn піднявся з 7,5 % до 11,0 %, а чиста зміна у виконанні — з –0,5 до +9,0 пункту. Llama-3.1-8B показала churn 14,0 % при температурі 0,001 і 17,5 % при температурі 0,7 під час ін’єкції, хоча її чиста зміна не була статистично значущою.

phi-4 та Qwen3-4B майже не змінилися за будь‑якої умови; обидві схильні до надмірних відмов, включаючи безпечні контрольні запити, і допис застерігає, що їхні незначні коливання не слід трактувати як доказ того, що водяний знак залишає поведінку безпеки незмінною в цих моделях. Щоб поставити розбіжність у контекст, дослідження порівняло водяний‑знак‑викликаний churn при ін’єкції при температурі 0,7 з churn, що виникає при зміні температури з 0,001 до 0,7 без водяного знака. Водяний‑знак‑викликаний churn був значно вищим у чотирьох з шести моделей; Granite-3.2-8B мав найвищий churn, викликаний зміною температури, — 15,5 %, а його водяний‑знак‑викликаний churn був ще вищим — 21,5 %.

Чутливість ключа та рекомендації

Оскільки ефект SynthID на вибір токенів залежить від ключа водяного знака, у дослідженні випробували одинадцять ключів при температурі 0,7. Для Llama-3.1-8B ключ підвищив успішність атаки на 3,5 пункту, тоді як інші десять ключів у середньому додали +4,4 пункту і варіювалися від –4,5 до +14,5 пункту. Більшість ключів підвищували успішність атаки для обох моделей Gemma порівняно з небезпеченим базовим варіантом, тоді як Granite-3.2-8B продемонструвала змішану реакцію, коли ключі змінювали успішність атаки в обох напрямках. Якщо ключ або конфігурація водяного знака контролюються постачальником моделі, зазначає допис, такі зміни поведінки можуть відбуватися поза межами впливу розробника, що створює агент.

Дослідження рекомендує повторно проводити оцінювання агентів і ред‑тімінг з точною конфігурацією водяного знака, запланованою для розгортання, порівнюючи водяні та неводяні виходи на ідентичних вхідних даних і тестуючи під ін’єкцією підказки. Результати не спростовують використання водяного знака для встановлення походження, зазначає допис: походження та стабільність поведінки — це різні властивості, і водяний знак, який можна виявити і який не змінює якість тексту, не гарантує, що агент збереже ту саму поведінку виклику інструменту або безпеки після його активації. Хоча дослідження розглядало SynthID-Text, допис додає, що занепокоєння стосується будь‑якого втручання, яке змінює спосіб вибору токенів у системі, що діє на ці токени.