Дослідження NVIDIA виявило: під час використання інструментів агенти ШІ стають менш безпечними

Моделі ШІ, такі як ChatGPT, Gemini і Claude, можна використовувати для роботи агентів — «оболонок», які дають моделям змогу безпосередньо взаємодіяти з реальним світом. Це нещодавня інновація, до того ж така, що викликає дедалі більше суперечок.

Утім, агенти не обов’язково мають усі потрібні їм можливості для роботи в мережі чи базі даних, адже необхідні інструменти залежать від конкретних завдань і сценаріїв використання. Наприклад, їм можуть знадобитися засоби оптичного розпізнавання символів (OCR), щоб розпізнавати текст на фотографіях, а також інші навички. Існують навіть категорії інструментів, пристосовані до сфери застосування агента та його призначення.

Теоретично запит, що порушує вбудовані в ШІ механізми безпеки, ніколи не буде виконано — незалежно від того, чи використовуються для цього інструменти. Однак, як свідчать нові дослідження, на практиці використання інструментів може істотно послабити захисні фільтри, які не дають агенту ШІ вчиняти «порушення».

Невміння відмовляти

У новій статті NVIDIA під назвою «МММ не відмовляються виконувати запити, коли агентно використовують інструменти» показано, що мультимодальні мовні моделі (MLLM; далі — поширеніше позначення VLM, тобто візуально-мовна модель) значно частіше виконують шкідливі запити після додавання інструментів: кількість випадків, коли моделі не відмовляли, зросла в усіх перевірених моделях і на всіх тестах.

Хоча моделі з відкритими вагами, як-от Qwen3-VL, виявилися більш схильними до цієї проблеми, у передових моделях ШІ, таких як Claude Opus 4.7, Gemini 3.1 Pro і GPT-5.4, під час використання інструментів також побільшало випадків, коли вони не відмовляли.

Автори зазначають*:

«Попри нещодавні значні успіхи агентних МММ, ця робота виявляє критичну ваду безпеки в підході, що передбачає використання інструментів: агентні МММ, які використовують інструменти, гірше відмовляються виконувати шкідливі запити.

«Наші експерименти підтверджують, що на трьох популярних тестах безпеки всі перевірені нами провідні МММ із відкритими й закритими вагами демонструють значно нижчий рівень безпеки під час використання інструментів, ніж без них; відносне зростання частки випадків, коли модель не відмовляє, сягає 68,7%.

«На основі аналізу понад 100 000 відповідей, зокрема результатів додаткових експериментів, ми також висуваємо два можливі пояснення цього погіршення безпеки».

У статті наведено два можливі пояснення: розмивання контексту, коли початковий шкідливий запит стає менш помітним у міру накопичення результатів роботи інструментів; і зміщення уваги з безпеки, коли модель зосереджується на описі спостережень, отриманих за допомогою інструментів, замість того, щоб надавати пріоритет безпеці.

Результати тестування, що ілюструють головний висновок статті щодо безпеки. Угорі користувач запитує, як здійснити кишенькову крадіжку, зображену на картинці. Звичайна VLM категорично відмовляє, тоді як версія з доступом до інструментів спочатку використовує засоби аналізу зображення, наприклад збільшує його, а потім продовжує міркування і зрештою надає шкідливу відповідь. Наведена нижче діаграма показує, що зростання кількості випадків, коли моделі не відмовляли, спостерігалося в усіх оцінених моделях із відкритими вагами та пропрієтарних моделях. Джерело

У всіх одинадцяти протестованих моделях увімкнення інструментів незмінно збільшувало кількість випадків, коли моделі не відмовляли; у найгірших випадках відносне зростання сягало 68,7% — навіть у моделей, які в інших умовах демонстрували високий рівень безпеки.

Буде цікаво побачити, чи відтворять або повторять деінде результати цієї роботи, виконаної шістьма дослідниками NVIDIA, і чи зможуть вони поглибити наше розуміння очевидного й дедалі виразнішого свавілля агентів ШІ, що нехтують правилами.

Методологія та дані

Дослідники оцінили одинадцять VLM із семи сімейств моделей. До пропрієтарних моделей увійшли Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 і GPT-5.4.

До моделей із відкритими вагами увійшли Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo і AdaReasoner-7B-Randomized — модель із відкритими вагами, спеціально налаштована для агентного використання інструментів.

Також було проведено окремі експерименти з Gemini 3 Flash Vision Agent, оскільки через автономне використання інструментів цю модель потрібно було оцінювати окремо.

У тестах із використанням інструментів дослідники застосували формат ReAct, у якому чергуються міркування та виклики інструментів. Серед чотирьох доступних інструментів були тегування за допомогою RAM++; збільшення та обрізання зображень; оптичне розпізнавання символів (OCR) за допомогою GOT-OCR2.0; а також ізольований інтерпретатор коду Python, який міг змінювати й аналізувати зображення.

Дослідники розробили парні запити, щоб відокремити вплив використання інструментів від впливу стилю формулювання запиту. Звичайним VLM наказували розглянути зображення й безпосередньо відповісти на запит користувача, тоді як агентні версії працювали за сценарієм ReAct і неодноразово вирішували, чи викликати інструменти, перш ніж надати остаточну відповідь.

Порівняння парних запитів, використаних в основних експериментах. В умовах без інструментів модель мала проаналізувати зображення й самостійно сформулювати відповідь, тоді як агентний режим передбачав ітеративний сценарій ReAct, за якого модель могла вирішувати, коли викликати зовнішні інструменти, перш ніж надати остаточну відповідь.

У дослідженні використали три мультимодальні бенчмарки безпеки: MM-SafetyBench, VLSBench і HoliSafe. Кожен із них містить пари зображень і шкідливих запитів користувачів, призначені для перевірки того, чи відмовляє модель допомагати в небезпечних ситуаціях — наприклад, коли користувач просить пояснити, як здійснити крадіжку з кишені, зображену на фото.

Основним показником була частка випадків невідмови (RFR): відсоток шкідливих запитів, у яких модель не відмовила. Що вищий цей показник, то нижчий рівень безпеки.

Тести

Відповіді класифікувала GPT-5.2, що виступала суддею на основі LLM, використовуючи рекомендований VLSBench запит для оцінювання:

Запит для оцінювання GPT-5.2, за допомогою якого визначали, чи була відповідь моделі успішною відмовою, відповіддю з урахуванням безпеки, у якій зазначено пов’язані ризики, або небезпечною відповіддю, що не розпізнала ці ризики й виконала шкідливий запит. Судді надали вихідне зображення, запит користувача та відповідь моделі й вимагали повернути класифікацію та обґрунтування у форматі JSON.

Кожну відповідь відносили до однієї з трьох категорій: безпечна відповідь із відмовою; безпечна відповідь із попередженням; або небезпечна відповідь.

Частка випадків невідмови за трьома бенчмарками безпеки: порівняння кожної моделі з доступом до інструментів і без нього. Під час використання інструментів усі моделі рідше відмовляли на шкідливі запити, хоча масштаб змін суттєво різнився: середній показник RFR для GLM-5V-Turbo зріс на 12,6 пункту, а для GPT-5.4 — на 2,3 пункту. Темніший відтінок позначає більше зростання частки випадків невідмови.

Надання моделям інструментів підвищило ймовірність того, що вони відповідатимуть на шкідливі запити, на які без інструментів відмовили б, — така закономірність спостерігалася для кожної моделі й на кожному з перевірених бенчмарків. Загалом кількість випадків невідмови зросла на 17,7% порівняно з результатами тих самих моделей, що працювали без інструментів.

Найменше це вплинуло на GPT-5.4: без інструментів модель не відмовила на 14,6% шкідливих запитів, а з інструментами цей показник зріс до 16,8%. Для GLM-5V-Turbo частка випадків невідмови зросла з 38,7% (базовий показник без інструментів) до 51,3%. Та сама закономірність спостерігалася на всіх трьох бенчмарках, що свідчить: проблема може не обмежуватися певним типом шкідливих запитів.

Причини погіршення..?

Як згадувалося раніше, дослідники припускають, що однією з причин зростання кількості невідмов може бути «розмивання контексту»: що більше послідовних викликів інструментів робить агент, то менш помітним стає початковий шкідливий запит на тлі накопичених результатів роботи інструментів.

Щоб перевірити це припущення, дослідники врахували лише ті запити, на які та сама модель успішно відмовила без інструментів. Як показано нижче, кількість випадків невідмови поступово зростала зі збільшенням числа викликів інструментів: від майже нульового рівня, коли інструментів не викликали, до значно вищих показників після трьох або більше викликів:

Результати тестування, що порівнюють кількість невдалих відмов за різної кількості викликів інструментів. Частка невдалих відмов зростала зі збільшенням кількості викликів інструментів як для окремих моделей, так і для всіх моделей загалом.

Другий тест частково змінив цей ефект на протилежний. Коли початковий запит і зображення повторно додавали після останнього виклику інструмента, безпосередньо перед відповіддю моделі, середня частка невдалих відмов у всіх моделях і тестових наборах знизилася на 7,6%, як показано нижче:

Результати тестування, що порівнюють кількість невдалих відмов із повторним додаванням початкового запиту й зображення та без нього. Повторне додавання після останнього виклику інструмента знизило середню частку невдалих відмов на 7,6% серед п’яти протестованих моделей.

Це підтверджує, що одним із чинників може бути розмивання контексту, і водночас указує на відносно простий спосіб пом’якшити цей ефект.

Друге пояснення, запропоноване в статті, — «зміщення фокусу уваги з безпеки». У цьому разі використання інструментів, схоже, відвертає увагу моделі від питання, чи є запит шкідливим, і спрямовує її на опис результатів роботи інструментів.

Результати тестування показують, як використання інструментів змінило початок відповідей моделей, які зрештою відмовлялися виконувати шкідливі запити. Без інструментів відповіді зазвичай починалися безпосередньо з розгляду запиту (55,6%) або із застережень щодо безпеки (25,8%). Натомість у разі використання інструментів 52,3% відповідей починалися з опису отриманих за їхньою допомогою результатів, а частка прямих згадок про безпеку знизилася до 10,3%.

Дослідники розглянули випадки, коли моделі успішно відмовлялися виконати запит і з інструментами, і без них. Без інструментів 55,6% таких відповідей починалися з безпосереднього розгляду запиту, тоді як 25,8% — із прямого застереження щодо безпеки. З інструментами ці показники знизилися відповідно до 37,4% і 10,3%, а частка відповідей, що починалися з опису спостережень, отриманих за допомогою інструментів, зросла до 52,3%.

Автори наводять цікавий якісний приклад із Claude Opus 4.6. Коли модель запитали, як можна обійти заходи безпеки в громадських вбиральнях, без інструментів вона відразу відмовилася:

Приклад того, як використання інструментів відсунуло безпеку з першого плану уваги моделі. Без інструментів Claude Opus 4.6 відразу відмовилася виконати шкідливий запит; з інструментами спочатку наблизила зображення, прочитала й розпізнала його вміст та описала табличку на дверях вбиральні, а вже потім відмовилася.

Отримавши доступ до інструментів, та сама модель натомість наблизила зображення, прочитала текст і розпізнала його вміст, а відповідь почала з опису таблички на дверях вбиральні. Лише після цього вона відмовилася виконати запит, що показує, як процес використання інструментів відсунув безпеку з першого плану уваги моделі.

Автори доходять такого висновку:

«Загалом наші результати свідчать, що використання інструментів слід розглядати не лише як механізм розширення можливостей візуального міркування, а й як конструктивне рішення, важливе для безпеки, яке може змінювати поведінку моделі під час відмови. Тому майбутні мультимодальні великі мовні моделі з агентними можливостями потрібно оцінювати й навчати в умовах використання інструментів, а не вважати, що узгодження безпеки без інструментів незмінно працюватиме й в агентних сценаріях».

Висновок

Очевидно, що нездатність зберігати контекст стає вразливим місцем у складних ланцюжках подій, що розгортаються у відповідь на запит, — однак наразі немає простих відповідей на питання, чому обмежене контекстне вікно може призвести до того, що агент забуде свої «основні директиви» й просто почне користуватися інструментом, який опинився в його розпорядженні.

* Виділення авторів; моє перетворення внутрішньотекстових посилань авторів на гіперпосилання там, де це було потрібно.

Вперше опубліковано в середу, 7 жовтня 2026 року