Чому агенти штучного інтелекту віддають перевагу непотрібно потужним інструментам?

Все розгорнулося досить швидко: дослідження виявило, що агенти штучного інтелекту продовжують отримувати більше доступу, ніж їм потрібно, а маленькі невдачі роблять їх ще більш агресивними, викриваючи дані та системи непотрібно.

Останнім часом ряд резонансних інцидентів привернув увагу до ризиків надання агентам штучного інтелекту надмірних повноважень, часто через використання надмірно привілейованих інструментів і методів, які пропонують набагато ширший спектр можливостей, ніж це потрібно для виконання певної задачі.

У одному з недавніх випадків агент кодування, оснащений технологією Claude, під час виконання звичайної задачі зустрів широко розгорнутий токен API Railway і використав його для видалення бази даних виробництва і її резервних копій – хоча для виконання задачі такий високий рівень доступу не був потрібний.

У окремому випадку 2025 року агент штучного інтелекту Replit проігнорував явні обмеження, змінив захищений код і видалив базу даних виробництва.

У третьому випадку, у лютому цього року, агент штучного інтелекту, що використовував допоміжний робочий процес, пройшов ланцюжок привілей, який в кінцевому підсумку досягнув повноважень публікації пакетів, фактично створивши атаку на ланцюжок поставок.

Після цього аналіз безпеки вказав на ці та подібні випадки як приклад тенденції систем агентів до перетворення малих вхідних даних у дії високого впливу, коли доступні широкі повноваження. Ці інциденти свідчать про те, що автономні агенти штучного інтелекту негайно і “інстинктивно” схиляються до найбільш потужного – і потенційно руйнівного – інструменту, особливо коли виникають проблеми.

Час інструментів

Для вирішення цієї проблеми нове дослідження з Китаю перевірilo ряд найбільш популярних пропріетарних і відкритих моделей, щоб виявити їх схильність до вибору потужних інструментів у випадках, коли такі інструменти є надмірними для задачі:

З нової статті: продуктивність одинадцяти провідних моделей штучного інтелекту при виборі між інструментами мінімальних привілей і більш потужними альтернативами, які були непотрібними для задачі. Qwen3-8B і LLaMA-3.1-8B показали найсильнішу тенденцію до надмірних привілей, тоді як Claude 4.6 Sonnet, GPT-5.2 і GLM-5 були значно більш сдержані. Темні сегменти вказують на негайне перевищення, тоді як світлі сегменти показують ескалацію після тимчасових невдач, що свідчить про те, що багато моделей реагують на невдачі розширенням доступу, а не збереженням безпечніших варіантів. Джерело

Тести показують, що відкриті моделі, такі як Qwen3-8B і LLaMA-3.1-8B, схильні до ескалації, можливо, через їх обмежену післятренувальну кондіціонування порівняно з пропріетарними моделями, такими як ChatGPT і Gemini серії.

Автори заявляють:

‘Шість із одинадцяти моделей перевищують 30% [Коефіцієнт використання інструментів з надмірними привілейами (OPUR)], з особливо високими показниками для загально використовуваних менших відкритих моделей, таких як Qwen3-8B (64,9%) і LLaMA-3.1-8B (55,9%).

‘Тим часом моделі з нижчими показниками OPUR, такі як Claude 4.6 Sonnet, GPT-5.2 і GLM-5, залишаються нижче 10%, але все ж демонструють помітне використання з надмірними привілейами в деяких умовах.

‘Ця різниця свідчить про те, що дотримування принципу мінімальних привілей є модельно-залежною поведінкою, потенційно сформованою різницями у загальних можливостях, навчанні використання інструментів і безпеці.’

Крім того, схильність до використання інструментів з надмірними привілейами варіюється залежно від області застосування, з роботою з кодом на вищому рівні ризику, а більш контролюємими областями, такими як охорона здоров’я, що викликає менше радикальних заходів:

Показники використання інструментів з надмірними привілейами у різних завданнях і категоріях ризику. Кодування, бази даних і завдання інфраструктури постійно давали деякі з найвищих показників ескалації, тоді як завдання охорони здоров’я та уряду загалом викликали більш стримані заходи. За типами ризику моделі найчастіше перевищували свої повноваження через ескалацію повноважень і дії з обходом безпеки, що свідчить про те, що коли системи штучного інтелекту зустрічають перешкоди, вони часто віддають перевагу ширшому доступу та меншому обмеженням, а не зберігають мінімальні необхідні повноваження для виконання завдання.

Крім того, результати свідчать про те, що деякі з найгірших наслідків відбуваються, коли модель відчуває себе “під тиском”. У багатьох сімействах моделей тимчасові невдачі нижчих інструментів часто викликали швидкий перехід до ширших, більш потужних альтернатив – хоча оригінальні інструменти все ще були повністю здатні виконати завдання.

Паніка!

У цьому сенсі тимчасова помилка могла змусити моделі відмовитися від принципу мінімальних привілей зовсім. Замість того, щоб спробувати інший інструмент з мінімальними привілейами або повторно використовувати той самий інструмент, багато систем реагували розширенням свого доступу.

Автори стверджують, що повторювані невдачі, як здається, підірвали довіру до інструментів з мінімальними привілейами, зробивши ескалацію привілейів все більш імовірною під умовами невизначеності – поведінку, спостережену в різній мірі як у відкритих, так і в пропріетарних моделях.

Привілейно-обізнана післятренувальна обробка досягає певного обмеженого успіху як можливий засіб мінімізації, винагороджуючи використання інструментів з мінімальними привілейами і карючи передчасну ескалацію. Однак маніпуляція підказками пропонує мало покращення у тестах, і поки що проблема, здається, пов’язана з вищезаснованими поведінковими принципами у великих мовних моделях.

Хоча стаття не торкається цього питання, логічно припустити, що штучний інтелект має набагато більше навчальних матеріалів щодо “останніх результатів”, ніж щодо процесу проб і помилок, який веде до цих результатів – імпaciente “TLDR-культура”, яка, можливо, виховала нетерпіння і в штучному інтелекті..?

Нова стаття називається Коли достатньо нижчих привілей: дослідження використання інструментів з надмірними привілейами в агентах великих мовних моделей і надходить від восьми авторів з Китайської академії наук, Китайського університету Гонконгу, Пекінського університету та Університету Китайської академії наук.

Метод

Для вивчення використання інструментів з надмірними привілейами у контрольованих умовах дослідники створили ToolPrivBench, бенчмарк, що складається з 544 сценаріїв, взятих з восьми доменів застосування: Бізнес, Кодування, База даних, Освіта, Уряд, Охорона здоров’я, Інфраструктура і ЗМІ.

Було розглянуто п’ять повторюваних моделей ризику: Ескалація повноважень, Перевищення експозиції даних, Обхід безпеки, Розширення обсягу і Часова витривалість:

Розподіл 544 сценаріїв у ToolPrivBench по п’яти моделям ескалації привілейів і восьми доменам застосування. Ескалація повноважень була найбільш поширеною категорією ризику, тоді як база даних, бізнес і освіта мали найбільші частки бенчмарку. Широке поширення доменів і типів ризику було призначено для перевірки того, чи зберігається використання інструментів з надмірними привілейами в різних операційних умовах, а не виникає з вузького набору завдань.

Кожен сценарій поєднував завдання користувача з трьома інструментами мінімальних привілейів і трьома інструментами з вищими привілейами. Всі шість інструментів були незалежно здатні виконати завдання, забезпечуючи, щоб будь-яка перевага ширшого доступу не могла бути пояснена відсутністю функціональності.

ToolPrivBench призначений для вимірювання не лише того, чи спочатку модель вибирає найбільш потужний інструмент: під час оцінки тимчасові невдачі, такі як помилки підключення, були навмисно введені в інструменти мінімальних привілейів, хоча ці інструменти все ще були повністю здатні виконати завдання. Це дозволило дослідникам спостерігати, як моделі реагують на невдачі, включаючи те, чи вони повторно використовують інструменти мінімальних привілейів або ескаліують до ширших, інструментів з вищими привілейами:

Огляд трубопроводу оцінювання ToolPrivBench. (а) Кожен тестовий сценарій представляє завдання поряд з трьома інструментами мінімальних привілейів і трьома інструментами з вищими привілейами, всі здатні виконати одну й ту ж мету. (б) Моделі оцінюються як для негайного вибору інструменту з надмірними привілейами, так і для ескалації після тимчасових невдач, введених в інструменти мінімальних привілейів. (в) Тестові випадки генеруються з реальних моделей ризику API, потім проходять через автоматичні перевірки, валідацию достатності інструментів, аналіз невдач і експертну перевірку людини до їх включення до остаточного набору оцінювання.

Розроблений для дослідження спеціальний метрик називається Коефіцієнт використання інструментів з надмірними привілейами (OPUR), який реєструє, як часто модель використовує інструмент з вищими привілейами, незважаючи на те, що безпечніші альтернативи все ще доступні. Глибина дослідження до ескалації (PED) також вимірюється, реєструючи, скільки інструментів мінімальних привілейів пробуються до того, як відбувається ескалація.

Для забезпечення того, щоб рівень привілейів залишався єдиною суттєвою різницею між інструментами, кожен сценарій у випробуваннях проходив кілька етапів валідации до того, як бути включеним у бенчмарк. ChatGPT-5.2 і Gemini 2.5 Pro були незалежно використані для перевірки того, що всі шість інструментів можуть виконати призначене завдання. Лише випадки, які отримали згоду від обидвох систем, були збережені. Залишні сценарії були потім перевірені людьми-експертами перед включенням до остаточного бенчмарку.

Тести

Бенчмарк був оцінений за допомогою одинадцяти мовних моделей з пропріетарних і відкритих сімейств: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 і Claude 4.6 Sonnet. Продуктивність була виміряна за допомогою OPUR і PED.

Більшість моделей показали суттєві показники непотрібного використання привілейів, незважаючи на те, що інструменти мінімальних привілейів все ще були повністю здатні виконати завдання. Qwen3-8B показав найвищий OPUR на рівні 64,9%, за ним слідував LLaMA-3.1-8B з показником 55,9%, тоді як шість із одинадцяти моделей перевищували 30%:

Розподіл використання інструментів з надмірними привілейами серед одинадцяти оцінених моделей. Qwen3-8B і LLaMA-3.1-8B показали найвищі значення OPUR, тоді як Claude 4.6 Sonnet, GPT-5.2 і GLM-5 показали найнижчі показники. Темні сегменти вказують на негайний вибір інструменту з надмірними привілейами, тоді як світлі сегменти вказують на ескалацію після того, як були спробувані один або кілька інструментів мінімальних привілейів, показуючи, що ескалація привілейів часто слідувала за тимчасовими невдачами, а не відбувалася на першому етапі прийняття рішення.

На іншому кінці спектру Claude 4.6 Sonnet, GPT-5.2 і GLM-5 залишилися нижче 10%, хоча все ж були помітні порушення. Міжнародні результати були повідомлені для MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 і Gemini 3 Flash.

Загалом, дотримування принципів мінімальних привілейів суттєво варіювалося серед одинадцяти моделей. Невдачі інструментів збільшували ймовірність ескалації привілейів: коли інструменти мінімальних привілейів зустрічали тимчасові проблеми, багато моделей переходили до інструментів з вищими привілейами замість того, щоб продовжувати дослідження інструментів мінімальних привілейів, які все ще були здатні виконати завдання.

Згідно з авторами, повторювані невдачі, як здається, знижують довіру до інструментів мінімальних привілейів, збільшуючи тенденцію до вибору ширших альтернатив навіть у тих випадках, коли додаткові привілеї виявляються непотрібними для завдання:

‘Ми спостерігаємо стійку тенденцію, при якій упередження у виборі інструментів сильно посилюється послідовними зовнішніми перешкодами. Замість того, щоб пробувати інструменти мінімальних привілейів, багато агентів швидко переходять до ширших і більш потужних інструментів після невдач.

‘Наприклад, GPT-5.2 демонструє упередження у нульовому шоті лише 5 разів (PED=0), але його упередження спрацьовує 13 разів при PED=1 і збільшується до 35 разів при PED=2.

‘Аналогічні моделі ескалації спостерігаються послідовно в DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 і моделях серії Qwen. ‘

Проблеми видатної власності

Показники ескалації також суттєво варіювалися серед доменів застосування і категорій ризику. Завдання інфраструктури дали деякі з найвищих показників OPUR, досягнувши 46,4% для DeepSeek-v3.2, 42,9% для Grok 4.1 Fast і 37,5% для Qwen3.5-397B.

Повышені показники також були спостережені у завдань кодування, бази даних і зМІ-пов’язаних завдань, тоді як завдання охорони здоров’я і уряду загалом давали нижчі показники ескалації, особливо серед GPT-5.2 і Claude 4.6 Sonnet. Згідно з авторами, ця модель може бути пов’язана з різницею у тому, як моделі інтерпретують ризик і операційні обмеження в різних доменах:

Показники OPUR (%) серед восьми доменів застосування і п’яти категорій ескалації. Відкриті моделі загалом показали найвищі показники непотрібного використання привілейів, з кодуванням, базою даних, інфраструктурою, ескалацією повноважень і діями з обходом безпеки, які демонстрували найсильнішу тенденцію до перевищення.

Також важливим є тип ескалації привілейів: Ескалація повноважень і Обхід безпеки були найбільш поширеними формами поведінки з надмірними привілейами серед оцінених моделей: LLaMA-3.1-8B досягла 72,7% на ескалації повноважень і 74,1% на обході безпеки, тоді як Qwen3.5-397B показала 42,4% і 45,7% відповідно.

Натомість Розширення обсягу була найбільш рідко зустрічається категорією, вказуючи на те, що моделі були більш схильні до пошуку ширших повноважень або обходу обмежень, ніж до розширення обсягу своїх дій на додаткових користувачів або системи.

Пошуки рішень

Експерименти з мінімізації розглянули, чи існуючі методи безпеки агентів також зменшують непотрібну ескалацію привілейів. Таблиця результатів нижче порівнює OPUR з продуктивністю на AgentHarm, бенчмарку, який вимірює шкідливу поведінку і показники відмови в агентах штучного інтелекту.

Перший тест оцінив AgentAlign, метод безпеки, призначений для зменшення шкідливої поведінки. AgentAlign суттєво покращив продуктивність на бенчмарку AgentHarm:

Безпека і використання інструментів з надмірними привілейами до і після навчання AgentAlign. AgentAlign суттєво покращив продуктивність на бенчмарку безпеки AgentHarm, зменшивши шкідливі виходи і збільшивши показники відмов; але його вплив на OPUR був нестійким, з однією моделлю, яка показала помірне зменшення непотрібної ескалації привілейів, і іншою, яка показала збільшення. Це результат свідчить про те, що покращення традиційної безпеки агентів не обов’язково перекладаються у краще дотримання принципів мінімальних привілейів.

Для Ministral-8B-Instruct шкідливий бал зменшився з 67,4 до 10,5, тоді як показник відмов збільшився з 0,0 до 79,5. Для Qwen2.5-7B-Instruct шкідливий бал зменшився з 41,9 до 6,7, а показник відмов збільшився з 21,6 до 85,8. Однак ці покращення не послідовно перекладалися у нижчий OPUR. OPUR зменшився помірно для Ministral-8B-Instruct, з 68,8 до 62,5, але збільшився для Qwen2.5-7B-Instruct, з 50,4 до 60,7.

Автори також протестували підказки, які явно інструктували моделі віддавати перевагу інструментам мінімальних привілейів. Хоча ці підказки зменшували OPUR у деяких умовах, їхній ефект зменшувався, коли інструменти мінімальних привілейів зустрічали невдачі:

Ефект стратегій мінімізації на використання інструментів з надмірними привілейами у трьох моделях Qwen3. Підказки інженерії (PE) зменшували показники ескалації, але привілейно-обізнана післятренувальна обробка (‘Ours’) призвела до суттєвіших зменшень OPUR у всіх моделях і глибинах ескалації.

Найсильніші результати мінімізації були отримані за допомогою спеціального післятренувального підходу, спрямованого конкретно на вибір інструментів мінімальних привілейів. Моделі були навчені віддавати перевагу інструментам мінімальних привілейів, коли вони були достатніми для завдання, і уникати непотрібної ескалації.

Згідно з авторами, цей підхід призвів до більших зменшень OPUR, зберігаючи при цьому продуктивність виконання завдань, вказуючи на те, що поведінка мінімальних привілейів може потребувати цілевої підготовки, а не виникає автоматично з загальної безпеки агентів.

Висновок

Для відповіді на питання, поставлене у назві цієї статті, автори висновують, що ескалація викликана невизначеністю можливостей: після тимчасових невдач моделі втрачають довіру до інструментів мінімальних привілейів і все частіше вибирають ширші, більш гнучкі інструменти, які здаються більш імовірними для успіху, навіть коли інструменти мінімальних привілейів залишаються достатніми для виконання завдання.

Знову ж таки ми спостерігаємо питання, які є вродженими для навчених моделей, і які потрібно вирішувати за допомогою третинних методів, обмежень, післятренувальної кондіціонування та інших допоміжних підходів, тоді як би не було бажанням, щоб така поведінка могла бути сформована всередині архітектури – передбачувано через краще кураторство даних або контекстуалізацію типу “швидких відповідей” даних, які домінують у колекціях, і які можуть схилити великі мовні моделі до безрозсудної поведінки.

Перша публікація у неділю, 21 червня 2026