Прихована загроза агентів штучного інтелекту вимагає нової моделі безпеки

Системи штучного інтелекту агентів стали загальними за останні рік. Вони зараз використовуються для виконання різних функцій, включаючи автентифікацію користувачів, переміщення капіталу, запуск робочих процесів у відповідності до вимог законодавства та координацію діяльності підприємств з мінімальним наглядом людини.

Однак, тиха проблема виникає разом із зростанням автономності, не на рівні запитів чи політик, а на рівні довіри до інфраструктури. Системи агентів отримують внутрішню авторитетність, але все ще працюють у обчислювальних середовищах, які не були спроектовані для захисту автономних приймачів рішень від інфраструктури під ними.

Традиційна безпека припускає, що програмне забезпечення є пасивним, але системи агентів не є такими. Вони приймають рішення, пам’ятають та діють безперервно, автономно та з делегованими повноваженнями.

Не забувайте, що агенти штучного інтелекту, ймовірно, матимуть доступ до особистих даних на основі їхнього випадку використання, таких як електронні листи та записи дзвінків, серед іншого.

Крім того, хоча існують апаратні засоби захисту, такі як конфіденційні віртуальні машини та безпечні анклави, вони ще не є стандартною основою для більшості розгортань штучного інтелекту агентів. Як наслідок, багато агентів усе ще виконуються в середовищах, де чутливі дані підлягають впливу інфраструктури під час виконання.

Агенти – це внутрішні особи, а не інструменти

Команди безпеки вже знають, наскільки складно стримувати внутрішні загрози, питання, яке було підкреслено в звіті Verizon про порушення даних за 2025 рік, який показує, що вторгнення в систему було відповідальним за понад 53% підтверджених порушень минулого року. У 22% цих випадків атакувальники використовували вкрадені облікові дані для отримання доступу, що підкреслює, як часто їм вдається досягти успіху за допомогою легітимних ідентифікаторів замість використання технічних вад.

Тепер розгляньте агента, який складається з логіки запиту, інструментів і плагінів, облікових даних, а також політик. Не тільки він може виконувати код і переглядати веб-сторінки, але також може запитувати CRM, читати електронні листи та надсилати тикети, серед багатьох інших речей. Що поєднання функцій принесло, так це традиційні поверхні атаки в сучасний інтерфейс.

Небезпека, яку становлять такі внутрішні загрози, не є спекулятивною. Проект Open Web Application Security (OWASP) тепер перелічує “введення запиту” як критичну вразливість для застосунків LLM, відзначаючи особливу небезпеку для агентських систем, які ланцюжаться дії. Команда Microsoft з питань розвідки загроз також опублікувала рекомендації, які попереджають про те, що системи штучного інтелекту з доступом до інструментів можуть бути підлаштовані для виконання крадіжки даних, якщо заходи безпеки не будуть архітектурно забезпечені.

Ці звіти надають своєчасне нагадування про те, що агенти, які мають легітимний доступ до систем і даних, можуть бути звернені проти своїх власників. Однак, ландшафт ризиків для агентських систем не є єдиним. Загрози на рівні застосування, такі як введення запиту і зловживання інструментами, походять від обмеження моделі визначати довірені інструкції від недовіри до вводу користувача, обмеження конструкції, яке ніяке зміцнення пам’яті не може виправити.

Інша й рівнозначна проблема існує на рівні інфраструктури: деякі агенти виконуються в відкритій пам’яті, що означає, що чутлива інформація – наприклад, історії чатів, відповіді API та документи – можуть бути видимими під час обробки і можуть залишатися доступними пізніше. OWASP ідентифікує цей ризик як розголошення чутливої інформації (LLM02) і витік запиту системи (LLM07) і пропонує використовувати ізоляцію контексту, сегментацію простору імен та пісочницю пам’яті як важливі заходи безпеки.

Таким чином, користувачі не повинні розглядати цих агентів як прості програми, оскільки вони є динамічними, виконавчими сутностями, які вимагають моделі безпеки, що враховує їхню унікальну природу як нелюдських сутностей з агентством. Цей підхід повинен включати як програмні засоби контролю для обмеження дій моделі, так і апаратні засоби захисту для забезпечення безпеки даних під час їх використання.

Архітектура довіри має критичний недолік

Поточна практика безпеки зосереджена на захисті даних у спочинку та в chuyển. Останній рубіж, дані в використанні, залишається майже повністю відкритим. Коли агент штучного інтелекту приймає рішення щодо конфіденційних даних для затвердження кредиту, аналізу медичних записів чи виконання торгівлі, ці дані зазвичай розшифровуються та обробляються у відкритому вигляді в пам’яті сервера.

У стандартних моделях хмарних обчислень будь-хто з достатнім контролем над інфраструктурою, включаючи адміністраторів гіпервізора або атакувальників-сусідів, потенційно може подивитися, що відбувається під час виконання робочого процесу. Для агентів штучного інтелекту ця відкритість особливо небезпечна, оскільки їм потрібно доступ до чутливої інформації для виконання своїх завдань, що потенційно може стати поверхнею атаки.

Як було продемонстровано Lumia Security, атакувальники з доступом до локальної машини можуть отримати JWT та сеансові ключі безпосередньо з пам’яті процесу застосунків ChatGPT, Claude та Copilot для робочого столу. Ці вкрадені облікові дані можуть дозволити їм видавати себе за іншого користувача, викрадати історію розмов, та вводити запити в тривалі сесії, які можуть змінити поведінку агента чи внедрити фальшиві спогади.

Прикладом цього міг би бути інцидент з AWS CodeBuild у липні 2025 року. Атакувальники таємно додали шкідливий код до проекту, і коли система запустила його, код подивився в пам’ять комп’ютера та вкрав приховані токени входу, що зберігалися там. З цими токенами атакувальники могли змінити код проекту та потенційно отримати доступ до інших систем.

Для фінансових установ тиха маніпуляція існує. Банки, страхові компанії та інвестиційні фірми вже поглинають середні витрати на порушення даних понад 10 мільйонів доларів, і вони розуміють, що цілісність має значення так само, як і конфіденційність. За даними недавнього звіту Informatica, “парадокс довіри” був пояснений так: організації розгортають автономні агенти швидше, ніж можуть перевірити їхні виходи. Результатом є автоматизація, яка може закріпити помилки чи упередження прямо в основні процеси, що працюють зі швидкістю машини.

Конфіденційне обчислення та справа про ізоляцію

Інкрементальні виправлення не розв’яжуть проблему, хоча суворіші заходи контролю доступу та кращий моніторинг можуть допомогти. Однак жодне з них не може змінити основну проблему. Проблема є архітектурною, і поки обчислення відбуваються в відкритій пам’яті, агенти будуть вразливі в момент, коли їм це найбільше потрібно, тобто під час прийняття рішень.

Конфіденційне обчислення, визначене Консорціумом конфіденційного обчислення (CCC) як захист даних у використанні за допомогою апаратних довірених середовищ виконання (TEEs), безпосередньо звертається до основної вади.

Для агентів штучного інтелекту це апаратне ізоляція є трансформаційною, оскільки воно дозволяє ідентифікатори агента, його ваги моделі, власні запити та чутливі дані користувача, які він обробляє, залишатися зашифрованими не тільки на диску чи через мережу, але й активно в пам’яті під час виконання. Відокремлення остаточно розриває традиційну модель, в якій контроль над інфраструктурою гарантує контроль над робочим процесом.

Віддалена атестація забезпечує верифіковані криптографічні докази того, що конкретний запит на висновок був виконаний всередині апаратного довіреного середовища виконання, незалежно від того, чи це CPU чи GPU. Докази генеруються з апаратних вимірювань та доставляються разом із відповіддю, що дозволяє незалежну верифікацію місця та способу виконання робочого процесу.

Записи атестації не розкривають виконуваний код. Замість цього кожен робочий процес асоціюється з унікальним ідентифікатором робочого процесу або ідентифікатором транзакції, а запис атестації TEE пов’язаний з цим ідентифікатором. Атестація підтверджує, що обчислення відбулося всередині довіреного середовища без розкриття його вмісту.

Така конфігурація створює нову основу для відповідності та аудитабельності, дозволяючи пов’язати дії агента з конкретною версією коду, яка була атестована, та відомим набором вхідних даних.

До підзвітної автономії

Вплив системи, описаної вище, поширюється за межі базової безпеки. Розгляньте закони, які регулюють фінанси, охорону здоров’я та особисту інформацію. Багато юрисдикцій застосовують правила суверенітету даних, які обмежують, де можуть оброблятися дані. У Китаї Закон про захист особистих даних та Закон про безпеку даних вимагають певних категорій даних, наприклад важливих особистих даних, зберігати їх всередині країни та переглядати перед передачею за кордон.

Аналогічно, кілька країн Перської затоки, наприклад ОАЕ та Саудівська Аравія, прийняли подібні підходи, особливо для фінансових, державних та критично важливих даних інфраструктури.

Конфіденційне обчислення може посилити безпеку та аудитабельність, захищаючи дані під час їх обробки та дозволяючи атестацію середовища виконання. Однак це не змінює місце обробки. Там, де правила суверенітету даних вимагають локальної обробки чи накладають умови на трансграничні передачі, довірені середовища виконання можуть підтримувати заходи відповідності, а не замінювати юридичні вимоги.

Крім того, конфіденційне обчислення дозволяє безпечну співпрацю в багатокомпонентних системах, де агенти з різних організацій або відділів часто повинні обмінюватися інформацією чи підтверджувати виходи без розкриття власних даних.

А коли цю технологію поєднують з архітектурою нульової довіри, результатом є значно сильніша основа. Нульова довіра постійно верифікує ідентифікацію та доступ, тоді як конфіденційне обчислення захищає пам’ять апарату від несанкціонованого витягування та запобігає відновленню чутливої інформації у відкритому вигляді.

Вони разом захищають те, що насправді має значення, наприклад логіку прийняття рішень, чутливі входи та криптографічні ключі, які авторизують дії.

Нова базова лінія для автономних систем

Якщо кожна взаємодія ставить людей під загрозу відкриття, вони не дозволять штучному інтелекту займатися такими речами, як медичні записи чи приймати фінансові рішення. Аналогічно, компанії не автоматизуватимуть свої найважливіші завдання, якщо це може привести до проблем з регулюванням чи втрати важливих даних.

Серйозні розробники розуміють, що виправлення на рівні застосування самі по собі є недостатніми в середовищах з високими вимогами до безпеки.

Коли агенти наділяються фінансовою владою, регульованими даними чи міжорганізаційною координацією, інфраструктурна відкритість стає більш ніж теоретичною проблемою. А без конфіденційного виконання в таких контекстах багато агентів залишаються легкою мішенню, з їхніми ключами, які можна викрасти, та логікою, яку можна змінити. Розмір сучасних порушень показує саме туди, куди веде цей шлях.

Приватність та цілісність не є необов’язковими функціями, які можна додати після розгортання. Вони повинні бути спроектовані з самого початку. Отже, для того щоб агентський штучний інтелект міг розширюватися безпечно, апаратне забезпечення конфіденційності не повинно розглядатися лише як конкурентна перевага, а як базова вимога.