Кібербезпека

ШІ-агенти стають розумнішими, а поверхня їхньої атаки зростає

Gary Espinosa
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиНепрогнозована автономність AI-агентів створює величезну та динамічну поверхню атаки…
Показати більше
  • Непрогнозована автономність AI-агентів створює величезну та динамічну поверхню атаки, яка не вкладається в традиційні моделі безпеки.
  • Атаки ін'єкції запитів маніпулюють інструкціями агентів через повсякденні вхідні дані, такі як документи та вебсторінки.
  • Системи з багатьма агентами небезпечно посилюють ризик через ієрархії довіри та надмірно дозволений доступ до критичних систем.

Щойно ШІ-агенти почали призначати зустрічі, виконувати код і переглядати вебсторінки від вашого імені, розмова про кібербезпеку змінилася. Не поступово, а буквально за одну ніч.

Те, що раніше було замкненою, передбачуваною системою програмного забезпечення, стало чимось, що мислить, планує і виконує дії через інструменти й API, про існування яких воно майже не знало рік тому.

Це справді цікаво, і це також справді страшно, тому що поверхня атаки, яка виникає з цієї автономії, величезна, і більшість організацій тільки починають розуміти, що означає впустити агентів у свою інфраструктуру.

Від чат-ботів до операторів

Початкова обіцянка ШІ була простою: поставте запитання, отримайте відповідь. Це все ще правда для більшості споживчих взаємодій, але це не те, що відбувається у корпоративних розгортаннях сьогодні. Сьогодні агенти отримують облікові дані, ключі API та можливість видаляти, створювати й анотувати дані, а також здійснювати реальні дії всередині систем, які мають реальні наслідки.

Зміна відбулася швидко. Менш ніж за два роки ШІ-агенти перейшли від генерації тексту до можливості запускати злагоджені багатоагентні системи. Вони читають електронні листи, запускають робочі процеси, надсилають запити до баз даних і в деяких випадках керують підлеглими агентами. Такий рівень доступу раніше вимагав тривалого процесу закупівель і участі людини. Тепер це конфігураційний файл і кілька викликів API.

Більше доступу означає більшу вразливість

Традиційні атаки на програмне забезпечення мають певною мірою передбачуваний профіль. Є відома точка входу, відома уразливість, відомий патч. ШІ-агенти порушують цю модель, оскільки вони від початку спроєктовані як динамічні системи. Вони не дотримуються статичного шляху виконання коду. Вони міркують, що робити далі, а отже, їхню поведінку важче передбачити і значно важче проаналізувати постфактум.

Ця непередбачуваність корисна для виконання роботи. Це також перевага для будь-кого, хто намагається скористатися слабкостями системи. Коли агент може вирішити, посередині завдання, викликати зовнішній API або підключити сторонній інструмент, немає чіткого периметра для захисту.

Безпекові команди звикли захищати відомі поверхні і відстежувати витрати на Kubernetes. Агенти продовжують відкривати нові поверхні атаки та способи експлуатації вразливостей, і ніхто не відстежує їх у реальному часі. Не встигнете ви й озирнутися, хтось може захопити облікові дані і отримати контроль над усім вашим ШІ-«організмом» одним рухом.

Інʼєкція промпту — нова SQL-інʼєкція

Якщо є вектор атаки, до якого дослідники безпеки постійно повертаються, то це інʼєкція промпту. Ідея проста: замість використання уразливості коду, атакувальник маніпулює інструкціями, які агент отримує через свої вхідні дані. Зловмисна інструкція, вбудована у веб-сторінку, документ або навіть електронний лист, може змінити те, що агент робить далі.

Особливу небезпеку становить те, що агенти часто роблять саме те, що їм кажуть. Вони обробляють вміст з інтернету, з повідомлень користувачів, зі сторонніх інструментів. Будь-який такий вміст може стати потенційною поверхнею для інʼєкції. Агент, який читає скомпрометований документ, а потім здійснює виклики API на основі його вмісту, уже захоплений, і ймовірно, нічого не зареєструє, що зробило б причинно-наслідковий ланцюг очевидним.

Захисні заходи тут реальні, але неповні. Ізоляція дій агентів, обмеження інструментів, які агент може викликати в певних контекстах, і вбудовування перевірок людиною в робочі процеси з вагомими наслідками знижують ризик. Вони не ліквідують його. І більшість організацій ще не впровадили навіть базових заходів.

Проблема довіри всередині багатоагентних систем

Багатоагентні системи вводять рівень складності, який легко недооцінити. Коли один агент керує кількома іншими, існує ієрархія довіри. Керуючий агент передає інструкції вниз, і підлеглі агенти їх виконують. Якщо цей керуючий агент буде скомпрометований, кожен підлеглий агент фактично теж буде скомпрометований, і радіус ураження швидко збільшується.

Є також питання надмірних повноважень. Агенти часто отримують більший доступ, ніж їм потрібно, оскільки легше надати широкі повноваження заздалегідь, ніж уточнювати їх ітеративно. Дослідницький агент не потребує доступу для запису до робочої бази даних.

Агент, який планує зустрічі, не потребує доступу до фінансових записів. Так, коли все взаємоповʼязане, це заспокоює, але ризик просто надто великий, щоб віддача зберігалася, не зменшуючись. Але на практиці межі розмиваються, і від принципів мінімальних повноважень, які добре працюють у теорії, непомітно відмовляються в поспіху випустити продукт.

Як виглядає розумна безпека тут

Не існує одного рішення, яке зробить розгортання агентів безпечним. Це багаторівнева проблема, і вона потребує багаторівневої відповіді. Організації, які роблять це добре, зазвичай починають із контролю доступу: надайте кожному агенту чітко обмежену сферу повноважень і вбудуйте етапи перевірки в кожну дію, яка торкається чутливих систем або зовнішніх послуг.

Спостережуваність має значення так само, як і запобігання. Якщо агент робить щось несподіване, командам потрібне повне трасування: які інструкції він отримав, які інструменти викликав і які результати повернув. Більшість систем журналювання не розраховані на таку деталізацію, а додавати її згодом складно. Варто подолати початкові труднощі й закласти її від самого початку.

Тестування з позиції нападника теж застосовують надто рідко. Перевірка агентів методом red team, зокрема спроби впровадити зловмисні інструкції та спостереження за результатом, виявляє вразливості, яких статична перевірка коду ніколи не виявить. Про це неприємно думати, але люди, які зрештою спробують скористатися слабкостями цих систем, уже проводять такі тести. Випередити їх — єдиний розумний крок.

Останні думки

ШІ-агенти відіграватимуть дедалі більшу роль у роботі організацій, і цей перехід уже активно триває. Обговорення безпеки має встигати за ним, причому швидко. Ризики реальні, вектори атаки нові, і вікно для того, щоб вийти вперед, звужується.

Розуміння ландшафту загроз для автономних систем штучного інтелекту більше не є необов’язковим. Це одна з найважливіших речей, які можуть робити команди безпеки та інженерії зараз, і відлік часу на те, щоб зробити все правильно, уже розпочався.

Gary Espinosa

Гері — досвідчений автор з понад 10‑річним досвідом у розробці програмного забезпечення, веб‑розробці та стратегії контенту. Він спеціалізується на створенні високоякісного, захоплюючого контенту, який сприяє конверсіям і формує лояльність до бренду. Він захоплюється створенням історій, які вражають і інформують аудиторію, і завжди шукає нові способи залучати користувачів.