Від Генеративного до Агентного Штучного Інтелекту: Зміна Від Ризику Контенту До Експозиції Виконання

Підприємства штучного інтелекту швидко еволюціонують. Що почалося як генеративний штучний інтелект у ролі копілота, який складає електронні листи та підсумовує документи, тепер стає чимось значно автономнішим: системами, які планують, приймають рішення та виконують завдання в різних інструментах та середовищах.

Це зміна від генеративного до агентного штучного інтелекту. Це бачення ризику, яке метаморфується.

GenAI ввела ризики контенту, включаючи галюцинації, витік даних через підказки та упереджені виходи. Експозиція агентного штучного інтелекту відбувається через його автономні системи, які мають дозволи, пам’ять та можливість доступу до всіх доступних інструментів зі швидкістю машин.

Це можливість для фахівців з безпеки, управління або штучного інтелекту переоцінити свою позицію щодо цих нових ризиків.

Що таке агентний ризик штучного інтелекту?

Агентний ризик штучного інтелекту відноситься до ризиків безпеки, операційної діяльності та управління, створених штучними інтелектними системами, які працюють автономно, не тільки генеруючи текст, але й виконуючи багатоступінчаті робочі процеси на підприємствах.

На відміну від традиційних великих мовних моделей (LLM), агентні системи можуть розбивати завдання на динамічні робочі процеси, робити зовнішні запити API та викликати внутрішні програми, а також зберігати та відображати пам’ять. Вони також можуть працювати під делегованими ідентифікаторами та спілкуватися з іншими агентами.

Іншими словами, вони менш схожі на чат-ботів та більше на молодших цифрових працівників. Це представляє величезне збільшення атаки поверхні штучного інтелекту.

Генеративний проти агентного штучного інтелекту: Що змінюється?

Ризик генеративного штучного інтелекту зосереджується на виходах. Команди безпеки задають питання, такі як чи не витікає модель даних, чи може вона галюцинувати, чи навіть чи створюється шкідливий або неконформний контент.

Люди твердо перебувають у циклі. Штучний інтелект пропонує, люди схвалюють.

Агентний ризик штучного інтелекту орієнтований на дії. Тепер команди безпеки повинні запитувати себе, з якими системами агент може взаємодіяти, які дозволи він успадкує, наскільки його план може сягнути, та що станеться, якщо його обмануть під час виконання.

Відмінність може бути дуже малою, але вона суттєва: Генеративний штучний інтелект створює контент. Агентний штучний інтелект створює наслідки. Це рух від ризику контенту до експозиції виконання.

Як агентний штучний інтелект розширює поверхню атаки підприємства?

Агентний штучний інтелект не просто додає нову програму. Він створює новий операційний шар. Ось як зростає поверхня атаки:

1. Привілейовані агенти штучного інтелекту

Є багато агентів, які діють від імені користувачів або сервісних акаунтів. Коли обсяг дозволів не тісно обмежений, вони стають цінними цілями.

Це може привести до проблем з розгубленим заступником, підвищенням привілеїв та поздовжнім рухом. Це проблема, коли хмарі, SaaS та внутрішні системи забезпечують динамічний або успадкований доступ до агентів.

2. Динамічні шляхи виконання

Контрольні потоки в традиційних програмах є визначеними. Контрольні потоки в агентних системах штучного інтелекту не визначені.

Вони думають про цілі, дії, віддзеркалюють, уточнюють та викликають інструменти у невизначеному порядку. Це призводить до важких випадків аналізу відмов, складних графів залежностей та каскадних відмов у багатоцільових системах. Безпекові засоби контролю, розроблені для визначених контрольних потоків, не застосовуються тут.

3. Тривала пам’ять

Поверхня атаки, створена пам’яттю агента, є тривалою.

Коли короткочасна або довгочасна пам’ять компрометується, шкідливий стан може впливати на рішення протягом декількох сесій. Це відрізняється від одноразового введення підказки, оскільки корупція пам’яті забезпечує тривалість.

4. Ризики прийняття рішень зі швидкістю машин

Автономні агенти приймають рішення зі швидкістю, яку неможливо порівняти. Це призводить до ризиків прийняття рішень зі швидкістю машин, таких як швидке поширення помилок, цикли зловживання значно швидше, ніж людська реакція, та ескалація до виявлення.

У багатоцільових системах сфера впливу є швидкою. Шкідливий агент може спричинити каскадну відмову у координаційних ланцюгах.

Чому традиційні засоби контролю не працюють з агентним штучним інтелектом

Більшість традиційних моделей безпеки підприємств залежать від статичних програм, передбачуваних графів викликів, людської згоди та чіткого розмежування між обробкою даних та виконанням. Агентний штучний інтелект робить ці припущення недійсними.

Візьміть, наприклад, традиційний засіб контролю, такий як валідування введення. Це захищає межу системи. Однак агентний ризик зазвичай з’являється в середині циклу, у фазі планування, віддзеркалення чи інструментування.

Традиційне сканування уразливості також зосереджується на інфраструктурі та програмному забезпеченні. Однак ризик виконання штучного інтелекту перебуває в рівні прийняття рішень та дії агента.

Питання полягає в тому, як захистити щось, що може вибрати自己的 наступну дію? Ви не можете просто обернути засоби контролю навколо одного виклику моделі. Ви повинні забезпечити безпеку робочого процесу.

Захист агентного штучного інтелекту: Що насправді працює?

Коли мова йде про захист агентного штучного інтелекту, повинна бути зміна від думки про периметр до думки про життєвий цикл. Агентам не повинен бути дозволений нескінченний перезапит цілей, і є кілька способів досягнення цього.

Встановлення допустимих послідовностей цілей, регулювання глибини розширення планів, моніторинг дрейфу розуміння та заборона саморедакторських цілей поза сферою є суттєвими засобами контролю. Несподівані варіації розуміння часто є передвісниками маніпуляції.

Захистіть виконання інструментів. Інструменти – це місце, де план зустрічається з реальністю, а безпека повинна покривати перевірки дозволів перед виконанням інструменту, ізольоване середовище виконання, сувору валідування параметрів та передачу посвячених у час виконання. Кожне виконання інструменту повинно бути зареєстровано як перший клас безпеки події.

Ізолюйте пам’ять та сферу привілеїв. Пам’ять повинна бути оброблена як чутлива інфраструктура. Це означає валідування операцій запису, розділення пам’яті, обмеження сфери читання за завданнями, використання короткочасних посвячених та запобігання успадковуванню привілеїв. Невалідована акумуляція дозволів є суттєвим ризиком агентного штучного інтелекту.

Захистіть координацію багатоцільових агентів. У розподілених системах агентів спілкування само собою стає вектором атаки. Це повинно означати аутентифікацію агентів, валідування схеми повідомлень, обмежені канали спілкування та моніторинг за аномальними впливами. Коли координація відхиляється від очікуваних потоків, ізоляція повинна відбуватися автоматично.

Від управління експозицією до оцінки експозиції для систем штучного інтелекту

Це місце, де ширша філософія безпеки стає ключовою. Традиційне управління уразливостями ідентифікує відомі слабкості. Однак автономні системи штучного інтелекту вводять емерджентну експозицію: ризики, які виникають з конфігурації, дизайну привілеїв, шляхів інтеграції та динамічної поведінки.

Це відповідає тому, що галузь назвала управління експозицією та, недавно, оцінку експозиції.

Управління експозицією полягає в тому, щоб мати безперервну видимість того, як системи (включаючи активи хмари, ідентифікатори, програми та现在 агентів штучного інтелекту) створюють шляхи, які можуть бути використані зловмисниками.

Для безпеки автономних систем штучного інтелекту це означає питання: До чого цей агент能够 досягти? Які дозволи він агрегує? Які системи він оркеструє? І де виконання перетинається з чутливими даними?

Команди, які вже використовують стратегії, засновані на експозиції, для зниження кіберризiku, перебувають у солідній позиції, щоб розширити ці принципи на свої середовища штучного інтелекту. Наприклад, платформи, які уніфікують видимість ідентифікаторів, хмари та уразливості, забезпечують спосіб розуміння того, як привілейовані агенти штучного інтелекту перетинаються з існуючими шляхами атаки.

Ключем не є саме інструментальне забезпечення постачальників. Це мислення:

Ви не захищаєте агентний штучний інтелект, захищаючи модель. Ви захищаєте його, безперервно виміряючи та зменшуючи його експозицію.

Керування ризиками рівня виконання в агентному штучному інтелекті

Відмінною ознакою безпеки агентного штучного інтелекту є те, що поверхня атаки не є відповіддю, а робочим процесом.

Ризики рівня виконання є численними, включаючи необслужуване використання інструментів, підробку ідентифікаторів, підвищення привілеїв, отруєння пам’яті, маніпуляцію між агентами та системи “людина в циклі” під тиском.

Мітигація цих ризиків означає наявність видимості відносин ідентифікаторів, успадкування привілеїв, залежностей API, діяльності часу виконання та телеметрії виконання.

Це вже не просто безпека генеративного штучного інтелекту; це операційна безпека штучного інтелекту.

Ризик агентного штучного інтелекту є архітектурним, а не гіпотетичним

Агентний штучний інтелект – це наступний крок в еволюції прийняття підприємств штучного інтелекту. Він обіцяє ефективність, автоматизацію та масштабованість. Однак він також вводить ризик від того, що штучний інтелект говорить до того, що штучний інтелект робить.

Перехід від генеративних до агентних систем впливає на наступне:

• Ризик контенту до ризику виконання
• Статичні підказки до динамічних потоків виконання
• Людську перевірку до автономного виконання
• Безпеку програми до управління експозицією

Лідери безпеки, які розуміють цей перехід першими, можуть архітектурно створити захист, який масштабується з автономією. Інші будуть мати цифрових інсайдерів без контролю інсайдерів.

Майбутнє штучного інтелекту в підприємствах – агентне. Майбутнє безпеки штучного інтелекту повинно бути експозиційним, усвідомленим робочим процесом та розробленим для операцій зі швидкістю машин.

Бо як тільки агенти штучного інтелекту мають можливість виконувати, єдиний життєздатний підхід полягає в тому, щоб постійно розуміти (і пом’якшувати) те, до чого вони експонуються.