Від Генеративного до Агентного Штучного Інтелекту: Перехід Від Ризиків Контенту До Експозиції Виконання

Підприємства штучного інтелекту швидко розвиваються. Що почалося як генеративний штучний інтелект, який допомагав у складанні електронних листів і підсумовуванні документів, тепер стає чимось значно автономнішим: системами, які планують, приймають рішення і виконують завдання в різних інструментах і середовищах.

Це перехід від генеративного до агентного штучного інтелекту. Це бачення ризиків, які трансформуються.

Генеративний штучний інтелект вводив ризики контенту, включаючи галюцинації, витік даних через запити, і упереджені виходи. Експозиція агентного штучного інтелекту відбувається через його автономні системи, які мають дозволи, пам’ять і можливість доступу до всіх доступних інструментів із швидкістю машин.

Це можливість для фахівців з безпеки, управління та штучного інтелекту переоцінити свою позицію щодо цих нових ризиків.

Що таке ризик агентного штучного інтелекту?

Ризик агентного штучного інтелекту відноситься до ризиків безпеки, операційної діяльності та управління, пов’язаних із системами штучного інтелекту, які діють автономно, не тільки генеруючи текст, але й виконуючи багаторівневі робочі процеси на підприємствах.

На відміну від традиційних великомасштабних мовних моделей (LLM), агентні системи можуть розбивати завдання на динамічні робочі процеси, робити зовнішні запити API і викликати внутрішні програми, а також зберігати і відновлювати пам’ять. Вони також можуть діяти під делегованими ідентифікаторами і спілкуватися з іншими агентами.

В інших словах, вони менш схожі на чат-боти і більше на молодших цифрових працівників. Це представляє значне збільшення поверхні атаки штучного інтелекту.

Генеративний проти агентного штучного інтелекту: Що змінюється?

Ризик генеративного штучного інтелекту зосереджується на виходах. Команди безпеки запитують питання типу: чи не витікає модель даних, чи не галюцинує, чи не генерується шкідливий або неконформний контент.

Люди твердо знаходяться в циклі. Штучний інтелект пропонує, люди затверджують.

Ризик агентного штучного інтелекту орієнтований на дії. Тепер команди безпеки повинні запитувати себе, з якими системами може взаємодіяти агент, які дозволи він успадкує, наскільки його план може сягати, і що станеться, якщо його обмануть під час виконання.

Відмінність може бути дуже маленькою, але вона суттєва: Генеративний штучний інтелект створює контент. Агентний штучний інтелект створює наслідки. Це перехід від ризиків контенту до експозиції виконання.

Як агентний штучний інтелект розширює поверхню атаки підприємств?

Агентний штучний інтелект не просто додає нову програму. Він створює новий оперативний шар. Ось як поверхня атаки зростає:

1. Привілейовані агенти штучного інтелекту

Є багато агентів, які діють від імені користувачів або сервісних облікових записів. Коли сфера дозволів не тісно обмежена, вони стають цінними цілями.

Це може привести до проблем з розгубленою заступником, підвищення привілеїв і латерального руху. Це проблема, коли хмара, SaaS і внутрішні системи забезпечують динамічний або успадкований доступ до агентів.

2. Динамічні шляхи виконання

Контрольні потоки в традиційних програмах визначені. Контрольні потоки в агентних системах штучного інтелекту не визначені.

Вони думають про цілі, дії, віддзеркалюють, уточнюють і викликають інструменти ненадійним чином. Це призводить до важких для аналізу випадків відмов, складних графів залежностей і каскадних відмов у багатокористувацьких системах. Безпекові засоби контролю, розроблені для визначених контрольних потоків, тут не застосовуються.

3. Тривала пам’ять

Поверхня атаки, створена пам’яттю агента, тривала.

Коли короткочасна або довгочасна пам’ять компрометована, зловмисна стан може впливати на рішення протягом кількох сесій. Це відрізняється від одноразового введення запиту, оскільки корупція пам’яті забезпечує тривалість.

4. Ризики прийняття рішень із швидкістю машин

Автономні агенти приймають рішення із швидкістю, яку неможливо дорівняти. Це вводить ризики прийняття рішень із швидкістю машин, такі як швидка пропагація помилок, цикли зловживання, які відбуваються значно швидше, ніж людська реакція, і ескалація до виявлення.

У багатокористувацьких системах сфера впливу швидка. Зловмисний агент може спричинити каскадну відмову в координаційних ланцюгах.

Чому традиційні засоби контролю не працюють з агентним штучним інтелектом

Більшість традиційних моделей безпеки підприємств спираються на статичні програми, передбачувані графи викликів, затвердження людини і чітке розмежування між обробкою даних і виконанням. Агентний штучний інтелект робить ці припущення недійсними.

Наприклад, традиційний засіб контролю, такий як валідация введення, забезпечує безпеку межі системи. Однак агентний ризик зазвичай з’являється в середині циклу, у фазі планування, віддзеркалення або інструментування.

Традиційне сканування уразливостей також зосереджується на інфраструктурі та програмному забезпеченні. Однак ризик виконання штучного інтелекту перебуває в рівні розуміння і дії агента.

Питання таке: Як захистити щось, що може вибирати свої наступні дії? Ви не можете просто обгорнути засоби контролю навколо одного моделі. Ви повинні забезпечити безпеку робочого процесу.

Захист агентного штучного інтелекту: Що насправді працює?

Коли мова йде про захист агентного штучного інтелекту, потрібно перейти від периметрового мислення до мислення життєвого циклу. Агентам не слід дозволяти нескінченно переінтерпретувати цілі, і є кілька способів досягнення цього.

Встановлення допустимих послідовностей цілей, регулювання глибини дерева розширення плану, моніторинг дрейфу розуміння і заборона самоавторських цілей поза сферою є всіма необхідними засобами контролю. Несподівані варіації розуміння часто є передвісниками маніпуляції.

Зміцнити виконання інструментів. Інструменти – це місце, де план зустрічається з реальністю, і безпека повинна покривати перевірки дозволів перед виконанням інструменту, ізольовані середовища виконання, сувору валідацию параметрів і передачу посвідчень justo в час. Кожне виконання інструменту повинно бути зареєстровано як перша класифікація безпекових подій.

Ізолюйте пам’ять і сферу привілеїв. Пам’ять повинна бути оброблена як чутлива інфраструктура. Це означає валідацию операцій запису, розмежування пам’яті, обмеження сфери читання операцій на завдання, використання короткочасних посвідчень і запобігання успадковуванню привілеїв. Невалідована акумуляція дозволів є значним ризиком агентного штучного інтелекту.

Захистіть координацію багатокористувацьких агентів. У розподілених системах агентів спілкування само собою стає вектором атаки. Це повинно припускати автентифікацію агентів, валідацию схеми повідомлень, обмежені канали спілкування і моніторинг аномальних впливів. Коли координація відхиляється від очікуваних потоків, ізоляція повинна відбуватися автоматично.

Від управління експозицією до оцінки експозиції систем штучного інтелекту

Це місце, де ширша філософія безпеки стає ключовою. Традиційне управління уразливостями ідентифікує відомі слабкості. Однак автономні системи штучного інтелекту вводять емержентну експозицію: ризики, які виникають з конфігурації, дизайну привілеїв, шляхів інтеграції і динамічної поведінки.

Це узгоджується з тим, що галузь назвала управління експозицією і, останнім часом, оцінкою експозиції.

Управління експозицією полягає в тому, щоб мати постійну видимість того, як системи (включаючи активи хмари, ідентифікатори, програми і тепер агентів штучного інтелекту) створюють шляхи, яких можуть скористатися зловмисники.

Для безпеки автономних систем штучного інтелекту це означає питання: Що може досягти цей агент? Які дозволи він акумулює? Які системи він оркеструє? І де виконання перетинається з чутливими даними?

Команди, які вже використовують стратегії, засновані на експозиції, для зменшення кіберризиків, знаходяться у солідній позиції для розширення цих принципів до своїх середовищ штучного інтелекту. Наприклад, платформи, які об’єднують ідентифікатори, хмару і видимість уразливостей, забезпечують спосіб розуміння того, як привілейовані агенти штучного інтелекту перетинаються з існуючими шляхами атаки.

Ключем не є саме вендорське інструментування. Це мислення:

Ви не забезпечуєте безпеку агентного штучного інтелекту, захищаючи модель. Ви забезпечуєте її, постійно вимірюючи і зменшуючи експозицію.

Керування ризиками рівня виконання в агентному штучному інтелекті

Візначною ознакою безпеки агентного штучного інтелекту є те, що поверхня атаки не є відповіддю, а робочим процесом.

Ризики рівня виконання численні, включаючи необслужене використання інструментів, підробку ідентифікаторів, підвищення привілеїв, отруєння пам’яті, маніпуляцію між агентами і системи людини в циклі під тиском.

Мінімізація цих ризиків означає наявність видимості відносин ідентифікаторів, успадкування привілеїв, залежностей API, діяльності часу виконання і телеметрії виконання.

Це вже не просто безпека генеративного штучного інтелекту; це також операційна безпека штучного інтелекту.

Ризик агентного штучного інтелекту є архітектурним, а не гіпотетичним

Агентний штучний інтелект – це наступний крок у розвитку прийняття підприємств штучного інтелекту. Він обіцяє ефективність, автоматизацію і масштабованість. Однак він також вводить ризик від того, що штучний інтелект говорить, до того, що штучний інтелект робить.

Перехід від генеративних до агентних систем впливає на наступне:

• Ризик контенту до ризику виконання
• Статичні запити до динамічних потоків виконання
• Людський огляд до автономного виконання
• Безпека програми до управління експозицією

Лідери безпеки, які розуміють цей перехід першими, можуть архітектувати поручні, які масштабуються з автономією. Інші закінчать з цифровими інсайдерами без контролю інсайдерів.

Майбутнє штучного інтелекту в підприємствах – агентне. Майбутнє безпеки штучного інтелекту повинно бути орієнтоване на експозицію, усвідомлене робочим процесом і розроблене для операцій із швидкістю машин.

Бо як тільки агенти штучного інтелекту мають можливість виконувати дії, єдиний життєздатний підхід – постійно розуміти (і мінімізувати) те, до чого вони експонуються.