Чому засоби захисту чат-ботів є неправильним кордоном безпеки

Підприємства штучного інтелекту пройшли далеко за межі стадії доказу концепції. 23% організацій вже масштабують агентні системи штучного інтелекту десь у своїй компанії, а 62%至少 проводять експерименти з агентами штучного інтелекту. Це не дослідницькі проекти. Це розгорнуті системи, інтегровані у робочі процеси, які торкаються репозиторіїв коду, даних клієнтів, внутрішніх API та операційної інфраструктури.

Відповідь галузі на цей зростання у значній мірі зосереджувалася на тому, що відбувається до того, як агент стане активним. Постачальники та дослідники вклали енергію у заходи безпеки до розгортання: опублікування політики масштабування, зміцнення базових моделей, фільтрація вхідних даних, забезпечення безпеки ланцюга поставок штучного інтелекту та забезпечення узгодженості під час навчання. Великі постачальники штучного інтелекту зробили суттєві інвестиції у засоби безпеки для розробників, підкріплюючи центральну припущення: якщо модель та її вхідні дані контролюються, ризик вниз по ланцюгу можна обмежити.

Це розумний інстинкт, але все більш недосконалий.

Промпт не є кордоном безпеки

Засоби захисту, які діють на рівні інтерфейсу моделі, переважно вигідні командам, які контролюють код програми, конфігурацію моделі та базову інфраструктуру. Вони пропонують набагато менше захисту захисникам, яким доручено захист системи штучного інтелекту, яку вони не створили і не можуть змінити. Це суттєва сліпа пляма, і противники вже знайшли її.

Останній звіт про загрози інтелекту OpenAI документує саме цю динаміку. Актори загроз активно зловживають ChatGPT та подібними інструментами у виробничих середовищах, не винаходячи нові техніки атак, а інтегруючи штучний інтелект у існуючі робочі процеси, щоб рухатися швидше. Розвідка стає більш ефективною. Соціальна інженерія масштабується. Розробка шкідливого ПО прискорюється. Поверхня атаки не змінилася фундаментально; швидкість та обсяг експлуатації змінилися.

Більш показовим є те, як нападники реагували, коли ці інструменти відштовхнули їх. OpenAI спостерігала, як актори загроз швидко мутували свої промпти, зберігаючи базову намір, але циклічно змінюючи поверхневі варіації, щоб обійти фронтальні засоби контролю. Це модель, яку спеціалісти з безпеки бачили раніше. Статичні засоби захисту, як і засновані на підписах антивіруси або фільтрація вхідних даних, не витримують проти противників, які ітерують швидше, ніж оновлення правил можуть слідувати.

Визов посилюється, коли агенти набувають автономності. Сучасні агенти штучного інтелекту не діють у одному обміні. Вони виконують багаторівневі послідовності дій, викликаючи легітимні інструменти та дозволи у спосіб, який виглядає цілком нормально в ізоляції. Агент, який використовує дійсні дозволи для перерахування внутрішніх API, не спрацьовує сигнал тривоги. Агент, який отримує доступ до чутливих даних під час того, що виглядає як звичайний робочий процес, не генерує жодного негайного прапора. Кожна окрема дія проходить перевірку; небезпека живе у поєднанні та послідовності.

Коли загроза рухається вниз по ланцюгу

Команди безпеки, які захищають розгортання штучного інтелекту сьогодні, стикаються зі структурною невідповідністю. Інструменти, доступні їм, у значній мірі побудовані для розуміння того, що модель дозволена сказати. Фактичний ризик, який їм потрібно керувати, полягає в тому, що агент робить у системах, мережах та ідентифікаторах після того, як йому були надані дозволи та випущені у виробниче середовище.

Засоби захисту на основі промпту поділяють фундаментальні слабкості попередніх підходів до безпеки, заснованих на правилах. Вони є крихкими, оскільки залежать від передбачення моделей атак заздалегідь. Вони є реактивними, оскільки вимагають, щоб хтось спостерігав і закодував загрозу до того, як захист зможе працювати. І вони відстають від противників, які прийняли ітерацію, допоможену штучним інтелектом, як стандартну практику. Захисник, який покладається на фільтрацію вхідних даних, щоб спіймати актора загрози, який використовує мовну модель для генерації свіжих варіацій промпту, перебуває у фундаментально програшній позиції.

Фактична вразливість поверхонь після розгортання. Дії агентів пропагуються через середовища способами, які жодне передрозгортання не може повністю передбачити. Агенти зустрічають крайні випадки, взаємодіють з джерелами даних, які вони не були призначені обробляти, отримують вхідні дані з систем поза оригінальною архітектурою та приймають рішення, які накопичуються з часом. Передрозгортання – це знімок; виробництво – це безперервний потік. Захист лише знімка означає прийняття того, що все, що відбувається у потоці, є фактично необслуженим.

Зміна кордону безпеки до поведінки агента

Будування стійкості штучного інтелекту вимагає іншого кадру, а мета не повинна полягати у захисті інтерфейсу моделі. Вона повинна полягати у виявленні намірів противника через спостережувані наслідки дій агента. Це суттєва відмінність. Намір не завжди виходить на поверхню у тому, що агент говорить або які вхідні дані він отримує.

Захист систем штучного інтелекту повинен розширятися за межі перевірок узгодженості та оцінок стійкості до безперервної оцінки того, як агенти поводяться після взаємодії з реальними інструментами, реальними API та реальними даними. Статична оцінка на момент розгортання є необхідною, але недостатньою. Загрозливе середовище, у якому агент діє, змінюється постійно. Поведінка агента потребує моніторингу з тією ж безперервністю.

Це проблема, яку зміцнення промпту не може вирішити. Виявлення зловмисного наміру, коли воно виникає через послідовності дій, вимагає моделей, здатних розуміти складну, послідовну поведінку в операційних середовищах. Моделі глибокого навчання, спеціально створені для поведінкового аналізу, можуть робити це способами, які системи, засновані на правилах, та традиційне інструментарій SIEM не можуть. Вони вчаться, що таке нормальне у повному контексті діяльності агента, та виносять відхилення, які свідчать про те, що щось змінилося, навіть якщо жодна окрема дія не спрацює традиційний сигнал тривоги.

Підставна логіка зберігається незалежно від контексту розгортання: захист, закріплений на рівні промпту, буде постійно програвати нападникам, які діють на рівні дії. Захист має рухатися туди, де фактично живе загроза.

Що команди безпеки повинні зробити зараз

Для керівників безпеки, які намагаються вийти вперед, кілька практичних зрушень можуть закрити розрив між тим, де оборони зараз знаходяться, та тим, де їм потрібно бути.

Оцініть безпеку штучного інтелекту по всьому стеку застосунків. Базова модель – це один рівень. Не менш важливим є те, як агенти поводяться після розгортання у виробництво, які інструменти вони викликають, які дозволи вони використовують та як ці вибори змінюються з часом. Оцінки безпеки, які зупиняються на межі моделі, залишають операційну поверхню в значній мірі необслуженою.

Застосуйте принцип мінімальних привілеїв на рівні агента. Агенти штучного інтелекту повинні мати доступ лише до інструментів, API та даних, необхідних для їх призначеної функції. Це обмеження має значення навіть тоді, коли вихідні дані агента виглядають благонадійними. Обмеження сфери дії зменшує радіус ураження скомпрометованого агента та створює чіткіші поведінкові базові лінії, які роблять виявлення аномалій більш ефективним.

Відносіться до агентів як до ідентифікаторів, які генерують телеметрію. Кожна дія, яку виконує агент, є даних. Команди безпеки повинні будувати логіку виявлення навколо ланцюгів дій, ініційованих агентом, а не лише промптів користувача, які передують їм. Це переформулювання зрушує моніторинг від того, що хтось просив агент зробити, до того, що агент фактично зробив, де намір противника стає видимим.

Інвестуйте у безперервний поведінковий моніторинг з моделями виявлення, спеціально створеними для цієї задачі. Виявлення зловмисного наміру, коли воно виникає через послідовності дій, вимагає спеціальної здатності. Конвенційний інструментарій моніторингу був побудований для моделей діяльності, створених людьми. Поведінка агента, з його швидкістю, об’ємом та багаторівневою структурою, вимагає інфраструктури виявлення, створеної з нуля з урахуванням цього контексту.

Приоритизуйте колективну оборону. Техніки атак, допоможені штучним інтелектом, розвиваються швидше, ніж будь-яка окрема організація може відстежувати. Спільні дослідження, відкрита співпраця та спільна розвідка загроз не є необов’язковими доповненнями до стратегії безпеки штучного інтелекту; вони є основними вхідними даними. Захисники, які залишаються актуальними, є тими, хто вносить свій внесок у спільні знання та черпає з них.

Поведінкова безпека фактично доставляє

Для команд безпеки, які роблять це зрушення, операційний прибуток є конкретним. Закріплення виявлення у поведінці агента, а не у вихідних даних моделі, дозволяє раннє виявлення зловмисного наміру, навіть коли атаки є хитрими, адаптивними або зашифрованими. Нападники, які успішно мутують свої промпти past фільтри вхідних даних, все одно повинні діяти. Ці дії залишають сліди. Поведінкове виявлення знаходить ці сліди до того, як шкода пропагується.

Можливо, найважливішим є те, що цей підхід дає організаціям достовірний шлях до розгортання агентів штучного інтелекту у великому масштабі без прийняття пропорційного ризику безпеки. Питання, яке тримає багато підприємств назад, полягає не в тому, чи можуть агенти штучного інтелекту доставляти цінність; воно полягає в тому, чи можуть вони бути розгорнуті з достатньою впевненістю, що постура безпеки не погіршується при зростанні розгортання. Поведінкова безпека, заснована на тому, як агенти фактично діють, а не на тому, які вхідні дані вони отримують, забезпечує цю впевненість тим способом, яким засоби контролю на основі промпту структуально не можуть.

Кордон безпеки був проведений у неправильному місці, і ця помилка мала сенс, коли штучний інтелект був інструментом, який чекав на вхід. Тепер він не чекає. Агентні системи діють, ланцюжаться, ескалується та накопичуються через середовища, яких жодне передрозгортання не могло повністю передбачити. Організації, які визнають це раніше, будуть тими, хто фактично масштабує штучний інтелект з впевненістю. Усі інші будуть проводити наступні кілька років, відкриваючи, компромат за компроматом, що контроль над тим, що говорить модель, ніколи не був тим самим, що контроль над тим, що вона робить.