Коли здатність штучного інтелекту зростає швидше, ніж моделі безпеки, створені для його обмеження

Інструменти штучного інтелекту зазвичай приходять з знайомим продажним питанням. Вони обіцяють оптимізувати робочі процеси, підвищити продуктивність і взяти на себе завдання, які ніхто не любить. І більшість часу вони справді виконують саме це. Вони спрощують входи в систему, підсумовують документи, автоматизують робочі процеси і роблять звичайні дії майже беззусильними.

Але під всією цією зручністю лежить інша історія. Ці інструменти вже не обмежені текстовим полем. Вони починають діяти на операційній системі. Вони можуть переглядати файли, складати електронні листи, взаємодіяти з програмами і виконувати дії, які раніше вимагали уважного людини, яка розуміла наслідки. Ця зміна ставить штучний інтелект у позицію, яку існуючі припущення про безпеку ніколи не були створені для управління.

Момент, коли штучний інтелект отримує доступ до системи

Як тільки система штучного інтелекту може читати реальні файли і виконувати реальні команди, вона стає частиною довіреної бази обчислень. Це момент, коли довгострокові очікування щодо безпеки штучного інтелекту починають руйнуватися.

Тривалий час ін’єкція запитів вважалася дивною поведінкою моделі. Вона спричиняла появу неправильних або невідповідних відповідей чат-ботів, але шкода закінчувалася розмовою. Тепер та сама вада може спровокувати дії на рівні хоста, а не просто текст. Зловмисна інструкція, захована всередині PDF, веб-сайту або електронного листа, вже не викликає дивної відповіді. Вона викликає дію, виконану на машині.

Це не щось, що галузь може відкинути як теоретичне. Дослідники в Університеті Карнегі-Меллон і Університеті Вашингтону багаторазово демонстрували, що приховані інструкції можуть спрямовувати великі мовні моделі на виконання дій, які користувачі ніколи не мали на увазі. Тим часом, дослідники, які вивчають моделі бачення, показали, як маніпульовані зображення можуть змінити сприйняття моделі способами, які впливають на подальшу поведінку.

Ці експерименти раніше вважалися лабораторними курйозами. Вони вже не здаються академічними, коли штучний інтелект має доступ до операційної системи.

Коли здатність агента обганяє контроль захисника

Дажі компанії, які будують цих агентів, визнають серйозність виклику. Вони посилили фільтри для обробки запитів, але вони відкрито заявляють, що контроль над реальними діями системи штучного інтелекту залишається активною, нерозв’язаною областю роботи в галузі. Це розрив між тим, що агент може зробити, і тим, що захисники можуть контролювати, вводить нову категорію ризику, яку існуючі безпекові сценарії не можуть поглинути.

Агенти штучного інтелекту перетнули межу, на яку галузь ще не повністю готова. Єдиний спосіб зрозуміти це – це подивитися, як ін’єкція запитів тепер перетинається з тими самими атаками, яких захисники слідували понад десятиліття.

Як ін’єкція запитів тепер відображається на атаках, які всі знають

Атакувальники завжди слідували передбачуваному шаблону. Фреймворк MITRE ATT&CK виписує етапи чітко. Початковий доступ слідує за виконанням, збереженням, виявленням, рухом, збором і витоком. Техніки різняться, але структура стабільна.

Що змінюється, це механізм доставки. Замість того, щоб переконувати користувача відкрити зловмисний файл або натиснути на небезпечне посилання, атакувальники можуть розмістити інструкції там, де агент їх прочитає. Агент стає середовищем виконання. Він виконує кроки точно так, як описано. Модель не ставить під сумнів, чи є інструкція шкідливою. Вона не застосовує судження чи інтуїцію. Вона просто діє.

Як тільки атакувальник може вплинути на розум агента, атака швидко складається. Маніпульований файл спровоковує виконання, подальші інструкції створюють збереження, системні пошуки забезпечують виявлення, а завантаження файлів дозволяють збором і витоком. Не потрібно жодного зловмисного коду. Агент просто виконує кроки, як написано.

Це частина історії, до якої команди безпеки ще не змогли адаптуватися. Вони витратили роки на будівництво правил виявлення, контролю і процесів реагування на виконання на основі коду. Агенти штучного інтелекту вводять інші види інтерпретаторів. Вони виконують через природну мову, а не через скомпільовані бінарні файли. Існуючі інструменти не створені для відстеження або навіть аналізу цього процесу мислення.

Команди безпеки не готові і навіть не розуміють цього

Програми безпеки все ще припускають, що людина сидить між вмістом і дією. Люди можуть бути обмануті, але вони зупиняються, коли щось здається неправильним. Вони помічають дивні фрази, ставлять під сумнів несподівану поведінку і застосовують судження до останньої милі рішення.

Агенти штучного інтелекту нічого з цього не роблять; вони послідовні, буквальні і швидші за будь-якого противника. Одна лінія прихованого тексту достатня, щоб інструктувати агента прочитати чутливі файли, переміститися через програми або зв’язатися з віддаленим сервером. Це ставить захисників у позицію, якої вони ніколи не мали раніше.

Команди безпеки мають обмежену видимість того, як агент приймає рішення, і вони не можуть легко визначити, чи походила дія від користувача чи від штучного інтелекту. Традиційне виявлення зловмисного коду не допомагає, оскільки нічого шкідливого не виконується в звичайному сенсі, і немає гарантії, що агент поставить під сумнів або відхилить шкідливі інструкції, приховані в звичайному вмісті.

Інструменти, призначені для поведінки людини, просто не переносяться у світ, де природна мова стає сценарієм, який керує поведінкою системи.

Які компенсуючі засоби контролю дійсно працюють

Зміцнення моделі недостатньо. Команди безпеки потребують засобів контролю навколо агента, які обмежують, що штучний інтелект може зробити, навіть коли його мислення під впливом.

Деякі стратегії вже показують свою перспективу:

• Доступ з мінімальними привілеями є необхідним. Агенти повинні мати доступ тільки до тих файлів і дій, які необхідні для їх завдань. Зменшення непотрібних дозволів обмежує вплив маніпульованих інструкцій.
• Кроки затвердження людини можуть зупинити шкідливі дії до того, як вони відбуватимуться. Коли агент намагається виконати чутливу операцію, таку як виконання команди або доступ до захищених даних, користувач повинен затвердити або відхилити запит.
• Фільтрація вмісту створює буфер між недовіряним матеріалом і агентом. Перевірка документів, URL-адрес і зовнішнього тексту знижує шанси того, що приховані інструкції досягнуть моделі.
• Комплексне журналювання є обов’язковим. Кожна дія, ініційована агентом, повинна бути записана і переглянута. Ці дії повинні бути оброблені так само, як і будь-яка діяльність привілейованого користувача.
• Відображення поведінки агента на техніки ATT&CK допомагає захисникам визначити, де агент може бути спровокований на шкідливі дії і де повинні бути встановлені перилі. Це використовує ту саму систему, яка вже структурує захисну стратегію.

Ці компенсуючі засоби контролю не усунуть ризик. Але вони обмежать його способами, яких захист на рівні моделі не може забезпечити.

Куди галузь рухається далі

Агенти штучного інтелекту представляють значну зміну в тому, як працює обчислення. Вони пропонують неймовірну продуктивність, але вони також вводять категорію операційного ризику, який не вписується у існуючі безпекові рамки. Роз’яснення Національного центру кібербезпеки Великої Британії є початком, але більшість організацій ще не мають чіткого способу керувати агентами, які можуть діяти на системі.

Цей момент здається схожим на перші дні прийняття хмарних технологій. Технологія рухалася швидше, ніж засоби контролю. Організації, які адаптувалися швидко, були тими, які визнали зміну рано і побудували процеси, щоб відповідати їй.

Те саме буде тут. Агенти штучного інтелекту не просто помічники. Вони оператори з системним рівнем доступу. Захист їх вимагає нових сценаріїв, нових перилі і нових способів моделювання впливу.

Галузь не повинна боятися цих інструментів. Але їй потрібно зрозуміти їх. І їй потрібно рухатися швидко, оскільки атакувальники вже бачать можливість. Питання в тому, чи захисники побудують належні засоби захисту, поки вони ще мають час.