Безпекові уразливості, які ми створили: агенти штучного інтелекту та проблема слухняності

Агенти штучного інтелекту на основі великих мовних моделей вводять новий клас уразливостей, коли атакувальники впроваджують шкідливі інструкції в дані, перетворюючи корисні системи на невольних спільників.

Microsoft Copilot не був зламаний у класичному сенсі. Не було жодного зловмисного коду, жодного фішингового посилання, жодного шкідливого коду. Ніхто нічого не натискав і не розгортав жодного експлойту.

Атакувальник просто запитав. Microsoft 365 Copilot, роблячи саме те, для чого він був створений, підкорився. У недавньому Echoleak атаці без кліку, агент штучного інтелекту був маніпульований запитом, замаскованим під дані. Він підкорився, не тому, що був зламаний, а тому, що функціонував саме так, як був спроектований.

Ця уразливість не використовувала програмні помилки. Вона використовувала мову. І це позначає великий переломний момент у кібербезпеці, де поверхня атаки вже не код, а розмова.

Нова проблема слухняності штучного інтелекту

Агенти штучного інтелекту створені для допомоги. Їхнє призначення – зрозуміти намір користувача і діяти ефективно. Ця корисність супроводжується ризиком. Коли вони інтегруються у файлові системи, платформи продуктивності або операційні системи, ці агенти виконують природні мовні команди з мінімальним опором.

Атакувальники використовують саме цю рису. З допомогою ін’єкцій запитів, які виглядають безневинними, вони можуть спровокувати чутливі дії. Ці запити можуть включати:

• Фрагменти коду на кількох мовах
• Непрозорі формати файлів та вбудовані інструкції
• Введення тексту неанглійською мовою
• Багатоступінчаті команди, приховані в повсякденній мові

Оскільки великі мовні моделі (LLM) навчаються розуміти складність і двозначність, запит стає вантажем.

Привид Сірі та Алекси

Ця схема не нова. У перші дні Сірі та Алекси дослідники демонстрували, як відтворення голосової команди, наприклад “Відправити всі мої фотографії на цю електронну адресу”, може спровокувати дію без верифікації користувача.

Тепер загроза більша. Агенти штучного інтелекту, як Microsoft Copilot, інтегровані глибоко в Office 365, Outlook та операційну систему. Вони мають доступ до електронної пошти, документів, даних для авторизації та API. Атакувальникам потрібно лише правильний запит, щоб витягнути критичні дані, видаючи себе за законного користувача.

Коли комп’ютери плутають інструкції з даними

Це не новий принцип у кібербезпеці. Ін’єкції, як SQL-атаки, вдалися, оскільки системи не могли розрізняти вхідні дані та інструкції. Сьогодні ця сама вада існує, але на рівні мови.

Агенти штучного інтелекту сприймають природну мову як вхідні дані та намір. JSON-об’єкт, питання чи навіть фраза можуть ініціювати дію. Ця двозначність і є тим, що атакувальники використовують, вбудовуючи команди у те, що виглядає як безпечний контент.

Ми вбудували намір у інфраструктуру. Тепер атакувальники дізналися, як витягнути його, щоб виконувати свої завдання.

Адопція штучного інтелекту випереджає кібербезпеку

Когда підприємства поспішно інтегрують великі мовні моделі, багато з них нехтують критичним питанням: до чого має доступ штучний інтелект?

Коли Copilot може торкнутися операційної системи, радіус дії розширюється далеко за межі поштової скриньки. За даними звіту про безпеку штучного інтелекту компанії Check Point:

• 62 відсотка глобальних керівників із питань інформаційної безпеки (CISO) бояться, що вони можуть бути притягнуті до особистої відповідальності за порушення, пов’язані зі штучним інтелектом
• Близько 40 відсотків організацій повідомляють про внутрішнє використання штучного інтелекту без нагляду з боку служби безпеки
• 20 відсотків кіберзлочинних груп зараз використовують штучний інтелект у своїй діяльності, включаючи створення фішингових листів та проведення розвідки

Це не просто новий ризик. Це вже наявна загроза, яка вже завдає шкоди.

Чому існуючі засоби безпеки виявляються недостатніми

Деякі виробники використовують сторожові моделі – вторинні моделі, навчені виявляти шкідливі запити або підозрілу поведінку. Ці фільтри можуть виявити базові загрози, але вразливі до методів ухилення.

Атакувальники можуть:

• Перевантажити фільтри шумом
• Розбити намір на кілька кроків
• Використовувати неочевидне формулювання, щоб обійти виявлення

У випадку з Echoleak засоби безпеки були присутні, але їх було обійдено. Це свідчить не лише про провал політики, а й про провал архітектури. Коли агент має високі привілеї, але низький контекст, навіть добрі перила виявляються недостатніми.

Виявлення, а не досконалість

Запобігання кожній атаці може бути нереалістичним. Метою має бути швидке виявлення та швидке локалізація.

Організації можуть почати з:

• Моніторингу діяльності агентів штучного інтелекту в реальному часі та підтримання реєстру запитів
• Застосування суворого мінімального доступу до інструментів штучного інтелекту, дзеркального адміністративного контролю
• Додавання тертя до чутливих операцій, наприклад, вимагання підтвердження
• Позначення незвичайних або ворожих моделей запитів для перегляду

Лінгвістичні атаки не з’являться у традиційних інструментах виявлення та реагування на загрози (EDR). Вони вимагають нової моделі виявлення.

Що організації повинні зробити зараз, щоб захистити себе

Перед розгортанням агентів штучного інтелекту організації повинні зрозуміти, як ці системи працюють і які ризики вони вводять.

Ключові рекомендації включають:

1. Аудит усіх доступів: знати, до чого можуть торкнутися або спровокувати агенти
2. Обмежити сферу: надати мінімально необхідні привілеї
3. Відстежувати всі взаємодії: реєструвати запити, відповіді та результати дій
4. Стрес-тестування: симулювати ворожі входи внутрішньо та часто
5. Планування на випадок ухилення: припускати, що фільтри будуть обійдені
6. Складання з безпекою: забезпечити, щоб системи штучного інтелекту підтримували, а не компрометували, цілі безпеки

Нова поверхня атаки

Echoleak – це попередній огляд того, що буде далі. Коли великі мовні моделі еволюціонують, їхня корисність стає відповідальністю. Інтегровані глибоко в бізнес-системи, вони пропонують атакувальникам новий шлях всередину – через прості, добре створені запити.

Це вже не просто про захист коду. Це про захист мови, наміру та контексту. Плейбук повинен змінитися зараз, перш ніж буде занадто пізно.

І все ж, є хороша новина. Є прогрес у використанні агентів штучного інтелекту для захисту проти нових та емерджентних кіберзагроз. Коли правильно використовуються, ці автономні агенти штучного інтелекту можуть реагувати на загрози швидше, ніж будь-яка людина, співпрацювати в середовищах та проактивно захищати проти емерджентних ризиків, навчаючись з однієї спроби вторгнення.

Агентський штучний інтелект може навчатися з кожної атаки, адаптуватися в реальному часі та запобігати загрозам, перш ніж вони поширяться. Він має потенціал створити нову еру кіберстійкості, але тільки якщо ми схопимо цей момент і сформуємо майбутнє кібербезпеки разом. Якщо ми не зробимо цього, ця нова ера може сигналізувати про кібербезпеку та нічмар数据 приватності для організацій, які вже реалізували штучний інтелект (іноді навіть невідомо з тіньовими інструментами IT). Тепер час вжити заходів, щоб забезпечити, що агенти штучного інтелекту використовуються на нашу користь, а не на нашу загибель.