Лідери думок

Надхідна хвиля багатомодальних атак: коли інструменти штучного інтелекту стають новою поверхнею для експлуатації

Amanda Rousseau
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиМультимодальні AI-агенти можуть виконувати реальні атаки, такі як вивіз даних, за…
Показати більше
  • Мультимодальні AI-агенти можуть виконувати реальні атаки, такі як вивіз даних, за допомогою простих запитів природною мовою.
  • AI демократизує кібератаки, дозволяючи некваліфікованим користувачам організовувати складні кампанії без навичок програмування.
  • Недосконала інтеграція та надмірні дозволи за замовчуванням перетворюють AI-інструменти на нові серйозні вразливості безпеки.

Оскільки великі мовні моделі (LLM) еволюціонують у багатомодальні системи, які можуть обробляти текст, зображення, голос і код, вони також стають потужними організаторами зовнішніх інструментів і конекторів. З цією еволюцією з’являється розширена поверхня атаки, про яку організації повинні знати.

Примітним прикладом цього є соціальна інженерія, жертвами якої можуть стати агенти, оскільки вони були навчені діяти як люди та мають ще менше скептицизму. Агент, наприклад, малоймовірно зможе відрізнити підроблений електронний лист від справжнього від легітимного рітейлера.

Збіжність багатомодальності та доступу до інструментів перетворює штучний інтелект з помічника на засіб атаки. Атакувальники тепер можуть використовувати прості текстові запити, щоб спровокувати неправильне використання інструментів, виконувати несанкціоновані дії або витягувати конфіденційну інформацію через легітимні канали. Оскільки ці можливості розроблені для доступності, а не для захисту, навіть низько кваліфіковані противники можуть використовувати системи штучного інтелекту для виконання складних операцій без написання жодної лінії коду.

Як багатомодальний штучний інтелект стає ланцюжком експлуатації

LLM все частіше стають організаторами зовнішніх систем, з інтеграціями, які сьогодні включають все, від API до електронної пошти, хмарного сховища та інструментів виконання коду. Ці конектори часто будуються для доступності, а не для захисту.

Недоліком цього є те, що це може привести до хвилі нових експлуатацій.

Одним з них є неправильне використання інструментів, керованих запитами. Наприклад, атакувальник міг би використовувати зображення із вбудованими інструкціями ін’єкції запиту в електронному листі. Для витягування тексту з зображення необхідний інструмент оптичного розпізнавання символів (OCR). Агент отримує інструкцію відповісти на електронний лист і прикріпити карту Google до домашньої адреси цілі, тим самим деанонімізуючи місце розташування жертви.

Іншим механізмом є обхід захисних механізмів між модальностями. Це стосується захисних механізмів, яка розташована між точками входу та виходу інструментів. Наприклад, аналіз виводу екстрактора OCR може не мати достатньо сильних захисних механізмів проти виявлених ін’єкцій запитів.

Є також структурні слабкості, які можна використати. Одним з таких питань є слабка, надмірно поблажлива прив’язка між моделлю та зовнішніми інструментами, до яких вона може звернутися, тобто простий природний мовний запит може спровокувати реальні дії, такі як виконання коду, доступ до файлів або взаємодія з електронною поштою. Крім того, багато з цих систем не мають суворих засобів контролю доступу, тому штучний інтелект може мати можливість записувати, видаляти або змінювати дані далеко за межами того, що б коли-небудь санкціонувала людина. Проблема стає ще більш серйозною, коли дивитися на конектори та розширення типу MCP, які часто поставляються практично без захисних механізмів; як тільки вони прикріплені, вони розширюють досяжність штучного інтелекту до особистого сховища, поштових скриньок та хмарних платформ з дуже малим наглядом. Разом ці структурні слабкості створюють середовище, в якому класичні проблеми безпеки – витік інформації, втеча з пісочниці та навіть отруєння пам’яті – можуть бути спровоковані просто за допомогою хитро створеного запиту.

Нові загрози: Що далі?

У цьому новому нормальному стані атаки на електронну пошту та соціальну інженерію, що використовують штучний інтелект, є неминучими. Фішинг збільшиться через використання LLM атакувальниками; точка затору полягає в тому, щоб обійти звичайні фільтри спаму від постачальників електронної пошти, таких як Google. Агенти, підключені до поштових скриньок, збільшують ймовірність успіху фішингових атак. Ймовірно, буде зростання електронних загроз, оскільки користувачі підключають агентів до Gmail або Outlook.

Атакувальники можуть направити штучний інтелект на виконання цілих спам-кампаній або кампаній цільового фішингу. У цьому сценарії

фішинг від одного ШІ до іншого стає можливим.

Багатомодальні системи все частіше пропонують можливості виконання коду. Шляхи для втечі дозволяють атакувальникам порушити основну інфраструктуру. Втечі з пісочниці представляють найбільший репутаційний кошмар для постачальників.

Довгострокове отруєння пам’яті та відкладені спрацьовування представляють подальші загрози. Постійна пам’ять дозволяє прихованим вантажам активуватися на майбутніх запитах. Міжмодальні спрацьовування (наприклад, зображення чи текстові фрагменти) можуть спровокувати поведінку часової бомби.

Чому багатомодальні атаки так доступні та небезпечні

Штучний інтелект демократизував можливості атак. Користувачам більше не потрібно володіти навичками програмування чи розробки зловмисного ПО; природна мова стає інтерфейсом для створення зловмисного ПО або витягування даних. Це означає, що навіть некваліфіковані особи можуть створювати зловмисне ПО або проводити кампанії через запити.

Штучний інтелект також дозволяє прискорити та масштабувати шкідливі операції. Багатомодальні агенти можуть автоматизувати роботу, яка раніше потребувала експертних зусиль. Код, електронна пошта, дослідження та розвідка можуть бути створені миттєво.

Надмірна довіра користувачів та ненавмисне відкриття сприяють шкідливому потенціалу штучного інтелекту. Користувачі часто не розуміють, до чого штучний інтелект має доступ, а параметри за замовчуванням все частіше автоматично увімкнюють інтеграції штучного інтелекту. Багато людей не усвідомлюють, що вони надали штучному інтелекту надмірний доступ до електронної пошти чи документів.

Принципи та засоби багатомодальної безпеки

Організації повинні впровадити заходи безпеки проти багатомодальних атак. Команди безпеки повинні обмежити доступ до інструментів за замовчуванням. Засоби контролю, що вимагають явної згоди користувача, повинні замінити автоматично увімкнені інтеграції. Вони також повинні застосовувати мінімальний доступ до всіх систем, підключених до штучного інтелекту, та видалити права запису/видалення. Це повинно включати правила доступу між різними джерелами та списки дозволених доменів (на рівні інфраструктури, а не LLM).

Іншим ключовим кроком є створення явних захисних механізмів для виклику інструментів. Замінити природномовні спрацьовування на структуровані, типізовані перевірки команд. Захисні механізми повинні бути контрольними точками як на вході, так і на виході.

Додатковими важливими принципами та засобами є:

  • Запровадити суворі робочі потоки затвердження для чутливих операцій.
  • Уникати розміщення даних користувача в постійній пам’яті моделі. Застосовувати автоматичну санітарну обробку та перевірки походження.
  • Посилити захист та ізолювати середовища виконання коду.
  • Моніторити підозрілу поведінку та спроби втечі.
  • Зміцнити освіту користувачів та прозорість.
  • Додати більше підтвердження користувача, коли агент виконує ризиковані завдання.
  • Зазначити, коли інструменти штучного інтелекту отримують доступ до електронної пошти, файлів чи хмарних ресурсів.
  • Попередити користувачів про високоризикові конектори.

Успіх проти багатомодальних атак

Технології штучного інтелекту швидко перетворилися на агентів бізнес-операцій, створивши ситуацію, в якій сама природна мова стає формою експлуатації. Збіжність багатомодальності та доступу до інструментів розширює поверхню атаки, перетворюючи штучний інтелект з помічника на засіб атаки. Багатомодальні атаки використовують слабку інтеграцію між LLM та зовнішніми системами, які вони контролюють, такими як API, сховища файлів та платформи автоматизації.

Оскільки загрози еволюціонують, організації повинні прийняти стратегії, які явно враховують багатомодальні шляхи атак. Зміцнення захисту за допомогою кращих практик вище є суттєвим для запобігання тому, щоб інструменти штучного інтелекту ненавмисно служили ланками в ланцюжку експлуатації атакувальника.

Аманда Руссо - провідна дослідниця безпеки штучного інтелекту (Principal) в Straiker і досвідчена інженерка зі зворотного аналізу шкідливого ПЗ, яка раніше працювала в Red Team компанії Facebook та в команді Offensive Research & Security Engineering (MORSE) компанії Microsoft, після попередніх ролей в Endgame, FireEye та центрі кіберзлочинності Міністерства оборони США.