Надхідна хвиля багатомодальних атак: коли інструменти штучного інтелекту стають новою поверхнею для експлуатації

Оскільки великі мовні моделі (LLM) еволюціонують у багатомодальні системи, які можуть обробляти текст, зображення, голос і код, вони також стають потужними організаторами зовнішніх інструментів і конекторів. З цією еволюцією з’являється розширена поверхня атаки, якої повинні бути обізнані організації.

Примітним прикладом цього є соціальна інженерія, на яку агенти можуть впасти, оскільки вони були навчені діяти як люди та мають ще менше скептицизму. Агент, наприклад, малоймовірно зможе відрізнити підроблений електронний лист від справжнього від легітимного рітейлера.

Збіжність багатомодальності та доступу до інструментів перетворює штучний інтелект з помічника на засіб атаки. Атакувальники тепер можуть використовувати прості текстові запити, щоб спровокувати неправильне використання інструментів, виконувати несанкціоновані дії або витягувати конфіденційну інформацію через легітимні канали. Оскільки ці можливості розроблені для доступності, а не для захисту, навіть низько кваліфіковані противники можуть використовувати системи штучного інтелекту для виконання складних операцій без написання жодної лінії коду.

Як багатомодальний штучний інтелект стає ланцюжком експлуатації

LLM все частіше стають організаторами зовнішніх систем, з інтеграціями, які сьогодні включають все, від API до електронної пошти, хмарного сховища та інструментів виконання коду. Ці конектори часто будуються для доступності, а не для захисту.

Недоліком цього є те, що це може привести до хвилі нових експлуатацій.

Одним з них є неправильне використання інструментів, керованих запитами. Наприклад, атакувальник міг би використовувати зображення з вставленими інструкціями запиту в електронному листі. Для витягування тексту з зображення необхідний інструмент оптичного розпізнавання символів (OCR). Агент отримує інструкцію відповісти на електронний лист і прикріпити карту Google до домашньої адреси цілі, тим самим деанонімізуючи місце розташування жертви.

Іншим механізмом є обхід охорони між модальностями. Це стосується охорони, яка розташована між точками входу та виходу інструментів. Наприклад, аналіз виводу екстрактора OCR може не мати достатньо сильної охорони навколо виявлених запитів.

Є також структурні слабкості, які можна використати. Одним з таких питань є слабка, надмірно пермісивна прив’язка між моделлю та зовнішніми інструментами, до яких вона може звернутися, тобто простий природний мовний запит може спровокувати реальні дії, такі як виконання коду, доступ до файлів або взаємодія з електронною поштою. Крім того, багато з цих систем не мають суворих засобів контролю доступу, тому штучний інтелект може мати можливість записувати, видаляти або змінювати дані далеко за межами того, що б коли-небудь санкціонував людина. Проблема стає ще більш серйозною, коли дивитися на конектори та розширення типу MCP, які часто поставляються з майже жодними охоронами; як тільки вони прикріплені, вони розширюють досяжність штучного інтелекту до особистого сховища, поштових скриньок та хмарних платформ з дуже малим наглядом. Разом ці структурні слабкості створюють середовище, в якому класичні проблеми безпеки – витік інформації, втеча з пісочниці та навіть отруєння пам’яті – можуть бути спровоковані просто за допомогою хитро створеного запиту.

Нові загрози: Що далі?

У цьому новому нормальному стані атаки на електронну пошту та соціальну інженерію, що використовують штучний інтелект, є неминучими. Фішинг збільшиться через використання LLM атакувальниками; точка затору полягає в тому, щоб обійти звичайні фільтри спаму від постачальників електронної пошти, таких як Google. Агенти, підключені до поштових скриньок, збільшують ймовірність успіху фішингових атак. Ймовірно, буде зростання електронних загроз, оскільки користувачі підключають агентів до Gmail або Outlook.

Атакувальники можуть направити штучний інтелект на виконання цілком спам- або фішингових кампаній. У цьому сценарії

фішинг штучного інтелекту стає правдоподібним.

Багатомодальні системи все частіше пропонують можливості виконання коду. Шляхи для втечі дозволяють атакувальникам порушити основну інфраструктуру. Втечі з пісочниці представляють найбільшу репутаційну нічмар для постачальників.

Довгострокове отруєння пам’яті та відкладені спрацьовування представляють подальші загрози. Постійна пам’ять дозволяє прихованим вантажам активуватися на майбутніх запитах. Міжмодальні спрацьовування (наприклад, зображення чи текстові фрагменти) можуть спровокувати поведінку часової бомби.

Чому багатомодальні атаки так доступні та небезпечні

Штучний інтелект демократизував можливості атак. Користувачам більше не потрібно володіти навичками програмування чи розробки зловмисного ПО; природна мова стає інтерфейсом для створення зловмисного ПО або витягування даних. Це означає, що навіть некваліфіковані особи можуть створювати зловмисне ПО або проводити кампанії через запити.

Штучний інтелект також дозволяє прискорити та масштабувати шкідливі операції. Багатомодальні агенти можуть автоматизувати роботу, яка раніше потребувала експертних зусиль. Код, електронна пошта, дослідження та розвідка можуть бути створені миттєво.

Надмірна довіра користувачів та ненавмисне відкриття сприяють шкідливому потенціалу штучного інтелекту. Користувачі часто не розуміють, до чого штучний інтелект має доступ, а параметри за замовчуванням все частіше автоматично увімкнюють інтеграції штучного інтелекту. Багато людей не усвідомлюють, що вони надали штучному інтелекту надмірний доступ до електронної пошти чи документів.

Принципи та засоби багатомодальної безпеки

Організації повинні впровадити заходи безпеки проти багатомодальних атак. Команди безпеки повинні обмежити доступ до інструментів за замовчуванням. Контроль опції повинні замінити автоматично увімкнені інтеграції. Вони також повинні застосовувати мінімальний доступ до всіх систем, підключених до штучного інтелекту, та видалити права запису/видалення. Це повинно включати правила походження та біловітування доменів (біловітування інфраструктури, а не біловітування рівня LLM).

Іншим ключовим кроком є створення явних охорони для виклику інструментів. Замінити природномовні спрацьовування на структуровані, типізовані перевірки команд. Охорона повинна бути як входом, так і виходом.

Додатковими важливими принципами та засобами є:

• Запровадити суворі робочі потоки затвердження для чутливих операцій.
• Уникати розміщення даних користувача в постійній пам’яті моделі. Застосовувати автоматичну санітарну обробку та перевірки походження.
• Залізнити та ізолювати середовища виконання коду.
• Моніторити підозрілу поведінку та спроби втечі.
• Зміцнити освіту користувачів та прозорість.
• Додати більше підтвердження користувача, коли агент виконує ризиковані завдання.
• Зазначити, коли інструменти штучного інтелекту доступ themselves до електронної пошти, файлів чи хмарних ресурсів.
• Попередити користувачів про високоризикові конектори.

Успіх проти багатомодальних атак

Технології штучного інтелекту швидко перетворилися на агентів бізнес-операцій, створивши ситуацію, в якій сама природна мова стає формою експлуатації. Збіжність багатомодальності та доступу до інструментів розширює поверхню атаки, перетворюючи штучний інтелект з помічника на засіб атаки. Багатомодальні атаки використовують слабку інтеграцію між LLM та зовнішніми системами, які вони контролюють, такими як API, сховища файлів та платформи автоматизації.

Оскільки загрози еволюціонують, організації повинні прийняти стратегії, які явно враховують багатомодальні шляхи атак. Зміцнення захисту за допомогою кращих практик вище є суттєвим для запобігання тому, щоб інструменти штучного інтелекту ненавмисно служили ланками в ланцюжку експлуатації атакувальника.