Грядущая волна многомодальных атак: когда инструменты искусственного интеллекта станут новой уязвимостью

По мере эволюции больших языковых моделей (LLM) в мультимодальные системы Системы, способные обрабатывать текст, изображения, голос и код, также становятся мощными инструментами для управления внешними средствами и коннекторами. Эта эволюция влечет за собой расширение поверхности атаки, о чем организациям необходимо помнить.

Яркий пример этому — социальная инженерия, жертвами которой могут стать агенты, поскольку их обучали действовать как люди, и у них ещё меньше скептицизма. Например, агент вряд ли сможет отличить поддельное электронное письмо от письма от законного продавца.

Сближение мультимодальности и доступности инструментов превращает ИИ из помощника в средство атаки. Злоумышленники теперь могут использовать простые текстовые подсказки для запуска злоупотреблений инструментами, выполнения несанкционированных действий или утечки конфиденциальных данных через легитимные каналы. Поскольку эти возможности предназначены для обеспечения доступности, а не для защиты, даже неквалифицированные противники могут использовать системы ИИ для выполнения сложных операций, не написав ни одной строки кода.

Как многомодальный ИИ превращается в цепочку эксплойтов

LLM-ы все чаще становятся координаторами внешних систем, и сегодня интеграция включает в себя все: от API до электронной почты, облачного хранилища и инструментов выполнения кода. Эти коннекторы часто создаются для обеспечения доступности, а не для защиты.

Недостатком этого является то, что это может привести к появлению множества новых уязвимостей.

Один из способов — злоупотребление инструментами, использующими подсказки. Например, злоумышленник может использовать изображение с инструкциями по внедрению подсказок, вставленное в электронное письмо. оптическое распознавание символов (OCR) Необходим инструмент для извлечения текста из изображения. Агенту поручено ответить на электронное письмо и прикрепить карту Google к домашнему адресу жертвы, тем самым деанонимизируя местоположение жертвы.

Ещё один механизм — обход межмодальных защитных барьеров. Это связано с барьерами, расположенными между точками входа и выхода инструментов. Например, при анализе выходных данных OCR-экстрактора может оказаться, что барьер вокруг обнаруженных в его выходных данных мгновенных инъекций недостаточно надёжен.

Существуют также структурные уязвимости, которые могут быть использованы злоумышленниками. Одна из таких проблем — это слабые, чрезмерно либеральные связи между моделью и внешними инструментами, которые она может вызывать, — это означает, что простая подсказка на естественном языке может запускать реальные действия, такие как выполнение кода, доступ к файлам или взаимодействие с электронной почтой. Кроме того, во многих из этих систем отсутствуют строгие средства контроля доступа, поэтому ИИ может иметь возможность записывать, удалять или изменять данные, выходящие далеко за рамки того, что когда-либо разрешил бы человек. Проблема становится еще серьезнее, если рассматривать коннекторы и расширения в стиле MCP, которые часто практически не имеют защитных механизмов; после подключения они расширяют возможности ИИ на персональные хранилища, почтовые ящики и облачные платформы с минимальным контролем. В совокупности эти структурные уязвимости создают среду, в которой классические проблемы безопасности — утечка данных, выход из песочницы и даже отравление памяти — могут быть вызваны всего лишь искусно составленной подсказкой.

Возникающие угрозы: что будет дальше?

В новых условиях атаки с использованием искусственного интеллекта по электронной почте и методы социальной инженерии неизбежны. Фишинг Объём атак увеличится из-за использования злоумышленниками LLM-ов; узким местом станет обход обычных спам-фильтров почтовых сервисов, таких как Google. ИИ-агенты, подключенные к почтовым ящикам, повышают вероятность успеха фишинговых атак. Вероятно, увеличится количество угроз, связанных с электронной почтой, по мере того, как пользователи будут подключать агентов к Gmail или Outlook.

Злоумышленники могут направить ИИ на запуск целых спам- или целевых фишинговых кампаний. В этом сценарии...

Фишинг от одного ИИ к другому становится вполне вероятным.

Многомодальные системы все чаще предлагают возможности выполнения кода. Пути выхода позволяют злоумышленникам нарушать базовую инфраструктуру. А выход из песочницы представляет собой самый большой репутационный кошмар для поставщиков.

Отравление долговременной памяти и отложенные триггеры представляют собой дополнительные угрозы. Устойчивая память позволяет скрытым вредоносным программам активироваться при последующих запросах. Кросс-модальные триггеры (например, изображения или фрагменты текста) могут запустить механизмы, создающие бомбы замедленного действия.

Почему многомодальные атаки так доступны и так опасны?

Искусственный интеллект демократизировал возможности атак. Пользователям больше не нужны навыки программирования или разработки вредоносного ПО; естественный язык становится интерфейсом для создания вредоносных программ или утечки данных. Это означает, что даже нетехнически подкованные люди могут создавать вредоносное ПО или запускать кампании с помощью подсказок.

Искусственный интеллект также позволяет ускорять и масштабировать вредоносные операции. Мультимодальные агенты могут автоматизировать работу, которая раньше требовала усилий экспертов. Код, электронная почта, исследования и разведка могут создаваться мгновенно.

Чрезмерное доверие пользователей и непреднамеренное раскрытие информации способствуют потенциальному вреду от ИИ. Пользователи часто не понимают, к чему имеет доступ ИИ, а настройки по умолчанию все чаще автоматически включают интеграцию с ИИ. Многие люди не осознают, что предоставили ИИ чрезмерный доступ к электронной почте или документам.

Принципы и средства контроля многомодальной безопасности

Организации должны внедрить меры безопасности против мультимодальных атак. Командам безопасности необходимо по умолчанию ограничивать доступ к инструментам. Автоматически включаемые интеграции должны быть заменены механизмами управления с возможностью выбора. Также следует применять принцип минимальных привилегий ко всем системам, подключенным к ИИ, и запретить доступ на запись/удаление. Это должно включать правила междоменного доступа и белый список доменов (белый список инфраструктуры, а не белый список уровня LLM).

Ещё один важный шаг — создание явных механизмов контроля для вызова инструментов. Замените триггеры на основе естественного языка структурированной, типизированной проверкой команд. Механизмы контроля должны быть точками контроля как на входе, так и на выходе.

К числу дополнительных важных принципов и мер контроля относятся:

• Внедрите строгие процедуры утверждения для операций, требующих конфиденциальной информации.
• Избегайте размещения пользовательских данных в постоянной памяти модели. Применяйте автоматическую очистку памяти и проверки происхождения данных.
• Усильте защиту и изолируйте среды выполнения кода.
• Следите за подозрительным поведением и попытками побега.
• Укрепить информированность пользователей и повысить прозрачность.
• Добавьте больше подтверждений от пользователя, когда агент выполняет рискованные задачи.
• Чётко указывайте, когда инструменты искусственного интеллекта получают доступ к электронной почте, файлам или облачным ресурсам.
• Предупреждать пользователей о высокорискованных коннекторах.

Успешное противодействие многомодальным атакам

Технологии искусственного интеллекта быстро превратились в агентов бизнес-операций, создав ситуацию, в которой сам естественный язык становится формой уязвимости. Конвергенция мультимодальности и доступа к инструментам открывает поверхность атаки, превращая ИИ из помощника в средство для атак. Мультимодальные атаки используют слабую интеграцию между программами обработки естественного языка и внешними системами, которые они контролируют, такими как API, файловые хранилища и платформы автоматизации.

По мере развития угроз организациям необходимо внедрять стратегии, которые явно учитывают многовариантные пути атаки. Укрепление защиты с использованием описанных выше передовых методов имеет важное значение для предотвращения непреднамеренного использования инструментов ИИ в качестве звеньев в цепочке эксплойтов злоумышленника.