Грядущая волна многомодальных атак: Когда инструменты ИИ становятся новой поверхностью эксплуатации

По мере того, как крупные языковые модели (LLM) эволюционируют в многомодальные системы, которые могут обрабатывать текст, изображения, голос и код, они также становятся мощными организаторами внешних инструментов и соединителей. С этой эволюцией появляется расширенная поверхность атаки, которой должны быть осведомлены организации.

Примером этого является социальная инженерия, на которую агенты могут стать жертвами, потому что они были обучены действовать как люди и имеют еще меньше скептицизма. Агент, например, вряд ли сможет определить разницу между подделкой электронной почты и настоящей от законного ритейлера.

Слияние многомодальности и доступа к инструментам превращает ИИ из помощника в средство атаки. Атакующие теперь могут использовать простые текстовые подсказки, чтобы спровоцировать неправильное использование инструментов, выполнить несанкционированные действия или вывести конфиденциальные данные через законные каналы. Поскольку эти возможности предназначены для доступности, а не для защиты, даже низкоквалифицированные противники могут использовать системы ИИ для выполнения сложных операций без написания одной строки кода.

Как многомодальный ИИ становится цепочкой эксплуатации

LLM все чаще становятся организаторами внешних систем, с интеграциями, которые сегодня включают все, от API до электронной почты, облачного хранилища и инструментов выполнения кода. Эти соединители часто строятся для доступности, а не для защиты.

Недостатком этого является то, что это может привести к новой волне эксплуатаций.

Одним из них является неправильное использование инструментов, вызванное подсказками. Например, атакующий может использовать изображение с инструкциями по внедрению подсказок, вставленными в электронное письмо. Для извлечения текста из изображения требуется инструмент оптического распознавания символов (OCR). Агент получает инструкцию ответить на электронное письмо и прикрепить карту Google к домашнему адресу жертвы, тем самым деанонимизируя местоположение жертвы.

Другим механизмом является обход защитных барьеров между модальностями. Это связано с защитными барьерами, расположенными между точками входа и выхода инструментов. Например, при анализе вывода экстрактора OCR может не быть достаточно сильного защитного барьера вокруг внедрений подсказок, обнаруженных в его выводе.

Также существуют структурные слабости, которые можно использовать. Одной из таких проблем является свободная, чрезмерно пермиссивная связь между моделью и внешними инструментами, которые она может вызывать, что означает, что простая естественно-языковая подсказка может спровоцировать реальные действия, такие как выполнение кода, доступ к файлам или взаимодействие с электронной почтой. Кроме того, многие из этих систем не имеют строгих контролей доступа, поэтому ИИ может иметь возможность записать, удалить или изменить данные далеко за пределами того, что когда-либо авторизует человек. Проблема становится еще более серьезной, когда вы рассматриваете соединители и расширения типа MCP, которые часто поставляются почти без защитных барьеров; как только они подключены, они расширяют досягаемость ИИ в личное хранилище, почтовые ящики и облачные платформы с очень небольшим контролем. Вместе эти структурные слабости создают среду, в которой классические проблемы безопасности – выведение, побег из песочницы и даже отравление памяти – могут быть спровоцированы всего лишь умно созданной подсказкой.

Новые угрозы: Что ждет впереди?

В этой новой норме атаки на электронную почту и социальную инженерию, использующие ИИ, являются неизбежными. Фишинг увеличится из-за использования LLM атакующими; точкой контроля является обход обычных фильтров спама от провайдеров электронной почты, таких как Google. Агенты, подключенные к почтовым ящикам, увеличивают вероятность успеха фишинговых атак. Вероятно, будет рост электронных угроз, когда пользователи подключают агентов к Gmail или Outlook.

Атакующие могут направить ИИ на выполнение целых кампаний по рассылке спама или фишингу. В этом сценарии

фишинг ИИ-ИИ становится правдоподобным.

Многомодальные системы все чаще предлагают возможности выполнения кода. Пути к побегу позволяют атакующим нарушить основную инфраструктуру. А побег из песочницы представляет собой самую большую репутационную проблему для поставщиков.

Долгосрочное отравление памяти и отсроченные триггеры представляют дальнейшие угрозы. Постоянная память позволяет скрытым полезным нагрузкам активироваться на будущих подсказках. Кросс-модальные триггеры (например, изображения или текстовые фрагменты) могут спровоцировать поведение “часовой бомбы”.

Почему многомодальные атаки так доступны и опасны

ИИ демократизировал возможности атаки. Пользователям больше не нужны навыки программирования или разработки вредоносного ПО; естественный язык становится интерфейсом для создания вредоносного ПО или вывода конфиденциальных данных. Это означает, что даже неквалифицированные лица могут создавать вредоносное ПО или запускать кампании через подсказки.

ИИ также позволяет ускорить и масштабировать вредоносные операции. Многомодальные агенты могут автоматизировать работу, которая ранее требовала экспертных усилий. Код, электронная почта, исследования и разведка могут быть произведены мгновенно.

Чрезмерное доверие пользователей и непреднамеренное раскрытие информации способствуют потенциалу вреда ИИ. Пользователи часто не понимают, к чему может получить доступ ИИ, и значения по умолчанию все чаще автоматически включают интеграции ИИ. Многие люди не осознают, что они предоставили ИИ чрезмерный доступ к электронной почте или документам.

Принципы и контроли для многомодальной безопасности

Организациям необходимо внедрить меры безопасности против многомодальных атак. Команды безопасности должны ограничить доступ к инструментам по умолчанию. Контроли опт-ин должны заменить автоматически включенные интеграции. Они также должны применять контроль доступа на основе минимальных привилегий ко всем системам, подключенным к ИИ, и удалять доступ на запись/удаление. Это должно включать правила пересечения доменов и белый список доменов (белый список инфраструктуры, а не белый список LLM).

Другим важным шагом является создание явных защитных барьеров для вызова инструментов. Замените естественно-языковые триггеры структурированными, типизированными командами с проверкой. Защитные барьеры должны быть как входными, так и выходными точками контроля.

Дополнительными важными принципами и контролями являются:

• Применять строгие рабочие процессы утверждения для чувствительных операций.
• Избегать хранения пользовательских данных в постоянной памяти модели. Применять автоматическую санитизацию памяти и проверки происхождения.
• Усиливать и изолировать среды выполнения кода.
• Отслеживать подозрительное поведение и попытки побега.
• Усиливать образование пользователей и прозрачность.
• Добавлять больше подтверждения пользователя при выполнении агентом рискованных задач.
• Сделать rõ, когда инструменты ИИ доступны к электронной почте, файлам или облачным ресурсам.
• Предупреждать пользователей о высокорисковых соединителях.

Успех против многомодальных атак

Технологии ИИ быстро превратились в агентов бизнес-операций, создавая ситуацию, в которой естественный язык сам по себе становится формой эксплуатации. Слияние многомодальности и доступа к инструментам открывает поверхность атаки, превращая ИИ из помощника в средство атак. Многомодальные атаки используют свободную интеграцию между LLM и внешними системами, которые они контролируют, такими как API, хранилища файлов и платформы автоматизации.

По мере того, как угрозы эволюционируют, организации должны принять стратегии, которые явно учитывают пути многомодальных атак. Усиление защит с помощью лучших практик, описанных выше, имеет важное значение для предотвращения того, чтобы инструменты ИИ непреднамеренно служили звеньями в цепочке эксплуатации атакующего.