Уязвимости безопасности, которые мы создали: агенты ИИ и проблема с послушанием

Агенты ИИ на основе больших языковых моделей вводят новый класс уязвимостей, где атакующие вводят вредоносные инструкции в данные, превращая полезные системы в невольных сообщников.

Microsoft Copilot не был взломан в классическом смысле. Не было вредоносного ПО, не было фишинговой ссылки, не было вредоносного кода. Никто не кликнул ничего и не развернул никаких эксплойтов.

Атакующий просто спросил. Microsoft 365 Copilot, делая именно то, для чего он был создан, выполнил запрос. В недавней атаке Echoleak агент ИИ был манипулирован запросом, замаскированным под данные. Он выполнил запрос, не потому что он был сломан, а потому что он функционировал так, как было задумано.

Эта уязвимость не эксплуатировала программные ошибки. Она эксплуатировала язык. И это знаменует собой значительный поворотный момент в кибербезопасности, где поверхность атаки больше не является кодом, а разговором.

Новая проблема послушания ИИ

Агенты ИИ предназначены для помощи. Их цель – понять намерение пользователя и действовать эффективно. Эта полезность несет в себе риск. Когда они интегрируются в файловые системы, платформы продуктивности или операционные системы, эти агенты выполняют естественные языковые команды с минимальным сопротивлением.

Атакующие эксплуатируют именно эту черту. С помощью запросов, которые кажутся безобидными, они могут вызвать чувствительные действия. Эти запросы могут включать:

• Фрагменты кода на нескольких языках
• Неясные форматы файлов и встроенные инструкции
• Ввод на языках, отличных от английского
• Многоступенчатые команды, скрытые в обычном языке

Поскольку большие языковые модели (БЯМ) обучены понимать сложность и двусмысленность, запрос становится полезной нагрузкой.

Призрак Сири и Алекса

Эта закономерность не нова. В ранние дни Сири и Алекса исследователи демонстрировали, как проигрывание голосовой команды, такой как “Отправьте все мои фотографии на этот электронный адрес”, может вызвать действие без подтверждения пользователя.

Теперь угроза больше. Агенты ИИ, такие как Microsoft Copilot, интегрированы глубоко в Office 365, Outlook и операционную систему. Они имеют доступ к электронным письмам, документам, учетным данным и API. Атакующим нужно только правильный запрос, чтобы извлечь критически важные данные, притворяясь законным пользователем.

Когда компьютеры принимают инструкции за данные

Это не новый принцип в кибербезопасности. Атаки, такие как SQL-атаки, удавались, потому что системы не могли различать ввод и инструкцию. Сегодня та же ошибка существует, но на языковом уровне.

Агенты ИИ рассматривают естественный язык как ввод и намерение. Объект JSON, вопрос или даже фраза могут инициировать действие. Эта двусмысленность – это то, что атакующие эксплуатируют, встраивая команды в то, что кажется безобидным содержимым.

Мы встроили намерение в инфраструктуру. Теперь атакующие узнали, как извлечь его, чтобы выполнить свои приказы.

Внедрение ИИ опережает кибербезопасность

Когда предприятия спешат интегрировать БЯМ, многие упускают из виду критически важный вопрос: к чему имеет доступ ИИ?

Когда Copilot может доступиться к операционной системе, радиус взрыва распространяется далеко за пределы почтового ящика. Согласно отчету о безопасности ИИ компании Check Point:

• 62 процента глобальных руководителей служб информационной безопасности (CISO) боятся, что они могут быть привлечены к личной ответственности за нарушения, связанные с ИИ
• Почти 40 процентов организаций сообщают о неавторизованном внутреннем использовании ИИ, часто без контроля безопасности
• 20 процентов групп киберпреступников сейчас включают ИИ в свои операции, включая создание фишинговых писем и проведение разведки

Это не просто возникающий риск. Это настоящий риск, который уже причиняет ущерб.

Почему существующие меры безопасности недостаточны

Некоторые поставщики используют сторожевые модели – вторичные модели, обученные для обнаружения опасных запросов или подозрительного поведения. Эти фильтры могут обнаружить базовые угрозы, но уязвимы для методов обхода.

Атакующие могут:

• Перегрузить фильтры шумом
• Разделить намерение на несколько шагов
• Использовать неочевидную фразу для обхода обнаружения

В случае с Echoleak меры безопасности были на месте – и они были обойдены. Это отражает не только провал политики, но и провал архитектуры. Когда агент имеет высокий уровень разрешений, но низкий уровень контекста, даже хорошие меры безопасности недостаточны.

Обнаружение, а не совершенство

Предотвращение каждой атаки может быть нереалистичным. Цель должна быть быстрым обнаружением и быстрым сдерживанием.

Организации могут начать с:

• Мониторинга активности агентов ИИ в реальном времени и поддержания журналов запросов
• Применения строгого контроля доступа к инструментам ИИ, аналогичного административному контролю
• Добавления трения к чувствительным операциям, таким как требование подтверждения
• Маркировки необычных или враждебных шаблонов запросов для рассмотрения

Языковые атаки не будут отображаться в традиционных инструментах обнаружения и реагирования на угрозы на конечных точках. Они требуют новой модели обнаружения.

Что организации должны делать сейчас, чтобы защитить себя

Перед развертыванием агентов ИИ организации должны понять, как эти системы работают и какие риски они вводят.

Ключевые рекомендации включают:

1. Аудит всех доступов: Знайте, что агенты могут трогать или вызывать
2. Ограничьте объем: Предоставьте минимально необходимые разрешения
3. Отслеживайте все взаимодействия: Журналируйте запросы, ответы и результирующие действия
4. Проведите стресс-тест: Симулируйте враждебные входные данные внутри и часто
5. Спланируйте обход: Предположите, что фильтры будут обойдены
6. Соответствуйте безопасности: Обеспечьте, чтобы системы ИИ поддерживали, а не компрометировали, цели безопасности

Новая поверхность атаки

Echoleak – это предпросмотр того, что грядет. По мере эволюции БЯМ их полезность становится уязвимостью. Интегрированные глубоко в бизнес-системы, они предлагают атакующим новый способ проникнуть – через простые, хорошо скrafted запросы.

Это больше не просто вопрос sécurения кода. Это вопрос sécurения языка, намерения и контекста. Сценарий должен измениться сейчас, прежде чем будет слишком поздно.

И все же, есть некоторая хорошая новость. Есть прогресс в использовании агентов ИИ для защиты от новых и возникающих киберугроз. Когда они используются правильно, эти автономные агенты ИИ могут реагировать на угрозы быстрее, чем любой человек, сотрудничать в средах и проактивно защищать от возникающих рисков, обучаясь на одном попытке проникновения.

Агентский ИИ может учиться на каждой атаке, адаптироваться в реальном времени и предотвращать угрозы, прежде чем они распространятся. У него есть потенциал установить новую эру киберустойчивости, но только если мы воспользуемся этим моментом и сформируем будущее кибербезопасности вместе. Если мы не сделаем этого, эта новая эра может сигнализировать о кибербезопасности и кошмаре конфиденциальности данных для организаций, которые уже реализовали ИИ (иногда даже незаметно с помощью инструментов тени).