ИИ-агенты становятся умнее, а поверхность их атаки растет

Как только ИИ-агенты начали назначать встречи, выполнять код и просматривать интернет от вашего имени, разговор о кибербезопасности изменился. Не постепенно, а буквально за одну ночь.

То, что раньше было ограниченной, предсказуемой программной системой, стало чем-то, что рассуждает, планирует и совершает действия через инструменты и API, о существовании которых эта система год назад едва знала.

Это действительно волнительно, и это также действительно страшно, потому что поверхность атаки, возникающая вместе с такой автономностью, огромна, и большинство организаций только начинают понимать, что значит впустить агентов в свою инфраструктуру.

От чат-ботов к операторам

Первоначальное обещание ИИ было простым: задайте вопрос, получите ответ. Это все еще верно для большинства потребительских взаимодействий, но это не то, что происходит в корпоративных развертываниях. Сегодня агенты получают учетные данные, ключи API и возможность удалять, создавать и аннотировать данные, а также совершать реальные действия внутри систем, которые имеют реальные последствия.

Этот сдвиг произошел быстро. Менее чем за два года ИИ-агенты перешли от генерации текста к возможности запускать слаженно работающие многоагентные системы. Они читают электронные письма, запускают рабочие процессы, запрашивают базы данных и в некоторых случаях управляют подчиненными агентами. Такой уровень доступа ранее требовал длительного процесса закупок и участия человека. Теперь это файл конфигурации и несколько вызовов API.

Больше доступа означает больше уязвимости

Традиционные программные атаки имеют в некоторой степени предсказуемый профиль. Есть известная точка входа, известная уязвимость, известный патч. ИИ-агенты нарушают эту модель, потому что они изначально устроены как динамические системы. Они не следуют статическому пути выполнения кода. Они рассуждают о том, что делать дальше, что означает, что их поведение труднее предсказать и намного труднее проанализировать постфактум.

Эта непредсказуемость полезна для выполнения работы. Она также является преимуществом для любого, кто пытается воспользоваться слабостями системы. Когда агент может решить, посреди задачи, вызвать внешний API или подключить сторонний инструмент, нет четкого периметра, который можно было бы защищать.

Команды безопасности привыкли защищать известные поверхности и мониторить затраты на Kubernetes. Агенты постоянно обнаруживают новые поверхности атаки и способы эксплуатации уязвимостей, и никто не отслеживает их в реальном времени. Не успеете вы оглянуться, кто-то может захватить учетные данные и получить контроль над всем вашим ИИ-«организмом» одним ходом.

Инъекция промпта — новая SQL-инъекция

Если есть один вектор атаки, к которому исследователи безопасности постоянно возвращаются, это инъекция промпта. Идея проста: вместо того, чтобы эксплуатировать уязвимость кода, атакующий манипулирует инструкциями, которые агент получает через свои входные данные. Вредоносная инструкция, встроенная в веб-страницу, документ или даже электронное письмо, может изменить дальнейшие действия агента.

Особую опасность представляет то, что агенты часто делают именно то, что им говорят. Они обрабатывают контент из интернета, из сообщений пользователей, из сторонних инструментов. Любой такой контент может стать потенциальной поверхностью для инъекции. Агент, который читает скомпрометированный документ и затем совершает вызовы API на основе его содержимого, уже захвачен, и он, вероятно, не запишет ничего, что сделает причинно-следственную цепочку очевидной.

Защита здесь реальна, но неполная. Изоляция действий агента, ограничение инструментов, которые агент может вызвать в определенных контекстах, и включение проверок человеком в рабочие процессы с серьезными последствиями снижают риск. Они не устраняют его. И большинство организаций еще не внедрили даже базовые меры.

Проблема доверия внутри многоагентных систем

Многоагентные системы вводят слой сложности, который легко недооценить. Когда один агент координирует несколько других, существует иерархия доверия. Координатор передает инструкции вниз, и подчиненные агенты следуют им. Если координатор скомпрометирован, каждый подчиненный агент фактически тоже скомпрометирован, и масштаб поражения очень быстро растет.

Есть также проблема чрезмерного предоставления разрешений. Агенты часто получают больше доступа, чем им нужно, потому что проще предоставить широкие разрешения заранее, чем уточнять их итеративно. Исследовательский агент не нуждается в разрешении на запись в рабочую базу данных.

Агент, планирующий встречи, не нуждается в доступе к финансовым отчетам. Конечно, когда все взаимосвязано, это успокаивает, но риск просто слишком велик, чтобы отдача сохранялась, не уменьшаясь. Но на практике границы размываются, и принципы минимальных разрешений, которые работают хорошо в теории, тихо отбрасываются в спешке с выпуском продукта.

Как здесь выглядит разумный подход к безопасности

Нет единого решения, которое обеспечивает безопасность внедрения агентов. Это многоуровневая проблема, и она требует многоуровневого ответа. Организации, которые делают это хорошо, обычно начинают с контроля доступа: задают каждому агенту четко ограниченную область полномочий и встраивают этапы проверки в каждое действие, которое касается чувствительных систем или внешних сервисов.

Наблюдаемость так же важна, как и предотвращение угроз. Если агент совершает неожиданное действие, командам нужна полная трассировка: какие инструкции он получил, какие инструменты вызвал и какие результаты вернул. Большинство систем журналирования не рассчитаны на такую детализацию, а добавить ее позднее сложно. Стоит смириться с дополнительными трудностями и заложить ее с самого начала.

Тестирование с позиции атакующего тоже используется слишком редко. Проверка агентов методом red team, особенно попытки внедрить вредоносные инструкции и наблюдение за результатом, выявляет уязвимости, которые статическая проверка кода никогда не обнаружит. Об этом неприятно думать, но люди, которые в будущем попытаются воспользоваться слабостями этих систем, уже проводят такие проверки. Опережение — единственный разумный ход.

Заключительные мысли

ИИ-агенты станут более важной частью того, как организации работают, и этот сдвиг уже идет полным ходом. Обсуждение безопасности должно поспевать за ним, причем быстро. Риски реальны, векторы атаки новые, и время, за которое можно их опередить, сокращается.

Понимание ландшафта угроз для автономных систем ИИ больше не является вопросом выбора. Это одна из важнейших задач для команд безопасности и инженеров прямо сейчас, и отсчет времени на ее правильное решение уже начался.