Интеллектуальные агенты становятся умнее, а их поверхность атаки увеличивается

С того момента, как интеллектуальные агенты начали бронировать встречи, выполнять код и просматривать веб-страницы от вашего имени, разговор о кибербезопасности сместился. Не медленно, а буквально за одну ночь.

То, что ранее было ограниченной, предсказуемой программной системой, стало чем-то, что рассуждает, планирует и совершает действия через инструменты и API, которые едва существовали год назад.

Это действительно волнительно, и это также действительно страшно, потому что поверхность атаки, которая приходит с этой автономией, огромна, и большинство организаций только начинают понимать, что значит впустить агентов в свою инфраструктуру.

От чат-ботов к операторам

Первоначальное обещание ИИ было простым: задайте вопрос, получите ответ. Это все еще верно для большинства потребительских взаимодействий, но это не то, что происходит в корпоративных развертываниях сейчас. Сегодня агенты получают учетные данные, ключи API и возможность удалять, создавать и аннотировать данные, а также совершать реальные действия внутри систем, которые имеют реальные последствия.

Сдвиг произошел быстро. Менее чем за два года интеллектуальные агенты перешли от генерации текста к возможности запуска гладких, многоагентных настроек. Они читают электронные письма, запускают рабочие процессы, запрашивают базы данных и в некоторых случаях управляют другими агентами под ними. Такой уровень доступа ранее требовал длительного процесса закупок и человека в цикле. Теперь это файл конфигурации и несколько вызовов API.

Больше доступа означает больше уязвимостей

Традиционные атаки на программное обеспечение имеют несколько предсказуемый профиль. Есть известная точка входа, известная уязвимость, известный патч. Интеллектуальные агенты нарушают эту модель, потому что они динамичны по конструкции. Они не следуют статическому пути кода. Они рассуждают о том, что делать дальше, что означает, что их поведение труднее предсказать и гораздо труднее проверить после факта.

Эта непредсказуемость полезна для выполнения работы. Это также преимущество для любого, кто пытается эксплуатировать систему. Когда агент может решить, середине задачи, вызвать внешний API или подтянуть сторонний инструмент, нет чистой периметра для защиты.

Команды безопасности привыкли защищать известные поверхности и мониторить затраты на Kubernetes. Агенты постоянно открывают новые поверхности и уязвимости, и никто не картографирует их в реальном времени. Прежде чем вы это осознаете, кто-то может захватить учетные данные и получить контроль над всей ИИ-“организмом” с одним ходом.

Внедрение подсказки – это новый SQL-инъекция

Если есть один вектор атаки, к которому исследователи безопасности постоянно возвращаются, это внедрение подсказки. Идея проста: вместо эксплуатации уязвимости кода, атакующий манипулирует инструкциями, которые агент получает через свои входные данные. Зловредная инструкция, встроенная в веб-страницу, документ или даже электронное письмо может изменить, что делает агент дальше.

Что делает это особенно острым, так это то, что агенты часто делают именно то, что им говорят. Они обрабатывают контент из веба, из сообщений пользователей, из сторонних инструментов. Любой из этого контента является потенциальной поверхностью для внедрения. Агент, который читает скомпрометированный документ, а затем совершает вызовы API на основе его содержимого, был захвачен, и он, вероятно, не запишет ничего, что сделает цепочку причинности очевидной.

Защиты здесь реальны, но неполны. Изоляция действий агента, ограничение инструментов, которые агент может вызвать в определенных контекстах, и создание человеческих контрольных точек в высокорисковых рабочих процессах снижают риск. Они не устраняют его. И большинство организаций еще не реализовали даже основы.

Проблема доверия внутри многоагентных систем

Многоагентные системы вводят слой сложности, который легко недооценить. Когда один агент оркестрирует несколько других, существует иерархия доверия. Оркестратор передает инструкции вниз, и подчиненные агенты следуют им. Если этот оркестратор будет скомпрометирован, каждый агент под ним будет скомпрометирован тоже, и радиус взрыва становится большим очень быстро.

Также существует проблема чрезмерного разрешения. Агентам часто предоставляется больше доступа, чем им нужно, потому что проще предоставить широкие разрешения заранее, чем уточнять их итеративно. Исследовательский агент не нуждается в разрешении на запись в производственную базу данных.

Агент планирования не нуждается в доступе к финансовым записям. Конечно, это кажется успокаивающим иметь все переплетенным, но это просто слишком рискованно, чтобы видеть любую неубывающую отдачу. Но линии становятся размытыми на практике, и принципы минимальных разрешений, которые работают хорошо в теории, тихо брошены в спешке отправить.

Что выглядит как разумная безопасность здесь

Нет единого решения, которое делает развертывание агентов безопасным. Это слоистая проблема и она требует слоистого ответа. Организации, которые делают это хорошо, обычно начинают с контроля доступа: предоставляют каждому агенту определенный, узкий объем и строят контрольные шаги в любое действие, которое касается чувствительных систем или внешних сервисов.

Наблюдаемость имеет значение так же, как и предотвращение. Если агент совершает неожиданное действие, командам нужно полный след того, какие инструкции он получил, какие инструменты он вызвал и что он вернул. Большинство настроек журналов не построены с учетом такого уровня детализации, и ретрофитирование этого после факта является болезненным. Построение этого с самого начала стоит трения.

Тестирование на противодействие также недооценено. Красные команды агентов, специально пытающиеся внедрить зловредные инструкции и наблюдая, что происходит, выявляет уязвимости, которые статический обзор кода никогда не поймает. Это неудобно подумать, но люди, которые в конечном итоге попытаются эксплуатировать эти системы, уже делают это. Получение туда первым – это единственный разумный шаг.

Окончательные мысли

Интеллектуальные агенты станут большей частью того, как организации работают, и этот сдвиг уже хорошо запущен. Разговор о безопасности должен догнать, и быстро. Риски реальны, векторы атаки новые, и окно для того, чтобы опередить их, сужается.

Понимание ландшафта угроз для автономных ИИ-систем больше не является необязательным. Это одна из самых важных вещей, которые команды безопасности и инженерии могут делать прямо сейчас, и часы для того, чтобы все сделать правильно, уже начались.