Интеллектуальные агенты становятся умнее, а их поверхность атаки увеличивается

Момент, когда интеллектуальные агенты начали бронировать встречи, выполнять код и просматривать интернет от вашего имени, изменил разговор о кибербезопасности. Не медленно, а именно за одну ночь.

То, что раньше было содержанным, предсказуемым программным системой, стало чем-то, что рассуждает, планирует и совершает действия через инструменты и API, которые едва существовали год назад.

Это действительно волнительно, и это также действительно страшно, потому что поверхность атаки, которая приходит с этой автономией, огромна, и большинство организаций только начинают понимать, что значит впустить агентов в свою инфраструктуру.

От чат-ботов к операторам

Первоначальное обещание ИИ было простым: задайте вопрос, получите ответ. Это все еще верно для большинства потребительских взаимодействий, но это не то, что происходит в корпоративных развертываниях. Сегодня агенты получают учетные данные, ключи API и возможность удалять, создавать и аннотировать данные, а также совершать реальные действия внутри систем, которые имеют реальные последствия.

Этот сдвиг произошел быстро. За менее чем два года интеллектуальные агенты перешли от генерации текста к возможности запуска гладких, многоагентных настроек. Они читают электронные письма, запускают рабочие процессы, запрашивают базы данных и в некоторых случаях управляют другими агентами под ними. Такой уровень доступа ранее требовал длительного процесса закупок и человека в цикле. Теперь это файл конфигурации и несколько вызовов API.

Больше доступа означает больше уязвимости

Традиционные программные атаки имеют несколько предсказуемый профиль. Есть известная точка входа, известная уязвимость, известный патч. Интеллектуальные агенты нарушают эту модель, потому что они динамичны по конструкции. Они не следуют статическому кодовому пути. Они рассуждают о том, что делать дальше, что означает, что их поведение труднее предсказать и намного труднее проверить после факта.

Эта непредсказуемость полезна для выполнения работы. Она также является преимуществом для любого, кто пытается эксплуатировать систему. Когда агент может решить, посреди задачи, вызвать внешний API или подключить сторонний инструмент, нет чистой периметра, который можно защитить.

Команды безопасности привыкли защищать известные поверхности и мониторить затраты на Kubernetes. Агенты постоянно открывают новые поверхности и уязвимости, и никто не картографирует их в реальном времени. Прежде чем вы это узнаете, кто-то может захватить учетные данные и получить контроль над всей вашей интеллектуальной “организмом” с одним ходом.

Внедрение подсказки – это новая SQL-инъекция

Если есть один вектор атаки, к которому исследователи безопасности постоянно возвращаются, это внедрение подсказки. Идея проста: вместо того, чтобы эксплуатировать уязвимость кода, атакующий манипулирует инструкциями, которые агент получает через свои входные данные. Зловещая инструкция, встроенная в веб-страницу, документ или даже электронное письмо, может перенаправить, что делает агент дальше.

Что делает это особенно острым, так это то, что агенты часто делают именно то, что им говорят. Они обрабатывают контент из интернета, из сообщений пользователей, из сторонних инструментов. Любой из этого контента является потенциальной поверхностью для внедрения. Агент, который читает скомпрометированный документ и затем совершает вызовы API на основе его содержимого, был захвачен, и он, вероятно, не запишет ничего, что сделает цепочку причинности очевидной.

Защита здесь реальна, но неполная. Изоляция действий агента, ограничение инструментов, которые агент может вызвать в определенных контекстах, и создание человеческих контрольных точек в высокорисковых рабочих процессах снижают риск. Они не устраняют его. И большинство организаций еще не реализовали даже основы.

Проблема доверия внутри многоагентных систем

Многоагентные системы вводят слой сложности, который легко недооценить. Когда один агент координирует несколько других, существует иерархия доверия. Координатор передает инструкции вниз, и подчиненные агенты следуют им. Если координатор скомпрометирован, каждый агент под ним также скомпрометирован, и радиус взрыва становится большим очень быстро.

Есть также проблема чрезмерного предоставления разрешений. Агенты часто получают больше доступа, чем им нужно, потому что проще предоставить широкие разрешения заранее, чем уточнять их итеративно. Исследовательский агент не нуждается в разрешении на запись в производственную базу данных.

Агент планирования не нуждается в доступе к финансовым отчетам. Конечно, это кажется успокаивающим иметь все взаимосвязанным, но это просто слишком рискованно, чтобы видеть любые неуменьшающиеся доходы. Но линии становятся размытыми на практике, и принципы минимальных разрешений, которые работают хорошо в теории, тихо отбрасываются в спешке выпуска.

Что такое разумная безопасность здесь

Нет единого решения, которое делает развертывание агентов безопасным. Это слоистая проблема и она требует слоистого ответа. Организации, которые делают это хорошо, обычно начинают с контроля доступа: предоставляют каждому агенту определенный, узкий объем и строят контрольные шаги в любое действие, которое касается чувствительных систем или внешних сервисов.

Наблюдаемость имеет столько же значения, сколько и предотвращение. Если агент совершает неожиданное действие, команды нуждаются в полной трассе инструкций, которые он получил, инструментов, которые он вызвал, и того, что он вернул. Большинство настроек журналирования не построены с учетом такого уровня детализации, и ретрофитирование после факта является болезненным. Построение его с самого начала стоит трения.

Тестирование на противодействие также недооценивается. Красные команды агентов, специально пытающиеся внедрить зловещие инструкции и наблюдать, что происходит, выявляют уязвимости, которые статический кодовый обзор никогда не поймает. Это неудобно думать об этом, но люди, которые в конечном итоге попытаются эксплуатировать эти системы, уже делают это. Получение туда первым является единственным разумным ходом.

Финальные мысли

Интеллектуальные агенты станут более важной частью того, как организации работают, и этот сдвиг уже хорошо начался. Разговор о безопасности должен догнать, и быстро. Риски реальны, векторы атаки новые, и окно для опережения их сужается.

Понимание ландшафта угроз для автономных систем ИИ больше не является необязательным. Это одно из наиболее важных вещей, которые команды безопасности и инженерные команды могут делать прямо сейчас, и часы на получение этого уже начались.