От генеративного к агентному ИИ: сдвиг от риска контента к риску выполнения

Корпоративный ИИ развивается быстро. То, что началось как генеративный ИИ-копилот, создающий электронные письма и суммирующий документы, теперь становится чем-то гораздо более автономным: системами, которые планируют, принимают решения и выполняют задачи в различных инструментах и средах.

Это сдвиг от генеративного к агентному ИИ. Это наблюдение за трансформацией рисков.

GenAI ввел риски контента, включая галлюцинации, утечку данных через подсказки и предвзятые выходные данные. Риск агентного ИИ возникает через его автономные системы, которые имеют разрешение, память и возможность доступа ко всем доступным инструментам со скоростью машин.

Это возможность для специалистов по безопасности, управлению или ИИ переоценить свою позицию по этим новым рискам.

Что такое риск агентного ИИ?

Риск агентного ИИ относится к безопасности, операционным и управленческим рискам, создаваемым ИИ-системами, которые работают автономно, не только генерируя текст, но и выполняя многоступенчатые рабочие процессы на корпоративных системах.

В отличие от традиционных больших языковых моделей (LLM), агентные системы могут разбить задачи на динамические рабочие процессы, делать внешние запросы API и вызывать внутренние приложения, а также хранить и вспоминать воспоминания. Они также могут работать под делегированной идентичностью и общаться с другими агентами.

В других словах, они менее похожи на чат-боты и более на младших цифровых сотрудников. Это представляет собой значительное увеличение атакующей поверхности ИИ-агента.

Генеративный vs агентный ИИ: Что меняется?

Риск генеративного ИИ сосредоточен на выходных данных. Команды безопасности задают вопросы, такие как: не утечет ли модель данные, не будет ли она галлюцинировать или не будет ли генерироваться вредный или не соответствующий требованиям контент.

Люди твердо находятся в цикле. ИИ предлагает, люди одобряют.

Риск агентного ИИ ориентирован на действие. Теперь команды безопасности должны задавать себе вопросы, с какими системами может взаимодействовать агент, какие разрешения он унаследует, как далеко его план может достичь и что произойдет, если он будет обманут, пока работает.

Различие может быть очень небольшим, но оно значимо: генеративный ИИ создает контент. Агентный ИИ создает последствия. Это сдвиг от риска контента к риску выполнения.

Как агентный ИИ расширяет атакующую поверхность корпоративных систем?

Агентный ИИ не просто добавляет новое приложение. Он создает новый операционный слой. Вот как растет атакующая поверхность:

1. Привилегированные ИИ-агенты

Существует много агентов, действующих от имени пользователей или учетных записей служб. Когда объем разрешений не ограничен, они становятся ценными целями.

Это может привести к проблемам с запутанным заместителем, эскалации привилегий и боковому движению. Это проблема, когда облачные, SaaS- и внутренние системы предоставляют динамический или унаследованный доступ к агентам.

2. Динамические пути выполнения

Потоки управления в традиционных приложениях являются определёнными. Потоки управления в агентных ИИ-системах не определены.

Они рассуждают о целях, действиях, отражают, уточняют и вызывают инструменты неопределенным образом. Это приводит к трудноанализируемым случаям отказа, сложным графам зависимостей и каскадным отказам в многоагентных системах. Механизмы безопасности, разработанные для определенных потоков управления, здесь не применимы.

3. Постоянная память

Атакующая поверхность, созданная памятью агента, постоянна.

Когда кратковременная или долговременная память скомпрометирована, злонамеренное состояние может влиять на решения в нескольких сессиях. Это отличается от единовременного внедрения подсказки, поскольку коррупция памяти обеспечивает постоянство.

4. Риски принятия решений на уровне машин

Автономные агенты принимают решения со скоростью, которую невозможно сравнить. Это создает проблемы с принятием решений на уровне машин, такие как быстрая пропагация ошибок, циклы злоупотребления, намного быстрее реакции человека, и эскалация до обнаружения.

В многоагентных системах сфера влияния быстра. Злонамеренный агент может спровоцировать каскад отказов в координационных цепочках.

Почему традиционные механизмы безопасности не работают с агентным ИИ

Большинство традиционных корпоративных моделей безопасности полагаются на статические приложения, предсказуемые вызовы графов, одобрения человека и четкое разделение между обработкой данных и выполнением. Агентный ИИ делает эти предположения недействительными.

Возьмем, например, традиционный контроль, такой как проверка ввода. Это гарантирует безопасность границы системы. Однако риск агентного ИИ обычно появляется в середине цикла, в фазе планирования, размышления или инструментирования.

Традиционное сканирование уязвимостей также фокусируется на инфраструктуре и программном обеспечении. Однако риск выполнения ИИ находится внутри слоя рассуждения и действия агента.

Вопрос в том: как защитить что-то, что может выбрать свое следующее действие? Вы не можете просто обернуть контроли вокруг одного вызова модели. Вам необходимо защитить рабочий процесс.

Защита агентного ИИ: что действительно работает?

Когда речь идет о защите агентного ИИ, необходимо перейти от периметрального мышления к мышлению на основе жизненного цикла. Агентам не следует разрешать бесконечно переинтерпретировать цели, и есть несколько способов достижения этого.

Установление допустимых последовательностей целей, регулирование глубины дерева расширения планов, мониторинг отклонения рассуждений и запрет на самоавторские цели вне области действия являются необходимыми контролями. Неожиданные вариации рассуждений часто являются предшественниками манипуляции.

Защитите выполнение инструментов. Инструменты – это место, где план встречается с реальностью, и безопасность должна покрывать проверки разрешений перед выполнением инструмента, среды выполнения с песочницей, строгую проверку параметров и передачу учетных данных justo-in-time. Каждое выполнение инструмента должно быть зарегистрировано как первоклассное событие безопасности.

Изолируйте память и объем привилегий. Память должна рассматриваться как чувствительная инфраструктура. Это означает проверку операций записи, разделение области памяти, ограничение объема операций чтения на задачу, использование короткоживущих учетных данных и предотвращение унаследованных привилегий. Непроверенная аккумуляция разрешений является значительным риском агентного ИИ.

Защитите координацию между агентами. В распределенных системах агентов сама коммуникация становится вектором атаки. Это должно подразумевать аутентификацию агентов, проверку схемы сообщений, ограниченные каналы связи и мониторинг аномальных моделей влияния. Когда координация отклоняется от ожидаемых потоков, изоляция должна происходить автоматически.

От управления экспозицией к оценке экспозиции для ИИ-систем

Это место, где более широкая философия безопасности становится ключом. Традиционное управление уязвимостями выявляет известные слабости. Однако автономные ИИ-системы вводят возникающую экспозицию: риски, которые возникают из конфигурации, проектирования привилегий, путей интеграции и динамического поведения.

Это соответствует тому, что отрасль назвала управлением экспозицией и, более недавно, оценкой экспозиции.

Управление экспозицией – это все о том, чтобы иметь непрерывную видимость того, как системы (включая облачные активы, идентификаторы, приложения и теперь ИИ-агенты) создают пути, которые злоумышленники могут использовать.

Для безопасности автономных ИИ-систем это означает задавание вопросов: Что может достичь этот агент? Какие разрешения он агрегирует? Какие системы он оркестрирует? И где выполнение пересекается с чувствительными данными?

Команды, которые уже используют стратегии, основанные на экспозиции, для снижения киберриска, находятся в прочной позиции для расширения этих принципов на свои ИИ-среды. Например, платформы, которые объединяют видимость идентификаторов, облака и уязвимостей, предоставляют способ понять, как привилегированные ИИ-агенты пересекаются с существующими путями атаки.

Ключом не является инструментарий поставщика как таковой. Это мышление:

Вы не защищаете агентный ИИ, защищая модель. Вы защищаете его, постоянно измеряя и снижая его экспозицию.

Управление рисками на уровне выполнения в агентном ИИ

Отметкой безопасности агентного ИИ является следующее: атакующая поверхность не является ответом, а рабочим процессом.

Риски на уровне выполнения многочисленны, включая неаутентифицированное использование инструментов, подделку идентификаторов, ползучесть привилегий, отравление памяти, манипуляцию между агентами и системы “человек в цикле” под принуждением.

Смягчение этих рисков означает наличие видимости отношений идентификаторов, наследования привилегий, зависимостей API, активности во время выполнения и телеметрии выполнения.

Это больше не просто безопасность генеративного ИИ; это операционная безопасность ИИ.

Риск агентного ИИ является архитектурным, а не гипотетическим

Агентный ИИ – это следующий шаг в эволюции корпоративного ИИ. Он несет обещание эффективности, автоматизации и масштабируемости. Однако он также вводит риск от того, что говорит ИИ, к тому, что делает ИИ.

Переход от генеративных к агентным системам влияет на следующее:

• Риск контента к риску выполнения
• Статические подсказки к динамическим потокам выполнения
• Проверку человека к автономному выполнению
• Безопасность приложений к управлению экспозицией

Лидеры безопасности, которые понимают этот переход первыми, могут архитектурно спроектировать ограничители, которые масштабируются с автономией. Другие окажутся с цифровыми инсайдерами без контроля инсайдеров.

Будущее ИИ в корпорации – агентное. Будущее безопасности ИИ должно быть экспозиционно-ориентированным, осведомленным о рабочем процессе и спроектированным для операций на уровне машин.

Потому что как только ИИ-агенты имеют возможность выполнять действия, единственно жизнеспособный подход – постоянно понимать (и смягчать) то, что они подвергают воздействию.