От Генеративного к Агентному ИИ: Сдвиг от Риска Контента к Экспозиции Исполнения

Корпоративный ИИ развивается быстро. То, что началось как генеративный ИИ в качестве второго пилота, создающего электронные письма и суммирующего документы, теперь становится чем-то гораздо более автономным: системами, которые планируют, решают и выполняют задачи во всех инструментах и средах.

Это сдвиг от генеративного к агентному ИИ. Это наблюдение за трансформацией риска.

GenAI ввел риски контента, включая галлюцинации, утечку данных через подсказки и предвзятые выходы. Экспозиция агентного ИИ происходит через его автономные системы, которые имеют разрешение, память и возможность доступа ко всем доступным инструментам со скоростью машин.

Это возможность для специалистов по безопасности, управлению или ИИ переоценить свою позицию по этим новым рискам.

Что такое риск агентного ИИ?

Риск агентного ИИ относится к безопасности, операционным и управленческим рискам, создаваемым ИИ-системами, которые работают автономно, не только генерируя текст, но и выполняя многоступенчатые рабочие процессы на корпоративных системах.

В отличие от традиционных больших языковых моделей (LLM), агентные системы могут разбивать задачи на динамические рабочие процессы, делать внешние запросы API и вызывать внутренние приложения, а также хранить и вспоминать воспоминания. Они также могут работать под делегированной идентификацией и общаться с другими агентами.

Иными словами, они менее похожи на чат-ботов и больше на младших цифровых сотрудников. Это представляет собой огромное увеличение поверхности атаки ИИ-агента.

Генеративный vs агентный ИИ: Что меняется?

Риск генеративного ИИ сосредоточен на выходных данных. Команды безопасности задают вопросы, такие как liệu модель утечет данные, если она может галлюцинировать или если вредоносный или некомплиментный контент генерируется.

Люди твердо находятся в цикле. ИИ предлагает, люди одобряют.

Риск агентного ИИ ориентирован на действие. Теперь команды безопасности должны задавать себе вопросы, с какими системами может взаимодействовать агент, какие разрешения он унаследует, как далеко его план может достичь и что произойдет, если он будет обманут, пока работает.

Различие может быть очень небольшим, но оно значимо: генеративный ИИ создает контент. Агентный ИИ создает последствия. Это сдвиг от риска контента к экспозиции исполнения.

Как агентный ИИ расширяет поверхность атаки корпоративных систем?

Агентный ИИ не просто добавляет новое приложение. Он создает новый операционный слой. Вот как растет поверхность атаки:

1. Привилегированные ИИ-агенты

Существует много агентов, действующих от имени пользователей или учетных записей служб. Когда объем разрешений не ограничен, они становятся ценными целями.

Это может привести к проблемам с запутанным заместителем, эскалации привилегий и боковому движению. Это проблема, когда облачные, SaaS и внутренние системы предоставляют динамический или унаследованный доступ к агентам.

2. Динамические пути исполнения

Контрольные потоки в традиционных приложениях являются детерминированными. Контрольные потоки в агентных ИИ-системах не детерминированы.

Они рассуждают о целях, действиях, размышляют, уточняют и вызывают инструменты недетерминированным образом. Это приводит к трудноанализируемым случаям отказа, сложным графам зависимостей и каскадным отказам в многоагентных системах. Механизмы безопасности, разработанные для детерминированных контрольных потоков, не применимы здесь.

3. Постоянная память

Поверхность атаки, созданная памятью агента, постоянна.

Когда короткосрочная или долгосрочная память скомпрометирована, злонамеренное состояние может влиять на решения в нескольких сессиях. Это отличается от единственного внедрения подсказки, поскольку коррупция памяти обеспечивает постоянство.

4. Риски принятия решений на уровне машин

Автономные агенты принимают решения со скоростью, которую невозможно сравнить. Это представляет вызовы принятия решений на уровне машин, такие как быстрая пропагация ошибок, циклы злоупотребления, гораздо быстрее человеческой реакции, и эскалация до обнаружения.

В многоагентных системах объем влияния быстр. Злонамеренный агент может спровоцировать каскадный отказ в цепочках координации.

Почему традиционные контроли не работают с агентным ИИ

Большинство традиционных корпоративных моделей безопасности полагаются на статические приложения, предсказуемые вызовы графов, одобрения человека и четкое разделение между обработкой данных и исполнением. Агентный ИИ делает эти предположения недействительными.

Возьмем, например, традиционный контроль, такой как проверка ввода. Это охраняет границу системы. Однако агентный риск обычно появляется в середине цикла, в фазе планирования, размышления или инструментирования.

Традиционное сканирование уязвимостей также фокусируется на инфраструктуре и программном обеспечении. Однако риск исполнения ИИ находится внутри слоя рассуждения и действия агента.

Вопрос в том: Как защитить что-то, что может выбрать свое следующее действие? Вы не можете просто обернуть контроли вокруг одного вызова модели. Вы должны защитить рабочий процесс.

Защита агентного ИИ: Что на самом деле работает?

Когда речь идет о защите агентного ИИ, должно быть сдвиг от периметрового мышления к мышлению на основе жизненного цикла. Агентам не должно быть разрешено бесконечно переинтерпретировать цели. Существует несколько способов достижения этого.

Установление допустимых последовательностей целей, регулирование глубины деревьев расширения планов, мониторинг дрейфа рассуждений и запрет на самоавторские цели вне сферы являются важными контролями. Неожиданные вариации рассуждений часто являются предшественниками манипуляции.

Закалите исполнение инструментов. Инструменты – это место, где план встречается с реальностью, и безопасность должна покрывать проверки разрешений перед исполнением инструмента, изолированные среды исполнения, строгую проверку параметров и передачу учетных данных justo в время. Каждое исполнение инструмента должно быть зарегистрировано как первоклассное событие безопасности.

Изолируйте память и объем привилегий. Память должна быть обработана как чувствительная инфраструктура. Это означает проверку операций записи, разделение области памяти, ограничение объема операций чтения на задачу, использование короткоживущих учетных данных и предотвращение унаследованных привилегий. Непроверенная аккумуляция разрешений является значительным риском агентного ИИ.

Обеспечьте безопасность координации многоагентных систем. В распределенных системах агентов сами коммуникации становятся вектором атаки. Это должно подразумевать аутентификацию агентов, проверку схемы сообщений, ограниченные каналы связи и мониторинг аномальных моделей влияния. Когда координация отклоняется от ожидаемых потоков, изоляция должна происходить автоматически.

От управления экспозицией к оценке экспозиции для ИИ-систем

Это место, где более широкая философия безопасности становится ключом. Традиционное управление уязвимостями выявляет известные слабости. Однако автономные ИИ-системы вводят эмерджентную экспозицию: риски, возникающие из конфигурации, проектирования привилегий, путей интеграции и динамического поведения.

Это соответствует тому, что отрасль назвала управлением экспозицией и, более недавно, оценкой экспозиции.

Управление экспозицией – это все о том, чтобы иметь непрерывную видимость того, как системы (включая облачные активы, идентификаторы, приложения и теперь ИИ-агенты) создают пути, которые злоумышленники могут использовать.

Для безопасности автономных ИИ-систем это означает задавание вопросов: Что может достичь этот агент? Какие разрешения он агрегирует? Какие системы он оркестрирует? И где исполнение пересекается с чувствительными данными?

Команды, уже использующие стратегии, основанные на экспозиции, для снижения киберриска, находятся в солидном положении, чтобы расширить эти принципы на свои среды ИИ. Например, платформы, которые объединяют видимость идентификатора, облака и уязвимостей, предоставляют способ понять, как привилегированные ИИ-агенты пересекаются с существующими путями атаки.

Ключом является не инструментарий поставщика как таковой. Это мышление:

Вы не защищаете агентный ИИ, защищая модель. Вы защищаете его, постоянно измеряя и снижая его экспозицию.

Управление рисками на уровне исполнения в агентном ИИ

Отметкой безопасности агентного ИИ является следующее: Поверхность атаки не является ответом, а рабочим процессом.

Риски на уровне исполнения многочисленны, включая неаутентифицированное использование инструментов, подделку идентификаторов, ползучесть привилегий, отравление памяти, манипуляцию между агентами и системы “человек в цикле” под принуждением.

Смягчение этих рисков означает наличие видимости отношений идентификаторов, наследования привилегий, зависимостей API, активности во время выполнения и телеметрии выполнения.

Это уже не просто безопасность GenAI; это операционная безопасность ИИ.

Риск агентного ИИ является архитектурным, а не гипотетическим

Агентный ИИ – это следующий шаг в эволюции корпоративного внедрения ИИ. Он обещает эффективность, автоматизацию и масштабируемость. Однако он также вводит риск от того, что говорит ИИ, до того, что делает ИИ.

Переход от генеративных к агентным системам влияет на следующее:

• Риск контента к риску исполнения
• Статические подсказки к динамическим потокам исполнения
• Проверку человека к автономному исполнению
• Безопасность приложений к управлению экспозицией

Лидеры безопасности, которые понимают этот переход первыми, могут разработать ограничители, которые масштабируются с автономией. Другие окажутся с цифровыми инсайдерами без контроля инсайдеров.

Будущее ИИ в корпорации – агентное. Будущее безопасности ИИ должно быть экспозиционно-ориентированным, осведомленным о рабочем процессе и разработанным для операций на уровне машин.

Потому что как только ИИ-агенты получат возможность исполнять, единственно жизнеспособный подход – постоянно понимать (и смягчать) то, что они подвергаются.