Лидеры мнений

Одна политика — тысячи агентов: почему управление корпоративным ИИ дает сбой при масштабировании

mm
Добавьте Unite.AI в избранные источники в Google

В центре обсуждения внедрения автономных ИИ-агентов во многом закономерно оказалось управление ими — одна из ключевых задач. Недавно Gartner спрогнозировала, что 40% предприятий к 2027 году понизят статус своих автономных ИИ-агентов или выведут их из эксплуатации — не потому, что технология не оправдала ожиданий, а потому, что не справилась система управления ею. По словам Шивы Вармы, старшего директора-аналитика Gartner, причина — «бинарное управление»: агентов либо полностью ограничивают, либо безоговорочно им доверяют, не оставляя промежуточных вариантов.

Сейчас многие организации склоняются либо к полному запрету инструментов ИИ, либо к развертыванию агентов с недостаточными ограничениями. Ни один из этих подходов не подходит для масштабирования. Даже если ИТ-отдел запрещает внешние инструменты ИИ, теневой ИИ все равно используется. Разработчики стремятся создавать решения и решать задачи; если управление кажется излишне бюрократичным, они обходят ограничения и используют непроверенные инструменты, чтобы не останавливать работу. Напротив, недостаточные ограничения подвергают организации рискам для безопасности, соответствия требованиям и операционной деятельности, которые со временем возрастают. 

Проблема в том, что управлять ИИ-агентами по единому принципу с помощью статического универсального подхода невозможно.  Эпоха универсального управления подходит к концу, поскольку у этих систем неодинаковый профиль рисков: они различаются используемым программным обеспечением, возможностями, уровнями доступа и степенью автономности. Статические методы контроля индустриальной эпохи не подходят для программного обеспечения, работающего с машинной скоростью.  Эффективное управление будет зависеть от того, насколько хорошо организации понимают цепочку поставок программного обеспечения, лежащую в основе каждого агента, и соотносят меры контроля с рисками, которые он создает.  

Управление средами разработки агентного программного обеспечения

Реальный контроль предполагает эффективное управление всеми программными компонентами, из которых состоит агент. Многие команды ошибочно считают таких агентов «надежными и заслуживающими доверия», упуская из виду стандартные компоненты, от которых зависят их функциональность и безопасность. 

Каждый автономный ИИ-агент построен на основе узнаваемого набора компонентов: базовой модели, серверов MCP (протокол контекста модели), которые подключают его к корпоративным данным и внешним системам, плагинов, расширяющих его возможности, и файлов навыков, задающих правила его поведения. Руководителям ИТ следует помнить: 

  • ИИ-агенты — это программные экосистемы: они опираются на стандартную конфигурацию, включающую модели, MCP, инструменты, плагины, навыки и программное обеспечение с открытым исходным кодом.
  • Серверы MCP могут быть опасны: они подключают агентов к корпоративным данным и, как любое другое программное обеспечение, могут быть загружены из интернета. Если их не проверять, злоумышленники могут получить через них доступ к вашей системе. Например, в недавнем исследовании JFrog Security Research описаны именно такие риски для цепочки поставок программного обеспечения в mcp-run-python, в том числе уязвимость подделки серверных запросов (SSRF) (CVE-2026-25904) и уязвимость, связанная с отсутствием изоляции (CVE-2026-25905), которая может привести к полному захвату MCP.
  • Плагины могут повышать риски: разным агентам нужны разные плагины (например, плагин OpenAI не будет работать в Microsoft Copilot), поэтому компаниям часто приходится одновременно использовать несколько вариантов, и один ненадежный плагин может похитить конфиденциальную информацию.
  • Навыки определяют поведение агента: эти файлы с инструкциями указывают агенту, как работать. Поскольку разработчики берут их из сообществ, поврежденный файл навыков может незаметно изменить работу агента.
  • Риски программного обеспечения с открытым исходным кодом: В основе всех возможностей решений, созданных с помощью агентного программирования, лежит использование бинарных файлов с открытым исходным кодом. Агенты для написания кода могут с таким же успехом использовать вредоносные пакеты вместо безопасных, не осознавая связанного с этим риска.
  • Ключевое значение имеет прозрачность: Многие команды не знают о существовании этих проблем, из-за чего их агенты остаются крайне уязвимыми. Организации по-прежнему управляют программными зависимостями, полагаясь на доверие, а не на тщательные проверки.

Роль системы учета в эффективном управлении ИИ

В гонке за внедрение корпоративных ИИ-агентов не победить, придерживаясь устаревшего подхода. Жесткие централизованные процессы ручного согласования для каждого рабочего процесса подавляют инновации, а отсутствие контроля за агентами создает ненужные риски.

Чтобы безопасно масштабировать использование ИИ, организациям необходимо применять многоуровневый подход к управлению и защите программных компонентов, включая пакеты, бинарные файлы, MCP, навыки и зависимости. Создав систему учета, компании смогут отбирать все используемые компоненты, проверять их до начала использования, применять политики на нужном этапе жизненного цикла разработки и сохранять возможность немедленного отката изменений. Поэтому, когда будет раскрыта информация об очередной уязвимости, ответ на вопрос «подвержены ли мы риску?» можно будет получить за минуты, а не за дни.

Однако ИИ-агенты создают более широкую и значительно быстрее меняющуюся поверхность атаки. Агенты с высокой автономностью могут принимать сотни решений в минуту, связывать вызовы инструментов в цепочки, получать доступ к данным и выполнять код быстрее, чем успевают традиционные проверки при подключении. Хотя предварительные проверки и процедуры согласования по-прежнему играют важную роль, сами по себе они не способны защитить системы, работающие со скоростью машин.

Для таких агентов необходимо динамическое применение мер контроля во время выполнения, позволяющее обнаруживать аномальное поведение в момент его возникновения и вмешиваться, прежде чем ущерб распространится дальше. Представьте себе автоматический выключатель: он может отозвать доступ к скомпрометированному навыку, отключить ненадежный контекст данных или заблокировать вызов определенного инструмента, как только что-то пойдет не так.

Отказ от подхода «один размер для всех»

Жесткое единообразное управление неизбежно ведет к провалу. Возможность заранее подготовиться к этому сокращается, а долг в области управления накапливается по мере ускорения внедрения агентов. Поэтому вот четыре шага, которые руководители служб безопасности и инженерных подразделений могут предпринять уже сейчас, чтобы укрепить корпоративные системы:

  1. Проведите инвентаризацию того, что уже работает. Большинство компаний не могут полностью учесть ИИ-агентов, используемых в их организациях, не говоря уже о серверах MCP, плагинах и файлах навыков, на которых они работают. Прежде чем оценивать риски или устанавливать правила, необходимо знать, что именно существует.
  2. Рассматривайте компоненты ИИ как программные артефакты. Серверы MCP, файлы навыков и плагины — это не конфигурация, а код, подверженный тем же рискам в цепочке поставок, что и любые зависимости с открытым исходным кодом. Проверяйте их, сканируйте и отслеживайте происхождение так же, как любую стороннюю библиотеку.
  3. Классифицируйте агентов по уровню автономности и соответствующим образом настраивайте меры контроля. Определите, что означает «высокая автономность» для вашей организации, и создайте многоуровневую систему политик. Для агентов с высокой автономностью необходимо применять меры контроля во время выполнения, а не ограничиваться проверками при подключении. Начните с наиболее чувствительных систем и постепенно расширяйте охват.
  4. Ускорьте управление настолько, чтобы разработчики — люди или ИИ-агенты — не обходили его. Теневой ИИ — это проблема, связанная с препятствиями в работе. Если согласование нового сервера MCP занимает две недели, разработчики найдут обходной путь. Автоматизированное сканирование с четким применением правил — единственная модель, способная масштабироваться в соответствии с реальными темпами развития ИИ.

Управление становится гораздо эффективнее, если учитывать реальные риски, связанные с каждым агентом, а не обращаться со всеми одинаково. Преимущество получат компании, которые выстраивают управление с учетом особенностей каждого агента и опираются на систему учета, обеспечивающую соблюдение политик на каждой границе, прозрачность в отношении каждого компонента и возможность для команд отреагировать сразу же, как только что-то пойдет не так.

Пол — опытный руководитель в области ИТ‑безопасности, который, будучи Field CISO в JFrog, помогает CISO, ИТ‑руководителям и командам безопасности улучшать защиту их цепочки поставок программного обеспечения. Кроме того, он консультирует стартапы в сфере ИТ‑безопасности, наставляет лидеров безопасности и предоставляет рекомендации по различным тенденциям ИТ‑безопасности. Пол также проводит время, изучая новейшие технологии, занимаясь диджеингом, читая и катаясь на лодке.