AI‑агенты готовы действовать. Большинство компаний не готовы их пускать.

На протяжении большей части эпохи генеративного ИИ мы сосредотачивались на том, что говорят модели, и на том, что мы вносим в них. Мы проверяем подсказки, фильтруем ответы, проводим red‑team тестирование моделей и создаём контрольные механизмы вокруг входных и выходных данных. Эти защиты по‑прежнему важны, но они были разработаны для мира, в котором ИИ в основном генерировал что‑то для потребления человеком.

Агенты меняют эту формулу. Они не просто потребляют или генерируют информацию. Они действуют.

Агент может выполнять инструменты, вызывать суб‑агентов, сотрудничать с другими агентами, вызывать API, получать доступ к данным, использовать учётные данные, обращаться к серверам MCP, генерировать и исполнять код, а также принимать серию автономных решений в стремлении к цели. Неустанное стремление. Как только это происходит, центральный вопрос перестаёт быть простым: «создала ли модель безопасный ответ». Теперь вопрос в том, безопасно ли выполнять действия, которые она предпринимает.

Недавние раскрытия от OpenAI делают это различие всё более важным. OpenAI начала систематически сообщать о неожиданном или вызывающем обеспокоенность поведении модели, в то время как её более широкая работа по безопасности всё активнее решает возникающие риски по мере того, как модели получают большую автономию и доступ к инструментам.

Урок не в том, что агенты по своей природе небезопасны. Проблема в том, что граница безопасности сместилась.

Агентные системы требуют иной операционной модели

Агентный ИИ — это не просто ещё одна архитектура приложений. Само программное обеспечение всё более определяет, как выполняется работа.

Агент может столкнуться с препятствием, интерпретировать произошедшее и выбрать иной путь. Он может комбинировать инструменты способами, которые изначально не были явно спроектированы. Он может генерировать код и выполнять этот код в рамках одного рабочего процесса. Последовательность действий может изменяться каждый раз, когда агент запускается.

В то же время население, создающее это программное обеспечение, стремительно растёт. Как мы писали о росте гражданских разработчиков, ИИ превращает людей, которые никогда не считали себя разработчиками, в создателей программ. Маркетолог, финансовый аналитик или руководитель операций теперь могут описать, чего они хотят, и создать агента, способного взаимодействовать с реальными бизнес‑системами.

Это необычайное расширение того, кто может создавать программное обеспечение и что это программное обеспечение может делать. Это также означает, что у организаций будет гораздо больше автономного программного обеспечения, работающего в гораздо большем числе подразделений бизнеса.

Ответ не может заключаться просто в применении вчерашних контролей к этой новой среде. Если предприятия не смогут безопасно эксплуатировать эти системы, альтернативой будет их ограничение, что в конечном итоге замедлит те самые приросты производительности, к которым они стремятся.

Контроль должен существовать там, где действуют агенты

По мере того как ИИ становится более автономным, задача смещается от контроля того, что поступает в модель, к контролю того, что происходит, когда её решения превращаются в действия.

Агент может начинать работу с одобренного пользователя, приемлемой подсказки, законных учётных данных и авторизованного доступа к инструменту. Ничто из этого не гарантирует, что каждое последующее действие следует выполнять.

Здесь время выполнения становится критическим. Организациям необходимо понимать не только, кто такой агент, но и задавать вопросы о том, что он делает в данный момент:

• Какие инструменты он вызывает,
• Какие ресурсы он использует, какой код пытается выполнить,
• Какие суб‑агенты и другие коммуникации агентов происходят,
• Что произошло непосредственно перед этим действием и остаётся ли его поведение в пределах приемлемых границ,
• Что агент делает «под капотом» во время выполнения.

И когда этого не происходит, системе нужна возможность вмешаться в реальном времени до выполнения.

Это важное различие. Наблюдаемость показывает, что произошло. Контроль во время выполнения даёт возможность ограничить слой исполнения агента.

Это становится особенно важным, потому что агентное поведение одновременно недетерминировано и многомерно. Заблокированное действие заставит агента попробовать иной подход к своей цели. На первый взгляд безвредный вызов инструмента может стать рискованным из‑за предшествующего ему события. Просто наблюдать или «обнаруживать и реагировать» уже слишком поздно, чтобы действительно контролировать доступ агента и его выполнение.

Время выполнения должно быть встроенным и синхронным, чтобы успевать за скоростью ИИ. Основная сложность внедрения таких подходов заключается в мышлении эпохи до ИИ, которое опирается на более длительный анализ и методику обнаружения. Эти принципы больше не применимы в современном мире.

Безопасность во время выполнения требует контекста, а не только контролей

Существует тенденция реагировать на возникающие риски ИИ, уменьшая автономию: предоставлять агентам меньше прав, требовать человеческого одобрения чаще или ограничивать среды, в которых они работают. Такие меры иногда уместны, особенно для действий с высоким уровнем риска.

Но они не могут стать долгосрочной моделью эксплуатации.

Если человеку приходится одобрять каждое значимое решение, мы лишаем автономного агента большей части его ценности. Полагание на строгие взаимодействия человек‑в‑цикл превращает некоторых из самых талантливых специалистов в «нажиматели кнопок». Это напрямую влияет на способность понимать масштаб и взаимозависимости кодовой базы, на которой работают агентные организации.

Экономический потенциал агентного ИИ заключается именно в том, что программное обеспечение может выполнять значимую работу независимо и непрерывно — 24/7. Поэтому цель не в том, чтобы устранять автономию, а в том, чтобы сделать большую автономию безопасной в эксплуатации.

Это требует независимых контролей за пределами собственного процесса рассуждения агента. Исследование Anthropic по агентному несоответствию, проведённое в специально сконструированных симуляциях, иллюстрирует, почему это важно. По мере того как системы становятся более автономными, их поведение может отклоняться от того, чего ожидают их операторы, даже если исходная цель кажется ясной.

Практический вывод прост: организации не могут полагаться исключительно на понимание того, что агент был попросен сделать. Им необходимо понимать и контролировать то, что он действительно делает.

Агент больше не является самой сложной частью

Индустрия вложила огромные усилия в повышение возможностей агентов. Мы быстро приближаемся к точке, когда способность больше не является основным ограничением для внедрения в предприятия.

Ограничением является контроль.

По мере того как агенты становятся более автономными, последствия их действий усиливаются, и средства контроля, разработанные для предсказуемого программного обеспечения, становятся менее эффективными. Предприятиям требуется непрерывная видимость того, что делают агенты, контекст для понимания, почему эти действия важны, и возможность вмешиваться без необходимости ставить человека в центр каждого решения.

Это меняет смысл эксплуатации программного обеспечения.

• Разработчикам необходимо понимать, как агенты действительно ведут себя, а не только как они были спроектированы.
• Командам платформ и безопасности нужно устанавливать границы, которые останутся применимыми, когда агенты работают через системы и инструменты.
• Руководителям бизнеса требуется уверенность в том, что большая автономия не означает отказ от контроля.

Это принципиально отличается от обеспечения безопасности другого приложения или управления другой моделью. Мы вводим автономных актёров в корпоративные среды: системы, способные рассуждать, принимать решения и действовать. Если организации не смогут видеть и контролировать эти действия в реальном времени, им придётся ограничивать возможности агентов, что сократит большую часть ценности, которую автономия должна была создать.

Ответ не в том, чтобы предполагать, что мы можем предотвратить каждое плохое решение. По мере того как системы становятся более автономными и недетерминированными, гарантировать это становится всё сложнее.

Цель состоит в том, чтобы плохое или разрушительное действие не привело к неблагоприятному результату.

Для этого нужен новый операционный слой вокруг агентов: способный постоянно наблюдать за поведением, понимать действия в контексте, обеспечивать соблюдение границ на протяжении всего стека выполнения агента и вмешиваться до того, как непреднамеренное или неприемлемое действие превратится в необратимый результат.

Следующая фаза корпоративного ИИ будет определяться не только тем, насколько способны становятся агенты. Она будет определяться тем, насколько безопасно организации смогут предоставлять им автономию.