Лидеры мнений
От намерения к автономным действиям: управление ИИ-агентами в организации

Ключевые моментыУправление должно быть встроено в продукт, поскольку оно определяет, какие обязанности…
Показать больше
- Управление должно быть встроено в продукт, поскольку оно определяет, какие обязанности организация может безопасно делегировать.
- Плоскость управления агентами связывает идентичность агента и утверждённые возможности с применением политик и надзором за исполнением.
- Организациям следует начинать с узкого рабочего процесса и расширять полномочия агентов только по мере того, как операционные данные это подтверждают.
Такая инструкция, как «восстановить работу сервиса», кажется простой, пока ИИ-агенту не приходится определять, какие полномочия она ему дает. Перезапуск приложения, изменение конфигурации и выделение инфраструктуры могут помочь достичь этой цели, но каждое из этих действий влечет разные последствия. По мере того как агенты переходят от рекомендаций к выполнению действий, организациям необходимо обеспечить четкую связь между деловыми намерениями и полномочиями на выполнение операций.
Управление должно быть встроено в продукт, поскольку от него зависит, какие обязанности организация может уверенно делегировать. Агент, который способен надежно выполнять задачу в согласованных границах и подтверждать свои действия, создает более прочную основу для внедрения в организации, чем агент с неясными полномочиями. Архитектурная задача — встроить эти границы в работу системы.
Чтобы соблюдать эти границы на практике, необходим единый подход к управлению действиями агентов. Контур управления агентами может стать такой основой, связав идентификацию агента, утвержденные возможности, применение политик, контроль памяти и надзор за выполнением действий в существующих корпоративных системах. Он определяет, кто запросил действие, какими полномочиями оно обосновано, на какие ресурсы оно может повлиять и как будет проверен результат.
Вот три практических рекомендации, которые мы предлагаем для управления ИИ-агентами в организации:
Свяжите возможности с четко определенными полномочиями
У каждого агента должны быть известный владелец, четко определенная цель и полномочия, соответствующие его задаче. Это согласуется с структурой NIST по управлению рисками ИИ, в которой управление рассматривается как непрерывный процесс на протяжении всего жизненного цикла ИИ. В случае агентов этот принцип должен распространяться и на момент, когда действие меняет корпоративную систему. Если один агент делегирует задачу другому, установленные границы должны сохраняться.
Поиск доступных возможностей также требует дисциплины: в утвержденном каталоге для каждого инструмента должны быть указаны его назначение, входные и выходные данные, допустимые среды и возможные побочные эффекты. Обнаружение инструмента не дает права на его использование, поэтому при попытке выполнить действие необходимо проверять наличие разрешения. Рекомендации OWASP по чрезмерным полномочиям агентов подкрепляют это различие: в них предлагается ограничивать функциональность и полномочия, а также обеспечивать проверку разрешений в последующих системах.
Рассмотрим в качестве примера процесс восстановления сервиса: агент изучает причины замедления работы приложения и предлагает перезапустить один из компонентов. Политика разрешает доступ к утвержденным данным телеметрии, но для перезапуска в рабочей среде требуются подтверждение исправности резервирования и одобрение владельца сервиса. Эти условия превращают общее указание в конкретное операционное решение с четкими границами.
Преобразуйте операционные намерения в инструменты с установленными правилами
Если существует утвержденный инструмент для восстановления работы, агент может подготовить запрос с его помощью. Если такого инструмента нет, агент может помочь создать скрипт, инструкцию по выполнению операций, схему входных данных и описание инструмента, преобразовав операционное намерение в предлагаемую возможность, которую смогут проверить другие. В этом и состоит практическая ценность создания инструментов агентами: они могут участвовать в создании средств для операционной деятельности, а не только пользоваться ими.
Однако создание таких средств само по себе не должно автоматически давать право выполнять их в рабочей среде. Для предлагаемой возможности необходим отдельный процесс выпуска с ответственным владельцем, проверками безопасности, контролем версий и тестами на недопустимые входные данные, чрезмерно широкий охват, частичные сбои и повторное выполнение. Тесты, созданные агентом, могут служить дополнительным подтверждением, но соответствие возможности операционным требованиям должно быть установлено независимой проверкой до ее включения в утвержденный каталог.
При выполнении действий необходимо ограничивать доступные ресурсы, сетевой доступ, продолжительность и расходы, а каждое требуемое одобрение привязывать к конкретному действию, целевому объекту и версии. Столь же важно предусмотреть восстановление: одни изменения можно отменить, для других нужны компенсирующие действия, а третьи невозможно обратить. Для каждой возможности следует четко обозначить эти ограничения и предоставить операторам проверенный способ остановить дальнейшее выполнение.
Память создает дополнительные обязанности по управлению, поскольку сохраненные наблюдения могут влиять на будущие решения даже после того, как первоначальный контекст изменился. Организациям следует определить, что агентам разрешено сохранять, как долго информация остается доступной и какие ограничения доступа действуют, а также предусмотреть механизмы отслеживания происхождения данных и исправления ошибок. Запомненное разрешение ни в коем случае не должно превращаться в постоянное полномочие, а устаревшие сведения об операционной деятельности не должны незаметно влиять на новые действия.
Расширяйте автономность на основании подтвержденных результатов
Эффективный надзор требует данных, связывающих исходный запрос, применимую политику, одобрение, версию инструмента, результат выполнения и последующую проверку. Проверяющим необходимо предоставить достаточно контекста, чтобы оценить предлагаемое изменение, связанную с ним неопределенность и варианты восстановления, не перегружая их лишними подробностями. Для такого надзора условия эскалации следует определять заранее — например, при противоречивых наблюдениях или незнакомом состоянии системы, — а не полагаться исключительно на уверенность, которую выражает агент.
ИТ-руководителям следует начинать с ограниченного рабочего процесса и расширять полномочия по мере накопления подтверждающих это операционных данных. При этом нужно оценивать не только успешные результаты, но и исключения, время восстановления, нарушения политик и затраты на надзор. Эти показатели помогают определить, готов ли агент к большей ответственности и где необходимы дополнительные меры защиты или тестирование.
Задача состоит в том, чтобы сделать делегирование повторяемым процессом: каждая утверждённая возможность должна определять, что агент может делать, при каких условиях и за что он несёт ответственность. Такая дисциплина способна повысить устойчивость и эффективность, а также дать организациям обоснательную базу для предоставления большей автономии. Главный вывод таков: управление оправдывает своё место в продукте, поскольку позволяет осуществить этот переход.












