Автономные агенты нуждаются в чем-то большем, чем наблюдаемость ИИ

Когда компании используют агенты ИИ для思考, действий и инициирования рабочих процессов, важно разработать план их мониторинга и управления.

Когда различные компоненты системы ИИ начинают принимать свои собственные решения, наблюдаемость alone не достаточно, чтобы гарантировать, что операции останутся стабильными, безопасными или надежными.

Чтобы эффективно управлять агентами ИИ на протяжении всего предприятия, бизнесу необходимо мостить разрыв между выявлением проблем и действием. Это выходит за рамки простого наблюдения за проблемами; бизнес должен активно предотвращать их.

Появление автономных агентов

Первая волна корпоративного ИИ была основана на системах, реагирующих на запросы; пользователь задавал вопрос, модель отвечала, и обмен заканчивался там. Хотя эти ранние технологии были по сути реактивными, они были полезны для поиска, копилотов, создания контента и суммирования.

Последующая волна отличается. Автономные агенты ИИ не только реагируют, но и рассуждают над целями, выбирают инструменты, извлекают информацию, принимают решения и инициируют рабочие процессы. Они иногда работают в тандеме с другими агентами или системами и все чаще служат операционными игроками внутри компании, а не слоем интерфейса для человеческих инструкций.

Это изменение значимо, поскольку оно влияет на операционные характеристики ИИ. Команды больше не просто наблюдают за выходными данными модели. Вместо этого они управляют динамическими системами, которые могут мгновенно повлиять на клиентов, сотрудников, инфраструктуру, бизнес-процессы и другие приложения.

Возможности агентов сегодня

Таланты агентов эволюционируют вместе с ними. Агенты могут выбирать, что делать дальше, разбивать цель на шаги и выполнять действия на различных уровнях. Обращаясь к API, запрашивая базы данных, поиск внутренних систем, обновляя записи и инициируя последующие действия, они координируют рабочие процессы. Интегрируя подсказки, память, бизнес-правила, извлеченную информацию и операционные сигналы в режиме реального времени, агенты также могут принимать контекстные суждения.

Более сложные агенты могут выявлять, когда рабочий процесс терпит неудачу, повторять попытки, эскалировать проблемы или передавать задания на рассмотрение человеческому рецензенту. В CRM, тикетах, облачной инфраструктуре, внутренних базах знаний, платформах наблюдаемости и бизнес-приложениях агенты могут функционировать самостоятельно. Мы ожидаем, что эти навыки будут продолжать быстро расширяться.

Как бизнес интегрирует автономных агентов ИИ

Агенты интегрируются в расширяющийся спектр организационных операций и приближаются к операционным процессам, где важны скорость, точность, безопасность и управление. Некоторые из этих операций включают: обслуживание клиентов и обработку дел, реагирование на инциденты и операции ИТ, рабочие процессы для DevOps и надежности сайта, исправление кода и разработку программного обеспечения, операционное и планирование цепочки поставок, и многое другое.

Новые операционные угрозы

Однако, поскольку агенты становятся все более независимыми, бизнес должен иметь дело с новым видом операционного риска.

• Плохие решения не просто предлагаются; они часто выполняются
• Незначительные ошибки могут быстро распространиться на связанные системы
• Действия в реальном мире могут быть спровоцированы галлюцинациями
• Агенты могут отклониться от бизнес-намерения, политики или соблюдения
• Взаимодействия между несколькими компонентами могут привести к сбоям
• Автоматическое принятие решений может принимать решения быстрее, чем человеческая оценка

Хотя команды могут наблюдать симптомы, им также необходимо понимать причины поведения системы. Корпоративный ИИ нуждается в контроля, помимо наблюдаемости.

Сложности систем ИИ

Современные системы, управляемые ИИ, редко представляют собой единую модель. Они являются распределенными, многослойными системами, состоящими из многих взаимодействующих компонентов, включая:

• Основные модели (LLM)
• Модели с тонкой настройкой или специфичные для задачи малые языковые модели (SLM)
• Модели вложений
• Векторные базы данных
• Пipelines извлечения и компоненты RAG
• Шаблоны подсказок и слои оркестровки подсказок
• Наборы данных для обучения и оценки
• Ограничения и слои политики
• Агенты и рабочие процессы
• Системы вызова инструментов
• Телеметрия (логи, метрики и трассировки)
• Пункты контроля одобрения человека в цикле

Их риски

Каждый компонент добавляет другой режим сбоя, а их взаимодействие добавляет дальнейшую сложность. Даже если система кажется сильной на уровне инфраструктуры, она все равно может принимать плохие решения и генерировать удовлетворительные результаты; все это при одновременном наращивании операционного риска под поверхностью.

Некоторые из связанных рисков включают: введение плохих или испорченных входных данных через pipelines данных, инфраструктурные узкие места, которые снижают надежность, вредные или ошибочные результаты и операционные узкие места в ответ на человеческий обзор. Кроме того, системы с несколькими агентами или шагами могут терпеть неудачу способами, которые не сразу очевидны.

Наблюдаемость ИИ

Традиционный мониторинг недостаточен для понимания поведения подсказок, качества извлечения, дрейфа модели, каналов выполнения агента или связи между поведением ИИ и последующим бизнес- или операционным воздействием.

Именно здесь появляется наблюдаемость ИИ. Наблюдаемость ИИ позволяет командам понять, как системы ИИ функционируют в производстве, собирая, коррелируя и оценивая входные и выходные данные, желаемое поведение и сигналы принятия решений, генерируемые этими системами. Это необходимо, поскольку системы ИИ распределены, не детерминированы и чрезвычайно чувствительны к контексту.

Наблюдаемость ИИ предлагает полное представление о рабочих процессах ИИ, поэтому команды, которые используют ее, могут понять, как подсказки, модели, слои извлечения, инструменты и последующие системы взаимодействуют во время выполнения.

Наблюдаемость ИИ позволяет контролировать производительность и поведение, включая задержку, стоимость, использование токенов, пропускную способность, показатели ошибок, поведение модели и индикаторы качества выходных данных. Она отслеживает и анализирует пути выполнения в сложных рабочих процессах агентов и демонстрирует, как результаты достигаются на нескольких шагах и зависимостях.

Наблюдаемость ИИ также обнаруживает аномалии по операционным и сигналам ИИ, раскрывая аномальное поведение в моделях, pipelines, инфраструктуре или пользовательских результатах до того, как команды обнаружат их вручную. Она ускоряет диагностику, когда что-то идет не так, и делает расследования коренных причин проще, включая операции, специфичные для ИИ, в системную телеметрию (логи, метрики, трассировки и события).

Наблюдаемость alone не достаточно

Несмотря на то, что это важная бизнес-практика, наблюдаемость ИИ имеет врожденные ограничения.

Наблюдаемость диагностическая, а не предотвращающая; команды могут узнать, что пошло не так, но не обязательно, как предотвратить это в будущем. Важно понимать, что знание прошлых действий агента не автоматически переводится в контроль над его будущими действиями.

Когда речь идет о сложных не детерминированных системах, наблюдаемость может часто перегружать команды данными, что приводит к неопределенности. Вместо того, чтобы предложить операционный ответ, наблюдаемость часто заканчивается объяснением. Даже когда команды знают о проблеме, они могут не иметь автоматизации, ограничений и петель управления, необходимых для принятия корректирующих действий.

Это создает операционный разрыв. Бизнес может обнаружить дрейф, плохие результаты, опасное поведение или снижение производительности, но они могут все равно быть не в состоянии предотвратить это, смягчить его эффекты или поддерживать автономные системы в пределах безопасных эксплуатационных параметров.

Это означает, что команды продолжают работать реактивно. Они используют ручное вмешательство, когда что-то ломается, расследуют инциденты после факта и полагаются на человеческий труд, чтобы компенсировать системы, которые становятся быстрее и более автономными.

Обзор надежности ИИ

Надежность ИИ выходит за рамки простого наблюдения за проблемами. Это дисциплина, обеспечивающая функционирование систем ИИ безопасно, последовательно, предсказуемо и успешно в реальных производственных контекстах. Надежность ИИ понимает и управляет полной системой систем вокруг ИИ. Она закрывает цикл между обнаружением и действием.

Надежность ИИ фокусируется на том, может ли вся система, управляемая ИИ, функционировать в пределах разумных операционных ограничений со временем, а не только на том, что модель дала точный ответ. Качество, безопасность, устойчивость, объяснимость, соблюдение политики, эффективность затрат и операционная стабильность являются частью уравнения.

Переход от обнаружения к предотвращению

Надежность ИИ снижает время между обнаружением проблемы и ее исправлением. Она смещает разговор от “что пошло не так?” к “как быстро наш ИИ улучшится?” Использование следующих методов перемещает наблюдаемость от пассивного наблюдения к активной предотвращению:

• Коррелирование сигналов по моделям, данным и инфраструктуре для выявления проблем
• Активное обнаружение проблем до их влияния
• Проверка всех входных и выходных данных в вероятностных системах ИИ для обнаружения тонких изменений поведения
• Создание обратной связи между обнаружением нежелательного выхода в производстве и использованием его для генерации данных тонкой настройки, которые улучшают точность основных моделей
• Многоагентное отслеживание рабочих процессов для обеспечения возможности соединения точек по поводу того, почему и как данные эволюционировали для информирования сложных действий
• Определенные рабочие процессы агентов человека в цикле для безопасного реагирования и автоматизированного смягчения

Закрытие разрыва между контролем и наблюдением

Бизнес выигрывает от рамок, которые интегрируют видимость и контроль и требуют больше, чем просто слой наблюдаемости поверх генеративного ИИ. В как детерминированных, так и не детерминированных системах платформа надежности может выявлять, предвидеть, объяснять и помогать в контроле проблем.

В жизнеспособной рамке для надежных операций ИИ должны быть включены:

• Интегрированная телеметрия как для ИТ-систем, так и для систем ИИ
• Отслеживание рабочих процессов агентов и зависимостей систем от начала до конца
• Отслеживание поведения и качества ИИ (подсказки и оценки)
• Расширенное обнаружение аномалий, независимо от источника
• Причинное рассуждение и анализ коренной причины
• Оповещение, которое автоматически адаптируется к вашей среде и не требует ручных порогов
• Принудительное соблюдение политики и ограничения
• Оценка человека в цикле для деликатных или значимых действий
• Автоматизация рабочих процессов и координация смягчения
• Использование прогностического анализа для предотвращения проблем
• Обратные связи, которые соединяют обнаружение аномалий с улучшением качества моделей ИИ

Обеспечение функций ИИ

Системы ИИ полагаются на инфраструктуру, сервисы, pipelines данных и операционные рутинные процедуры; они не терпят неудач самостоятельно. Команды получают полную картину, когда надежность ИИ и ИТ объединяются.

Тонкая оболочка LLM не должна быть основой для достоверной платформы. Чтобы выявить и исправить проблемы, которые другие инструменты ИИ упускают из виду, следует рассмотреть различные методы ИИ, включая не监督ируемый ИИ, прогностический ИИ, причинный ИИ и генеративный ИИ. Этот набор методов обычно известен как “композитный ИИ”.

Генеративный ИИ хорошо подходит для суммирования естественного языка. Он лучше всего подходит для ситуаций, требующих рассуждений через неструктурированные данные или взаимодействия с людьми. Но это не подходит для большинства проблем с надежностью в производстве.

Прогностический ИИ фокусируется на выявлении ранних сигналов до того, как они станут сбоями, плохими клиентскими впечатлениями или дорогими неудачами, используя алгоритмы обнаружения аномалий.

Причинный ИИ помогает определить истинные коренные причины, чтобы показать, была ли проблема вызвана качеством извлечения, поведением модели, замедлением инфраструктуры, дрейфом данных или сбоями в последующих системах.

Не监督ируемый ИИ автономно обнаруживает скрытые закономерности, структуры или аномалии в данных без человеческого руководства. Он превосходит генеративный ИИ для надежности, поскольку он фокусируется на нахождении скрытых структур внутри сложных, неклассифицированных данных для группировки подобных предметов или нахождения связей.

Когда риск, неопределенность или бизнес-влияние значительны, операционные агенты ИИ должны быть в состоянии автоматизировать реакцию, сохраняя при этом человеческое участие для надежных операций.

Понимание ИИ конкретного бизнес-контекста может быть улучшено в каждом взаимодействии с помощью обучения с подкреплением из реальных пользовательских данных в производстве.

Даже самые передовые системы выходят за рамки оповещений; закрытая ремедиация учит на каждом инциденте со временем, автоматизирует признанные реакции и инициирует безопасные меры.

Подготовка к автономным системам ИИ

Бизнес может подготовиться к автономным системам ИИ несколькими способами. Во-первых, агенты должны рассматриваться как операционные системы, а не как инструменты для производительности. Как только агент получает возможность действовать, он становится неотъемлемой частью операций бизнеса и должен быть регулируемым соответственно.

Команды могут записать сигналы от моделей, подсказок, инструментов, рабочих процессов, инфраструктуры и пользовательских результатов сразу же, инструментируя агентов. Это базовое наблюдение не должно и не может быть отложено до тех пор, пока агенты не станут важными для бизнеса.

Установление стандартов надежности до широкого развертывания агентов также важно. Вместо того, чтобы вводить их после факта, приемлемые пороги для безопасности, задержки, показателей ошибок, риска галлюцинаций, соблюдения политики и бизнес-влияния должны быть включены в их проектирование.

Связывание поведения ИИ с основными системами и процедурами, которые его поддерживают, позволяет бизнесу интегрировать операции ИИ и ИТ. Использование разных инструментов для инфраструктуры и мониторинга модели создает слепые зоны.

Инженерия платформ, SRE, безопасность, команды данных, команды ИИ и владельцы бизнеса должны работать вместе, чтобы обеспечить надежные операции ИИ, и автономные системы выходят за рамки традиционных силосов.

Каждый инцидент, аномалия и почти-сбой улучшит систему, включая обратные связи в операции, позволяя бизнесу непрерывно учиться на поведении в производстве.

Наконец, важно выбирать платформы, предназначенные для контроля, а не только для наблюдения. Бизнес выиграет от систем, которые интегрируют наблюдаемость, прогноз, объяснение и действие, когда агенты ИИ становятся более автономными. Организации, которые успешно переходят от выявления проблем к безопасному контролю результатов, будут победителями.

Основная мысль

ИИ в бизнесе теперь является операционной системой в корпоративных средах, а не инструментом. В реальных производственных условиях добавление надежности к системам ИИ гарантирует безопасные, последовательные, предсказуемые и эффективные операции. от выявления проблем к безопасному контролю результатов будут победителями. ИИ в бизнесе теперь является операционной системой в корпоративных средах, а не инструментом. В реальных производственных условиях добавление надежности к системам ИИ гарантирует безопасные, последовательные, предсказуемые и эффективные операции.