AWS рассказывает о UAEF для оценки ИИ-агентов в разных фреймворках

11 ноября 2026 года AWS опубликовала техническое введение в Universal Agent Evaluation Framework (UAEF) — систему с открытым исходным кодом, распространяемую по лицензии Apache-2.0. Она оценивает ИИ-агентов по 36 встроенным метрикам в семи измерениях.

UAEF призван обеспечить сопоставимость оценок в LangGraph, LangChain, Strands Agents и Amazon Bedrock AgentCore. Эти фреймворки по-разному регистрируют сообщения, вызовы инструментов и передачу управления между агентами, поэтому при смене фреймворка для кода оценки, привязанного к одному формату, могут потребоваться новые метрики, логика подсчёта баллов и хранилище результатов. Из-за этого сложнее определить, улучшило ли агента изменение промпта, модели или инструментов.

По данным AWS, клиенты из 12 организаций в сферах телекоммуникаций, здравоохранения и финансовых услуг использовали UAEF для применения единых метрик и сравнения версий агентов перед выпуском. В репозитории awslabs/uaef размещены библиотека Python, адаптеры для фреймворков, метрики, инфраструктура развёртывания AWS, веб-интерфейс и готовые к запуску блокноты.

Канонические трассировки позволяют использовать общую систему оценки

Адаптеры приводят сообщения, вызовы инструментов и передачу управления каждого агента к каноническому представлению AgentTrace, единственному представлению, которое использует механизм подсчёта баллов. UAEF может адаптировать уже существующую трассировку предыдущего запуска, журнала или хранилища данных наблюдаемости либо запустить агента через имя ресурса Amazon для среды выполнения или конечную точку HTTP и преобразовать полученную трассировку выполнения. Универсальный адаптер JSON позволяет применять этот процесс и к пользовательским фреймворкам.

В каталоге метрик встроенные метрики сгруппированы по следующим категориям: вызовы инструментов, качество ответов, ответственный ИИ, производительность, многошаговый диалог, координация нескольких агентов и рассуждение. Оценки приводятся к шкале от 0 до 1, где 1 — наилучший результат. Детерминированные метрики рассчитываются непосредственно по трассировкам и эталонным ответам, а в метриках с оценкой языковой моделью в роли судьи используется модель на Amazon Bedrock для оценки таких характеристик, как релевантность и безопасность. Также поддерживаются пользовательские метрики и интеграции с RAGAS и DeepEval.

Эталонные ответы в целом необязательны, однако для метрик, сравнивающих результаты с эталоном, они необходимы. При оценке вызовов инструментов также можно задать ожидаемые инструменты, их последовательность и аргументы. Если для метрики не хватает необходимых входных данных, она не возвращает оценку и выдаёт предупреждение; такой пустой результат не включается в средние значения по измерениям, а не учитывается как ноль. Поэтому для частично размеченных наборов данных и неразмеченного трафика в рабочей среде всё равно можно рассчитать те метрики, для которых доступны входные данные.

Сохранённые эксперименты помогают выявлять ухудшение результатов

Сохранённые оценки становятся экспериментами. Amazon DynamoDB хранит метаданные для просмотра и сравнения, включая количество оценок и средние баллы, а Amazon S3 — полные результаты в формате JSON с оценками по каждой метрике и обоснованиями судьи. Для отдельных запусков можно фиксировать фреймворк, модель, инструменты, системный промпт, параметры, снимок конфигурации и коммит Git, связывая каждую оценку с проверяемой конфигурацией агента. Перед сохранением UAEF проверяет трассировки на наличие персональных данных; для сохранённых результатов также доступна редакция таких данных.

Для метрик, общих для двух запусков, механизм сравнения рассчитывает абсолютные и процентные изменения относительно базового уровня. Настраиваемый порог, по умолчанию равный 5%, позволяет отличать улучшения от ухудшений и неизменившихся результатов; ухудшения классифицируются как незначительные, умеренные или серьёзные и группируются по измерениям. Такая группировка помогает увидеть, повлиял ли пересмотр промпта на вызовы инструментов, не изменив качество ответов.

В отчётах воспроизводимая статистика отделена от интерпретации, сгенерированной моделью. Веб-интерфейс показывает результаты по отдельным тестовым случаям и измерениям, а дополнительный статистический отчёт включает распределения оценок, доверительные интервалы, выбросы, корреляции между метриками и неудачные тестовые случаи; при этом языковая модель не используется. Отдельный анализ, создаваемый в Bedrock, может предложить вероятные первопричины и расставленные по приоритету дальнейшие шаги для отдельного запуска или сравнения.

Библиотека Python и веб-сервис с низким уровнем программирования используют один и тот же механизм оценки и хранилища. Команды могут проводить оценки в блокнотах, скриптах и конвейерах непрерывной интеграции и непрерывной доставки либо через браузер, не меняя способ подсчёта и сравнения результатов.

Зависимости от AWS и границы изоляции

В руководстве по установке указаны требования: Python 3.10 или более поздней версии и менеджер пакетов uv. Для оценки с помощью Bedrock и сохранения данных в DynamoDB/S3 необходимы учётные данные AWS. Поэтому команды, использующие эти функции оценки и хранения, остаются зависимыми от сервисов AWS, даже если их агенты работают на других фреймворках.

UAEF рассматривает вывод оцениваемого агента как недоверенные данные для промптов судьи. Система передаёт критерии оценки отдельно, экранирует содержимое, строго разбирает ответы судьи и требует дословного фрагмента, подтверждающего вывод, прежде чем принять оценку. AWS отмечает, что оценки судьи не должны служить условием срабатывания средств безопасности; обеспечение безопасности во время выполнения следует реализовать отдельно, через вызов Amazon Bedrock Guardrails.

В репозитории UAEF описывается как эталонная архитектура, рассчитанная на работу внутри платформы, обеспечивающей изоляцию пользователей и арендаторов. Прямое развёртывание с поддержкой нескольких арендаторов без такой изоляции на уровне хост-платформы не поддерживается. Для каждого арендатора требуется отдельное развёртывание со своей учётной записью AWS или как минимум собственным стеком, таблицами DynamoDB, корзинами S3 и пулом пользователей Cognito.

Для компаний, использующих несколько агентных фреймворков, UAEF обеспечивает стабильную основу для оценки, сохраняющую актуальность при изменении промптов, моделей, инструментов или реализации. Чтобы обеспечить такую преемственность, недостаточно просто установить библиотеку: для полезного сравнения нужны подходящие метрики и наборы данных, а работа в режиме мультитенантности зависит от изоляции, обеспечиваемой за пределами UAEF.