AWS розповідає про UAEF для оцінювання ШІ-агентів у різних фреймворках

11 листопада 2026 року AWS опублікувала технічний огляд Universal Agent Evaluation Framework (UAEF) — системи з відкритим вихідним кодом, ліцензованої за Apache-2.0, яка оцінює ШІ-агентів за допомогою 36 вбудованих метрик за сімома вимірами.

UAEF призначена для того, щоб результати оцінювання можна було порівнювати в LangGraph, LangChain, Strands Agents і Amazon Bedrock AgentCore. У цих фреймворках повідомлення, виклики інструментів і передавання керування між агентами записуються по-різному, тож після зміни фреймворку код оцінювання, прив’язаний до одного формату, може потребувати нових метрик, логіки оцінювання та сховища результатів. Через це складніше визначити, чи поліпшили агента зміни в промпті, моделі або інструментах.

За даними AWS, клієнти з 12 організацій у сферах телекомунікацій, охорони здоров’я та фінансових послуг використовували UAEF, щоб застосовувати узгоджені метрики й порівнювати версії агентів перед випуском. У репозиторії awslabs/uaef містяться бібліотека Python, адаптери фреймворків, метрики, інфраструктура розгортання AWS, вебінтерфейс і готові до запуску ноутбуки.

Канонічні трасування забезпечують спільне оцінювання

Адаптери нормалізують повідомлення кожного агента, виклики інструментів і передавання керування між агентами до канонічного AgentTrace, єдиного представлення, яке використовує рушій оцінювання. UAEF може адаптувати наявне трасування з попереднього запуску, журналу або сховища даних спостережуваності чи викликати агента через Amazon Resource Name середовища виконання або кінцеву точку HTTP і перетворити отримані дані про виконання. Універсальний адаптер JSON дає змогу застосовувати цей процес до власних фреймворків.

У каталозі метрик вбудовані метрики згруповано за такими категоріями: виклики інструментів, якість відповідей, відповідальний ШІ, продуктивність, багатоходові розмови, координація кількох агентів і міркування. Оцінки подаються за нормованою шкалою від 0 до 1, де 1 — найкращий результат. Детерміновані метрики обчислюються безпосередньо за трасуваннями та еталонними даними, тоді як у метриках, де суддею є велика мовна модель, модель на Amazon Bedrock оцінює такі властивості, як релевантність і безпечність. Також підтримуються власні метрики та інтеграції з RAGAS і DeepEval.

Загалом еталонні відповіді необов’язкові, хоча для метрик порівняння з еталоном вони потрібні. Під час оцінювання викликів інструментів також можна визначити очікувані інструменти, порядок їх виклику та аргументи. Якщо для метрики бракує необхідних даних, вона не повертає оцінку й видає попередження; такий порожній результат не враховується в середніх значеннях за вимірами, а не зараховується як нуль. Тому частково розмічені набори даних і нерозмічений виробничий трафік усе одно можна оцінювати за метриками, для яких доступні потрібні дані.

Збережені експерименти виявляють регресії

Збережені результати оцінювання стають експериментами. Amazon DynamoDB зберігає метадані для перегляду й порівняння, зокрема кількість оцінювань і середні оцінки, а Amazon S3 — повні результати у форматі JSON з оцінками за кожною метрикою та обґрунтуваннями моделі-судді. В окремих запусках можуть фіксуватися фреймворк, модель, інструменти, системний промпт, параметри, знімок конфігурації та коміт Git, що пов’язує кожну оцінку з дизайном агента, який перевіряється. Перед збереженням UAEF перевіряє трасування на наявність персональної інформації; для збережених результатів також доступне приховування таких даних.

Для метрик, спільних для двох запусків, рушій порівняння обчислює абсолютні та відсоткові зміни відносно базового рівня. Налаштовуваний поріг, за замовчуванням установлений на рівні 5%, дає змогу відокремити поліпшення, регресії та результати без змін; регресії класифікуються як незначні, помірні або серйозні й групуються за вимірами. Таке групування може показати, чи вплинув перегляд промпту на виклики інструментів, не змінюючи якість відповідей.

У звітах відтворювана статистика подається окремо від інтерпретації, згенерованої моделлю. У вебінтерфейсі відображаються результати за окремими тестовими прикладами та вимірами, а додатковий статистичний звіт охоплює розподіли оцінок, довірчі інтервали, викиди, кореляції між метриками та невдалі тестові приклади — без використання великої мовної моделі. Окремий аналіз, згенерований Bedrock, може запропонувати ймовірні першопричини та пріоритетні наступні кроки для одного запуску або порівняння.

Бібліотека Python і вебсервіс із мінімальним обсягом коду використовують той самий рушій оцінювання та ті самі сховища. Команди можуть запускати оцінювання в ноутбуках, скриптах і конвеєрах безперервної інтеграції та безперервного розгортання або через браузер, не змінюючи способу оцінювання та порівняння результатів.

Залежності AWS та межі ізоляції

У посібнику зі встановлення зазначено, що потрібні Python 3.10 або новіша версія та менеджер пакетів uv. Для оцінювання за допомогою Bedrock і збереження даних у DynamoDB/S3 потрібні облікові дані AWS, тож командам, які користуються цими функціями оцінювання та зберігання, необхідно залишатися підключеними до сервісів AWS, навіть якщо їхні агенти працюють на різних фреймворках.

UAEF розглядає вихідні дані оцінюваних агентів як ненадійне введення для промптів судді. Система передає критерії оцінювання окремо, екранує вміст, суворо перевіряє відповіді судді та вимагає дослівний фрагмент із доказом, перш ніж прийняти оцінку. AWS зазначає, що оцінки судді не слід використовувати для контролю безпеки; забезпечення дотримання вимог під час виконання має відбуватися в окремому ланцюжку викликів Amazon Bedrock Guardrails.

У репозиторії UAEF описано як еталонну архітектуру, призначену для роботи в межах платформи, яка забезпечує ізоляцію користувачів і клієнтів. Розгортання для кількох клієнтів безпосередньо, без такого контролю з боку платформи, не підтримується. Для кожного клієнта потрібне окреме розгортання з власним обліковим записом AWS або щонайменше власним стеком, таблицями DynamoDB, сегментами S3 і пулом користувачів Cognito.

Для підприємств, які використовують кілька агентних фреймворків, UAEF пропонує стабільну основу для оцінювання, що зберігає придатність до використання попри зміни промптів, моделей, інструментів або реалізації. Щоб забезпечити таку безперервність, недостатньо просто встановити бібліотеку: для корисних порівнянь потрібні відповідні метрики й набори даних, а для роботи в режимі кількох орендарів — ізоляція, яку забезпечують засоби поза UAEF.