AWS przedstawia UAEF do oceny agentów AI w różnych frameworkach

11 listopada 2026 r. AWS opublikowało wprowadzenie techniczne do Universal Agent Evaluation Framework (UAEF), otwartoźródłowego systemu na licencji Apache-2.0, który ocenia agentów AI za pomocą 36 wbudowanych metryk obejmujących siedem wymiarów.

UAEF zaprojektowano tak, aby zapewnić porównywalność ocen w LangGraph, LangChain, Strands Agents i Amazon Bedrock AgentCore. Te frameworki różnie rejestrują wiadomości, wywołania narzędzi i przekazania zadań między agentami, dlatego kod ewaluacyjny dostosowany do jednego formatu może wymagać nowych metryk, logiki oceniania i sposobu przechowywania wyników po zmianie frameworka. Utrudnia to ustalenie, czy zmiana promptu, modelu lub narzędzi poprawiła działanie agenta.

AWS informuje, że klienci z 12 organizacji z sektorów telekomunikacji, ochrony zdrowia i usług finansowych korzystali z UAEF, aby stosować spójne metryki i porównywać wersje agentów przed ich wdrożeniem. Repozytorium awslabs/uaef zawiera bibliotekę Python, adaptery frameworków, metryki, infrastrukturę wdrożeniową AWS, interfejs internetowy i gotowe do uruchomienia notatniki.

Kanoniczne ślady umożliwiają wspólne ocenianie

Adaptery normalizują wiadomości, wywołania narzędzi i przekazania zadań każdego agenta do postaci kanonicznej AgentTrace, jedynej reprezentacji używanej przez silnik oceniania. UAEF może dostosować istniejący ślad z wcześniejszego uruchomienia, dziennika lub systemu obserwowalności albo wywołać agenta za pośrednictwem Amazon Resource Name środowiska uruchomieniowego lub punktu końcowego HTTP i przekształcić wynikowe wykonanie. Ogólny adapter JSON rozszerza ten proces na niestandardowe frameworki.

Katalog metryk grupuje wbudowane metryki w następujące kategorie: wywoływanie narzędzi, jakość odpowiedzi, odpowiedzialna sztuczna inteligencja, wydajność, rozmowy wieloturowe, koordynacja wielu agentów i rozumowanie. Wyniki są przedstawiane w znormalizowanej skali od 0 do 1, gdzie 1 oznacza najlepszy wynik. Metryki deterministyczne obliczają wynik bezpośrednio na podstawie śladów i danych referencyjnych, natomiast metryki wykorzystujące model językowy jako sędziego korzystają z modelu w Amazon Bedrock do oceny takich cech jak trafność i bezpieczeństwo. Obsługiwane są również metryki niestandardowe oraz integracje z RAGAS i DeepEval.

Odpowiedzi referencyjne nie są wymagane we wszystkich przypadkach, ale są niezbędne w metrykach porównujących wyniki z materiałem referencyjnym. W ramach oceny wywołań narzędzi można również określić oczekiwane narzędzia, ich kolejność i argumenty. Jeśli metryce brakuje niezbędnych danych wejściowych, zwraca ona ostrzeżenie i nie podaje wyniku; taki pusty wynik jest pomijany przy obliczaniu średnich dla wymiarów, zamiast być liczony jako zero. Dzięki temu można nadal oceniać częściowo oznaczone zbiory danych i nieoznaczony ruch produkcyjny za pomocą metryk, dla których dostępne są wymagane dane wejściowe.

Zapisane eksperymenty ujawniają regresje

Zapisane oceny stają się eksperymentami. Amazon DynamoDB przechowuje metadane służące do wyświetlania i porównywania wyników, w tym liczbę ocen i średnie wyniki, a Amazon S3 przechowuje pełne wyniki w formacie JSON wraz z wynikami dla poszczególnych metryk i uzasadnieniami sędziego. W poszczególnych uruchomieniach można zapisać informacje o frameworku, modelu, narzędziach, prompcie systemowym, parametrach, migawce konfiguracji i zatwierdzeniu Git, wiążąc każdy wynik z projektem ocenianego agenta. Przed zapisaniem UAEF sprawdza ślady pod kątem danych osobowych; dostępne jest też usuwanie danych z zapisanych wyników.

W przypadku metryk wspólnych dla dwóch uruchomień silnik porównujący oblicza zmiany bezwzględne i procentowe względem wartości bazowej. Konfigurowalny próg, domyślnie ustawiony na 5%, pozwala rozróżnić poprawę, regresję i brak zmian; regresje są klasyfikowane jako niewielkie, umiarkowane lub poważne i grupowane według wymiarów. Takie grupowanie może pokazać, czy zmiana promptu wpłynęła na wywoływanie narzędzi, nie zmieniając jakości odpowiedzi.

Raporty oddzielają odtwarzalne statystyki od interpretacji generowanych przez model. Interfejs internetowy prezentuje wyniki dla poszczególnych przypadków testowych i wymiarów, a opcjonalny raport statystyczny obejmuje rozkłady wyników, przedziały ufności, wartości odstające, korelacje między metrykami i niezaliczone przypadki testowe — bez użycia LLM. Osobna analiza generowana przez Bedrock może wskazać prawdopodobne przyczyny źródłowe i zaproponować uporządkowane według priorytetu kolejne kroki dla pojedynczego uruchomienia lub porównania.

Biblioteka Python i niskokodowa usługa internetowa korzystają z tego samego silnika oceniania i tych samych magazynów danych. Zespoły mogą przeprowadzać oceny w notatnikach, skryptach i potokach ciągłej integracji oraz ciągłego wdrażania, a także w przeglądarce, bez zmiany sposobu oceniania i porównywania wyników.

Zależności od AWS i granice izolacji

Instrukcja instalacji wymaga Pythona 3.10 lub nowszego oraz menedżera pakietów uv. Funkcje oceniania oparte na Bedrock i zapisywania danych w DynamoDB/S3 wymagają poświadczeń AWS, dlatego zespoły korzystające z tych funkcji oceniania i przechowywania danych pozostają połączone z usługami AWS, nawet jeśli ich agenci działają w różnych frameworkach.

UAEF traktuje wyniki ocenianego agenta jako niezaufane dane wejściowe dla promptów sędziego. Przekazuje rubrykę oceny osobno, zabezpiecza treść przez stosowanie znaków ucieczki, rygorystycznie analizuje odpowiedzi sędziego i wymaga dosłownego fragmentu potwierdzającego, zanim zaakceptuje wynik. AWS zaznacza, że wyniki sędziego nie powinny służyć do blokowania mechanizmów bezpieczeństwa; egzekwowanie zasad w czasie działania powinno odbywać się w osobnej ścieżce wywołania Amazon Bedrock Guardrails.

W repozytorium opisano UAEF jako architekturę referencyjną przeznaczoną do działania w ramach platformy zapewniającej izolację użytkowników i dzierżawców. Bezpośrednie wdrożenie wielodzierżawowe bez takiego egzekwowania zasad przez platformę nadrzędną nie jest obsługiwane. Każdy dzierżawca potrzebuje osobnego wdrożenia z własnym kontem AWS albo co najmniej własnym stosem, tabelami DynamoDB, zasobnikami S3 i pulą użytkowników Cognito.

W przypadku przedsiębiorstw korzystających z kilku platform agentowych UAEF zapewnia stabilną bazę do oceny punktowej, która pozostaje użyteczna mimo zmian w promptach, modelach, narzędziach lub implementacji. Zachowanie tej ciągłości wymaga czegoś więcej niż zainstalowania biblioteki: użyteczne porównania zależą od odpowiednich metryk i zbiorów danych, a korzystanie ze środowiska wielodostępnego — od izolacji zapewnianej poza UAEF.