AWS přibližuje UAEF pro hodnocení agentů AI napříč frameworky

AWS 11. listopadu 2026 zveřejnila technický úvod k Universal Agent Evaluation Framework (UAEF), open-source systému s licencí Apache-2.0, který hodnotí agenty AI pomocí 36 předdefinovaných metrik v sedmi dimenzích.

UAEF je navržen tak, aby hodnocení zůstávala srovnatelná napříč frameworky LangGraph, LangChain, Strands Agents a Amazon Bedrock AgentCore. Tyto frameworky zaznamenávají zprávy, volání nástrojů a předávání řízení mezi agenty různě, takže kód pro hodnocení navázaný na jeden formát může po změně frameworku vyžadovat nové metriky, logiku skórování a úložiště výsledků. Kvůli tomu je obtížnější určit, zda změna zadání, modelu nebo nástrojů agenta zlepšila.

AWS uvádí, že zákazníci z 12 organizací působících v telekomunikacích, zdravotnictví a finančních službách používali UAEF k uplatňování jednotných metrik a porovnávání verzí agentů před jejich nasazením. Repozitář awslabs/uaef obsahuje knihovnu pro Python, adaptéry frameworků, metriky, infrastrukturu pro nasazení v AWS, webové rozhraní a spustitelné notebooky.

Kanonické záznamy průběhu umožňují jednotné skórování

Adaptéry převádějí zprávy, volání nástrojů a předávání řízení každého agenta do kanonické podoby AgentTrace, jediné podoby, kterou skórovací engine používá. UAEF dokáže přizpůsobit existující záznam průběhu z dřívějšího spuštění, protokolu nebo úložiště pro sledování a pozorovatelnost, případně agenta spustit prostřednictvím Amazon Resource Name používaného za běhu nebo koncového bodu HTTP a převést výsledné provádění. Obecný adaptér JSON rozšiřuje tento postup i na vlastní frameworky.

Katalog metrik rozděluje předdefinované metriky do kategorií: volání nástrojů, kvalita odpovědí, odpovědná AI, výkon, vícetahová konverzace, koordinace více agentů a uvažování. Skóre se udávají na normalizované stupnici od 0 do 1, kde 1 znamená nejlepší výsledek. Deterministické metriky se počítají přímo ze záznamů průběhu a referenčních údajů, zatímco metriky s hodnocením pomocí LLM jako rozhodčího využívají model v Amazon Bedrock k posouzení vlastností, jako jsou relevance a bezpečnost. Podporovány jsou také vlastní metriky a integrace s RAGAS a DeepEval.

Referenční odpovědi jsou obecně volitelné, metriky porovnávající výsledky s referencí je však vyžadují. Při hodnocení volání nástrojů lze také určit očekávané nástroje, jejich pořadí a argumenty. Pokud metrice chybí potřebné vstupy, nevrátí žádné skóre a zobrazí varování; tento prázdný výsledek se z průměrů za danou dimenzi vynechá, místo aby se započítal jako nula. I částečně označené datové sady a neoznačený provoz v produkci lze proto stále hodnotit pomocí metrik, pro které jsou potřebné vstupy k dispozici.

Uložené experimenty odhalují regresi

Uložená hodnocení se mění na experimenty. Amazon DynamoDB uchovává metadata pro výpisy a porovnávání, včetně počtu hodnocení a průměrného skóre, zatímco Amazon S3 ukládá úplné výsledky ve formátu JSON se skóre jednotlivých metrik a zdůvodněním hodnotitele. U jednotlivých spuštění lze zaznamenat framework, model, nástroje, systémové zadání, parametry, snímek konfigurace a revizi v Gitu, takže každé skóre lze přiřadit k návrhu testovaného agenta. UAEF před uložením kontroluje záznamy průběhu, zda neobsahují osobní údaje, a u uložených výsledků je k dispozici také jejich redakce.

U metrik společných pro dvě spuštění vypočítává srovnávací engine absolutní a procentuální změny vůči výchozímu stavu. Nastavitelná prahová hodnota, která je ve výchozím nastavení 5 %, rozlišuje zlepšení, regresi a nezměněné výsledky; regrese se klasifikují jako mírné, střední nebo závažné a seskupují se podle dimenze. Toto seskupení může ukázat, zda úprava zadání ovlivnila volání nástrojů, aniž by změnila kvalitu odpovědí.

Při vykazování zůstávají reprodukovatelné statistiky oddělené od interpretace generované modelem. Webové rozhraní zobrazuje výsledky pro jednotlivé testovací případy i dimenze a volitelná statistická zpráva uvádí rozložení skóre, intervaly spolehlivosti, odlehlé hodnoty, korelace mezi metrikami a neúspěšné testovací případy, aniž by využívala LLM. Samostatná analýza vytvořená službou Bedrock může navrhnout možné příčiny a seřadit další kroky podle priority pro jedno spuštění nebo porovnání.

Knihovna pro Python a webová služba s minimem programování používají stejný hodnoticí engine a stejná úložiště. Týmy mohou spouštět hodnocení v noteboocích, skriptech a postupech průběžné integrace a průběžného doručování nebo prostřednictvím prohlížeče, aniž by měnily způsob skórování a porovnávání výsledků.

Závislosti na AWS a hranice izolace

Průvodce instalací vyžaduje Python 3.10 nebo novější a správce balíčků uv. Pro hodnocení pomocí Bedrocku a ukládání dat v DynamoDB/S3 jsou potřeba přihlašovací údaje AWS, takže týmy využívající tyto funkce hodnocení a ukládání zůstávají připojené ke službám AWS, i když jejich agenti používají různé frameworky.

UAEF považuje výstup hodnoceného agenta za nedůvěryhodný vstup pro zadání určená hodnotiteli. Hodnoticí kritéria předává odděleně, obsah escapuje, odpovědi hodnotitele striktně analyzuje a před přijetím skóre vyžaduje doslovně citovaný úsek, který je dokládá. AWS uvádí, že skóre hodnotitele by neměla sloužit jako podmínka pro bezpečnostní opatření; jejich vynucování za běhu má probíhat prostřednictvím samostatné cesty volání Amazon Bedrock Guardrails.

Repozitář popisuje UAEF jako referenční architekturu navrženou pro provoz uvnitř platformy, která zajišťuje izolaci uživatelů a tenantů. Přímé nasazení pro více tenantů bez takového vynucování na straně hostitelské platformy není podporováno. Každý tenant potřebuje samostatné nasazení s vlastním účtem AWS, nebo alespoň s vlastní sadou prostředků: stackem, tabulkami DynamoDB, buckety S3 a fondem uživatelů Cognito.

Podnikům, které používají několik frameworků agentů, nabízí UAEF stabilní základ pro hodnocení, který obstojí i při změnách promptů, modelů, nástrojů nebo implementace. Zachování této kontinuity vyžaduje víc než jen instalaci knihovny: užitečné srovnání závisí na vhodných metrikách a datových sadách, zatímco víceklientský provoz závisí na izolaci zajištěné mimo UAEF.