AWS beskriver UAEF för utvärdering av AI-agenter mellan olika ramverk

Den 11 november 2026 publicerade AWS en teknisk introduktion till Universal Agent Evaluation Framework (UAEF), ett system med öppen källkod under licensen Apache-2.0 som utvärderar AI-agenter med hjälp av 36 inbyggda mätvärden inom sju dimensioner.

UAEF är utformat för att göra utvärderingar jämförbara mellan LangGraph, LangChain, Strands Agents och Amazon Bedrock AgentCore. Dessa ramverk registrerar meddelanden, verktygsanrop och överlämningar mellan agenter på olika sätt. Därför kan utvärderingskod som är knuten till ett visst format kräva nya mätvärden, ny poängsättningslogik och ny lagring av resultat när ramverket byts ut. Det gör det svårare att avgöra om en ändring av prompten, modellen eller verktygen har förbättrat agenten.

AWS uppger att kunder vid 12 organisationer inom telekom, hälso- och sjukvård samt finansiella tjänster använde UAEF för att tillämpa enhetliga mätvärden och jämföra agentversioner före lansering. Förrådet awslabs/uaef innehåller Python-biblioteket, adaptrar för ramverk, mätvärden, AWS-infrastruktur för driftsättning, ett webbgränssnitt och körbara anteckningsböcker.

Kanoniska spår möjliggör gemensam poängsättning

Adaptrar normaliserar varje agents meddelanden, verktygsanrop och överlämningar till en kanonisk AgentTrace, den enda representation som poängsättningsmotorn använder. UAEF kan anpassa ett befintligt spår från en tidigare körning, logg eller observerbarhetslagring, eller anropa en agent via ett Amazon Resource Name för körning eller en HTTP-slutpunkt och konvertera den resulterande exekveringen. En generell JSON-adapter utökar processen till anpassade ramverk.

Katalogen över mätvärden grupperar de inbyggda mätvärdena i verktygsanrop, svarskvalitet, ansvarsfull AI, prestanda, flervägssamtal, samordning mellan flera agenter och resonemang. Poängen använder en normaliserad skala från 0 till 1, där 1 är bäst. Deterministiska mätvärden beräknas direkt från spår och facit, medan mätvärden där en LLM fungerar som domare använder en modell på Amazon Bedrock för att bedöma egenskaper som relevans och säkerhet. Anpassade mätvärden samt integrationer med RAGAS och DeepEval stöds också.

Facitsvar är valfria överlag, men mätvärden som jämför med referenser kräver sådana svar. Vid utvärdering av verktygsanrop går det också att ange förväntade verktyg, i vilken ordning de ska användas och vilka argument de ska ha. Om ett mätvärde saknar nödvändiga indata returneras ingen poäng, tillsammans med en varning, och det tomma resultatet utesluts från dimensionsgenomsnitten i stället för att räknas som noll. Därför går det fortfarande att utvärdera dataset med delvis märkta data och omärkt trafik i produktion med de mätvärden vars indata finns tillgängliga.

Sparade experiment synliggör försämringar

Sparade utvärderingar blir till experiment. Amazon DynamoDB lagrar metadata för listning och jämförelse, bland annat antal utvärderingar och genomsnittliga poäng, medan Amazon S3 lagrar fullständiga JSON-resultat med poäng per mätvärde och domarens resonemang. För enskilda körningar kan ramverk, modell, verktyg, systemprompt, parametrar, konfigurationsögonblicksbild och Git-incheckning registreras, så att varje poäng kopplas till den agentutformning som testas. UAEF granskar spår efter personuppgifter före lagring, och det går att maskera lagrade resultat.

För mätvärden som delas av två körningar beräknar jämförelsemotorn absoluta och procentuella förändringar i förhållande till en baslinje. En konfigurerbar tröskel, som som standard är satt till 5 %, skiljer mellan förbättringar, försämringar och oförändrade resultat. Försämringar klassificeras som mindre, måttliga eller allvarliga och grupperas efter dimension. Grupperingen kan visa om en ändring av prompten påverkade verktygsanropen utan att ändra svarskvaliteten.

Rapporteringen håller reproducerbar statistik åtskild från modellgenererade tolkningar. Webbgränssnittet visar resultat per testfall och dimension, och en valfri statistisk rapport redovisar poängfördelningar, konfidensintervall, avvikande värden, korrelationer mellan mätvärden och misslyckade testfall utan att använda en LLM. En separat analys som genereras av Bedrock kan föreslå grundorsaker och prioritera nästa steg för en enskild körning eller en jämförelse.

Python-biblioteket och webbtjänsten med låg kodnivå använder samma utvärderingsmotor och lagringslösningar. Team kan köra utvärderingar i anteckningsböcker, skript och pipelines för kontinuerlig integration och kontinuerlig leverans, eller via en webbläsare, utan att ändra hur resultaten poängsätts och jämförs.

AWS-beroenden och gränser för isolering

Installationsguiden kräver Python 3.10 eller senare och pakethanteraren uv. AWS-autentiseringsuppgifter behövs för bedömning via Bedrock och lagring i DynamoDB/S3. Team som använder dessa funktioner för bedömning och lagring är därför fortsatt beroende av AWS-tjänster även när deras agenter använder olika ramverk.

UAEF behandlar utdata från den utvärderade agenten som ej betrodda indata i domarprompter. Rubriken skickas separat, innehållet escapekodas och domarsvaren tolkas strikt. Dessutom krävs ett ordagrant beläggsutdrag innan en poäng godtas. AWS säger att domarpoäng inte bör användas som säkerhetsspärrar; verkställighet vid körning ska i stället ske genom en separat anropsväg för Amazon Bedrock Guardrails.

Förrådet beskriver UAEF som en referensarkitektur avsedd att köras inom en plattform som tillhandahåller isolering mellan användare och klienter. Direkt driftsättning för flera klienter utan sådan isolering på värdplattformen stöds inte. Varje klient behöver en separat driftsättning med ett eget AWS-konto eller åtminstone en egen stack, egna DynamoDB-tabeller, egna S3-buckets och en egen Cognito-användarpool.

För företag som använder flera agentramverk erbjuder UAEF en stabil referens för poängsättning som står sig när promptar, modeller, verktyg eller implementationer förändras. För att uppnå den kontinuiteten krävs mer än att installera biblioteket: användbara jämförelser förutsätter lämpliga mätvärden och datamängder, medan användning i flera klientmiljöer är beroende av isolering som tillhandahålls utanför UAEF.