AWS beskriver UAEF til evaluering af AI-agenter på tværs af rammeværk

AWS publicerede den 11. november 2026 en teknisk introduktion til Universal Agent Evaluation Framework (UAEF), et open source-system med Apache-2.0-licens, der evaluerer AI-agenter ved hjælp af 36 indbyggede målepunkter fordelt på syv dimensioner.

UAEF er udviklet til at sikre, at evalueringer kan sammenlignes på tværs af LangGraph, LangChain, Strands Agents og Amazon Bedrock AgentCore. Disse rammeværk registrerer meddelelser, værktøjskald og overdragelser mellem agenter på forskellige måder, så evalueringskode, der er knyttet til ét format, kan kræve nye målepunkter, evalueringslogik og lagring af resultater, når man skifter rammeværk. Det gør det sværere at afgøre, om en ændring af prompten, modellen eller værktøjerne har forbedret agenten.

AWS oplyser, at kunder i 12 organisationer inden for telekommunikation, sundhedspleje og finansielle tjenester har brugt UAEF til at anvende ensartede målepunkter og sammenligne agentversioner før lancering. Repositoryet awslabs/uaef indeholder Python-biblioteket, adaptere til rammeværk, målepunkter, AWS-implementeringsinfrastruktur, en webgrænseflade og notesbøger, der kan køres.

Kanoniske spor muliggør fælles evaluering

Adaptere normaliserer hver agents meddelelser, værktøjskald og overdragelser til en kanonisk repræsentation AgentTrace, som er den eneste repræsentation, evalueringsmotoren bruger. UAEF kan tilpasse et eksisterende spor fra en tidligere kørsel, en log eller et observerbarhedslager eller kalde en agent via et Amazon Resource Name for runtime eller et HTTP-endpoint og konvertere den resulterende kørsel. En generisk JSON-adapter udvider processen til brugerdefinerede rammeværk.

Kataloget over målepunkter grupperer de indbyggede målepunkter i værktøjskald, svarkvalitet, ansvarlig AI, ydeevne, samtaler med flere ture, koordinering mellem flere agenter og ræsonnement. Resultaterne bruger en normaliseret skala fra 0 til 1, hvor 1 er bedst. Deterministiske målepunkter beregnes direkte ud fra spor og facitdata, mens målepunkter, der bruger en stor sprogmodel som dommer, anvender en model på Amazon Bedrock til at vurdere egenskaber som relevans og sikkerhed. Brugerdefinerede målepunkter samt integrationer med RAGAS og DeepEval understøttes også.

Facitsvar er generelt valgfrie, men målepunkter, der sammenligner med referencer, kræver dem. Ved evaluering af værktøjskald kan man også angive forventede værktøjer, deres rækkefølge og deres argumenter. Hvis et målepunkt mangler nødvendige input, returnerer det ingen score og viser en advarsel; det tomme resultat udelades fra gennemsnittet for dimensionen i stedet for at blive talt som nul. Datasæt med delvise mærkninger og umærkede produktionsdata kan derfor stadig evalueres med de målepunkter, hvis input er tilgængelige.

Gemte eksperimenter synliggør forringelser

Vedvarende evalueringer bliver til eksperimenter. Amazon DynamoDB gemmer metadata til visning og sammenligning, herunder antal evalueringer og gennemsnitlige resultater, mens Amazon S3 opbevarer de fulde JSON-resultater med resultater for hvert målepunkt og dommerens begrundelser. Individuelle kørsler kan registrere rammeværk, model, værktøjer, systemprompt, parametre, konfigurationsøjebliksbillede og Git-commit, så hvert resultat knyttes til det agentdesign, der testes. UAEF screener spor for personoplysninger før lagring, og det er muligt at redigere gemte resultater.

For målepunkter, der er fælles for to kørsler, beregner sammenligningsmotoren absolutte ændringer og procentvise ændringer i forhold til en baseline. En konfigurerbar tærskel, som som standard er sat til 5 %, skelner mellem forbedringer, forringelser og uændrede resultater; forringelser klassificeres som mindre, moderate eller alvorlige og grupperes efter dimension. Denne gruppering kan vise, om en ændring af prompten påvirkede værktøjskald uden at ændre svarkvaliteten.

Rapporteringen holder reproducerbar statistik adskilt fra modelgenererede fortolkninger. Webgrænsefladen viser resultater for hver test og dimension, og en valgfri statistisk rapport omfatter resultatfordelinger, konfidensintervaller, afvigende værdier, korrelationer mellem målepunkter og fejlslagne test uden brug af en stor sprogmodel. En separat analyse, der genereres med Bedrock, kan foreslå grundlæggende årsager og prioritere de næste skridt for en enkelt kørsel eller en sammenligning.

Python-biblioteket og webtjenesten med begrænset kodning bruger samme evalueringsmotor og lagre. Teams kan køre evalueringer i notesbøger, scripts og pipelines til kontinuerlig integration og kontinuerlig levering eller via en browser uden at ændre, hvordan resultaterne evalueres og sammenlignes.

AWS-afhængigheder og grænser for isolering

Installationsvejledningen kræver Python 3.10 eller nyere og pakkehåndteringen uv. Der kræves AWS-legitimationsoplysninger til evaluering med Bedrock og lagring i DynamoDB/S3, så teams, der bruger disse funktioner til evaluering og lagring, fortsat er forbundet til AWS-tjenester, selv når deres agenter bruger forskellige rammeværk.

UAEF behandler output fra den evaluerede agent som upålidelige input til dommerprompter. Systemet sender evalueringskriterierne separat, undslipper indholdet, analyserer dommerens svar strengt og kræver et ordret evidensudsnit, før en score godkendes. AWS siger, at dommerscorer ikke bør bruges som adgangskrav til sikkerhedskontroller; håndhævelse under kørsel hører til i en separat kaldesti for Amazon Bedrock Guardrails.

Repositoryet beskriver UAEF som en referencearkitektur, der er designet til at køre i en platform, som sørger for isolering af brugere og lejere. Direkte implementering med flere lejere uden håndhævelse fra værtsplatformen understøttes ikke. Hver lejer skal have sin egen implementering med sin egen AWS-konto eller som minimum sin egen stack, sine egne DynamoDB-tabeller, S3-buckets og sin egen Cognito-brugerpool.

For virksomheder, der bruger flere agentrammer, tilbyder UAEF et stabilt grundlag for evaluering, som kan modstå ændringer i prompts, modeller, værktøjer eller implementering. For at sikre denne kontinuitet kræves der mere end blot at installere biblioteket: Nyttige sammenligninger afhænger af egnede målinger og datasæt, mens brug i et miljø med flere lejere afhænger af isolation, der leveres uden for UAEF.