AWS beskriver UAEF for evaluering av KI-agenter på tvers av rammeverk

AWS publiserte 11. november 2026 en teknisk introduksjon til Universal Agent Evaluation Framework (UAEF), et system med åpen kildekode under Apache-2.0-lisensen som evaluerer KI-agenter ved hjelp av 36 innebygde måltall fordelt på sju dimensjoner.

UAEF er utviklet for å gjøre evalueringer sammenlignbare på tvers av LangGraph, LangChain, Strands Agents og Amazon Bedrock AgentCore. Disse rammeverkene registrerer meldinger, verktøykall og overleveringer mellom agenter på ulike måter. Evalueringskode som er knyttet til ett format, kan derfor kreve nye måltall, poengsettingslogikk og lagring av resultater når man bytter rammeverk. Det gjør det vanskeligere å avgjøre om en endring i instruksjonen, modellen eller verktøyene forbedret agenten.

AWS opplyser at kunder i 12 organisasjoner innen telekommunikasjon, helsevesen og finansielle tjenester har brukt UAEF til å anvende ensartede måltall og sammenligne agentversjoner før lansering. awslabs/uaef-repositoriet inneholder Python-biblioteket, adaptere for rammeverk, måltall, AWS-infrastruktur for utrulling, et nettgrensesnitt og kjørbare notatbøker.

Kanoniske spor muliggjør felles poengsetting

Adaptere normaliserer hver agents meldinger, verktøykall og overleveringer til en kanonisk AgentTrace, den eneste representasjonen poengsettingsmotoren bruker. UAEF kan tilpasse et eksisterende spor fra en tidligere kjøring, logg eller observerbarhetslagring, eller starte en agent via en Amazon Resource Name ved kjøretid eller et HTTP-endepunkt og konvertere kjøringen som følger. En generell JSON-adapter utvider prosessen til egendefinerte rammeverk.

Katalogen over måltall grupperer de innebygde måltallene i verktøykall, svarkvalitet, ansvarlig KI, ytelse, samtaler med flere turer, koordinering mellom flere agenter og resonnering. Poengsummene bruker en normalisert skala fra 0 til 1, der 1 er best. Deterministiske måltall beregnes direkte fra spor og fasitsvar, mens måltall der en LLM fungerer som dommer, bruker en modell på Amazon Bedrock til å vurdere egenskaper som relevans og sikkerhet. Egendefinerte måltall og integrasjoner med RAGAS og DeepEval støttes også.

Fasitsvar er generelt valgfrie, men måltall som sammenligner med referanser, krever dem. I evaluering av verktøykall kan man også angi forventede verktøy, rekkefølgen deres og argumentene deres. Hvis et måltall mangler nødvendige inndata, returnerer det ingen poengsum og gir en advarsel. Dette tomme resultatet utelates fra gjennomsnittet for dimensjonen i stedet for å regnes som null. Datasett med delvis merking og produksjonsdata uten merking kan derfor fortsatt evalueres med måltall som har de nødvendige inndataene tilgjengelig.

Lagrede eksperimenter avdekker regresjoner

Vedvarende evalueringer blir til eksperimenter. Amazon DynamoDB lagrer metadata for oversikt og sammenligning, blant annet antall evalueringer og gjennomsnittlige poengsummer, mens Amazon S3 lagrer fullstendige JSON-resultater med poengsummer for hvert måltall og begrunnelser fra dommermodellen. For hver enkelt kjøring kan man registrere rammeverket, modellen, verktøyene, systeminstruksjonen, parametrene, et konfigurasjonsøyeblikksbilde og Git-innsjekkingen, slik at hver poengsum knyttes til agentutformingen som testes. UAEF undersøker spor for personopplysninger før lagring, og det er mulig å redigere bort opplysninger fra lagrede resultater.

For måltall som deles av to kjøringer, beregner sammenligningsmotoren absolutte endringer og prosentvise endringer mot en referanseverdi. En konfigurerbar terskel, som som standard er satt til 5 %, skiller mellom forbedringer, regresjoner og uendrede resultater. Regresjoner graderes som små, moderate eller alvorlige og grupperes etter dimensjon. Denne grupperingen kan vise om en endring i instruksjonen påvirket verktøykall uten å endre svarkvaliteten.

Rapporteringen holder reproduserbar statistikk atskilt fra modellgenererte tolkninger. Nettgrensesnittet viser resultater per testtilfelle og dimensjon, og en valgfri statistisk rapport dekker poengsumfordelinger, konfidensintervaller, avvikende verdier, korrelasjoner mellom måltall og mislykkede testtilfeller uten å bruke en LLM. En separat analyse generert av Bedrock kan foreslå mulige grunnårsaker og prioritere neste trinn for én kjøring eller en sammenligning.

Python-biblioteket og lavkodetjenesten på nett bruker samme evalueringsmotor og lagre. Team kan kjøre evalueringer i notatbøker, skript og rørledninger for kontinuerlig integrasjon og kontinuerlig levering, eller via en nettleser, uten å endre hvordan resultatene poengsettes og sammenlignes.

Avhengigheter av AWS og grenser for isolering

Installasjonsveiledningen krever Python 3.10 eller nyere og pakkehåndtereren uv. AWS-legitimasjon er nødvendig for bedømming basert på Bedrock og lagring i DynamoDB/S3. Team som bruker disse funksjonene for bedømming og lagring, er derfor fortsatt avhengige av AWS-tjenester selv når agentene deres bruker ulike rammeverk.

UAEF behandler utdata fra agenten som evalueres, som upålitelige inndata i instruksjonene til dommermodellen. Systemet sender vurderingskriteriene separat, unnslipper innholdet, analyserer dommerens svar strengt og krever et ordrett utdrag som dokumentasjon før en poengsum godtas. AWS sier at poengsummer fra dommermodellen ikke bør brukes som tilgangsbegrensning for sikkerhetskontroller; håndheving under kjøring skal skje via en separat Amazon Bedrock Guardrails-kallesti.

Repositoriet beskriver UAEF som en referansearkitektur som er utviklet for å kjøre i en plattform som sørger for isolering mellom brukere og leietakere. Direkte utrulling for flere leietakere uten slik håndheving fra vertsplattformen støttes ikke. Hver leietaker trenger en separat utrulling med sin egen AWS-konto eller, som et minimum, sin egen stakk, sine egne DynamoDB-tabeller, S3-bøtter og Cognito-brukerpool.

For virksomheter som kjører flere rammeverk for agenter, tilbyr UAEF et stabilt referansegrunnlag for poengsetting som tåler endringer i prompter, modeller, verktøy eller implementering. Å oppnå denne kontinuiteten krever mer enn å installere biblioteket: Nyttige sammenligninger avhenger av egnede måleparametere og datasett, mens bruk med flere leietakere avhenger av isolasjon som leveres utenfor UAEF.