AWS licht UAEF toe voor de evaluatie van AI-agents in verschillende frameworks

AWS publiceerde op 11 november 2026 een technische introductie van het Universal Agent Evaluation Framework (UAEF), een opensourcesysteem onder de Apache-2.0-licentie dat AI-agents evalueert aan de hand van 36 ingebouwde meetwaarden, verdeeld over zeven dimensies.

UAEF is ontworpen om evaluaties vergelijkbaar te houden tussen LangGraph, LangChain, Strands Agents en Amazon Bedrock AgentCore. Die frameworks leggen berichten, toolaanroepen en overdrachten tussen agents op verschillende manieren vast. Daardoor kan evaluatiecode die aan één formaat is gekoppeld, na een frameworkwijziging nieuwe meetwaarden, scoringslogica en opslag voor resultaten vereisen. Zo wordt het lastiger vast te stellen of een wijziging in de prompt, het model of de tools de agent heeft verbeterd.

AWS meldt dat klanten bij 12 organisaties in de telecomsector, de gezondheidszorg en de financiële dienstverlening UAEF hebben gebruikt om consistente meetwaarden toe te passen en agentversies vóór de release met elkaar te vergelijken. De repository awslabs/uaef bevat de Python-bibliotheek, adapters voor frameworks, meetwaarden, infrastructuur voor AWS-implementatie, een webinterface en uitvoerbare notebooks.

Canonieke traces maken gedeelde scoring mogelijk

Adapters normaliseren de berichten, toolaanroepen en overdrachten van elke agent tot een canonieke representatie AgentTrace, de enige weergave die de scoringsengine gebruikt. UAEF kan een bestaande trace aanpassen van een eerdere uitvoering, een logbestand of een observability-opslagplaats. Het kan ook een agent aanroepen via een runtime-Amazon Resource Name of een HTTP-eindpunt en de daaruit voortvloeiende uitvoering omzetten. Een generieke JSON-adapter breidt dit proces uit naar aangepaste frameworks.

De catalogus met meetwaarden groepeert de ingebouwde meetwaarden in toolaanroepen, kwaliteit van antwoorden, verantwoorde AI, prestaties, gesprekken met meerdere beurten, coördinatie tussen meerdere agents en redeneren. Scores worden uitgedrukt op een genormaliseerde schaal van 0 tot 1, waarbij 1 de beste score is. Deterministische meetwaarden worden rechtstreeks berekend op basis van traces en ground truth, terwijl meetwaarden waarbij een LLM als beoordelaar optreedt, een model op Amazon Bedrock gebruiken om eigenschappen zoals relevantie en veiligheid te beoordelen. Ook aangepaste meetwaarden en integraties met RAGAS en DeepEval worden ondersteund.

Ground-truthantwoorden zijn over het geheel genomen optioneel, maar meetwaarden die een vergelijking met referenties uitvoeren, vereisen ze wel. Bij de evaluatie van toolaanroepen kunnen ook de verwachte tools, de volgorde ervan en de bijbehorende argumenten worden opgegeven. Als een meetwaarde de benodigde invoer mist, geeft die een waarschuwing en geen score. Dat lege resultaat wordt buiten de gemiddelden per dimensie gehouden en telt dus niet als nul. Daardoor kunnen ook gedeeltelijk gelabelde datasets en ongelabeld productieverkeer worden geëvalueerd met meetwaarden waarvoor de benodigde invoer beschikbaar is.

Opgeslagen experimenten brengen regressies aan het licht

Opgeslagen evaluaties worden experimenten. Amazon DynamoDB bewaart metadata voor overzichten en vergelijkingen, waaronder het aantal evaluaties en gemiddelde scores. Amazon S3 bevat de volledige JSON-resultaten, met scores per meetwaarde en de onderbouwing van de beoordelaar. Bij afzonderlijke uitvoeringen kunnen het framework, het model, de tools, de systeemprompt, parameters, een configuratiesnapshot en de Git-commit worden vastgelegd, zodat elke score gekoppeld is aan het ontwerp van de agent dat wordt getest. UAEF controleert traces op persoonsgegevens voordat ze worden opgeslagen; voor opgeslagen resultaten is redactie mogelijk.

Voor meetwaarden die twee uitvoeringen gemeen hebben, berekent de vergelijkingsengine de absolute en procentuele veranderingen ten opzichte van een uitgangswaarde. Een configureerbare drempel, die standaard op 5% is ingesteld, onderscheidt verbeteringen, regressies en ongewijzigde resultaten. Regressies worden ingedeeld als licht, matig of ernstig en per dimensie gegroepeerd. Die groepering kan laten zien of een herziening van een prompt invloed had op toolaanroepen zonder de kwaliteit van antwoorden te veranderen.

In rapportages worden reproduceerbare statistieken gescheiden gehouden van door een model gegenereerde interpretaties. De webinterface toont resultaten per testgeval en per dimensie. Een optioneel statistisch rapport omvat scoreverdelingen, betrouwbaarheidsintervallen, uitschieters, correlaties tussen meetwaarden en mislukte testgevallen, zonder een LLM te gebruiken. Daarnaast kan een afzonderlijke, door Bedrock gegenereerde analyse mogelijke hoofdoorzaken en geprioriteerde vervolgstappen voorstellen voor één uitvoering of een vergelijking.

De Python-bibliotheek en de low-codewebdienst gebruiken dezelfde evaluatie-engine en opslagvoorzieningen. Teams kunnen evaluaties uitvoeren in notebooks, scripts en pipelines voor continue integratie en continue levering, of via een browser, zonder dat de manier waarop resultaten worden gescoord en vergeleken verandert.

Afhankelijkheden van AWS en grenzen van isolatie

De installatiehandleiding vereist Python 3.10 of hoger en de pakketbeheerder uv. Voor beoordelingen op basis van Bedrock en opslag in DynamoDB/S3 zijn AWS-inloggegevens nodig. Teams die deze beoordelings- en opslagfuncties gebruiken, blijven dus afhankelijk van AWS-diensten, ook als hun agents verschillende frameworks gebruiken.

UAEF behandelt de uitvoer van de geëvalueerde agent als niet-vertrouwde invoer voor beoordelingsprompts. Het stuurt de beoordelingsrubriek afzonderlijk mee, escaleert de inhoud, parseert beoordelaarsreacties strikt en vereist een letterlijk overgenomen bewijsfragment voordat een score wordt geaccepteerd. AWS stelt dat scores van beoordelaars geen beveiligingsmaatregelen mogen aansturen; handhaving tijdens runtime hoort thuis in een afzonderlijk aanroeppad voor Amazon Bedrock Guardrails.

De repository beschrijft UAEF als een referentiearchitectuur die is ontworpen om te draaien binnen een platform dat isolatie tussen gebruikers en tenants biedt. Rechtstreekse implementatie voor meerdere tenants zonder die afdwinging door het hostplatform wordt niet ondersteund. Elke tenant heeft een afzonderlijke implementatie nodig met een eigen AWS-account of op zijn minst een eigen stack, DynamoDB-tabellen, S3-buckets en Cognito-gebruikerspool.

Voor ondernemingen die meerdere agentframeworks gebruiken, biedt UAEF een stabiele basis voor scores die standhoudt bij veranderingen in prompts, modellen, tools of implementaties. Om die continuïteit te realiseren, is meer nodig dan alleen de bibliotheek installeren: zinvolle vergelijkingen zijn afhankelijk van geschikte meetwaarden en datasets, terwijl gebruik door meerdere tenants afhankelijk is van isolatie die buiten UAEF wordt geboden.