AWS erläutert UAEF zur frameworkübergreifenden Bewertung von KI-Agenten

AWS veröffentlichte am 11. November 2026 eine technische Einführung in das Universal Agent Evaluation Framework (UAEF), ein Open-Source-System unter der Apache-2.0-Lizenz, das KI-Agenten anhand von 36 integrierten Metriken in sieben Dimensionen bewertet.

UAEF soll dafür sorgen, dass Bewertungen über LangGraph, LangChain, Strands Agents und Amazon Bedrock AgentCore hinweg vergleichbar bleiben. Diese Frameworks erfassen Nachrichten, Tool-Aufrufe und Übergaben zwischen Agenten auf unterschiedliche Weise. Daher können bei einem Framework-Wechsel neue Metriken, Bewertungslogik und eine neue Speicherung der Ergebnisse erforderlich sein, wenn der Bewertungscode an ein bestimmtes Format gebunden ist. Dadurch lässt sich schwerer feststellen, ob eine Änderung am Prompt, am Modell oder an den Tools den Agenten verbessert hat.

AWS zufolge haben Kunden aus 12 Organisationen in den Bereichen Telekommunikation, Gesundheitswesen und Finanzdienstleistungen UAEF genutzt, um einheitliche Metriken anzuwenden und Agentenversionen vor der Veröffentlichung miteinander zu vergleichen. Das Repository awslabs/uaef enthält die Python-Bibliothek, Framework-Adapter, Metriken, AWS-Bereitstellungsinfrastruktur, eine Weboberfläche und ausführbare Notebooks.

Kanonische Traces ermöglichen einheitliche Bewertungen

Adapter überführen die Nachrichten, Tool-Aufrufe und Übergaben jedes Agenten in ein kanonisches AgentTrace, die einzige Darstellung, die die Bewertungs-Engine verwendet. UAEF kann einen vorhandenen Trace aus einem früheren Durchlauf, einem Protokoll oder einem Observability-Speicher anpassen oder einen Agenten über einen Amazon-Ressourcennamen zur Laufzeit oder einen HTTP-Endpunkt aufrufen und die resultierende Ausführung umwandeln. Ein generischer JSON-Adapter erweitert das Verfahren auf benutzerdefinierte Frameworks.

Der Metrikkatalog ordnet die integrierten Metriken den Bereichen Tool-Aufrufe, Antwortqualität, verantwortungsvolle KI, Leistung, Mehrfachdialoge, Multi-Agenten-Koordination und Schlussfolgerungsfähigkeit zu. Die Bewertungen erfolgen auf einer normierten Skala von 0 bis 1, wobei 1 den besten Wert darstellt. Deterministische Metriken werden direkt anhand von Traces und Ground Truth berechnet, während Metriken mit LLM-Bewertung ein Modell auf Amazon Bedrock einsetzen, um Eigenschaften wie Relevanz und Sicherheit zu beurteilen. Auch benutzerdefinierte Metriken sowie Integrationen mit RAGAS und DeepEval werden unterstützt.

Ground-Truth-Antworten sind grundsätzlich optional, für Metriken, die einen Vergleich mit Referenzwerten vornehmen, jedoch erforderlich. Bei der Bewertung von Tool-Aufrufen lassen sich außerdem die erwarteten Tools, ihre Reihenfolge und ihre Argumente festlegen. Fehlen einer Metrik erforderliche Eingaben, gibt sie mit einer Warnung keinen Wert zurück. Dieses leere Ergebnis fließt nicht als Nullwert in die Durchschnittswerte der jeweiligen Dimension ein, sondern wird davon ausgeschlossen. Daher lassen sich auch teilweise gekennzeichnete Datensätze und nicht gekennzeichnete Produktionsdaten mit den Metriken bewerten, für die die erforderlichen Eingaben vorliegen.

Gespeicherte Experimente machen Regressionen sichtbar

Gespeicherte Bewertungen werden zu Experimenten. Amazon DynamoDB speichert Metadaten für die Auflistung und den Vergleich, darunter die Anzahl der Bewertungen und die Durchschnittswerte. Amazon S3 enthält die vollständigen JSON-Ergebnisse mit den Einzelwerten je Metrik und den Begründungen des Bewertungsmodells. Bei einzelnen Durchläufen können Framework, Modell, Tools, System-Prompt, Parameter, Konfigurations-Snapshot und Git-Commit erfasst werden, sodass sich jeder Wert dem jeweils getesteten Agenten-Design zuordnen lässt. UAEF prüft Traces vor der Speicherung auf personenbezogene Daten; für gespeicherte Ergebnisse ist eine Schwärzung möglich.

Für Metriken, die zwei Durchläufen gemeinsam sind, berechnet die Vergleichs-Engine die absoluten und prozentualen Änderungen gegenüber einer Basislinie. Ein konfigurierbarer Schwellenwert, standardmäßig auf 5 % festgelegt, unterscheidet zwischen Verbesserungen, Regressionen und unveränderten Ergebnissen. Regressionen werden als geringfügig, moderat oder schwerwiegend eingestuft und nach Dimension gruppiert. Anhand dieser Gruppierung lässt sich erkennen, ob eine Überarbeitung des Prompts die Tool-Aufrufe beeinflusst hat, ohne die Antwortqualität zu verändern.

Die Berichterstattung hält reproduzierbare Statistiken von modellgenerierten Interpretationen getrennt. Die Weboberfläche zeigt Ergebnisse für einzelne Testfälle und Dimensionen. Ein optionaler statistischer Bericht behandelt Score-Verteilungen, Konfidenzintervalle, Ausreißer, Korrelationen zwischen Metriken und fehlgeschlagene Testfälle, ohne ein LLM zu verwenden. Eine separate, von Bedrock generierte Analyse kann mögliche Ursachen und priorisierte nächste Schritte für einen einzelnen Durchlauf oder einen Vergleich vorschlagen.

Die Python-Bibliothek und der Low-Code-Webdienst verwenden dieselbe Bewertungs-Engine und dieselben Speicher. Teams können Bewertungen in Notebooks, Skripten und Pipelines für kontinuierliche Integration und kontinuierliche Bereitstellung oder über einen Browser ausführen, ohne die Bewertung und den Vergleich der Ergebnisse zu ändern.

AWS-Abhängigkeiten und Grenzen der Isolation

Der Installationsleitfaden setzt Python 3.10 oder höher und den Paketmanager uv voraus. Für Bewertungen mit Bedrock sowie die Speicherung in DynamoDB und S3 werden AWS-Anmeldedaten benötigt. Teams, die diese Bewertungs- und Speicherfunktionen nutzen, bleiben daher mit AWS-Diensten verbunden, auch wenn ihre Agenten unterschiedliche Frameworks verwenden.

UAEF behandelt die Ausgaben der bewerteten Agenten als nicht vertrauenswürdige Eingaben für die Prompts der Bewertungsmodelle. Das Framework übermittelt die Bewertungsrubrik getrennt, maskiert den Inhalt, analysiert die Antworten der Bewertungsmodelle streng und verlangt einen wortgetreuen Beleg, bevor es einen Wert akzeptiert. AWS zufolge sollten Bewertungen durch ein Bewertungsmodell nicht als Schranke für Sicherheitskontrollen dienen; die Durchsetzung zur Laufzeit sollte über einen separaten Aufrufpfad für Amazon Bedrock Guardrails erfolgen.

Das Repository beschreibt UAEF als Referenzarchitektur, die innerhalb einer Plattform ausgeführt werden soll, welche die Isolation von Benutzern und Mandanten gewährleistet. Eine direkte Bereitstellung für mehrere Mandanten ohne solche Schutzmaßnahmen durch die Host-Plattform wird nicht unterstützt. Für jeden Mandanten ist eine separate Bereitstellung erforderlich, mit einem eigenen AWS-Konto oder mindestens einem eigenen Stack, eigenen DynamoDB-Tabellen, S3-Buckets und einem eigenen Cognito-Benutzerpool.

Für Unternehmen, die mehrere Agenten-Frameworks einsetzen, bietet UAEF eine stabile Bewertungsgrundlage, die Änderungen an Prompts, Modellen, Tools oder der Implementierung überdauern kann. Um diese Kontinuität zu erreichen, reicht es nicht aus, die Bibliothek zu installieren: Aussagekräftige Vergleiche setzen geeignete Metriken und Datensätze voraus, während die mandantenübergreifende Nutzung von einer außerhalb von UAEF bereitgestellten Isolation abhängt.