AWS présente UAEF pour l’évaluation d’agents d’IA dans différents frameworks

Le 11 novembre 2026, AWS a publié une présentation technique de l’Universal Agent Evaluation Framework (UAEF), un système open source sous licence Apache-2.0 qui évalue les agents d’IA à l’aide de 36 métriques intégrées réparties en sept dimensions.

UAEF est conçu pour garantir la comparabilité des évaluations entre LangGraph, LangChain, Strands Agents et Amazon Bedrock AgentCore. Ces frameworks enregistrent différemment les messages, les appels d’outils et les transferts entre agents ; ainsi, le code d’évaluation associé à un format donné peut nécessiter de nouvelles métriques, une nouvelle logique de notation et un nouveau stockage des résultats après un changement de framework. Il devient alors plus difficile de déterminer si une modification du prompt, du modèle ou des outils a amélioré l’agent.

AWS indique que des clients de 12 organisations des secteurs des télécommunications, de la santé et des services financiers ont utilisé UAEF pour appliquer des métriques cohérentes et comparer les versions de leurs agents avant leur mise en production. Le dépôt awslabs/uaef contient la bibliothèque Python, les adaptateurs de frameworks, les métriques, l’infrastructure de déploiement AWS, l’interface web et des notebooks prêts à l’emploi.

Les traces canoniques permettent une notation commune

Les adaptateurs normalisent les messages, les appels d’outils et les transferts de chaque agent dans un format canonique AgentTrace, la seule représentation utilisée par le moteur de notation. UAEF peut adapter une trace existante issue d’une exécution antérieure, d’un journal ou d’un système d’observabilité, ou invoquer un agent au moyen d’un nom de ressource Amazon d’exécution ou d’un point de terminaison HTTP, puis convertir l’exécution obtenue. Un adaptateur JSON générique étend le processus aux frameworks personnalisés.

Le catalogue des métriques répartit les métriques intégrées entre les catégories suivantes : appels d’outils, qualité des réponses, IA responsable, performances, conversations à plusieurs tours, coordination multi-agents et raisonnement. Les scores sont normalisés sur une échelle de 0 à 1, où 1 correspond au meilleur résultat. Les métriques déterministes sont calculées directement à partir des traces et de la vérité terrain, tandis que les métriques faisant appel à un LLM comme juge utilisent un modèle sur Amazon Bedrock pour évaluer des qualités telles que la pertinence et la sécurité. Les métriques personnalisées ainsi que les intégrations avec RAGAS et DeepEval sont également prises en charge.

Dans l’ensemble, les réponses de vérité terrain sont facultatives, mais les métriques qui les comparent à une référence en ont besoin. L’évaluation des appels d’outils peut également définir les outils attendus, leur ordre et leurs arguments. Lorsqu’une métrique ne dispose pas des données nécessaires, elle ne renvoie aucun score et émet un avertissement ; ce résultat vide est exclu des moyennes par dimension au lieu d’être compté comme zéro. Il est donc possible d’évaluer des jeux de données partiellement annotés et du trafic de production non annoté avec les métriques dont les données d’entrée sont disponibles.

Les expériences enregistrées révèlent les régressions

Les évaluations conservées deviennent des expériences. Amazon DynamoDB stocke les métadonnées nécessaires à leur consultation et à leur comparaison, notamment le nombre d’évaluations et les scores moyens, tandis qu’Amazon S3 contient les résultats JSON complets, avec les scores par métrique et le raisonnement du juge. Les exécutions individuelles peuvent enregistrer le framework, le modèle, les outils, le prompt système, les paramètres, un instantané de la configuration et le commit Git, afin de relier chaque score à la conception de l’agent évaluée. UAEF filtre les traces pour y repérer les informations personnelles avant leur stockage ; la rédaction des résultats enregistrés est également possible.

Pour les métriques communes à deux exécutions, le moteur de comparaison calcule les variations absolues et en pourcentage par rapport à une référence. Un seuil configurable, fixé par défaut à 5 %, permet de distinguer les améliorations, les régressions et les résultats inchangés ; les régressions sont classées comme mineures, modérées ou graves et regroupées par dimension. Ce regroupement peut montrer si une révision du prompt a modifié les appels d’outils sans changer la qualité des réponses.

Les rapports distinguent les statistiques reproductibles des interprétations générées par un modèle. L’interface web présente les résultats par cas de test et par dimension, et un rapport statistique facultatif détaille les distributions de scores, les intervalles de confiance, les valeurs aberrantes, les corrélations entre métriques et les cas de test échoués, sans utiliser de LLM. Une analyse distincte, générée par Bedrock, peut proposer des causes profondes et des étapes suivantes classées par priorité pour une exécution ou une comparaison.

La bibliothèque Python et le service web sans code utilisent le même moteur d’évaluation et les mêmes espaces de stockage. Les équipes peuvent lancer des évaluations dans des notebooks, des scripts et des pipelines d’intégration et de déploiement continus, ou au moyen d’un navigateur, sans modifier la méthode de notation et de comparaison des résultats.

Dépendances AWS et limites de l’isolation

Le guide d’installation requiert Python 3.10 ou une version ultérieure, ainsi que le gestionnaire de paquets uv. Des identifiants AWS sont nécessaires pour l’évaluation par un juge reposant sur Bedrock et pour la persistance dans DynamoDB/S3 ; les équipes qui utilisent ces fonctions d’évaluation et de stockage restent donc connectées aux services AWS, même lorsque leurs agents s’appuient sur différents frameworks.

UAEF traite les sorties des agents évalués comme des entrées non fiables pour les prompts destinés au juge. Il transmet séparément la grille d’évaluation, échappe le contenu, analyse strictement les réponses du juge et exige un extrait justificatif reproduit textuellement avant d’accepter un score. AWS précise que les scores du juge ne doivent pas servir à contrôler les mesures de sécurité ; l’application des règles à l’exécution doit passer par un chemin d’invocation distinct d’Amazon Bedrock Guardrails.

Le dépôt présente UAEF comme une architecture de référence conçue pour être exécutée au sein d’une plateforme assurant l’isolation des utilisateurs et des locataires. Le déploiement direct en environnement mutualisé, sans cette application des contrôles par la plateforme hôte, n’est pas pris en charge. Chaque locataire doit disposer d’un déploiement distinct, avec son propre compte AWS ou, au minimum, sa propre pile, ses propres tables DynamoDB, ses propres compartiments S3 et son propre groupe d’utilisateurs Cognito.

Pour les entreprises qui utilisent plusieurs frameworks d’agents, UAEF fournit un référentiel de notation stable, qui peut résister aux changements apportés aux consignes, aux modèles, aux outils ou à l’implémentation. Pour assurer cette continuité, il ne suffit pas d’installer la bibliothèque : des comparaisons utiles reposent sur des indicateurs et des jeux de données adaptés, tandis que l’utilisation par plusieurs locataires dépend d’une isolation assurée en dehors d’UAEF.