AWS detalla UAEF para evaluar agentes de IA en distintos marcos de trabajo

El 11 de noviembre de 2026, AWS publicó una introducción técnica al Universal Agent Evaluation Framework (UAEF), un sistema de código abierto con licencia Apache-2.0 que evalúa agentes de IA mediante 36 métricas integradas en siete dimensiones.

UAEF está diseñado para mantener la comparabilidad de las evaluaciones entre LangGraph, LangChain, Strands Agents y Amazon Bedrock AgentCore. Estos marcos registran de forma distinta los mensajes, las llamadas a herramientas y las transferencias entre agentes, por lo que el código de evaluación vinculado a un formato puede requerir nuevas métricas, lógica de puntuación y almacenamiento de resultados cuando se cambia de marco. Esto dificulta determinar si un cambio en las instrucciones, el modelo o las herramientas mejoró el agente.

AWS informa que clientes de 12 organizaciones de los sectores de las telecomunicaciones, la atención sanitaria y los servicios financieros utilizaron UAEF para aplicar métricas coherentes y comparar versiones de agentes antes de su lanzamiento. El repositorio awslabs/uaef contiene la biblioteca de Python, adaptadores para marcos de trabajo, métricas, infraestructura de implementación de AWS, una interfaz web y cuadernos ejecutables.

Los rastros canónicos permiten compartir la puntuación

Los adaptadores normalizan los mensajes, las llamadas a herramientas y las transferencias de cada agente en un formato canónico AgentTrace, la única representación que utiliza el motor de puntuación. UAEF puede adaptar un rastro existente de una ejecución anterior, un registro o un almacén de observabilidad, o invocar a un agente mediante un nombre de recurso de Amazon (ARN) de tiempo de ejecución o un punto de conexión HTTP y convertir la ejecución resultante. Un adaptador JSON genérico amplía el proceso a marcos de trabajo personalizados.

El catálogo de métricas agrupa las métricas integradas en las categorías de llamadas a herramientas, calidad de las respuestas, IA responsable, rendimiento, conversaciones de varios turnos, coordinación entre varios agentes y razonamiento. Las puntuaciones utilizan una escala normalizada de 0 a 1, donde 1 es el valor más alto. Las métricas deterministas se calculan directamente a partir de los rastros y los datos de referencia, mientras que las métricas que utilizan un LLM como juez recurren a un modelo en Amazon Bedrock para evaluar aspectos como la relevancia y la seguridad. También se admiten métricas personalizadas e integraciones con RAGAS y DeepEval.

En general, las respuestas de referencia son opcionales, aunque las métricas de comparación con referencias las requieren. La evaluación de llamadas a herramientas también puede definir las herramientas esperadas, su orden y sus argumentos. Cuando a una métrica le falta un dato necesario, no devuelve ninguna puntuación y emite una advertencia; ese resultado vacío se excluye de los promedios por dimensión en lugar de contabilizarse como cero. Por lo tanto, también es posible evaluar conjuntos de datos con etiquetas parciales y tráfico de producción sin etiquetar, mediante las métricas cuyos datos de entrada estén disponibles.

Los experimentos almacenados permiten detectar regresiones

Las evaluaciones persistidas se convierten en experimentos. Amazon DynamoDB almacena metadatos para consultar y comparar las evaluaciones, incluidos el número de evaluaciones y las puntuaciones medias, mientras que Amazon S3 conserva los resultados completos en JSON, con las puntuaciones de cada métrica y el razonamiento del juez. En las ejecuciones individuales se pueden registrar el marco de trabajo, el modelo, las herramientas, las instrucciones del sistema, los parámetros, una instantánea de la configuración y la confirmación de Git, vinculando cada puntuación con el diseño del agente evaluado. UAEF examina los rastros para detectar información personal antes de almacenarlos y permite redactar los resultados almacenados.

Para las métricas que comparten dos ejecuciones, el motor de comparación calcula los cambios absolutos y porcentuales respecto de una línea base. Un umbral configurable, cuyo valor predeterminado es del 5 %, distingue entre mejoras, regresiones y resultados sin cambios; las regresiones se clasifican como leves, moderadas o graves y se agrupan por dimensión. Esa agrupación puede mostrar si una revisión de las instrucciones afectó las llamadas a herramientas sin cambiar la calidad de las respuestas.

Los informes mantienen las estadísticas reproducibles separadas de las interpretaciones generadas por modelos. La interfaz web muestra los resultados por caso de prueba y por dimensión, y un informe estadístico opcional, sin utilizar un LLM, abarca distribuciones de puntuaciones, intervalos de confianza, valores atípicos, correlaciones entre métricas y casos de prueba fallidos. Por separado, un análisis generado por Bedrock puede proponer causas raíz y próximos pasos prioritarios para una ejecución o una comparación.

La biblioteca de Python y el servicio web de bajo código utilizan el mismo motor de evaluación y los mismos almacenes. Los equipos pueden ejecutar evaluaciones en cuadernos, scripts y canalizaciones de integración continua y entrega continua, o desde un navegador, sin cambiar la forma en que se puntúan y comparan los resultados.

Dependencias de AWS y límites de aislamiento

La guía de instalación requiere Python 3.10 o posterior y el gestor de paquetes uv. Se necesitan credenciales de AWS para la evaluación mediante Bedrock y la persistencia en DynamoDB/S3, por lo que los equipos que utilicen esas funciones de evaluación y almacenamiento seguirán conectados a los servicios de AWS, aunque sus agentes usen distintos marcos de trabajo.

UAEF trata las salidas del agente evaluado como entradas no confiables para las instrucciones del juez. Envía la rúbrica por separado, escapa el contenido, analiza estrictamente las respuestas del juez y exige un fragmento probatorio literal antes de aceptar una puntuación. AWS afirma que las puntuaciones del juez no deben controlar el acceso mediante mecanismos de seguridad; la aplicación de controles en tiempo de ejecución debe realizarse mediante una ruta de invocación independiente de Amazon Bedrock Guardrails.

El repositorio describe UAEF como una arquitectura de referencia diseñada para ejecutarse dentro de una plataforma que proporcione aislamiento de usuarios y arrendatarios. No se admite la implementación directa para varios arrendatarios sin esos controles del entorno anfitrión. Cada arrendatario necesita una implementación independiente con su propia cuenta de AWS o, como mínimo, su propia pila, tablas de DynamoDB, buckets de S3 y grupo de usuarios de Cognito.

Para las empresas que utilizan varios marcos de agentes, UAEF ofrece una base estable de puntuación que puede mantenerse pese a los cambios en las indicaciones, los modelos, las herramientas o la implementación. Para garantizar esa continuidad se necesita algo más que instalar la biblioteca: las comparaciones útiles dependen de métricas y conjuntos de datos adecuados, mientras que el uso multiinquilino depende del aislamiento que se proporciona fuera de UAEF.