AWS detalha o UAEF para avaliar agentes de IA em diferentes frameworks

Em 11 de novembro de 2026, a AWS publicou uma introdução técnica ao Universal Agent Evaluation Framework (UAEF), um sistema de código aberto licenciado sob Apache-2.0 que avalia agentes de IA usando 36 métricas integradas em sete dimensões.

O UAEF foi projetado para manter as avaliações comparáveis entre LangGraph, LangChain, Strands Agents e Amazon Bedrock AgentCore. Esses frameworks registram mensagens, chamadas de ferramentas e transferências entre agentes de maneiras diferentes; por isso, após uma mudança de framework, o código de avaliação vinculado a um formato pode exigir novas métricas, lógica de pontuação e armazenamento de resultados. Isso dificulta determinar se uma mudança no prompt, no modelo ou nas ferramentas melhorou o agente.

A AWS informa que clientes de 12 organizações dos setores de telecomunicações, saúde e serviços financeiros usaram o UAEF para aplicar métricas consistentes e comparar versões de agentes antes do lançamento. O repositório awslabs/uaef contém a biblioteca Python, adaptadores de framework, métricas, infraestrutura de implantação da AWS, interface web e notebooks executáveis.

Rastreamentos canônicos permitem pontuação compartilhada

Os adaptadores normalizam as mensagens, chamadas de ferramentas e transferências de cada agente em um formato canônico AgentTrace, a única representação usada pelo mecanismo de pontuação. O UAEF pode adaptar um rastreamento existente de uma execução anterior, de um registro ou de um repositório de observabilidade, ou invocar um agente por meio de um nome de recurso da Amazon em tempo de execução ou de um endpoint HTTP e converter a execução resultante. Um adaptador JSON genérico amplia o processo para frameworks personalizados.

O catálogo de métricas organiza as métricas integradas nas categorias de chamadas de ferramentas, qualidade das respostas, IA responsável, desempenho, conversas com várias interações, coordenação multiagente e raciocínio. As pontuações usam uma escala normalizada de 0 a 1, em que 1 é a melhor. As métricas determinísticas são calculadas diretamente a partir dos rastreamentos e dos dados de referência, enquanto as métricas que usam um LLM como juiz recorrem a um modelo no Amazon Bedrock para avaliar aspectos como relevância e segurança. Também há suporte a métricas personalizadas e a integrações com RAGAS e DeepEval.

As respostas de referência são opcionais em geral, embora sejam necessárias para as métricas de comparação com referências. A avaliação de chamadas de ferramentas também pode especificar as ferramentas esperadas, a ordem em que devem ser usadas e seus argumentos. Quando uma métrica não dispõe dos dados necessários, ela não retorna uma pontuação e emite um aviso; esse resultado vazio é excluído das médias por dimensão, em vez de ser contabilizado como zero. Assim, ainda é possível avaliar conjuntos de dados parcialmente rotulados e tráfego de produção sem rótulos com as métricas para as quais há dados disponíveis.

Experimentos armazenados revelam regressões

As avaliações persistidas se tornam experimentos. O Amazon DynamoDB armazena metadados para listagem e comparação, incluindo o número de avaliações e as pontuações médias, enquanto o Amazon S3 guarda os resultados completos em JSON, com pontuações por métrica e justificativas do juiz. Em execuções individuais, é possível registrar o framework, o modelo, as ferramentas, o prompt do sistema, os parâmetros, uma cópia instantânea da configuração e o commit do Git, vinculando cada pontuação ao projeto do agente em teste. O UAEF verifica se há informações pessoais nos rastreamentos antes de armazená-los, e também oferece a opção de ocultar dados dos resultados armazenados.

Para as métricas compartilhadas por duas execuções, o mecanismo de comparação calcula as variações absolutas e percentuais em relação a uma linha de base. Um limite configurável, definido por padrão em 5%, distingue melhorias, regressões e resultados inalterados; as regressões são classificadas como leves, moderadas ou graves e agrupadas por dimensão. Esse agrupamento pode mostrar se uma revisão do prompt afetou as chamadas de ferramentas sem alterar a qualidade das respostas.

Os relatórios mantêm as estatísticas reproduzíveis separadas das interpretações geradas por modelos. A interface web exibe resultados por caso de teste e por dimensão, e um relatório estatístico opcional apresenta distribuições de pontuação, intervalos de confiança, valores atípicos, correlações entre métricas e casos de teste malsucedidos, sem usar um LLM. Uma análise separada, gerada pelo Bedrock, pode sugerir causas-raiz e próximas etapas prioritárias para uma execução ou comparação.

A biblioteca Python e o serviço web com pouco código usam o mesmo mecanismo de avaliação e os mesmos repositórios de armazenamento. As equipes podem executar avaliações em notebooks, scripts e pipelines de integração e entrega contínuas ou por meio de um navegador, sem alterar a forma como os resultados são pontuados e comparados.

Dependências da AWS e limites de isolamento

O guia de instalação exige Python 3.10 ou posterior e o gerenciador de pacotes uv. São necessárias credenciais da AWS para avaliações feitas pelo Bedrock e para a persistência no DynamoDB/S3; assim, as equipes que usam esses recursos de avaliação e armazenamento continuam conectadas aos serviços da AWS, mesmo quando seus agentes usam frameworks diferentes.

O UAEF trata a saída do agente avaliado como entrada não confiável nos prompts do juiz. Ele envia a rubrica separadamente, escapa o conteúdo, analisa rigorosamente as respostas do juiz e exige um trecho de evidência literal antes de aceitar uma pontuação. A AWS afirma que as pontuações do juiz não devem controlar mecanismos de segurança; a aplicação de controles em tempo de execução deve ocorrer por um caminho separado de invocação do Amazon Bedrock Guardrails.

O repositório descreve o UAEF como uma arquitetura de referência projetada para ser executada dentro de uma plataforma que forneça isolamento de usuários e de locatários. A implantação direta em um ambiente multi-inquilino, sem essa aplicação de controles pelo sistema hospedeiro, não é compatível. Cada locatário precisa de uma implantação separada, com sua própria conta da AWS ou, no mínimo, sua própria pilha, tabelas do DynamoDB, buckets do S3 e grupo de usuários do Cognito.

Para empresas que executam vários frameworks de agentes, o UAEF oferece uma referência estável de pontuação que permanece válida mesmo com mudanças nos prompts, modelos, ferramentas ou na implementação. Para garantir essa continuidade, não basta instalar a biblioteca: comparações úteis dependem de métricas e conjuntos de dados adequados, enquanto o uso por vários locatários depende de isolamento fornecido fora do UAEF.