AWS详解UAEF：跨框架AI智能体评估

2026年11月11日，AWS发布了一份技术介绍，介绍 Universal Agent Evaluation Framework (UAEF)。这是一个采用 Apache-2.0 许可证的开源系统，通过七个维度的36项内置指标评估AI智能体。

UAEF旨在确保不同框架之间的评估结果具有可比性，支持的框架包括 LangGraph、LangChain、Strands Agents 和 Amazon Bedrock AgentCore。这些框架记录消息、工具调用和智能体间交接的方式各不相同，因此，绑定某一种格式的评估代码在框架变更后可能需要重新编写指标、评分逻辑和结果存储机制。这会让人更难判断提示词、模型或工具的变更是否改善了智能体。

AWS称，电信、医疗保健和金融服务领域的12家机构中的客户曾使用UAEF，应用一致的指标，并在发布前比较不同版本的智能体。awslabs/uaef 代码库包含Python库、框架适配器、指标、AWS部署基础设施、Web界面和可运行的笔记本。

规范化轨迹支持统一评分

适配器会将每个智能体的消息、工具调用和交接过程规范化为一种统一的规范表示形式 AgentTrace，这是评分引擎使用的唯一表示形式。UAEF可以转换过去运行、日志或可观测性存储中的现有轨迹，也可以通过运行时 Amazon 资源名称或 HTTP 端点调用智能体，并转换由此产生的执行记录。通用JSON适配器还将这一流程扩展到自定义框架。

指标目录将内置指标分为工具调用、响应质量、负责任的AI、性能、多轮对话、多智能体协调和推理几类。评分采用标准化的0到1分制，1为最佳。确定性指标直接根据轨迹和真实结果计算；LLM-as-a-judge指标则使用 Amazon Bedrock 上的模型评估相关性和安全性等特征。此外，还支持自定义指标，以及与 RAGAS 和 DeepEval 的集成。

总体而言，真实结果并非必需，但与参考答案进行比较的指标需要真实结果。工具调用评估还可以设定预期使用的工具、调用顺序及其参数。如果缺少某项指标所需的输入，该指标会发出警告且不返回评分；这类空结果不会按零分计入维度平均分。因而，对于部分标注的数据集和未标注的生产流量，仍可使用输入条件具备的指标进行评估。

保存的实验揭示性能回退

持久化保存的评估会成为实验。Amazon DynamoDB存储用于列表展示和比较的元数据，包括评估次数和平均分；Amazon S3则保存完整的JSON结果，其中包含各项指标的评分和评审模型的推理说明。单次运行可以记录框架、模型、工具、系统提示词、参数、配置快照和Git提交，从而将每项评分与受测智能体的设计关联起来。UAEF会在存储前检查轨迹中是否包含个人信息，并且可以对已存储的结果进行脱敏。

对于两次运行共同使用的指标，比较引擎会相对于基线计算绝对变化量和百分比变化。可配置的阈值默认设为5%，用于区分改进、性能回退和无变化；性能回退分为轻微、中度或严重，并按维度归类。这种分类可以显示提示词修订是否影响了工具调用，同时未改变响应质量。

报告将可复现的统计数据与模型生成的解读分开。Web界面展示每个测试用例和每个维度的结果；可选的统计报告则涵盖评分分布、置信区间、异常值、指标相关性和失败的测试用例，且不使用LLM。另有一项由 Bedrock 生成的独立分析，可针对单次运行或两次运行的比较提出可能的根本原因和按优先级排列的后续步骤。

Python库和低代码Web服务使用相同的评估引擎和存储。团队可以在笔记本、脚本和持续集成与持续交付流水线中运行评估，也可以通过浏览器运行，而无需改变结果的评分和比较方式。

AWS依赖项与隔离边界

安装指南要求使用 Python 3.10 或更高版本以及 uv 包管理器。基于 Bedrock 的评审和 DynamoDB/S3 持久化存储需要 AWS 凭证，因此，使用这些评审和存储功能的团队仍须连接 AWS 服务，即使其智能体采用了不同的框架。

UAEF将受评估智能体的输出视为评审提示词中的不可信输入。它会单独发送评分标准、对内容进行转义、严格解析评审模型的响应，并要求提供逐字引用的证据片段后才接受评分。AWS表示，评审评分不应作为安全控制的门槛；运行时强制执行应通过单独调用 Amazon Bedrock Guardrails 来实现。

代码库将UAEF描述为一种参考架构，设计用途是在提供用户和租户隔离的平台内运行。不支持在缺少该宿主平台强制隔离措施的情况下直接进行多租户部署。每个租户都需要单独部署，并使用自己的AWS账户，或至少拥有独立的堆栈、DynamoDB表、S3存储桶和Cognito用户池。

对于运行多种智能体框架的企业，UAEF 提供了稳定的评分基准，即使提示词、模型、工具或实现方式发生变化，这一基准仍能保持一致。要实现这种连续性，光安装该库还不够：要进行有意义的比较，必须采用合适的指标和数据集；而多租户使用则依赖 UAEF 之外提供的隔离机制。