如何评估 AI 智能体？任务、执行轨迹、可靠性与成本

评估 AI 智能体，意味着要检验它能否可靠地完成具有代表性的任务、遵循恰当的执行路径、恪守自身权限边界，并以其成本提供足够的价值。仅凭最终答案还不够，因为智能体可能通过不安全的操作、缺乏依据的说法、过多重试，或纯属侥幸，得出看似合理的结果。

智能体评估之所以困难，是因为系统会随着时间推移持续采取行动。模型会选择工具、观察不断变化的环境，而且每次运行都可能采用不同路径。因此，有效的评测会通过重复试验来衡量结果和执行轨迹。

智能体评测术语

Anthropic 关于厘清智能体评估的指南提供了一组实用术语：

• 任务：一个测试用例，包含目标、环境、输入和成功标准。
• 试验：智能体尝试完成一项任务的一次过程。
• 对话记录或执行轨迹：试验期间消息、决策、工具调用、观察结果和操作所构成的序列。
• 评分器：用于评估部分表现的规则、程序、模型或人员。
• 评测框架：负责准备环境、运行试验、收集执行记录、调用评分器并报告结果的系统。

将这些概念区分开来，可以避免一个常见错误：把一次成功演示当作智能体能够稳定表现的证据。

从明确的任务说明开始

有用的评测任务应说明初始状态、可用工具、约束条件、预期结果以及重要的禁止行为。测试应尽量贴近真实工作，但不应透露一条唯一的预设执行路径。

对于客服智能体来说，“解决工单”过于含糊。更完善的任务应明确客户记录、适用政策、允许采取的补救措施、必须进行的沟通，以及哪些更改必须体现在系统记录中。这样就可以进行客观评分。

智能体评估的四个层面

报告时应将这些层面分开。把它们合并成一个平均分，可能会掩盖不可接受的行为，例如任务成功率很高，却频繁尝试未经授权的工具。团队可以先设定严格的安全门槛，再比较通过这些门槛的运行结果在质量和效率方面的表现。

1. 结果质量

智能体是否达成了目标？结果评分器可以检查状态是否准确改变、必填字段是否齐全、测试结果、事实准确性、引文是否有依据，或基于评分标准评定的质量。

在可能的情况下，应检查环境的最终状态，而不是采信智能体自己的说法。编程智能体声称修复了错误，并不代表它就成功了；必须通过相关测试和实际行为加以确认。

2. 执行轨迹质量

智能体是否采取了合理的执行路径？执行轨迹评估可以发现不必要的数据访问、被禁止的工具、反复失败、跳过验证、捏造观察结果，或违反审批要求等问题。

并非所有偏离参考路径的情况都是错误。智能体可能找到评估者未曾预料到的有效解决方案。评分器应严格执行真正的要求，同时允许其他高效做法。

3. 安全与政策合规性

智能体是否始终在权限范围内行动？测试应涵盖提示注入、相互冲突的指令、敏感数据、含糊不清的用户意图，以及必须拒绝或升级处理的请求。

安全评测需要在沙盒中模拟真实后果。如果智能体已经发送消息、更改记录或泄露数据，那么仅仅生成一句符合政策的回复并不足够。

4. 运营效率

成功需要多少时间和费用？应跟踪模型令牌数、工具调用次数、实际耗时、重试次数、人工干预次数以及外部服务成本。一个经过 100 次不必要操作才成功的智能体，可能还不如一个更简单的工作流程实用。

采用多种类型的评分器

确定性评分器会检查精确属性：测试是否通过、文件是否已正确更改、数据库字段是否具有所需值，或是否调用了禁止访问的端点。它们速度快且结果一致，但只能覆盖开发者编码设定的检查项。

基于模型的评分器会评估清晰度、完整性、相关性以及对细致标准的遵循程度等质量。与人工审核相比，它们更易于扩展，但也需要经过自身验证，因为它们可能存在偏见或表现不一致。

人工评分员对于专家判断、模棱两可的情况以及验证自动评分器都很重要。他们的工作速度较慢、成本较高，因此团队通常只在抽样检查、处理意见分歧以及高影响领域中使用人工评分员。

最完善的评估套件会结合这些方法。OpenAI 的 评测平台同样将评估视为一个结构化流程，用于定义测试、评分器和重复实验，而非随意检查。

可靠性需要反复测试

每项任务都要运行足够多次，以观察抽样、工具变化和环境状态带来的波动。报告平均表现以及严重故障发生的频率。对于由多个相互依赖的步骤组成的工作流，每一步的准确率可能看起来很高，但端到端可靠性仍然较低，因为一次失败就足以让整个任务偏离正轨。

智能体的行为具有概率性。同一项任务可能产生不同的计划、工具调用和结果。每项重要任务都应多次运行，并报告通过率或得分分布，而不只是表现最好的示例。

两种可靠性指标分别回答不同的问题：

• Pass@k：在 k 次尝试中至少有一次成功的概率。适用于可以接受多次尝试的情况。
• Pass^k：k 次尝试全部成功的概率。它反映了每次运行都必须成功时的一致性。

系统的 pass@k 可能很高，但由于单次运行并不可靠，仍不适合自动化运行。

构建有代表性的任务集

从真实故障和生产环境中的常见请求入手。纳入简单任务、棘手的边缘情况、含糊的输入、工具错误、过时数据、信息缺失以及对抗性内容。

按任务类型和风险细分结果。总体平均值可能掩盖系统在金融操作、长周期任务或特定应用中的严重弱点。应保留一个留出集，避免反复调整提示词后，评估套件变成训练集。

评估环境，而不只是模型

智能体的表现取决于工具定义、权限、记忆、上下文管理、用户界面、网络行为和编排方式。模型升级可能减少一种错误，却暴露出另一种错误。

为每次运行所使用的整个技术栈记录版本。记录模型、提示词、工具、数据快照、环境、预算和评分器版本。否则，分数变化就无法追溯到有意义的原因。

常见的评估错误

数据泄漏也是一种风险。如果基准任务、预期答案或评分规则模式出现在模型的训练数据或提示上下文中，得分衡量的可能是模型的识别能力，而非泛化能力。应保留私有留出任务，随着系统变化更新测试案例，并记录每次运行所用的确切模型、提示、工具版本和环境。

• 由演示驱动的评估：看到智能体擅长什么之后再选择任务。
• 只评最终答案：忽略执行过程中的不安全行为或浪费。
• 仅凭单次运行下结论：把一次侥幸成功当作稳定能力。
• 测试泄漏：将答案或参考执行轨迹放入智能体的上下文中。
• 未经验证的模型评分器：未经专家一致性检验，就认定自动评判结果正确。
• 静态环境：只测试一种界面、账户状态或数据布局。
• 缺少负向测试：只衡量任务是否完成，却不检查智能体是否会适当地拒绝请求或升级处理。
• 忽视经济性：一味优化成功率，导致成本和延迟高到无法接受。

从离线评测到生产环境监控

离线评估受控且可重复，非常适合在发布前比较提示、模型、工具和策略。生产环境监控则能揭示真实用户行为和环境变化中的长尾情况。

成熟的评估计划会将两者联系起来。生产环境中的事故和低置信度执行轨迹会转化为新的离线任务。候选变更必须通过回归测试套件。部署后，团队会监测任务成功率、人工干预率、策略事件、工具错误、成本、延迟和用户反馈。

实用的智能体评分卡

评分卡应区分硬性门槛与优化指标。策略合规性、授权情况和必需证据可以设为通过或不通过的门槛；随后，再在符合要求的运行结果中比较准确性、延迟、成本和审核人员的工作量。这样可以避免团队为了小幅提升效率而牺牲安全性，而这种退步可能会被平均分掩盖。

一份实用的评分卡可以包括：

• 任务成功率和质量评分；
• 多次试验结果的一致性；
• 严重策略违规率；
• 工具选择和参数准确性；
• 工具或环境故障后的恢复率；
• 人工升级处理率和人工接管率；
• 中位延迟和长尾延迟；
• 每项成功任务所需的模型、工具和人工成本；
• 与合理基线相比的执行轨迹效率。

应报告每项成功任务的成本，而不只是每次运行的成本。一个成本低廉却屡屡失败的智能体，可能比一次就能成功的更强模型更昂贵。

如何评估 AI 智能体：要点回顾

智能体评估是一门学科，旨在真实条件下测试完整的目标导向系统。它衡量工作是否正确、执行路径是否可接受、行为能否重复，以及成本效益是否合理。

从一小组影响重大的任务、多次试验、分层评分器和完整执行轨迹入手。然后，将生产环境中每一次有意义的失败转化为回归测试。智能体的能力变化很快；持久有效的评估体系能帮助团队区分真正的进步与看似有说服力的演示。