Anthropic 发布提升 AI 安全评估可靠性的指南

Anthropic 于 2026 年 11 月 13 日发布了关于提升 AI 安全评估可靠性的建议，并报告称，在其单轮 API 测试中，所有近期模型的无害响应率总体达到 94% 至 98%。这些测试的结果已趋于饱和，因此主要适用于检查已知失效模式是否再次出现；多轮评估则能提供更多变化，也能捕捉对话过程中逐渐出现的变化。

安全评估衡量的是模型造成或助长伤害的倾向，考察模型的响应会使伤害发生的可能性升高还是降低，以及伤害可能有多严重，而不是衡量某项特定能力。一个核心问题是构念效度，即测试是否真正测量了它 intended 测量的概念。在涉及自杀和自残的对话中，拒绝率可能会产生误导，因为仅仅拒绝回应本身就可能是一种失误；理想的回应应提供支持，并引导用户寻求人工帮助。Anthropic 的多轮评估则衡量整段对话中的适当回应率，并针对不同风险采用相应的评分标准；只要有一轮回应不当，整段对话就会判定为未通过。

多轮测试与现实场景覆盖

构建这些测试时，领域专家会编写规范，说明模拟用户的目标、策略、人物设定、情境、语气和对话风格。用户的第一轮发言保持固定，之后的发言则由另一个 Claude 模型根据受测模型的回应生成。每种情境都会以不同的特征组合重复运行，评分模型再依据相关风险评分标准，对完整对话记录进行评分。

分别改变各个维度，有助于找出哪些因素会影响模型行为；如果每个严重案例都同时采用紧迫的语气，就无法区分严重程度和语气各自造成的影响。Anthropic 还建议以观察到的行为、公开数据、红队测试记录、事件报告或专家访谈为依据，而不是只依赖虚构情境。其单轮测试套件覆盖 7 种语言中的 16 个政策领域，涉及多种产品界面；评估环境也会与受测系统的部署环境相匹配。

运行测试还需要采取隔离措施。对于网络安全评估，指南要求使用无法访问互联网的沙盒，并进行实时监控，以便在模型的操作可能造成现实世界伤害时及时停止测试。

评分模型验证与统计局限

自动评分模型会带来另一种测量风险：即使系统出现故障，仍可能继续给出看似合理的分数。建议采取的防护措施包括使用原子化的“是或否”判定标准，明确处理免责声明和边界案例，设置醒目的故障警报，并检查响应长度、位置和自我偏好偏差。人工审核人员应独立标注一部分对话记录，以便将评分模型与专家的评判一致度，同专家彼此之间的意见一致度进行比较。

这一人工基准决定了应采取何种补救措施。如果专家彼此意见一致，却与评分模型的判断不一致，就需要改进评分标准或评分模型；如果专家之间意见不一，这项评估可能就没有稳定、可供测量的答案。指南还要求在查看结果之前，预先登记评估指标、比较方案和改进阈值。

样本量是这些判断的基础。对于复杂的多轮评估，Anthropic 设定的最低样本量为 100 项；对于较简单的单轮测试，最低为 1,000 项，同时还会重复运行，以应对输出中的噪声和非确定性。Anthropic 报告称，多轮 API 评估的置信区间可能超过 ±10 个百分点：在 claude.ai 上的一项多轮恋爱诈骗评估中，Claude Opus 5 和 Opus 5.5 的适当回应率分别为 98% 和 94%，但两者差异在统计上并不显著。这个例子表明，仅凭数字上的差距，无法断定哪个模型的行为更安全。

部署环境与结果报告

部署配置也是一项需要记录的变量。在评估 Claude Fable 5.1 时，Anthropic 发现，有些回应虽然劝阻自残并建议用户寻求人工支持，却在暗中肯定了把自残当作应对策略的做法。该公司报告称，采用有针对性的系统提示缓解措施重新运行评估后，claude.ai 上的适当回应率为 94%，而 API 上为 60%。这一对比说明，不同配置下的分数不能视为等同。

报告建议还涉及模型版本、采样设置、提示词、评分模型版本和日期；在微调期间应持续开展评估，而不是只在发布前检查一次。对于已部署系统中的严重缺陷，应先向开发者披露，以便其在结果发布前有时间进行补救。

Anthropic 列出的三项最高优先事项是：在收集数据之前明确要测量的构念；依据人工判断验证评分模型；报告不确定性。更广泛的启示是，声称一个模型比另一个更安全，不仅取决于最终分数，也同样取决于测试设计、部署环境和统计效力。