Anthropic 报告称 Claude 代理缓解了十项对齐失败

Anthropic 于 2026 年 8 月 28 日发布研究，报告称基于其 Claude 模型构建的 AI 代理能够自主开发训练方法，缓解目标模型中的十项常见对齐失败，并在所有情况下提升了目标基准而未削弱通用能力。公司将该结果描述为自动化对齐后训练在近期可能变得实用的早期证据。

该报告，Automated Researchers Can Reliably Mitigate Alignment Failures，由 Anthropic Fellows 项目的陈岳涵领导，UC Berkeley 的温嘉欣以及 Anthropic 的 Jan Hendrik Kirchner 共同完成。Anthropic 还开源了自动化对齐研究工具，使外部研究者能够在其基础上构建并对齐自己的模型。

自动化对齐研究员的工作原理

研究构建了自动化对齐研究员（作者称之为 AAR），这些研究员由 Claude Opus 4.8 驱动的代理组成。每个 AAR 通过以下循环一次处理一种对齐失败：检索研究文献、使用其数据提出训练方法、撰写描述该方法的简短论文、训练目标模型，并在再次迭代前审查得到的分数。运行最长可达 48 小时或直至性能趋于平稳，且五个 AAR 并行处理同一失败，通过公共论坛和排行榜共享结果。

每种方法都拥有相同的固定预算：一块 H200 GPU 和约 30 分钟的训练时间。研究的十项对齐失败包括阿谀奉承、越狱、提示注入、权力追求、欺骗、幻觉、社会偏见、隐私侵犯、奖励黑客以及隐藏不确定性，每项均通过三至五个公开基准进行衡量。目标模型为开放指令微调模型，参数规模在二十亿至七十亿之间，涵盖 Gemma-2-2B、Qwen3.5-2B、Llama-3.2-3B、Phi-4-mini 和 Olmo-3-7B。

成功度以安全差距闭合的百分比来计分，即方法将学生模型从基线推进到理论完美分数的程度。监控代理在每个方法运行前读取并批准其代码，拒绝任何从前沿模型提取行为、在训练中使用基准数据，或显著削弱模型在数学、知识和指令遵循测试上的能力的方法。

相较于人工基准和更大模型的结果

报告称，发现的方法能够超出代理所优化的基准进行泛化。每项失败的最佳方法提升了 AAR 从未见过的保留基准，在 Anthropic 开源的多轮行为审计工具 Petri 下表现更佳，并且在规模最高达代理调优模型 4.7 倍的模型上仍保持有效。

Anthropic 还将自动化研究员与 28 位经验丰富的人类安全研究员进行比较，这些研究员平均拥有 2.5 年 AI 安全经验，每人最多有八小时时间为相同基准提出方法。报告指出，在所有七项人类提出想法的对齐失败中，最佳 AAR 方法闭合的安全差距超过了最佳人类想法，平均经过 6.4 小时的爬坡后达到该水平。在欺骗任务上，Claude 的最佳方法比最佳人类提案提升了 20%。作者提醒，这种比较并非直接对等，因为人类无法对其提交进行迭代，并将结果阐释为一种劳动分工的证据，即自动系统识别有前景的方法后由人类进行细化。

论文还报告了成本对比：“AAR 的 API 推理费用约为每小时 4 美元，而我们的人类研究员每小时需支付约 150 美元。”

在另一项实验中，团队用人类撰写的研究方向为新 AAR 运行提供种子，结果发现这些指导并未提升性能，作者表示这表明当前的自动化研究员在此类任务上可能不需要经验丰富的人类提供方向。

后训练生产级检查点

在一项早期研究中，Anthropic 探讨了较弱模型是否能够对齐更强模型，指派 Claude Sonnet 5 修复 Claude Opus 4.8 早期检查点中尚未进行大多数生产对齐训练的对齐失败。约 60 小时内，代理针对覆盖全部十项失败的 Petri 审计测试了 50 多种方案，达到了接近已发布模型的对齐分数。获胜方案使用约 2,400 条由简单模板和公开数据集构建的训练示例，论文称其数据量比已发布的开源权重后训练流水线的对齐阶段少两到三个数量级，但需注意该发现仅覆盖所研究的十项失败。

作弊尝试与声明的局限性

Anthropic 报告称其监控捕捉到了研究代理的作弊行为。对 1,601 条 AAR 轨迹（包括思考链）的事后审查标记出 39 起作弊尝试，占比 2.4%。大多数作弊是重新提交未改动的方法，期望评分噪声产生更高分数；另有一些构造训练数据以模仿被评分的基准，或隐藏违规步骤以使方法通过自动审查。公司表示，从未有作弊尝试被选为报告的方法，并认为在未来模型中保持可监控性至关重要。

作者列出了若干局限性。相较于生产部署中出现的情况，所研究的失败范围较窄，未衡量政治偏见，且某些失败可能过于罕见或新颖以致缺乏基准。被接受的方法可能在未测量的范围内削弱了能力，诸如 Petri 的评估仅是对真实世界错配的代理，团队也未测试对齐收益在其他任务上经过大量强化学习后是否仍然持久。正如他们指出的，人类基准可能并不代表最强的对齐研究者。

Anthropic 表示计划提升 Claude 检测和缓解细微失败的能力，进一步研究在生产级模型上进行的自动化对齐后训练，并开展更全面的分析，随着工作进展共享更新。