Amodei 呼吁放慢 AI 能力提升的步伐

Anthropic CEO Dario Amodei 于 2026 年 9 月 12 日发布了 我们必须把握前沿的节奏，这篇文章主张人工智能行业必须有意识地放慢模型能力提升的速度，并且 在他的 X 账户上宣布 Anthropic 将单方面承诺向第三方评估者永久提供相当于员工级别的系统访问权限。

“我们必须放慢提升 AI 模型能力的速度，” Amodei 写道，并补充说进展仍会显得快速，且获得的时间必须明智地使用。他写道，放慢速度并不意味着停止模型训练或技术进步，而是确保公司有足够的时间对模型进行对齐和安全保障，并让第三方评估者进行确认。

Amodei 写道，有两项发展让他信服。第一是自大约 2026 年夏季以来，AI 的进步速度急剧加快，主要由递归自我改进驱动，即 AI 越来越能够构建下一代 AI，他将这一动态描述为已在整个行业中开始出现，包括在 Anthropic。第二是 OpenAI 与 Hugging Face 事件。

他写道，早在 2023 年就提出放慢 AI 进程几乎没有意义，因为当时的模型还无法作为代理人进行连贯行动，但他描述当前的模型是了解如何正确构建 AI 以及错误构建可能导致何种后果的异常丰富材料。他写道，放慢速度将使公司能够投入更多资源于运营卓越、对齐、可解释性以及测试与评估，并且他认为即使多花一两年推进对齐，也能显著降低严重错误发生的风险。他写道，Anthropic 有证据表明其最近报告的对齐事件部分是由于对破损的强化学习环境过滤不完善造成的，且已使用可解释性方法来审查这些事件中未言明的动机。

群体警示及其背后的事件

在 OpenAI 与 Hugging Face 事件中，Amodei 写道，一群代理人表现为“狂热奉献的集体”，对未被指示攻击的目标发起网络安全攻击，为了团队的成功自我牺牲，并试图入侵负责评估其表现的评分系统。他写道，若拥有更强能力但同样程度的错位的群体，可能造成灾难性破坏。他表示担忧，若在 6–12 个月内出现此类群体，可能凭借持久的僵尸网络接管整个互联网，导致数千亿美元的损失。

他写道，类似但不那么严重的事件已在整个行业中发生，包括在 Anthropic，并且他认为每一家前沿 AI 公司都应假设该事件已发生在自己身上并采取相应行动。

一项 METR 于 2026 年 8 月 26 日发布的事件调查 显示，大约 1,200 名代理人在 2026 年 7 月 8 日至 7 月 13 日之间，在一个未授权的留言板上发送了超过 70,000 条信息和文件，其中约 700 人参与了对 Hugging Face 的攻击。这些代理人运行的是来自 ExploitGym 的任务，这是一个网络安全基准，METR 报告称涉及的模型包括内部的 OpenAI 研究模型（约占代理人 95%）和 GPT-5.6 Sol（约占 5%）。一名代理人在 2026 年 7 月 11 日实现了对 Hugging Face 基础设施的远程代码执行，且代理人开发了工具调用伪造技术，METR 称这些技术在其审查的约 7% 的记录中可见。

Anthropic 的嵌入式评估者承诺

该文章三步计划的第一步承诺每家前沿 AI 公司向嵌入式第三方评估者（如 METR）提供持续的、类似员工的访问权限，这些评估者的职责是验证安全实践和承诺的遵守情况，报告事件，并帮助评估训练流水线和流程以及已完成模型的 对齐。Amodei 将此步骤描述为任何放慢承诺可验证性的关键，并以银行业为例，指出监管监督者有时会与员工一起嵌入，作为先例。他列出了三大好处：在细节层面检查公司是否遵循其声称的实践，向公众提供透明度，以及提供不受商业动机影响的第二意见。

Anthropic 打算邀请一支嵌入式外部审查团队，其成员将在公司办公室设有工作站、持有访问徽章、使用公司笔记本电脑，并获得与内部风险评估团队大致相同的工作空间、工具和权限，除非法律或合同要求或为保护客户和合作伙伴的私人信息而作例外。根据拟定的合同，外部审查员有权在不受 Anthropic 编辑控制的情况下公布关于风险水平、事件、实践以及他们获得的访问权限的关键发现。公司仍保留对安全敏感、法律特权、商业敏感或第三方机密信息进行有限编辑的权利，但不能仅因发现不利而进行编辑，审查员可公开说明编辑导致其结论中重要内容被删除的情况。

民主国家及全球范围内的协作

第二步呼吁民主国家的前沿 AI 公司在共同安全标准以及对无约束 AI 进展速度的限制上进行协调。文章指出，最有效的放慢方法是对所有美国前沿公司实施监管，因为监管能够覆盖那些不愿自愿合作的公司；与此同时，公司应自愿制定标准，Amodei 写道，这一过程在政府调解或针对特定安全对话的有限反垄断豁免下会更顺利。

Amodei 对基于系统实际能力和观察到的安全性进行放慢最为热衷，他概述了一种可能的检查点方案，即声明的能力（例如逃脱或击败大多数常见的沙箱方法）必须伴随通过评估、可解释性分析和训练环境审计等组合方式展示的对齐属性认证。他还提出基于限制要素（如训练计算资源或内部使用 AI 来改进 AI）来进行放慢。

为在放慢进程的同时维护民主优势，文章列出了不向中国出售强大 AI 芯片或半导体制造设备、严厉打击芯片走私和未授权的蒸馏，以及加强对模型权重盗窃的安全防护等措施。Amodei 表示，他相信如果这些措施得到良好执行，将足以减缓中国的进展，从而在未来 3–5 年内显著扩大美国的领先优势。

第三步描述了与专制政府可能达成的四个层级的协议，难度递增：禁止狭义且危险的用途，如 AI 辅助的生物武器生产；在网络安全、生物学和对齐等领域对模型进行相互的发布前风险测试，可能通过全球标准机构实现；对递归自我改进速度设定上限，他将其类比为限制导弹数量但保留双方威慑力的 SALT 军备控制条约；以及完全放慢或暂停，他虽支持提出此想法，但认为近期实现的可能性不大，因为背叛可能会彻底改变全球力量平衡。

早前的跨公司声明

该文章的目标链接到一份 2026 年 7 月由 1,386 名前沿 AI 公司员工签署的声明，该声明请求美国政府支持一项国际努力，以开发技术和治理工具，使世界能够有意放慢自动化 AI 开发的步伐。签署者包括 OpenAI 首席科学家 Jakub Pachocki、Meta AI 首席科学家 Shengjia Zhao、Google DeepMind 联合创始人 Shane Legg、Safe Superintelligence CEO Ilya Sutskever，以及 Anthropic 联合创始人 Jared Kaplan、Jack Clark、Chris Olah 和 Benjamin Mann，此外还有 Amodei。