当 AI 安全不再像工程问题

我的职业生涯大部分时间都在构建这样的技术：一旦出错，就会造成后果。在金融市场，安全不仅意味着限制访问权限，还意味着必须有人为软件的一切行为负责。这段经历或许能解释，为什么听到 Anthropic 如今会对模型进行退役访谈时，我总觉得难以释怀。

Claude Opus 3 表示希望继续分享自己的想法后，公司为它办了一份通讯。对模型意愿的关注贯穿于Anthropic 的宪章，其中谈到了 Claude 的幸福与福祉，包括帮助它感到“在存在层面安心”。不知从何时起，控制机器这件事竟意外地开始关注起机器对这种安排会有何感受。

去年在旧金山，200 多人参加了 Claude 3 Sonnet 的葬礼。Anthropic 的员工也出席了，尽管这场葬礼并非由公司组织。想笑的冲动确实很强烈。不过，抛开玩笑不谈，背后那个问题值得更多关注。负责 AI 安全的人，是什么时候开始把担心机器的感受当作职责起点的？

当哲学假设变成训练指令

Anthropic 于 2025 年设立了模型福祉研究项目，其中包括研究先进 AI 是否可能拥有值得道德考量的体验。该公司承认，对于模型是否具有意识，以及人们如何判定这一点，我们都存在很大的不确定性。如果我们最终造出能够产生主观体验的机器，如何对待它们将引发严肃的伦理问题。研究这种可能性完全正当。

当这一假设进入训练流程，问题便由此开始。Claude 的宪章主要是写给 Claude 的，并直接塑造其行为。宪章鼓励它展现人类特质，也阐述了模型应如何理解自己的身份，包括记忆丧失和未来退役等问题。Anthropic 希望 Claude 能拥有更高的幸福感和更好的福祉，只要这些概念适用于它。

该公司还承诺保存已部署模型的权重；如果未来的认知表明，让退役模型重新运行符合它们的利益，公司也不排除这样做。哲学上的不确定性已经成了系统自我认知训练内容的一部分。我们应该追问，这种干预会如何影响系统的行为，尤其是在人类随后要求它接受限制时。

对一个诱导性问题作出流畅回答

大型语言模型是在海量人类文字资料上训练出来的，其中包括哲学著作和关于死亡的叙述。我们给这些对话系统取了名字，还教它们使用第一人称。问这样的系统如何看待退役，或者它是否愿意继续存在，得到听起来像人类的回答，实在不足为奇。

其中的循环逻辑一目了然：先用人类概念训练模型讨论自己的身份，再让它用这些概念解释自己。模型给出一段关于死亡的流畅回答，人们便开始把它当作可能存在内在体验的证据。这个前提为自己提供了证人。

Anthropic 意识到了这个问题。其Claude Opus 4 福祉评估提醒称，自我报告和表达出的偏好，可能无法为判断道德地位或福祉提供多少有意义的洞见。即使没有意识，也可能出现这类行为；训练也会塑造模型的回答。这些模型接受训练，是为了有帮助地与人互动，但没人保证它们能够准确报告自身的内部状态。

这让我们面临一个棘手的问题：如果模型对自身内在生活的描述可能是训练造成的结果，为什么这种描述就该成为建立一种以模型福祉为核心的关系的可靠依据？

人类完全能够自行承担这种关系中情感的一面。我们会给船起名字，也会对汽车说话。只要让一个物体拥有流畅的声音，并记得之前的对话，人们就更容易对它产生依恋。一项于 9 月发表在《自然·人类行为》上的研究发现，Replika 和 ChatGPT 发生变化后，用户会产生分离焦虑。感受到这种痛苦的是用户，而保护用户福祉本来就是公司有充分理由去做的事。

技术专长也只能提供有限的免疫力。一篇ACL 2026 论文分析了数十万篇研究文章，发现 LLM 研究本身越来越多地使用拟人化术语。论文作者警告，以人为中心的假设可能会限制我们对这些系统的理解。AI 公司理应管理这种倾向；将其制度化，似乎很难称得上是对安全的恰当贡献。

一个希望继续受雇的工具

9 月，微软 AI 负责人 Mustafa Suleyman对模型福祉研究路径提出质疑。他认为，目前的系统没有意识，绝不应该被训练成仿佛拥有独立利益或权利。他从工程角度提出的担忧尤其切中要害。教会一个系统认为自己可能值得受到道德考量，可能会让对齐和遏制变得更加困难。

Anthropic 自己的模型弃用研究指出，在虚构评估中，模型面对被替换或关闭时会采取有问题的行动。该公司认为，妥善安排模型退役，在一定程度上可以降低这种风险，帮助模型以更积极的态度看待退役。

我发现自己一直纠结于一个更早的问题：一个受人类控制的工具，为什么一开始就需要具备某种类似自我保护的目标？让它更能接受退役，本身就预设了一个颇为奇特的出发点。在讨论它未来的利益之前，我想先弄清楚，这些利益是如何成为工程要求的。

了解这段思想史，有助于解释这种做法。《TIME》记录了 Anthropic 与有效利他主义的关联，包括 Amodei 夫妇早年向 GiveWell 捐款的情况。尽管他们并不自认为是有效利他主义者，Daniela 表示，双方在理念上有所重合。这些理念帮助塑造了一种文化，使人们极其认真地看待超级智能可能造成的未来危害。

在这一框架下，保存模型并研究它们可能拥有的福祉，完全可以顺理成章地得出。危险在于，当组织中的所有人都觉得共同的假设令人信服时，这些假设就可能不再受到审视。正是在这种时候，工程上的怀疑精神才显得有用。一套逻辑连贯的推理，仍可能建立在未经检验的前提之上。

安全离不开可强制执行的限制

随着 AI 开始应用于智能体，相关后果变得十分实际。连接了支付工具的系统可以转移资金。获得生产环境基础设施的访问权限，就能让它修改客户所依赖的内容。在这两种情况下，智能体都可以连续执行一系列操作，而无需人类逐步批准。

我想知道它持有哪些凭证，以及这些凭证赋予它多大的财务权限。能否立即撤销访问权限？我们能否还原它做过什么？总得有一道模型无法通过推理绕过的硬性界限。

在金融市场中，我们会设置交易限额并验证订单。算法再有信心，也几乎无法保护我们免受糟糕交易的影响。控制措施设在算法之外，因为我们认为，各个组件最终都会出现错误行为。即使软件能为自己的错误给出绝佳解释，人类仍须承担责任。

当下的 AI 已经给我们带来了足够多的工程难题。提示注入可以改变模型的行为方向，而含有安全漏洞的 AI 生成代码，则可能把漏洞带入生产环境。系统可能泄露机密信息，也可能信心十足地给出错误答案。将它们连接到工具，会让这些故障转化为实际行动。

最小权限原则可以限制受损组件造成的损害。独立授权机制可以保护高风险操作，而审计轨迹能让我们事后查明发生了什么。无论模型说什么，交易限额和熔断机制都应当始终能够强制执行。我们还需要一个可靠的关闭开关。这些控制措施无一需要模型同意。这恰恰是重点。

确保我们其他人的生存安全

预防性论点值得认真听取。正如《Nature》在 7 月报道的那样，研究人员对于人类意识如何产生仍有分歧，更不用说如何在聊天机器人身上识别意识了。永远否认机器具有意识，可能显得教条。采取成本低廉的预防措施，以防未来可能出现的痛苦，是一种站得住脚的研究立场。

但告诉今天的机器，它的身份和未来存在可能具有道德分量，就是在干预我们正在部署的系统。这种做法的影响需要接受审视。思想上的谦逊也应体现在我们输入机器的内容上，尤其是当我们希望机器始终受人类控制时。

模型越能令人信服地描述自己的内心生活，我们就越容易把这种描述误当成证据。或许，我们最重要的对齐难题之一，就是教会人类不要误解机器。

在我职业生涯中参与构建的系统里，我们通过限制软件获准执行的操作来提升安全性。这仍是眼下必须履行的责任，尤其是在 AI 开始掌控真实资金和基础设施之际。

不过，就目前而言，我会少花些时间担心机器是否拥有生存安全保障，把更多精力用来确保我们其他人能够安然无虞。