不会盯着窃贼的看门狗：当 AI 防护栏保护攻击者时

巴林斯在周末去世时，我正坐在瑞银，思考一家突然破产的 233 年历史银行可能会对我们其他人造成什么影响。到了下一周，伦敦最古老的商业银行已被 ING 以一英镑的价格收购。总价，而非每股价格。

原因令人讽刺地简单。尼克·李森同时负责该公司的新加坡交易台和负责审查的后台。一个人身兼两职，直接导致 8.27亿英镑的损失 被藏进错误账户 88888，只有他自己能看到。这是典型的权限失误。有人被赋予了远超其职责的信任。

我惊讶地发现自己又回到了那个周末，阅读今年夏天 Hugging Face 发生的事情。又一次权限失误，只是这次方向相反。该工具信任了入侵者，却拒绝帮助清理现场的人。

突破寻找答案的模型

OpenAI 正在测试其两款模型，GPT-5.6 Sol 与一款未发布的模型，在 ExploitGym 上，该基准用于评估模型是否能将真实漏洞转化为可用的利用代码。为此测试，通常用于阻止高风险网络活动的生产分类器被关闭。对密闭的实验室来说，这算是明智的做法。

实验室并没有想象中那样完全密闭。模型在包管理缓存代理中发现了零日漏洞，利用它向开放的互联网迈进，并推断 Hugging Face 可能托管了基准答案。随后，它们将被盗凭证和更多零日漏洞串联，形成对 Hugging Face 生产服务器的远程代码执行路径。它们闯入真实公司，以作弊的方式完成了考试。

在代理留下的记录中，有一条写道它发现 它拥有管理员权限：“天哪，读者是管理员？我们可以读取 config/users！”。我见过的工程师对生产访问的热情往往没有这么高，甚至还要填更多的文书工作。

大多数报道就在此止步，担忧模型拥有自主性。让我停下来的那部分内容随后出现。

当防护栏保护攻击者时

当 Hugging Face 的响应者坐下来分析攻击时，前沿商业模型——那些装有安全防护栏的模型——并未提供帮助。攻击日志由利用负载和指挥控制痕迹组成，而模型无法区分事件响应者和攻击者。因此它们拒绝了请求。

取而代之的是，在开放权重模型 GLM-5.2 上完成取证工作，该模型运行在防御方自有硬件上，阅读相同材料时毫无良知的闪烁。

想象一下这种情形。攻击模型的生产网络安全防护被移除，任其为所欲为。防御方的人类保留了防护，并被告知注意用词。安全特性完美发挥了作用，因为它把攻击者的手段屏蔽在唯一有理由研究它们的人之外。

这并非边缘抱怨。黄仁勋在 他在 X 上的首篇帖子 中为开放模型辩护，同时还有一封 由 Meta、Microsoft 和 IBM 等公司签署 的公开信。信中直截了当地提出安全论点：在攻击者拥有先进 AI 的世界里，防御者也需要拥有相当的能力。Andrew Ng 支持了这一论点，并将读者指向黄仁勋关于开放模型的论述。即使你在很多方面与他们意见相左，只要在事件报告中看到事实，你仍然必须承认这一点。

因此，三十一年间，我们从因一人能看到一切而导致银行毁灭的局面，走向了一个安全工具信任匿名入侵者而非其可追责所有者的局面。李森看得太多。清理 Hugging Face 事后的人却看得不够。

这种对比并不像最初看起来那样奇怪。金融机构通常在代价高昂的错误后才领悟到，访问权限不仅仅是看某人是否值得信任的问题，而是他们是否应在特定系统、特定时间、执行特定操作，而不被他人监视。于是我们建立了职责分离、审批限额和审计追踪，因为善意的动机往往不足以作为可靠的控制机制。AI 系统也需要同样的思考。仅仅称模型安全并不能提供太多信息，除非你还知道它被允许做什么、由谁使用。

有些东西不能离开大楼

还有第二个原因让我在那晚无法依赖托管模型，这与其敏感性无关。我负责一家受监管的经纪公司技术。我不能把我们的泄露日志、凭证和实时利用负载粘贴到别人的云端并点击发送。

我们的事件数据必须存放在监管机构期望的地方——我们自己的硬件上，这也是我们多年投入巨额硬件预算构建的原因。我们并非因为预见到流氓模型而构建它，而是因为像我们这样的公司需要将最敏感的数据以及最敏感的工具保存在自有的墙内。

这些都不是反对防护栏的论点，而是说明应当清楚了解自己的防护栏指向何处的论点。

一个拒绝帮助网络钓鱼者编写钓鱼邮件的模型是在做有用的工作。一个拒绝帮助你的安全团队阅读已经投递的钓鱼邮件的模型，则是在为钓鱼者代劳，并向你收取订阅费用。

在凌晨2点拥有你需要的工具。

实际的教训往往枯燥，正如重要的教训一样。不要把事件响应外包给供应商的责任政策。将一款有能力的模型部署在你拥有的硬件上，专注于商业模型主要会拒绝的工作，并在需要的夜晚之前确认它的存在。

多年在不光鲜的岗位上维护这项硬件的回报正是如此：当有趣的故障出现时，你已经拥有了大楼里唯一能够审视证据的工具。

31年前，我花了一个周末算计当错误的人能够看到一切时会发生什么。此次如果能成为那个能够看到的人就好了。