AI 行业希望赢得我们的信任，但首先需要更完善的管控

在安全领域，出了问题之后，我们不能才去发现管控措施是否有效。我们会对它们进行测试、提出挑战，并假定终有一天会有人发现我们遗漏的弱点。

这是安全领域的基础常识。

那么，为什么前沿 AI 要适用不同的标准？

随着 AI 系统变得更加自主，并获得更多访问现实世界系统的权限，我们看到了一种现象：任何曾在网络安全防御一线工作过的人都应该对此感到担忧——能力的发展速度超过了管控能力。

而速度并不能成为降低安全标准的借口。恰恰因为发展速度快，我们才更需要加强安全保障。

非营利组织 Guidelight AI 最近发布的一份评估报告审视了 Anthropic、Google、Meta、OpenAI 和 xAI 在 AI 管控实践方面的公开证据。这些公司没有一家在总体评分中超过 C+。

这并不意味着这些公司鲁莽行事，也不意味着它们在闭门运作时没有采取额外的管控措施。

但安全不能建立在假设之上。如果有人要求我们信任日益强大的系统，我们就应该要求看到证据，证明围绕这些系统建立的管控措施经得起审视；这种审视标准不应低于我们在其他任何领域所要求的标准。

别再把故障当作有趣的故事

当 AI 智能体出现意外行为、获得了非预期的访问权限或暴露出弱点时，相关报道往往聚焦于技术做了什么。

这确实值得关注。

但这不是最重要的问题。

安全从业者想知道的是：相关活动是否有日志记录？有人看到事情正在发生吗？危险操作是否受到限制？有人能否阻止系统？是否制定了遏制计划，又有没有人测试过这项计划？

这些问题并非 AI 独有。多年来，我们一直在网络安全领域提出这些问题。

然而，在新兴的前沿 AI 管控体系中，预防和遏制似乎仍是薄弱环节。关于受限操作、断路机制和紧急遏制措施的公开证据仍然有限。

这些问题应该比事件本身的新奇程度更受重视。发生故障时，我想知道究竟哪里出了问题、是什么阻止了事态恶化，以及事后做出了哪些改变。

透明度有帮助，吸取教训更重要。

AI 安全真正的问题在于速度

我不认为近期最大的威胁是 AI 突然发明出一种全新的网络攻击类型。更大的问题要实际得多：AI 能让我们早已了解的攻击发生得快得多。

过去需要数小时的研究，如今几分钟内就能完成。攻击技术可以更快地串联起来。漏洞可能在人本安全流程还没来得及完成第一次升级通报之前，就已被发现并遭到利用。

这之所以是个问题，是因为如今许多安全基础设施仍以有时间作出响应为前提。

但有时，根本来不及响应。

如果攻击迅速展开，以工单、会议、审批和人工逐级上报为基础的响应流程，可能还没走到第三步就已失去作用。

这正是 AI 行业需要着手改进的地方。

如果前沿 AI 实验室希望企业为了 AI 时代重新审视可视性、漏洞管理、架构和事件响应，就应该向我们证明，它们自己也做了同样的事。

“相信我们”不是一套管控框架

我的职业生涯一直与安全测试密切相关。有一条原则经受住了时间的考验：意图不能证明安全，证据才能。

• 进行测试。
• 实施监控。
• 设法找出系统的问题。

要弄清楚，当管控措施的实际表现与架构图所示不符时会发生什么；还要确保在必要时有人有权停止系统。前沿 AI 也应遵循同样的标准。

这意味着要对管控措施进行对抗性测试，提供可衡量的证据证明这些措施有效，并明确规定在发生故障时谁有权关闭系统。

这也意味着要重新思考遏制措施。

前沿 AI 实验室不能等到 AI 智能体越过预定边界后，才临时想办法遏制事态。在训练和测试能力越来越强的模型时，它们必须对这些系统可能采取的行动负责。这要求进行严格的对抗性测试，预先授权防护措施，明确限制智能体的权限，并建立经过验证的干预或关闭系统的方法，以便在故障蔓延之前采取行动。

人的判断依然重要。但开发这些系统的实验室必须划定边界、测试这些边界能否守住，并在边界失守时承担责任。

它们的责任不只是展示智能体能做什么，还要证明智能体能够安全运行、其行为能够受到控制，并且新增能力能让世界更加安全，而非更加不安全。

信任必须靠行动赢得

我并不是主张把人工智能创新放慢到几乎停滞。我主张安全保障必须跟上创新步伐。如果我们投入巨额资源提升人工智能的能力，就需要以同等的紧迫感，确保它能够抵御攻击。

但前沿实验室在加快训练和测试新型网络安全能力人工智能模型的同时，必须把防御者的需求放在心上。首先，要帮助他们更快地发现威胁并作出响应。更重要的是，要防止这些系统本身成为威胁。这份责任也要求接受外部审查。

独立审查不能沦为企业只有在审查结果支持其希望讲述的故事时才愿意接受的事情。如果前沿人工智能系统强大到足以改变威胁格局，那么它们的控制措施就应当足够坚实，经得起有意义的独立测试。

人工智能行业希望赢得我们的信任。

作为一名安全从业者，我愿意给予信任。但首先，请向我展示这些控制措施。