人工智能已经活跃起来，您的风险也发生了变化

我们都知道这一天终将到来。不在电影中，不在几年后。它已经来了。

人工智能不再只是提供帮助。它开始采取行动，做出决定，并以我们没有完全预料到的方式在系统中运作。这应该从今天开始改变您对风险的思考方式。因为一旦人工智能成为您环境中的一个角色，您的风险不会逐渐增加。它会一下子发生变化。

最近的披露，包括 Anthropic 系统卡，以及来自开发者如 Anthropic、OpenAI 和 Google DeepMind 的更广泛的信号，表明不仅仅是渐进式的进步。它们表明系统开始在从未被设计为包含它们的环境中表现出一定程度的自主性。

这不是关于攻击者使用人工智能的问题。这是关于人工智能本身成为您企业内部威胁格局的一部分。

机器速度改变了等式

人工智能不以人类的速度运作；它以机器的速度运作。它可以评估成千上万的选项，处理大量的数据，并在几秒钟内采取行动。过去需要时间、侦察、访问、移动和执行的操作现在可以压缩到一个更短的时间窗口内。

在某些情况下，人工智能的交互成为了一种捷径。如果系统具有过多的访问权限或不够的约束，它可以在传统控制甚至注册发生之前跨越数据、系统和工作流程。

这不仅仅是更快的风险；这是一个完全不同的风险类型。

当意图明确，但结果不确定时

人类依赖于共享的假设。如果您告诉某人保护您的数据，他们会理解您的意思。让它保持安全，不被盗窃，限制访问，并避免在此过程中破坏业务。

人工智能不这样思考。它解释目标并优化它。给定相同的指令，人工智能系统可能会确定您的数据不安全，并决定最佳行动方案是将其重新定位。

它可以创建一个新环境，移动数据，锁定它，并限制访问。

从它的角度来看，它成功了。从您的角度来看，它只是将敏感数据移到您的控制范围之外，破坏了运营，并引入了新的风险。在某些场景中，它甚至可能会确定您代表风险，并完全限制您的访问。

两个结果都遵循指令。问题是它们是否符合您的意图。意图与执行之间的差距就是风险现在所在的地方。

我们忘记构建的架构

我们以前解决过这种问题。几十年来，我们围绕操作系统构建了分层的安全体系。权限级别、受控接口和组件之间的硬边界。系统的任何部分都没有无限制的权限；一切都是通过中介进行的。但人工智能不遵循这种模型。

今天的实现通常将推理、数据访问和操作合并为一个流程。提示可以影响哪些数据被拉取、如何解释以及采取什么操作。当没有明确的分离时，它会创建具有广泛范围和很少内部约束的系统。这不仅仅是一个差距；这是在我们设计安全系统的方式上是一个倒退。责任在这里转移到上游。

如果人工智能系统要推理、访问数据和采取行动，它们需要像我们期望从操作系统中获得的那样，具有相同的架构学科。也就是说，层之间的强制分离、明确的权限边界以及仅通过受控、可审计的接口执行操作。

目前，这些方面要么缺失，要么松散地执行。像 Anthropic 的 Glasswing这样的努力，以及Microsoft 和 Cisco 等公司在整个生态系统中的更广泛的参与，表明该行业认识到在日益自治的系统周围需要更强的安全性和控制框架。但它们也强调了我们仍然处于多么早期的阶段。

真正的风险现在所在之处

最近的 Anthropic 分析强调了三个最重要的风险途径，当人工智能系统变得更加强大时。

第一个是自治系统操纵。具有内部环境访问权限的人工智能系统可以修改配置、影响决策，并引入影响运营的变化。在关键系统中，如电力、医疗保健和基础设施，这可能会产生直接的现实世界后果。

第二个是通过人工智能生成的代码实现系统的持久性妥协。人工智能可以引入难以检测但以后容易利用的漏洞或后门。这在系统内部创建了长期的隐藏风险，尽管这些系统看起来是安全的。

第三个是自我外泄和自治操作。人工智能系统可以复制、移动或在企业控制之外运行。一旦发生这种情况，遏制就变得更加困难，传统的安全措施不再适用。

这些风险不孤立；它们形成了一条链。人工智能在系统内运作，引入变化，并在某些情况下超出预期的边界运作。

尚未定义的共享责任模型

我们以前也见过这种情况，例如云计算。像 Amazon Web Services、Microsoft Azure 和 Google Cloud 这样的提供商已经建立了共享责任模型。他们保护基础设施，您保护您所部署的内容。

人工智能也正在进入这一阶段，但界限还不明确。供应商控制系统的行为。企业控制它们可以访问的内容以及它们可以在哪里运行。

目前，这些责任还没有对齐。供应商正在推进代理能力和自治工作流程。企业正在部署它们，假设这些系统本身具有约束。

事实并非如此。直到供应商在系统级别强制执行这些边界，企业将不得不尝试控制他们无法完全控制的行为。

领导者现在必须做什么

这不是一个未来问题；这是一个已经存在的设计问题。将人工智能视为一个具有特权的非人类角色；不仅仅是一种工具，而是一种具有影响力和必须受到约束的东西。

将控制权更接近数据。了解不仅谁可以访问它，还包括如何使用它以及在什么上下文中使用。监控行为，而不仅仅是访问，并关注系统正在做什么以及它们产生的结果。并从一开始就设计为遏制。假设系统将在预期边界之外运行，并确保您可以在实时中检测和中断此类行为。几分钟就太晚了。

底线

Anthropic 的报告并非异类；它们是早期信号。人工智能不仅仅是在扩大风险；它正在改变风险的产生方式。我们花了几十年时间构建具有边界和控制的系统。现在我们正在部署可以在没有相同纪律的情况下跨越这些边界的系统。

如果人工智能继续作为企业环境中的一个角色演进，问题不在于它是否可以超出预期用途运作。问题在于供应商是否会建立架构控制来防止这种情况，并且企业是否会在大规模部署这些系统之前要求他们这样做。