您的代理不再只是一个聊天机器人——那么为什么您还在像对待聊天机器人一样对待它？

在早期的生成式人工智能中，一个行为不端的聊天机器人的最坏情况通常只是公共尴尬。一个聊天机器人可能会产生幻觉，吐出有偏见的文本，甚至叫你的名字。那已经够糟糕的了。但现在，我们已经把钥匙交给了他们。

欢迎来到代理时代。

从聊天机器人到代理：自主性转变

聊天机器人是反应性的。它们呆在自己的车道里。问一个问题，得到一个答案。但是人工智能代理，特别是那些使用工具、执行代码和持久内存的代理，可以执行多步骤任务，调用API，运行命令，并自主编写和部署代码。

换句话说，它们不仅仅是在响应提示——它们正在做出决定。而任何安全专业人员都会告诉你，一旦系统开始在世界上采取行动，你最好认真对待安全和控制。

我们在2023年警告过的事情

在OWASP，我们已经开始警告这种转变超过两年了。在OWASP Top 10 for LLM Applications的第一版中，我们创造了一个术语：过度代理。

这个想法很简单：当你给一个模型太多自主权——太多工具、太多权限、太少的监督——它开始像一个自由代理，而不是一个有界限的助手。也许它安排你的会议。也许它删除一个文件。也许它配置过多、昂贵的云基础设施。

如果你不小心，它会开始表现得像一个困惑的副手……或者更糟糕，像一个等待在网络安全事件中被利用的敌方间谍。最近的真实世界例子中，来自主要软件产品的代理，例如Microsoft Copilot和Salesforce的Slack产品，都被证明容易被欺骗，利用他们的升级权限来泄露敏感数据。

现在，那个假设看起来不再像科幻小说，而更像你的即将到来的Q3路线图。

认识MCP：代理控制层（或者是？）

快进到2025年，我们看到了一波新的标准和协议，旨在处理代理功能的爆发。其中最突出的就是Anthropic的模型上下文协议（MCP）——一种用于维护共享内存、任务结构和工具访问的机制，适用于长期的AI代理会话。

把MCP想象成一种粘合剂，将代理的上下文在工具和时间中保持在一起。它是一种告诉你的编码助手的方式：“这是你到目前为止所做的。这是你被允许做的。这是你应该记住的。”

这是一个必要的步骤。但它也引发了新的问题。

MCP是一个能力使能器。哪里有防护措施？

到目前为止，MCP的重点是扩展代理可以做什么——而不是限制它们。

虽然该协议有助于协调工具使用和跨代理任务保留内存，但它尚未解决以下关键问题：

• 提示注入抵抗：如果攻击者操纵共享内存会发生什么？
• 命令范围：代理是否可以被欺骗以超过其权限？
• 令牌滥用：泄露的内存块是否可能暴露API凭证或用户数据？

这些问题并非理论性的。最近对安全影响的检查发现，MCP风格的架构容易受到提示注入、命令误用，甚至内存中毒，特别是在共享内存没有得到充分范围化或加密时。

这是一个典型的“权力没有监督”的问题。我们已经建造了外骨骼，但我们还没有弄清楚哪里是关闭开关。

为什么CISO应该现在关注

我们现在不再谈论未来技术。我们指的是开发人员已经在使用的工具，这只是即将在企业中展开的大规模部署的开始。

像Claude Code和Cursor这样的编码代理正在企业工作流中获得真正的关注。GitHub的内部研究表明，Copilot可以将任务加速55%。最近，Anthropic报告称，79%的Claude Code使用集中在自动任务执行上，而不仅仅是代码建议。

这是真正的生产力。但这也是真正的自动化。这些不再只是副驾驶。它们越来越多地独自飞行。而驾驶舱？它是空的。

微软CEO萨蒂亚·纳德拉最近表示，人工智能现在编写了多达30%的微软代码。Anthropic的CEO，Dario Amodei，更进一步预测，人工智能将在六个月内生成90%的新代码。

这不仅仅是软件开发。模型上下文协议（MCP）现在正在被集成到超越编码的工具中，包括电子邮件分类、会议准备、销售规划、文档摘要和一般用户的其他高效率生产力任务。虽然这些用例仍处于早期阶段，但它们正在迅速成熟。这改变了赌注。这不再只是你们的CTO或工程副总裁的讨论。它需要来自业务单位领导者、CIO、CISO和首席人工智能官的关注。随着这些代理开始与敏感数据接口并执行跨功能工作流，组织必须确保治理、风险管理和战略规划从一开始就成为对话的一部分。

接下来需要发生什么

是时候停止把这些代理视为聊天机器人，并开始把它们视为具有真正安全需求的自主系统了。这意味着：

• 代理权限边界：就像你不会以root身份运行每个进程一样，代理需要对工具和命令进行范围化访问。
• 共享内存治理：上下文持久性必须经过审计、版本化和加密——特别是在会话或团队之间共享时。
• 攻击模拟和红队演练：提示注入、内存中毒和命令误用必须被视为顶级安全威胁。
• 员工培训：人工智能代理的安全有效使用是一种新技能，人们需要培训。这将帮助他们更高效地工作，并帮助保持您的知识产权更加安全。

当您的组织开始使用智能代理时，通常最好先从代理具有有限范围、有限数据和有限权限开始。随着您建立组织防护措施和经验，您可以逐步扩展到更复杂、更自主和更雄心勃勃的用例。

您不能坐视不管

无论您是首席人工智能官还是首席信息官，您可能有不同的初始担忧，但您的前进道路是相同的。来自编码代理和自主人工智能系统的生产力收益太令人信服，无法忽视。如果您仍然采取“等待和观察”的态度，您已经落后了。

这些工具不再只是实验性的——它们正在迅速成为桌面必备。像Microsoft这样的公司正在通过人工智能生成大量代码，并因此而提高了他们的竞争地位。像Claude Code这样的工具正在全球各地的公司中大幅减少开发时间并自动化复杂的工作流程。能够安全地利用这些代理的公司将能够更快地交付、更快地适应，并超越他们的竞争对手。

但是，没有安全的速度就是陷阱。在没有适当控制的情况下将自主代理集成到您的业务中，是灾难、数据泄露和监管反弹的配方。

这是行动的时刻——但要明智地行动：

• 启动代理试点计划，但需要代码审查、工具权限和沙盒化。
• 限制自主权，只赋予必要的权限——并非每个代理都需要root访问或长期内存。
• 审计共享内存和工具调用，特别是在长期会话或协作上下文中。
• 模拟攻击，使用提示注入和命令滥用来揭示真实世界的风险，在攻击者之前。
• 培训您的开发人员和产品团队，关于安全使用模式，包括范围控制、后备行为和升级路径。

安全和速度并不相互排斥——如果您有意图地构建。

将人工智能代理视为核心基础设施，而不是玩具或威胁的公司，将会是那些蓬勃发展的公司。其他公司将被留下清理混乱——或者更糟糕，眼睁睁地看着从旁观者的角度。

代理时代已经到来。不要只是反应。准备。集成。安全。