你的代理不再只是一个聊天机器人——那么你为什么还要像对待聊天机器人那样对待它呢？

在生成式人工智能的早期，聊天机器人行为不当的最坏情况往往不过是当众出丑。 聊天机器人可能会产生幻觉发表带有偏见的言论，甚至辱骂你。这已经够糟糕了。但现在，我们把钥匙交了出去。

欢迎来到代理时代。

从聊天机器人到代理：自主权的转变

聊天机器人是被动的，它们只能在自己的领域内行动。提出问题，得到答案。但人工智能代理——尤其是那些基于工具使用、代码执行和持久内存构建的代理——可以执行多步骤任务、调用 API、运行命令，以及自主编写和部署代码。

换句话说，它们不仅仅是在响应提示，它们还在做出决策。任何安全专家都会告诉你，一旦系统开始在现实世界中采取行动，你最好认真对待安全和控制。

我们对 2023 年的警告

在 OWASP，我们两年多前就开始警告这种转变。在 OWASP LLM 申请的十大问题首次发布时，我们创造了一个术语：过度代理。

这个想法很简单：当你赋予一个模型过多的自主权——太多的工具、太多的权限、太少的监督——它就会开始表现得更像一个自由的个体，而不是一个受约束的助手。它可能会安排你的会议，可能会删除一个文件，也可能会配置过多且昂贵的云基础设施。

如果你不小心，它就会开始表现得像一个困惑的副手……或者更糟的是，一个潜伏的敌方特工，随时准备在网络安全事件中被利用。在最近的现实世界案例中，来自主流软件产品的代理包括： 微软副驾驶, Salesforce 的 Slack 产品 事实证明，两者都很容易被诱骗利用提升的权限窃取敏感数据。

现在，这个假设看起来不再像科幻小说，而更像是即将到来的第三季度路线图。

认识 MCP：代理控制层（或者它是什么？）

快进到 2025 年，我们将看到一系列旨在应对代理功能爆炸式增长的新标准和协议。其中最突出的是 Anthropic 的模型上下文协议 (MCP)——一种用于在长期 AI 代理会话中维护共享内存、任务结构和工具访问的机制。

可以将 MCP 视为一种粘合剂，将代理的上下文跨工具和时间串联起来。它可以告诉你的编码助手：“这是你目前为止所做的。这是你被允许做的。这是你应该记住的。”

这是非常必要的一步。但它也引发了新的问题。

MCP 是能力赋能器。护栏在哪里？

到目前为止，MCP 的重点是扩大代理商的能力，而不是限制他们。

虽然该协议有助于协调工具使用并在代理任务之间保留内存，但它尚未解决以下关键问题：

• 即时注射阻力：如果攻击者操纵共享内存会发生什么？
• 命令作用域：代理是否会被诱骗超出其权限？
• 代币滥用： 泄露的内存 Blob 是否会暴露 API 凭证或用户数据？

这些并非理论上的问题。最近一项关于安全隐患的研究表明，MCP 类型的架构容易受到快速注入、命令滥用甚至内存中毒的攻击，尤其是在共享内存未充分限定范围或加密的情况下。

这就是典型的“权力不受监管”的问题。我们造出了外骨骼，却还没找到关闭开关在哪里。

为什么 CISO 应该立即关注

我们说的不是未来的技术，而是你们的开发人员已经在使用的工具，而这些只是我们将在企业中看到的大规模推广的开始。

像 Claude Code 和 Cursor 这样的编码代理在企业工作流程中越来越受欢迎。GitHub 的内部研究表明，Copilot 可以将任务速度提高 55%。最近，Anthropic 报告称，79% 的 Claude Code 使用量集中在 自动任务执行，而不仅仅是代码建议。

这才是真正的生产力，也是真正的自动化。这些飞行员不再是副驾驶了。他们越来越倾向于单独飞行。驾驶舱呢？空空如也。

微软首席执行官萨蒂亚·纳德拉最近表示，人工智能目前已编写了微软高达30%的代码。Anthropic首席执行官达里奥·阿莫迪甚至更进一步，预测人工智能将在六个月内生成90%的新代码。

这不仅仅是软件开发。模型上下文协议 (MCP) 现已被集成到编码以外的工具中，涵盖电子邮件分类、会议准备、销售计划、文档汇总以及其他面向普通用户的高杠杆生产力任务。虽然其中许多用例仍处于早期阶段，但它们正在迅速成熟。这改变了风险。这不再仅仅是首席技术官或工程副总裁的讨论话题。它需要业务部门负责人、首席信息官、首席信息安全官和首席人工智能官的共同关注。随着这些代理开始处理敏感数据并执行跨职能工作流程，组织必须确保治理、风险管理和战略规划从一开始就成为讨论的重点。

接下来需要做什么

是时候停止将这些代理视为聊天机器人，而应该将其视为具有真正安全需求的自主系统了。这意味着：

• 代理权限边界：就像您不会以 root 身份运行每个进程一样，代理需要对工具和命令进行范围访问。
• 共享内存治理：上下文持久性必须经过审核、版本控制和加密 - 特别是在跨会话或团队共享时。
• 攻击模拟和红队：提示注入、内存中毒和命令滥用必须被视为顶级安全威胁。
• 员工培训：安全有效地使用人工智能代理是一项新技能，需要人员培训。这将帮助他们提高工作效率，并有助于保障您的知识产权安全。

当您的组织深入部署智能代理时，最好先学会走，再学会跑。积累使用范围、数据和权限有限的代理的经验。在构建组织护栏和经验的过程中不断学习，然后逐步应用到更复杂、更自主、更雄心勃勃的用例中。

你不能袖手旁观

无论您是首席人工智能官还是首席信息官，您最初的顾虑可能有所不同，但您的前进之路是相同的。编码代理和自主人工智能系统带来的生产力提升令人瞩目，不容忽视。如果您仍在采取“观望”的态度，那么您已经落后了。

这些工具已不再只是实验性的——它们正迅速成为主流。像微软这样的公司正在通过人工智能生成大量代码，并因此提升其竞争地位。像 Claude Code 这样的工具正在帮助全球众多公司缩短开发时间，并实现复杂工作流程的自动化。学会如何安全驾驭这些智能体的公司将能够更快地交付产品，更快地适应变化，并超越竞争对手。

但若没有安全，速度就是陷阱。在没有适当控制的情况下将自主代理集成到您的业务中，必然会导致中断、数据泄露和监管反弹。

现在是采取行动的时候了——但要明智行事：

• 启动代理试点项目，但需要代码审查、工具权限和沙盒。
• 将自主权限制在必要的范围内—并非每个代理都需要根访问权限或长期记忆。
• 审计共享内存和工具调用，尤其是在长期会话或协作环境中。
• 模拟攻击 使用快速注入和命令滥用来在攻击者之前发现现实世界的风险。
• 培训您的开发人员和产品团队 安全使用模式，包括范围控制、回退行为和升级路径。

如果您有意识地构建，安全性和速度并不相互排斥。

那些将人工智能代理视为核心基础设施，而非玩具或玩具变威胁的企业，将会蓬勃发展。其余的企业则只能收拾残局，或者更糟的是，只能袖手旁观。

代理时代已然到来。别只是被动应对。做好准备。整合。保障安全。