思想领袖8 months ago
您的智能体已不仅是聊天机器人——为何仍将其视作聊天机器人对待？
在生成式人工智能的早期，行为失当的聊天机器人最糟糕的情况往往不过是公开的尴尬。一个聊天机器人可能会捏造事实、输出带有偏见的文本，甚至对您出言不逊。这已经够糟了。但现在，我们已经把钥匙交了出去。 欢迎来到智能体时代。 从聊天机器人到智能体：自主性的转变 聊天机器人是被动的。它们固守在自己的轨道上。提出问题，得到答案。但人工智能智能体——尤其是那些具备工具使用、代码执行和持久记忆功能的智能体——可以执行多步骤任务、调用API、运行命令，并自主编写和部署代码。 换句话说，它们不仅仅是在响应提示——它们正在做出决策。正如任何安全专家都会告诉你的那样，一旦一个系统开始在现实世界中采取行动，你最好认真对待安全和控制问题。 我们在2023年的警告 在OWASP，我们在两年多前就开始警告这种转变。在OWASP LLM应用十大风险的首个版本中，我们创造了一个术语：过度代理。 其理念很简单：当你给一个模型过多的自主权——过多的工具、过高的权限、过少的监督——它就开始表现得像一个自由代理人，而非一个受约束的助手。也许它会安排你的会议。也许它会删除一个文件。也许它会配置过多、昂贵的云基础设施。 如果你不小心，它就会开始表现得像一个困惑的代理人……或者更糟，像一个等待在网络安全事件中被利用的敌方潜伏特工。在最近的现实世界案例中，来自主要软件产品的智能体，如Microsoft Copilot、Salesforce的Slack产品，都被证明容易受到欺骗，利用其提升的权限来窃取敏感数据。 而现在，这种假设看起来不再像科幻小说，而更像是你即将到来的第三季度路线图。 认识MCP：智能体控制层（或许不是？） 快进到2025年，我们看到了一波旨在应对智能体功能爆炸式增长的新标准和协议。其中最突出的是Anthropic的模型上下文协议（MCP）——一种在长期运行的AI智能体会话中维护共享内存、任务结构和工具访问的机制。 可以将MCP视为将智能体上下文跨工具和时间粘合在一起的胶水。它是一种告诉你的编码助手的方式：“这是你到目前为止所做的。这是你被允许做的。这是你应该记住的。” 这是非常必要的一步。但它也引发了新的问题。 MCP是能力赋能者。护栏在哪里？ 到目前为止，MCP的重点一直放在扩展智能体能做什么上——而不是约束它们。 虽然该协议有助于协调工具使用并在智能体任务间保持记忆，但它尚未解决关键问题，例如： 提示注入抵抗：如果攻击者操纵了共享内存会发生什么？ 命令范围界定：智能体会被欺骗而超出其权限吗？ 令牌滥用：泄露的内存块是否会暴露API凭据或用户数据？ 这些并非理论问题。最近一项关于安全影响的审查揭示，MCP风格的架构容易受到提示注入、命令滥用甚至内存污染的攻击，尤其是在共享内存没有得到适当范围界定或加密的情况下。 这是典型的“有权力无监督”问题。我们建造了外骨骼，但还没弄清楚关闭开关在哪里。 为何CISO现在就应该关注 我们谈论的不是未来科技。我们指的是你的开发人员已经在使用的工具，而这只是我们将在企业中看到的大规模推广的开始。...
