史蒂夫·威尔逊（Steve Wilson）是Exabeam的首席AI官，在那里他领导了为全球企业开发先进的AI驱动的网络安全解决方案。作为一位经验丰富的技术高管，威尔逊在其职业生涯中曾为全球2000强企业设计大规模云平台和安全系统。他在AI和安全社区中因能够将深厚的技术专长与实际的企业应用相结合而受到广泛尊重。威尔逊也是《大型语言模型安全开发人员手册》（O'Reilly Media）一书的作者，该书是一本关于在现代软件栈中保护GenAI系统的实用指南。
高管们开始对自己的 AI 路线图产生了怀疑。2023 年初，生成式工具的激增之后，人们自然会问是否动力已经减慢。但是，这个问题误读了记分板。AI 进展并没有停滞，它已经转变了。曾经在表面上感觉到指数级变化，如流畅的写作、精致的摘要，现在正在更深层次、更有影响力的领域发生：推理、代码、工作流编排和多模态理解。这些进步不那么引人注目，但远更有影响。如果你仍然通过 AI 编写更好的段落来衡量它，你就错过了实际的转变。真正的收益发生在工作完成的地方进步正在加速的地方最重要。在新的、严格的基准如 GPQA 上，它评估研究生级别的科学推理，模型性能几乎每年提高 49%。在 MMMU 上，它测试跨领域和多模态任务，分数提高了近 19 分。SWE-bench，一个需要修复真实 GitHub 代码库并通过自动化测试的基准，从 4.4% 跃升到一年内超过 71%。这些并不是边际改进。它们表明大型语言模型正在掌握需要精度、推理和复杂系统集成的任务。SWE-bench，特别是，它超越了玩具问题，证明了模型是否可以参与实际软件开发，这曾经似乎是一个遥远的门槛。同时，企业正在改变他们的期望。模型不再需要“一般智能”，它们必须是具体有用。向领域适应模型、工具连接系统和多代理框架的转变反映了对操作性、可审计性和集成到现实世界工作流程的性能的日益增长的需求。叙述与现实不符为什么会感觉事情正在减慢？有两个原因。首先，最初吸引注意力的基准，文本摘要、电子邮件生成和简单聊天任务，已经达到自然天花板。一旦模型在这些任务上一致地达到 90% 的准确率，增益似乎很小。这是一个天花板效应，而不是进步的停滞。今天的改进涉及长上下文记忆、工具集成、推理时间和领域特定准确性。这些能力不会产生病毒式的演示，但它们极大地增强了模型在实际工作流程中可以做的事情。虽然传统的语言基准正在停滞，但 与现实世界推理、工具使用和企业可靠性相关的操作基准正在比以往任何时候都快地改进。这种差距解释了脱节：随意观察者看到停滞，因为表面没有改变，但从业者看到变革正在发生就在下面。从演示到部署AI 不再局限于华丽的演示或狭窄的原型。它正在跨越到主流部署，特别是在企业环境中，可靠性、准确性和结果交付至关重要。转向结构化、特定任务的系统已经开始。到 2026 年，40% 的企业应用将包含嵌入式...
在早期的生成式人工智能中，一个行为不端的聊天机器人的最坏情况通常只是公共尴尬。一个聊天机器人可能会产生幻觉，吐出有偏见的文本，甚至叫你的名字。那已经够糟糕的了。但现在，我们已经把钥匙交给了他们。欢迎来到代理时代。从聊天机器人到代理：自主性转变聊天机器人是反应性的。它们呆在自己的车道里。问一个问题，得到一个答案。但是人工智能代理，特别是那些使用工具、执行代码和持久内存的代理，可以执行多步骤任务，调用API，运行命令，并自主编写和部署代码。换句话说，它们不仅仅是在响应提示——它们正在做出决定。而任何安全专业人员都会告诉你，一旦系统开始在世界上采取行动，你最好认真对待安全和控制。我们在2023年警告过的事情在OWASP，我们已经开始警告这种转变超过两年了。在OWASP Top 10 for LLM Applications的第一版中，我们创造了一个术语：过度代理。这个想法很简单：当你给一个模型太多自主权——太多工具、太多权限、太少的监督——它开始像一个自由代理，而不是一个有界限的助手。也许它安排你的会议。也许它删除一个文件。也许它配置过多、昂贵的云基础设施。如果你不小心，它会开始表现得像一个困惑的副手……或者更糟糕，像一个等待在网络安全事件中被利用的敌方间谍。最近的真实世界例子中，来自主要软件产品的代理，例如Microsoft Copilot和Salesforce的Slack产品，都被证明容易被欺骗，利用他们的升级权限来泄露敏感数据。现在，那个假设看起来不再像科幻小说，而更像你的即将到来的Q3路线图。认识MCP：代理控制层（或者是？）快进到2025年，我们看到了一波新的标准和协议，旨在处理代理功能的爆发。其中最突出的就是Anthropic的模型上下文协议（MCP）——一种用于维护共享内存、任务结构和工具访问的机制，适用于长期的AI代理会话。把MCP想象成一种粘合剂，将代理的上下文在工具和时间中保持在一起。它是一种告诉你的编码助手的方式：“这是你到目前为止所做的。这是你被允许做的。这是你应该记住的。”这是一个必要的步骤。但它也引发了新的问题。MCP是一个能力使能器。哪里有防护措施？到目前为止，MCP的重点是扩展代理可以做什么——而不是限制它们。虽然该协议有助于协调工具使用和跨代理任务保留内存，但它尚未解决以下关键问题： 提示注入抵抗：如果攻击者操纵共享内存会发生什么？ 命令范围：代理是否可以被欺骗以超过其权限？ 令牌滥用：泄露的内存块是否可能暴露API凭证或用户数据？ 这些问题并非理论性的。最近对安全影响的检查发现，MCP风格的架构容易受到提示注入、命令误用，甚至内存中毒，特别是在共享内存没有得到充分范围化或加密时。这是一个典型的“权力没有监督”的问题。我们已经建造了外骨骼，但我们还没有弄清楚哪里是关闭开关。为什么CISO应该现在关注我们现在不再谈论未来技术。我们指的是开发人员已经在使用的工具，这只是即将在企业中展开的大规模部署的开始。像Claude Code和Cursor这样的编码代理正在企业工作流中获得真正的关注。GitHub的内部研究表明，Copilot可以将任务加速55%。最近，Anthropic报告称，79%的Claude Code使用集中在自动任务执行上，而不仅仅是代码建议。这是真正的生产力。但这也是真正的自动化。这些不再只是副驾驶。它们越来越多地独自飞行。而驾驶舱？它是空的。微软CEO萨蒂亚·纳德拉最近表示，人工智能现在编写了多达30%的微软代码。Anthropic的CEO，Dario Amodei，更进一步预测，人工智能将在六个月内生成90%的新代码。这不仅仅是软件开发。模型上下文协议（MCP）现在正在被集成到超越编码的工具中，包括电子邮件分类、会议准备、销售规划、文档摘要和一般用户的其他高效率生产力任务。虽然这些用例仍处于早期阶段，但它们正在迅速成熟。这改变了赌注。这不再只是你们的CTO或工程副总裁的讨论。它需要来自业务单位领导者、CIO、CISO和首席人工智能官的关注。随着这些代理开始与敏感数据接口并执行跨功能工作流，组织必须确保治理、风险管理和战略规划从一开始就成为对话的一部分。接下来需要发生什么是时候停止把这些代理视为聊天机器人，并开始把它们视为具有真正安全需求的自主系统了。这意味着： 代理权限边界：就像你不会以root身份运行每个进程一样，代理需要对工具和命令进行范围化访问。 共享内存治理：上下文持久性必须经过审计、版本化和加密——特别是在会话或团队之间共享时。 攻击模拟和红队演练：提示注入、内存中毒和命令误用必须被视为顶级安全威胁。 员工培训：人工智能代理的安全有效使用是一种新技能，人们需要培训。这将帮助他们更高效地工作，并帮助保持您的知识产权更加安全。 当您的组织开始使用智能代理时，通常最好先从代理具有有限范围、有限数据和有限权限开始。随着您建立组织防护措施和经验，您可以逐步扩展到更复杂、更自主和更雄心勃勃的用例。您不能坐视不管无论您是首席人工智能官还是首席信息官，您可能有不同的初始担忧，但您的前进道路是相同的。来自编码代理和自主人工智能系统的生产力收益太令人信服，无法忽视。如果您仍然采取“等待和观察”的态度，您已经落后了。这些工具不再只是实验性的——它们正在迅速成为桌面必备。像Microsoft这样的公司正在通过人工智能生成大量代码，并因此而提高了他们的竞争地位。像Claude Code这样的工具正在全球各地的公司中大幅减少开发时间并自动化复杂的工作流程。能够安全地利用这些代理的公司将能够更快地交付、更快地适应，并超越他们的竞争对手。但是，没有安全的速度就是陷阱。在没有适当控制的情况下将自主代理集成到您的业务中，是灾难、数据泄露和监管反弹的配方。这是行动的时刻——但要明智地行动： 启动代理试点计划，但需要代码审查、工具权限和沙盒化。 限制自主权，只赋予必要的权限——并非每个代理都需要root访问或长期内存。 审计共享内存和工具调用，特别是在长期会话或协作上下文中。 模拟攻击，使用提示注入和命令滥用来揭示真实世界的风险，在攻击者之前。 培训您的开发人员和产品团队，关于安全使用模式，包括范围控制、后备行为和升级路径。 安全和速度并不相互排斥——如果您有意图地构建。将人工智能代理视为核心基础设施，而不是玩具或威胁的公司，将会是那些蓬勃发展的公司。其他公司将被留下清理混乱——或者更糟糕，眼睁睁地看着从旁观者的角度。代理时代已经到来。不要只是反应。准备。集成。安全。
