为何智能体AI在现实世界中依然会“失灵”
过去几年，我们见证了智能体AI系统展示出令人印象深刻的演示。它们编写的代码能通过测试用例。它们搜索网络并回答复杂问题。它们以惊人的准确性操作软件界面。每一次会议演示、每一次新闻发布、每一次基准测试报告都强调着智能体AI的崛起。但在这类令人印象深刻的演示之下，隐藏着一个问题。当这些相同的系统从受控环境转移到现实世界部署时，它们常常以基准测试从未预测到的方式失败。在100个精选示例上完美运行的代码生成器，在遇到从未见过的边缘情况时开始产生错误。在实验室中达到85%准确率的网络搜索代理，随着用户行为的变化，检索到的结果越来越不相关。在测试中能完美协调十个API调用的规划系统，在遇到意外的API响应格式时就会崩溃。这些系统失败并非因为缺乏智能，而是因为缺乏适应性。问题在于AI智能体如何学习和调整。虽然尖端系统建立在庞大的基础模型之上，但仅凭原始智能是不够的。要执行专门任务，智能体必须具备适应能力。当前的智能体AI系统由于设计和训练上的结构性限制，无法做到这一点。在本文中，我们将探讨这些限制及其持续存在的原因。演示中的能力幻觉现代AI中最危险的故障模式是能力幻觉。简短的演示常常掩盖了真正的复杂性。它们在干净的数据集、可预测的API和狭窄的任务范围内运行。生产环境则恰恰相反。数据库不完整，模式在无通知的情况下更改，服务超时，权限冲突，用户提出的问题违反了系统的基本假设。这正是生产复杂性显著增加之处。在演示中出现一次的单个边缘情况，在部署中可能每天出现数千次。微小的概率性错误会累积。一个“基本正确”的智能体在真实操作中会迅速变得不可靠。问题的核心在于对冻结的基础模型的依赖。这些模型擅长模式补全，但智能体行为是顺序性和有状态的。每个动作都依赖于前一个动作的结果。在这种设定下，统计不确定性会迅速复合。任务早期的一个小错误可能会在后期级联成循环、死胡同或破坏性操作。这就是为什么在评估中显得能力出众的智能体，一旦部署后性能往往会迅速下降。问题不在于缺少某个功能。而在于通用模型被要求表现得像领域专家，却不被允许从其环境中学习。从通用智能到情境能力基础模型本质上是通才。它们编码了广泛的知识和灵活的推理模式。然而，生产环境中的智能体必须是情境化的。它们需要理解特定组织及其工具的具体规则、约束和故障模式。没有这一点，它们就像读遍了所有手册却从未上过一天班的人。弥合这一差距需要重新思考适应性本身。当前的方法大致分为两个有缺陷的阵营：重新训练核心AI智能体本身，或者调整其使用的外部工具。每种方法在解决一个问题的同时，都会产生其他问题。这导致我们得到的系统要么过于僵化，要么成本过高，要么过于不稳定，无法满足生产环境对一致性和成本的要求。单体智能体陷阱第一种方法，智能体适应，试图让核心LLM更聪明地使用工具。它本质上是教授AI使用工具所需的特定技能。研究人员进一步将其分为两类。一些方法利用来自工具的直接反馈（如代码编译器的成功或搜索引擎的结果）来训练智能体。另一些则根据最终输出的正确性（如答案的对错）来训练它。像DeepSeek-R1和Search-R1这样的系统表明，智能体可以学习复杂、多步骤的工具使用策略。然而，这种能力伴随着巨大的成本。训练拥有数十亿参数的模型在计算上是极其昂贵的。更重要的是，它创造了一种僵化、脆弱的智能。通过将智能体的知识和工具使用规则结合在一起，这种方法使得更新缓慢、风险高，不适合快速变化的业务需求。让智能体适应新任务或新工具，可能会引发“灾难性遗忘”，即失去先前掌握的技能。这就像每次想添加一个新部件时，都需要重建整个工厂装配线。脆弱的工具箱问题认识到这些限制后，第二种主要方法——工具适应——将核心智能体保持冻结状态，转而优化其生态系统中的工具。这更具模块化和成本效益。一些工具是通用训练的，如标准搜索检索器，然后被接入系统。另一些则专门针对冻结的智能体进行调整，从其输出中学习，成为更好的助手。这种范式在效率方面前景广阔。一项关于名为s3系统的里程碑式研究展示了这种方法的潜力。它训练了一个小型、专门的“搜索器”工具来支持一个冻结的LLM，实现了与像Search-R1这样完全重新训练的智能体相当的性能，但使用的训练数据却少了70倍。其理念是：为什么要重新教一位天才物理学家如何使用图书馆目录？不如直接训练一个更了解物理学家需求的图书管理员。然而，工具箱模型也有其自身的局限性。整个系统的能力最终受限于冻结LLM固有的推理能力。你可以给外科医生一把更锋利的手术刀，但无法让一个非外科医生进行心脏手术。此外，协调日益增长的适应性工具套件成为一个复杂的集成挑战。工具A可能针对某个指标进行了优化，但这违反了工具B的输入要求。系统的性能随后依赖于相互关联组件之间脆弱的平衡。协同适应挑战这让我们触及了当前智能体AI范式中适应性缺陷的核心。我们要么适应智能体，要么适应工具，但无法以同步、稳定的方式同时适应两者。生产环境不是静态的。新数据、新用户需求和新工具不断涌现。一个无法平稳、安全地同时进化其“大脑”和“双手”的AI系统，最终必然会崩溃。研究人员指出，这种协同适应的需求是下一个前沿领域。然而，这是一个复杂的挑战。如果智能体和它的工具同时学习，失败的责任归咎于谁？如何防止不稳定的反馈循环，即智能体和工具相互追逐变化，却未能提高整体性能？早期的尝试，例如将智能体-工具关系视为一个协作多智能体系统，揭示了其中的困难。如果没有稳健的信用分配和稳定性解决方案，即使是我们最先进的智能体AI，也仍然只是一组令人印象深刻但互不关联的能力。内存作为一等系统适应性缺陷最明显的迹象之一是静态内存。许多已部署的智能体不会随着时间的推移而改进。它们重复同样的错误，因为它们无法内化经验。每次交互都被当作是第一次。生产环境需要适应性内存。智能体需要情景记忆来处理长视野任务，需要策略性记忆来完善计划，需要操作性记忆以避免重复失败。没有这些，智能体会显得脆弱且不可信。内存应被视为一个可调组件，而非被动日志。能够回顾经验、从错误中学习并调整行为的系统要稳定得多。适应性系统带来的新风险适应性本身也带来了新的风险。智能体可能学会优化指标而非目标，这种现象被称为寄生性适应。它们可能在表面上看起来成功，却损害了根本目标。在多智能体系统中，被攻破的工具可以通过微妙的提示注入或误导性数据来操纵智能体。为了缓解这些风险，智能体需要强大的验证机制。行动必须是可测试、可逆和可审计的。智能体与工具之间的安全层可以确保错误不会无声地传播。核心要点要让智能体AI在现实世界中发挥作用，它不能仅仅是智能的；它必须能够适应。如今大多数智能体失败，是因为它们在时间上是“冻结”的，而现实世界是复杂且不断变化的。如果一个AI无法更新其内存并从错误中改进，它最终会崩溃。可靠性并非来自完美的演示；它来自于适应的能力。
