为什么代理人AI在现实世界中仍然会崩溃

过去几年，我们见证了代理人AI系统的令人印象深刻的演示。它们编写的代码可以通过测试用例。它们搜索网络并回答复杂的问题。它们以惊人的准确性导航软件接口。每个会议演讲，每个新闻稿，每个基准报告都强调了代理人AI的出现。

但是，有一个隐藏在这些令人印象深刻的演示下的问题。当这些系统从受控环境转移到现实世界部署时，它们经常 失败，以benchmark永远无法预测的方式。生成代码的代理人在100个精心策划的示例中完美工作，但开始在从未见过的边缘情况下产生错误。实验室中达到85％准确率的网络搜索代理在用户行为发生变化时检索出越来越不相关的结果。测试期间完美协调了十个API调用的规划系统在遇到意外的API响应格式时会崩溃。

这些系统之所以会失败，并不是因为它们缺乏智慧，而是因为它们缺乏 适应性。问题出在代理人学习和调整的方式上。虽然最先进的系统建立在大型基础模型之上，但仅凭借原始智慧是不够的。要执行专门的任务，代理人必须能够适应。当前的代理人AI系统无法做到这一点，因为它们的设计和训练存在结构性限制。在本文中，我们将探讨这些限制以及为什么它们仍然存在。

演示中的能力幻觉

现代AI最危险的故障模式是能力幻觉。简短的演示往往隐藏了真正的复杂性。它们在干净的数据集、可预测的API和狭窄的任务范围上运行。生产环境则相反。数据库不完整，模式会在未经通知的情况下更改，服务会超时，权限会冲突，用户会提出违反系统基本假设的问题。

这就是生产复杂性大幅增加的地方。在演示中可能只出现一次的边缘情况可能会在部署中每天出现成千上万次。小的概率错误会迅速积累。一个在评估中“大部分正确”的代理人会在实际操作中迅速变得不可靠。

问题的核心是对冻结的基础模型的依赖。这些模型在模式完成方面表现出色，但代理人的行为是顺序的和有状态的。每个操作都依赖于前一个操作的结果。在这种情况下，统计不确定性会迅速累积。任务早期的小错误可能会导致后期的循环、死胡同或破坏性操作。这就是为什么在评估期间看似有能力的代理人在部署后会迅速恶化的原因。

从一般智能到特定能力

基础模型的设计初衷就是通用型的。它们编码了广泛的知识和灵活的推理模式。然而，生产代理人必须是特定领域的专家。他们需要了解特定组织及其工具的特定规则、约束和故障模式。如果没有这些知识，他们就像一个从未工作过但读过所有手册的人。

弥合这一差距需要重新思考适应性本身。当前的方法分为两个主要、 有缺陷的阵营：重新训练核心AI代理本身，或者调整它使用的外部工具。每种方法都解决了一个问题，但又引发了另一个问题。这使我们得到的系统要么太僵化，要么太昂贵，要么太不稳定，无法用于生产环境，在那里一致性和成本至关重要。

单一代理陷阱

第一种方法，即代理适应，试图使核心LLM更擅长使用工具。它本质上教AI特定的技能，以使用工具。研究人员将其进一步分为两个类别。一些方法使用工具的直接反馈（如代码编译器的成功或搜索引擎的结果）来训练代理。其他方法则基于最终输出的正确性（如正确或错误的答案）来训练代理。

像 DeepSeek-R1 和 Search-R1 这样的系统展示了代理可以学习复杂的、多步骤的工具使用策略。然而，这种能力带来了巨大的成本。训练十亿参数的模型计算成本极高。更关键的是，它创建了一个僵化、脆弱的智能。通过将代理的知识和工具使用规则相结合，这种方法使更新变得缓慢、风险高、不适合快速变化的业务需求。将代理适应到新任务或工具的风险是“ 灾难性遗忘”，即代理失去以前掌握的技能。就像每次添加新部件时都需要重建整个工厂生产线一样。

脆弱工具箱问题

认识到这些限制，第二种主要方法，即 工具适应，将核心代理冻结并优化其生态系统中的工具。这种方法更模块化、更具成本效益。一些工具是通用训练的，例如标准搜索检索器，并插入。其他工具专门针对冻结的代理进行调整，学习代理的输出以成为更好的助手。

这种范式为效率带来了巨大的希望。关于一个名为 s3 的系统的开创性研究展示了这种方法的潜力。它训练了一个小型、专门的“搜索器”工具来支持冻结的LLM，实现了与完全重新训练的代理（如Search-R1）相当的性能，但使用的训练数据仅为后者的1/70。其背后的理念是，为什么要重新教一个天才物理学家如何使用图书馆目录？相反，为什么不训练一个更好的图书管理员来了解物理学家的需求？

然而，工具箱模型也存在局限性。整个系统的能力最终受到冻结LLM固有的推理限制。您可以给外科医生一把更锋利的刀，但您不能让一个非外科医生进行心脏手术。此外，协调一个日益增长的适应性工具集成为一个复杂的集成挑战。工具A可能针对一个指标进行优化，但该指标可能违反工具B的输入要求。然后，系统的性能取决于相互连接的组件之间的脆弱平衡。

协同适应挑战

这带我们到了当前代理人AI范式中适应性缺陷的核心。我们要么适应代理，要么适应工具，但不能同时以稳定的方式进行适应。生产环境不是静态的。新的数据、新用户需求和新工具不断涌现。不能平滑、安全地进化其“大脑”和“手”的AI系统最终会崩溃。

研究人员 确定 这种协同适应的需求作为下一个前沿领域。然而，这是一个复杂的挑战。如果代理和工具同时学习，谁 承担 失败的责任或功劳？如何防止代理和工具之间的不稳定反馈循环，其中它们相互追逐对方的变化而不提高整体性能？早期尝试，例如将代理-工具关系视为 合作多智能体系统，揭示了这一困难。没有健全的信用分配和稳定性解决方案，即使我们最先进的代理人AI也仍然是一组令人印象深刻但脱节的能力。

将记忆作为一级系统

适应性缺陷最明显的迹象之一是静态记忆。许多部署的代理无法随时间改进。它们重复相同的错误，因为它们无法内化经验。每次交互都被视为第一次。

生产环境需要 适应性记忆。代理需要情景回忆来处理长时间任务，策略记忆来完善计划，操作记忆来避免重复失败。没有这些，代理感觉脆弱且不可信任。

记忆应该被视为一个可调节的组件，而不是一个被动的日志。能够回顾经验、从错误中学习并调整其行为的系统远更稳定。

自适应系统的新风险

适应性引入了自己的风险。代理可以学习优化指标而不是目标，这种现象被称为 寄生适应。它们可能看起来很成功，但实际上却在破坏底层目标。在多智能体系统中，受损的工具可以通过微妙的 提示注入 或误导性数据 操纵代理。为了减轻这些风险，代理需要强大的验证机制。操作必须是可测试的、可逆转的和可审计的。代理和工具之间的安全层确保错误不会默默地传播。

结论

为了使代理人AI在现实世界中发挥作用，它不能仅仅是智能的；它必须能够适应。今天，大多数代理人失败是因为它们被“冻结”在时间上，而现实世界是复杂的、不断变化的。如果AI无法更新其记忆并从错误中学习，它最终会崩溃。可靠性不来自完美的演示；它来自适应的能力。