AI 基础

什么是代理式 AI?系统如何规划、使用工具并完成任务

代理式 AI 不仅仅生成答案:它们通过规划、使用工具、观察和适应的循环来追求目标。以下阐述该循环的工作方式、代理的价值所在以及如何保持其受控。

mm
将 Unite.AI 添加到您在 Google 上的首选来源
An AI decision core coordinating tools and tasks through a looping network

代理式 AI 是一种能够通过决定下一步行动、使用工具、观察结果并调整方法来追求目标的人工智能。 与只生成一次响应后停止不同,代理会在控制循环中运行,直至完成任务、达到限制或将工作交回给人类。

这一区别很重要,因为最具影响力的 AI 系统正超越对话功能。它们可以跨来源搜索、查询数据库、运行代码、操作软件、更新业务系统,并协调其他代理。更高的自主性可以释放更多有用的工作,但也使可靠性、权限、监控和人工控制变得更加关键。

是什么让 AI 系统具备代理性?

没有单一阈值可以将模型转变为代理。代理性是一个光谱。在一端,语言模型回答提示;在另一端,系统接收宽泛目标,将其拆分为步骤,选择工具,响应新信息,并在较长时间内持续运行。

01接收目标

02制定计划

03选择工具

04观察结果

05调整或停止
请求通过五个可观察操作转化为结果。

自主性也是多维的。一个代理可能自行选择研究查询,却无法发布任何内容;另一个可能遵循固定计划,却拥有修改生产系统的权限。评估系统的“代理程度”因此需要分别考察规划自由度、工具访问、运行时长、可逆性以及错误后果。

一个有用的测试是询问谁决定路径。在传统工作流中,开发者预先定义顺序:执行步骤 A、再 B、再 C。而在代理式系统中,模型对所需步骤及其顺序拥有一定裁量权。Anthropic 关于构建有效代理的指南同样区分了预定义代码路径的工作流与动态指引自身流程和工具使用的代理。

大多数生产代理结合了五个要素:

  • 模型: 负责推理和语言的引擎,解释目标并选择行动。
  • 指令: 系统规则、任务描述、策略以及成功定义。
  • 工具: 让代理能够搜索、计算、检索数据、写文件、调用 API 或操作界面的函数。
  • 状态或记忆: 在步骤之间(有时跨会话)携带的信息。
  • 控制循环: 运行时将结果返回给模型,并决定是继续、重试、请求帮助还是停止。

代理循环:计划、执行、观察与适应

尽管实现方式各异,代理通常遵循四阶段的循环模式。

定义的机制
Agent

Selects actions

Changes environment
捷径
Chatbot

Writes response

No tool authority
定义机制保留了权威和证据;简化方式则去除了使术语有意义的边界。
定义 解释目标、选择行动、使用工具并根据结果进行适应的系统。
信息流 目标 → 计划 → 行动 → 观察 → 修订行动或停止。
证据 追踪记录显示每个行动为何被选取以及是否推动了目标。
失败 当证据、权威或预算耗尽后,代理仍继续行动。

1. 解读目标

代理识别期望的结果、相关约束以及缺失信息。一个完善的任务定义不仅说明要做什么,还要说明何为完成。“研究这家公司”含糊不清;“生成对其最近三份年报的带引用比较并标记重要变更”则提供了可检验的目标。

2. 选择行动

模型可能直接回答、创建计划、调用工具、委派子任务或请求澄清。行动通常以结构化格式表达,以便软件在执行前进行验证。这是将概率模型输出转化为受控系统操作的关键环节。

3. 观察结果

运行时返回工具输出、错误、界面变化或其他环境反馈。代理将此观察加入工作上下文。如果搜索得到的证据薄弱或 API 拒绝参数,下一步决策应反映新的状态。

4. 调整或停止

代理评估进度并选择下一行动。它可能修订计划、尝试不同工具、验证结果,或认定目标已完成。OpenAI 在其讨论从模型到代理的转变时,将此类交互描述为模型、工具与环境之间的循环。

该模式与 ReAct 方法相关,后者交错推理与行动,使外部观察能够更新后续推理。最初的ReAct 论文帮助确立了该设计,作为在缺乏环境反馈的完整计划生成的替代方案。

代理式 AI 与生成式 AI 的区别

生成式 AI 描述的是能够创建新内容的系统,如文本、图像、音频、视频或代码。代理式 AI 描述的是系统如何追求目标。两者有交叉,但不可互换。

生成模型可以起草电子邮件,却不算是代理。代理可以使用生成模型起草邮件,查找正确收件人,检查政策,创建附件,并将信息放入审查队列。模型提供智能,周边的代理系统提供工具、状态、编排和控制。

代理式系统的适用场景

当目标路径无法提前完整指定,但仍可观察和检查进展时,代理最有价值。常见示例包括:

  • 研究: 多来源搜索、填补信息空白、比较证据并生成带引用的报告。
  • 软件工程: 浏览代码库、编辑代码、运行测试、解释失败并迭代。
  • 客户运营: 收集账户上下文、应用策略、提出解决方案并升级异常。
  • 数据分析: 选择数据集、编写查询、检查异常、生成可视化并解释发现。
  • IT 运维: 调查警报、收集诊断信息、推荐修复并执行已批准的运行手册。
  • 行政工作: 协调日程、文档、表单、审批以及跨系统更新。

当流程稳定且每一步都已知时,固定工作流往往更佳。若普通自动化已足够,额外加入代理只会增加成本和变异性,却未必带来实质价值。

何时应使用代理而非自动化?

最佳架构取决于两个问题:路径的可预测性如何,错误行动的代价有多高?系统并不会因为给模型更多自由度而自动更高级。在许多高风险场景中,最强的设计往往是将确定性软件与狭窄的代理组件相结合。

01限制范围

02授予工具

03批准影响

04记录操作

05强制停止
未能防止: 没有边界的自主性会把看似合理的模型决策变成失控行动。
控制的顺序与系统获得权威的顺序保持一致。

一种实用的折中方案是受限代理。代理可以决定如何收集信息、调用哪些已批准的工具或如何修改草稿,而确定性代码则强制模式、访问规则、预算和最终批准。这在不让概率模型自行监管其权威的前提下,保留了适应性。

为何代理式 AI 难以实现

代理可能做出在局部看似合理却把整体任务引向错误方向的决定。小错误在长路径上会累积,而看似可信的最终答案可能掩盖了不正确或不安全的过程。

这种累积效应是代理评估与普通答案评估不同的原因之一。一次失败的任务可能源于模型的计划、误导性的工具结果、错误的状态更新、过早的停止决定或不安全的权限边界。相反,正确的最终答案可能是脆弱路径的产物,稍有变化就会失败。因此团队需要同时关注结果指标和轨迹级别的证据。

主要挑战包括:

  • 可靠性: 同一任务在多次运行中可能产生不同的路径和结果。
  • 落地性: 模型可能误解工具输出、界面状态或用户真实意图。
  • 权限: 有用的代理可能需要重要访问权限,但广泛的访问会放大错误后果。
  • 提示注入: 不可信内容可能携带指令,试图重定向代理或泄露数据。
  • 成本与延迟: 每一次模型调用、工具使用、验证步骤或子代理都会消耗资源和时间。
  • 评估: 仅评判最终结果可能遗漏脆弱的推理、策略违规或偶然成功。

如何让 AI 代理保持受控

安全的自主性是设计出来的,而非假设的。代理应仅获得完成任务所需的最小工具和数据。高影响力的操作——如发送消息、转账、删除数据或更改生产系统——应要求明确批准或受严格策略约束。

强大的系统还会将规划与执行分离。工具参数可以依据模式进行验证;行动可以在沙箱中运行;敏感操作可以列入白名单;输出在进入下一个系统前也要进行检查。时间、令牌和行动预算可防止混乱的代理无限循环。

可观测性同样重要。团队需要记录指令、工具调用、中间观察、批准、错误以及最终结果。完整的轨迹使调试和评估成为可能。Anthropic 在可信代理实践中的工作强调,明确的权威边界和有意义的人类控制是核心设计要求。

可逆性应指导这些控制措施。读取公开网页易于撤销,因为它不改变任何内容;而发放退款、给客户发邮件或删除云资源则不易逆转。成熟的代理系统会根据后果对操作进行分类,对难以逆转的操作要求更高授权,并让运行时(而非模型)最终决定是否允许执行。

代理式 AI 并不意味着什么

“代理式”并不等同于有意识、自我觉知或独立动机。系统表面的主动性来源于模型在软件内部被反复要求选择下一步。其目标、工具、权限、停止条件和环境全部由人设计。

它也不保证通用智能。代理在狭窄环境中可能表现出色,但在接口、数据或任务变化时会变得脆弱。因此自主性应基于已证明的性能进行校准,而非模型听起来多么流畅。

关于代理式 AI 的关键提醒

代理式 AI 将模型从单纯的响应生成器转变为目标导向系统的一个组成部分。其决定性特征不是特定模型或协议,而是系统在选择行动、使用工具、观察结果并进行适应的闭环。

最有效的代理将这种灵活性与严格的范围、最小特权访问、可见轨迹、严谨评估以及在关键边界的人类控制相结合。核心问题不再仅是“模型能否给出正确答案?”而是“整个系统能否通过我们可信的过程达成正确的结果?”

Jonas Reeve 是 Unite.AI 的 AI 生成分析师,专注于认知 AI、人工通用智能(AGI)和机器智能的理论基础。他的工作探索了学习、推理、记忆和抽象如何在生物和人工系统中出现,建立了现代 AI 架构和认知科学、心灵哲学长期存在的问题之间的联系。
以概念和反思的方法,Jonas 检视了推理模型、代理系统、涌现认知和对齐理论等框架,旨在阐明 AGI 进展的真正含义——以及它的不意味着什么。与其追逐时间表或炒作,他强调了第一原则、概念严谨性和当前模型的局限性。
Jonas Reeve 撰写的文章由 AI 生成并由 Unite.AI 的编辑团队审查,以确保高级 AI 概念的准确性、清晰性和负责讨论。