IBM Research 报告：学习式记忆在 τ²-Bench 客服基准测试中拔得头筹

在2026年10月20日发布于 Hugging Face 的一篇帖子中，IBM Research 报告称，将智能体在自身训练运行中自动学到的指南附加到系统提示词后，标准版 GPT-4.1 客服智能体在 τ²-bench 零售领域的 Pass^4 得分提升至 67.5%，超过了团队在2026年10月12日排行榜快照中列出的所有零售领域参测项。

这一结果来自 ALTK-Evolve，这是该实验室用于构建作者所称“学习式操作手册”的方法。该方法会分析智能体在训练任务中的尝试，并使用同一个模型将成功经验和失败教训提炼成简短的行为规则，涵盖身份验证、确认交易或处理退货等情形。帖子称，同一个模型既负责提取指南，也驱动智能体本身；这一流程无需更新权重，也无需人工标注。团队此前已展示过该方法在编码智能体上的应用；这项新研究则将其用于客服。帖子列出了11位 IBM Research 作者，其中包括 Ashwath Vaithinathan Aravindan、Vatche Isahagian 和 Vinod Muthusamy。

研究如何开展

τ²-bench 由 Sierra Research 维护，是一个用于评估不同领域客服智能体的模拟框架。根据τ²-bench 代码仓库的说明，每个领域都会规定智能体必须遵守的策略、一组工具和一组评估任务；该基准测试的核心论文则将其描述为一个双重控制环境。IBM 的研究采用了零售和航空领域。每项任务都会让智能体与由大语言模型（LLM）模拟的客户互动，并提供领域工具和书面策略文件；只有最终数据库状态与预期结果相符，任务才算解决。帖子将这种评判方式描述为严格的二元奖励。

评估采用了 τ²-bench 自带的基础版 ReAct 智能体实现，其工作流程分为 THINK→ACT 两个阶段；智能体模型使用 gpt-4.1，客户模拟模型使用 gpt-5.5，每项任务进行四次试验。唯一的改动是在系统提示词中、领域策略之后，附加一份普通的 Markdown 格式学习指南列表。已公布的示例包括：在进行任何与订单相关的操作前验证用户身份；在执行会更新数据库的操作前征得用户明确批准；提供逐项列明的退款明细；每个步骤只采取一个操作；以及在查询用户前解析合并的姓名句柄。

这些指南是使用 gpt-4.1 从智能体在 τ²-bench 训练任务中的执行轨迹中提取的，并原样应用于留出的测试集。每条指南都带有一个支持次数，即提取出该指南的不同训练任务数量。研究比较了三种配置：不含指南的基线配置；sup3，仅保留支持次数至少为3的指南（零售领域31条，航空领域14条）；以及 lossless，保留所有筛选后留下的指南（零售领域292条，航空领域101条）。

零售与航空领域的留出测试结果

研究根据每项任务的四次试验跟踪两项指标：平均准确率，即平均成功率，作者将其视为能力维度；以及 Pass^4，即四次试验全部解决的任务所占百分比，作者将其视为可靠性维度，并指出这是 τ²-bench 排行榜采用的指标。

在40项留出的零售测试任务中，IBM 报告称，基线智能体的平均准确率为78.1%，Pass^4 为57.5%。sup3 核心配置的两项得分分别为78.8%和60.0%；lossless 配置则分别为82.5%和67.5%，据称较基线分别提高4.4和10.0个百分点。

在20项留出的航空测试任务中，基线的准确率为57.5%，Pass^4 为35.0%。sup3 核心配置的准确率达到60.0%，Pass^4 达到45.0%；lossless 配置的准确率达到65.0%，Pass^4 达到40.0%。两个领域对指南数量的最佳设置得出了不同结果：零售领域在使用完整的 lossless 集合时提升最大，而在航空领域，精简的 sup3 核心配置取得了最高的 Pass^4。IBM 表示，支持次数是一个值得针对各领域进行调优的参数，而不应设为固定值。

成本、前沿模型复测与排行榜排名

在完整基础数据划分中，每次对话的 LLM 总成本随提示词长度增加而上升：零售领域从基线配置的 $0.084 升至 lossless 配置的 $0.139，据称增加了65%；航空领域则从 $0.081 升至 $0.107，据称增加了32%。sup3 变体的成本分别为 $0.095 和 $0.097。在基线设置和指南设置下均成功解决的匹配运行中，使用指南后对话轮数略有减少：零售领域在 lossless 配置下从10.59轮降至10.16轮，航空领域从9.15轮降至8.82轮；没有任何变体使对话变长。IBM 表示，轮数减少意味着客户端到端延迟更低；由于每次调用中的指南内容都相同，新增的输入成本在生产环境中很大程度上可以通过提示词缓存收回。

团队还在航空领域进行了复测，将 gpt-5.5 同时用作智能体和指南提取模型，并根据该智能体自身的运行记录重新挖掘指南。没有任何提取出的指南达到至少3次的支持次数，因此高支持度核心配置采用了 sup2，包含103条指南；同时还测试了包含146条指南的 lossless 集合。在相同的留出航空任务中，gpt-5.5 基线的准确率为72.5%，Pass^4 为55.0%；sup2 的两项得分分别达到80.0%和70.0%；lossless 则分别达到82.5%和70.0%，据称准确率提高了10.0个百分点，Pass^4 提高了15.0个百分点。IBM 报告称，lossless 的结果在重复运行中完全一致。

排行榜提交结果按完整的基础划分进行评分，合并计算训练任务和测试任务，并以 Pass^4 报告，因此这些数字与上文的留出数据不同。根据截至 2026 年 10 月 12 日的快照，IBM 报告称，其零售代理以 67.5% 位居第一，领先于 RAFT-30B-A3B（61.4%）；IBM 指出，该模型是在合成的 τ²-bench 零售数据上微调的，两者相差 6.1 个百分点。在航空领域，IBM 报告称，gpt-5.5 代理以 82.0% 位居第一，高于其列出的得分为 66–72% 的前沿模型；而 gpt-4.1 sup3 变体以 44% 排名第八，领先于未启用推理的 GPT-5.2，且成绩几乎与 Claude Sonnet 4.5 持平。IBM 表示，这种方法无需更新权重、人工标注或泄露测试集，就能提升现有代理的表现。

零售排行榜提交于 2026 年 9 月 14 日作为 τ²-bench 拉取请求提交，报告称，在基础划分的 114 项任务中，每项进行四次试验，Pass^1 为 81.14%，Pass^4 为 67.54%；在 tau2-bench v1.0.1 上，每次对话的平均成本为 0.1084 美元。提交还指出，这些指南是根据零售训练集划分学习得出的，而基础评估划分包含该训练集划分。航空排行榜提交随后于 2026 年 9 月 21 日提交，报告称，在 50 项任务中，Pass^1 为 88.50%，Pass^4 为 82.00%，每次对话的平均成本为 0.1690 美元。两项提交均披露使用了修改后的提示词，表示预计会被标记为“未验证”，且目前仍处于开放状态。