IBM Research、学習済みメモリがτ²-Benchのカスタマーサービスベンチマークで首位と報告

2026年10月20日のHugging Faceへの投稿で、IBM Researchは、エージェント自身の訓練実行から自動的に学習したガイドラインをシステムプロンプトに追加したところ、標準のGPT-4.1カスタマーサービスエージェントがτ²-benchの小売ドメインでPass^4 67.5%を記録し、チームが2026年10月12日に取得したリーダーボードのスナップショットに掲載された小売部門の全エントリーを上回ったと報告した。

この結果は、著者らが学習済みプレイブックと呼ぶものを作成するための研究所の手法、ALTK-Evolveによるものだ。この手法では、エージェントが訓練タスクで行った試行を分析し、同じモデルを使って成功と失敗を短い行動ルールにまとめる。ルールには、顧客の本人確認、取引の確認、返品対応といった状況が含まれる。投稿によると、ガイドラインの抽出とエージェント自体の両方に同じモデルを用い、このプロセスでは重みの更新も人手によるアノテーションも必要ない。チームは以前、コーディングエージェントでこのアプローチを実証しており、今回の新たな研究ではカスタマーサービスに適用した。投稿には、Ashwath Vaithinathan Aravindan、Vatche Isahagian、Vinod Muthusamyを含む11人のIBM Researchの著者が記載されている。

研究の実施方法

Sierra Researchが管理するτ²-benchは、さまざまな領域のカスタマーサービスエージェントを評価するシミュレーション・フレームワークだ。τ²-benchのリポジトリによると、各領域では、エージェントが従うべきポリシー、使用できるツール一式、評価タスク一式が定められており、ベンチマークの基幹論文では二重制御環境として説明されている。IBMの研究では、小売と航空の領域を使用した。各タスクでは、エージェントがLLMでシミュレーションされた顧客、領域ごとのツール、文書化されたポリシーと組み合わされる。最終的なデータベースの状態が期待される結果と一致した場合にのみタスクを解決したとみなされ、投稿ではこれを厳格な二値報酬と説明している。

評価では、τ²-bench独自の基本的なReActエージェントの実装を使用し、2段階のTHINK→ACTループで動作させた。エージェントモデルにはgpt-4.1、顧客シミュレーションモデルにはgpt-5.5を使い、各タスクを4回試行した。変更点は、学習したガイドラインを通常のMarkdownリストにまとめ、領域のポリシーの後にシステムプロンプトへ追加したことだけだ。公開された例には、注文に関する操作の前にユーザー認証を行うこと、データベースを更新する操作の前にユーザーの明示的な承認を得ること、返金額の内訳を提示すること、各ステップで操作を1つだけ行うこと、ユーザー検索の前に複合形式の名前ハンドルを解析することが含まれる。

ガイドラインは、gpt-4.1を使い、τ²-benchの訓練タスクでエージェントがたどった行動経路から抽出され、保留されたテストセットにも変更せずに適用された。各ガイドラインにはサポート数が付与されており、これはそのガイドラインの抽出元となった訓練タスクの数を示す。研究では3つの構成を比較した。ガイドラインを使わないベースライン、サポート数が少なくとも3のガイドラインだけを残すsup3（小売で31件、航空で14件）、そして保持されたすべてのガイドラインを使うlossless（小売で292件、航空で101件）だ。

小売と航空における保留テスト結果

研究では、各タスクを4回試行した結果から2つの指標を追跡している。平均精度（Mean Accuracy）は成功率の平均で、著者らは能力を示す軸と位置づけている。Pass^4は4回すべての試行で解決できたタスクの割合で、信頼性を示す軸とされ、τ²-benchのリーダーボードが報告する指標としている。

保留された小売テストタスク40件では、IBMの報告によると、ベースラインエージェントの平均精度は78.1%、Pass^4は57.5%だった。sup3コアはそれぞれ78.8%と60.0%、lossless構成は82.5%と67.5%を記録し、ベースラインからの向上幅は4.4ポイントと10.0ポイントだった。

保留された航空テストタスク20件では、ベースラインの精度は57.5%、Pass^4は35.0%だった。sup3コアは精度60.0%、Pass^4 45.0%に達し、losslessは精度65.0%、Pass^4 40.0%を記録した。最適なガイドラインの量は2つの領域で異なった。小売ではlosslessの全件セットで最も改善した一方、航空ではコンパクトなsup3コアがPass^4で最高の結果を出した。IBMは、サポート数は固定値として設定するのではなく、領域ごとに調整する価値のあるパラメーターだとしている。

コスト、最先端モデルでの再実行、リーダーボード上の位置づけ

全ベーススプリットにおける会話あたりのLLM総コストは、プロンプトのサイズに応じて増加した。小売ではベースラインの$0.084からlosslessの$0.139へ上昇し、増加率は65%だった。航空では$0.081から$0.107へ上昇し、増加率は32%だった。sup3構成のコストはそれぞれ$0.095と$0.097だった。ベースラインとガイドライン適用時の両方で解決したタスクに限って比較すると、ガイドラインを使った会話はわずかに短くなった。小売ではlosslessの場合、アシスタントのターン数が10.59から10.16に減り、航空では9.15から8.82に減少した。いずれの構成でもターン数は増えなかった。IBMによると、ターン数が少なければ顧客のエンドツーエンドの応答遅延も短くなる。また、追加の入力コストは、ガイドラインのブロックがすべての呼び出しで同一であるため、プロンプトキャッシュによって本番環境では大部分を回収できるという。

チームはさらに、エージェントモデルとガイドライン抽出モデルの両方にgpt-5.5を使って航空領域を再評価し、そのエージェント自身の実行からガイドラインを再抽出した。サポート数が少なくとも3に達したガイドラインはなかったため、サポート数の高いコアは103件のガイドラインからなるsup2となり、これに146件のガイドラインを含むlosslessセットを加えて比較した。同じ保留航空タスクでは、gpt-5.5のベースラインが精度72.5%、Pass^4 55.0%を記録した。sup2はそれぞれ80.0%と70.0%、losslessは82.5%と70.0%だった。ベースラインからの向上幅は、精度で10.0ポイント、Pass^4で15.0ポイントとされている。IBMは、再実行でもlosslessの結果が完全に再現されたと報告している。

リーダーボードへの提出は、訓練タスクとテストタスクを合わせたベース分割全体で採点され、Pass^4で報告されるため、上記のホールドアウトデータの数値とは異なる。2026年10月12日時点のスナップショットに基づき、IBMは小売エージェントが67.5%で首位に立ち、合成τ²-bench小売データでファインチューニングされたモデルとIBMが説明するRAFT-30B-A3Bの61.4%を、6.1ポイント上回ったと報告している。航空分野では、gpt-5.5エージェントが首位の82.0%を記録し、IBMが66～72%としている最先端モデルのエントリーを上回った。一方、gpt-4.1 sup3のバリアントは44%で8位となり、推論なしで実行したGPT-5.2を上回り、Claude Sonnet 4.5にほぼ並んだ。IBMによると、この手法は重みの更新や人手によるアノテーション、テストセットからの情報漏洩を伴わずに、既存のエージェントの性能を向上させる。

小売分野のリーダーボードへの提出は、2026年9月14日にτ²-benchのプルリクエストとして提出された。4回の試行におけるベース分割の114タスクを対象に、Pass^1は81.14%、Pass^4は67.54%と報告されている。tau2-bench v1.0.1での会話あたりの平均コストは0.1084ドルで、ガイドラインはベース評価分割に含まれる小売の訓練分割から学習されたと記されている。航空分野のリーダーボードへの提出は2026年9月21日に続き、50タスクを対象にPass^1は88.50%、Pass^4は82.00%、会話あたりの平均コストは0.1690ドルと報告された。どちらの提出も、プロンプトを変更したことを明記し、Unverifiedとして掲載される見込みだと述べており、現在もオープンな状態にある。