お金を払う必要のないAIの無駄な寄り道

最先端のAI企業が、可能であればトークン販売で自社に有利なように天秤を傾けることはない、とまでは言えない。実際、Anthropicは6月に実質30％の値上げを実施し、DeepSeekは8月にAPI料金を引き上げ、OpenAIは9月末、ミッドティアのトークン利用枠を縮小したことを渋々撤回した。そのため、緊縮傾向は今やかなり明らかだ。

実際、AIエージェントが45分間、必ずしも華々しいとは言えないコードを猛烈な勢いで生成して1日分のトークン利用枠を使い果たし、3～4時間後に戻るよう告げてくると、そんな考えが頭をよぎる。こうした苛立たしい状況では、その処理に伴うさまざまな仕組みが、プロバイダーに有利になるよう調整されているのではないかと考えずにはいられない。結局のところ、特別なトークンの追加購入を促したり、さらには「自動リロード」を有効にさせたりするには、都合のよい方法なのだ。

まあ、現時点で本当にそうだとしても、先端企業は、モデルやハーネスをまたいでエージェント型ワークロードでトークンがどのように使われるのか、私たちが完全には理解していないという前提を、十分もっともらしく隠れみのにできる。彼ら自身も理解していないのだ。決済へ誘導する仕組み（これは実にスムーズだ）を除けば、すべてはプレアルファ段階であり、製品が広くコモディティ化しているにもかかわらず、最先端の研究課題であり続けている。

無駄の管理

AIエージェントがエージェント型ワークフローで推論する際にトークン（ひいてはお金）を無駄にすることは、すでに広く知られている。ちょうど1年前、私は新たな研究について書き、推論AIモデルが「冗長に語る」ことで、どれほどトークンを消費しがちかを示した。今年初めには、思考の連鎖による推論を「装飾的」なものとする別の研究について書いた。そして先週、Tsugaのプロダクト責任者Nils Bungeは、ここに掲載された見解を示す論考で、次のように述べた。

「トークンを2倍消費するチームが、必ずしも2倍の価値を生み出しているとは限らない。より難しい作業に取り組んでいるのかもしれないし、不必要に高性能なモデルを使っているのかもしれない。あるいは、失敗したタスクを何度も再試行するエージェントに頼っている可能性もある。」

あまり知られていないのは、不要なタスクや処理にトークンが捨てられる仕組みだ。今日、このテーマに改めて目を向けるきっかけとなったのが、新しい論文である。

「AIエージェントはどのようにしてあなたのお金を無駄にするのか？」と題されたこの米国の新たな共同研究は、エージェント型プロセスが実際にどれほどトークンを無駄にしているかを定量化できる、統一的な枠組みを提示している。クローズドソースのモデルについては、「シャドー」手法をプロバイダーの公式統計や指標と組み合わせ、AIが推論し行動する間にトークンがどのように使われたかを、同等の詳細さで明らかにする。

AIトークンの無駄を測定する新しい手法。各エージェントの推論、行動、コストを記録し、繰り返し、不必要なリクエスト、避けられる寄り道がないかを調べる。特定された無駄を取り除き、元のタスクを完了するエージェントの能力を再び検証する。 出典

上図のように、エージェントには通常どおり作業させ、その間にAIプロバイダーとの通信を傍受して記録する。そこには、推論、ツールの使用、トークン消費量、コストの記録も含まれる。次に、大規模言語モデル（LLM）を判定役として記録を調べ、有用な作業と、繰り返し、不必要な検索、寄り道とを区別する。その後、無駄の疑いがある部分を取り除き、トークンの節約量を算出したうえで、タスクを引き続き問題なく完了できるか確認するため、エージェントに作業を再開させる。

研究者らのテストでは、エージェントが出力したトークンのうち約18％が無駄になっていた。タスクの45％超では、あるエージェントが、同じ作業を正常に完了するのに別のエージェントが必要とした量を上回るトークンを無駄にしていた。さらに、不要な推論を41～46％取り除いても、性能への影響はごくわずかであり、結果を大きく損なわずに相当量を節約できる可能性が示された。

論文には次のように記されている。

「収集した一連の実行記録全体では、出力トークンのおよそ18％が無駄と判定された。

「特筆すべきことに、タスクの45％超では、あるエージェント1つの無駄な出力が、同じタスクを正常に解決した別のエージェントの出力全体を上回っている。」

さらに、この研究では、エージェントは不慣れなツールを使いこなそうとするときや、結局何の成果にもつながらない方法を追い求めるときに、最も多くのリソースを浪費することが分かった。また、推論の労力を増やしても一貫した改善にはつながらず、最大の労力では、Kimi-K3が低い労力の場合の6.6倍もの推論トークンを生成した一方で、結果が良くなる保証はなかった。

5つのベンチマークにおいて、4段階の推論努力レベルでKimi-K3がどのような性能を示すかを比較したテスト結果。推論努力を高めても成功率は一貫して向上せず、最大限の努力をさせた場合、低い設定よりも結果が悪くなることもあった。

たとえるなら、性能を十分に引き出すことのない強力な車を運転するというより、何のメリットもなく、悪影響が生じる可能性があるにもかかわらず、こうしたエージェントのセッションでは、毎回の走行で車が出せる最高速度まで加速するようなものだ。

この論文では、トークンの浪費を招くうえで、異なるハーネスがどのような役割を果たすかも調査している。その結果、同じAIモデルであるKimi-K3でも、使用するハーネスによって、同一のタスクで生成する推論の量に4倍を超える差が生じる可能性がある一方、必ずしも結果が向上するとは限らないことが分かった。

浪費の一部は基本的なソフトウェアの不具合に起因していた。OpenCode、Kimi Code CLI、OpenClawは、誤ったPython環境でタスクを繰り返し起動し、エラーを発生させて、トークンを消費する再試行を招いていた。また、Kimi Code CLIでは、AIがソフトウェア自体に拒否されるタイムアウトを要求できてしまい、さらにコストのかかる試行を余儀なくされていた。

意外なことに、より多くのツールを提供するハーネスが必ずしも浪費も多いとは限らず、繰り返し見られる非効率の一部は、どのハーネスがモデルを制御しているかにかかわらず、モデル自体に起因しているようだった。

‘[Several]一見すると明らかなハーネスの特性だけでは、観測された浪費の差を一貫して説明できない。たとえば、[below]に示すように、より多くのツールを利用できるハーネスが、必ずしも浪費も多いとは限らない。OpenClawは他のハーネスよりはるかに多くのツールを利用できるが、浪費は中程度にとどまる。さらに、ハーネスによって増減するとは限らない浪費もある。

‘[Below right]SWE-bench Verifiedでは、Kimi-K3がプロジェクト本来の修正だと考える内容を書き出し、後になってそれを放棄するという遠回りが繰り返し発生することを示している。’

AIエージェントのハーネス間で、浪費されたトークン数を比較したテスト結果。左：ツールを多く提供しても、浪費が増えるとは限らない。右：Kimi-K3は、ハーネスの種類にかかわらず、ソフトウェアの本来の修正だと思われるものを何度も試みては放棄するが、異なる種類のタスクではそうしたことはほとんどない。

改善策として著者らは、環境上の制約によってそれ以上の進展が不可能になったことをエージェントのハーネスが認識し、その制約をAIモデルに明確に伝え、失敗を繰り返してトークンをさらに消費させるのではなく、実行を停止すべきだと提案している。また、浪費されたトークンの測定結果を活用して、モデルの訓練、推論戦略、ハーネスの設計を改善することも提案している。

手法

AIエージェントの活動を再構成するため、研究者らはモデルとそれを制御するソフトウェアとのやり取りをすべて追跡し、推論、応答、ツールへのリクエスト、トークンのコストを記録した。ただし、記録の詳細度はプロバイダーによって異なり、Kimi-K3は推論過程の全容を明らかにする一方、Gemini 3.1 Proが示すのは要約のみで、Claudeは何も明らかにしない。

各ツールの結果はエージェントに返され、研究者らは処理が完了するまで、または動作上の上限に達するまで、その過程を追跡できた。

AIエージェントがトークンを消費する4つの例。既知の情報の繰り返し、同一の検索の反復、無意味な謝罪の付け足しは浪費とみなされる。一方、検索が失敗しても、試すだけの十分な理由があった可能性があるため、必ずしも浪費とは限らない。

エージェントの活動を追跡するため、リクエストはプロキシ経由で送信された。必要なコード変更はごくわずかで、各リクエストにはベンチマーク、実行、タスク、試行を示すタグが付けられた（ただし、OpenClawはこうしたタグに対応していないため、その場合はテストごとに、LiteLLMを基盤とする別のプロキシを使用した）。

4つのパターン

この研究では、繰り返し見られる4つのパターンによってトークンの浪費を定義している。再述（既知の情報を繰り返すこと）、重複取得（不要なツールリクエストを繰り返すこと）、水増し（無関係なテキストを付け加えること）、遠回り（妥当に見えるものの、最終的に成果につながらない方法を追求すること）。

記録された各セッションは、LLMを判定役とする評価者（LLMaJ**）によって調査された。評価者には、元のタスク、記録の全内容、そして4種類すべての無駄なトークンのパターンを特定するための基準が与えられた。無駄と疑われる部分に印を付けて取り除き、残ったトークンを数え直して、無駄になった割合とコストを算出した。その後、各プロバイダー独自のトークナイザーまたは計数ツール、および報告された出力使用量と照合して数を確認した（報告された書式上の差異はわずかだった）。

テスト

この研究でテストしたモデルは、Kimi-K3、Gemini 3.1 Pro、GPT-5.6 Terra、GPT-6 Astra、Claude Sonnet 5、Claude Fable 5.1。評価には、τ²-bench（航空会社と小売業のカスタマーサービス）、SWE-bench Verified（ソフトウェアエンジニアリング）、Claw-Eval、MCP-Atlas（汎用的なツール利用）を用いた。

さらに、Kimi-K3は異なる推論レベルでもテストされ、5種類のエージェントハーネスが比較された。OpenCode、OpenClaw、OpenHands、Hermes、Kimi Code CLIである。これらの比較は、モデル、タスク、推論にかける労力、ハーネスの設計がトークンの無駄にどう影響するかを評価するために用いられた（また、無駄と疑われる部分を取り除いた追加テストを行い、性能への影響も確認した）。

各モデルでどれだけの費用が無駄になったかを明らかにするため、不要なテキストとツール呼び出しのコストを出力コストの総額と比較し、4つのベンチマーク全体で結果を平均した。内部推論については、完全な推論過程を公開していた唯一のモデルであるKimi-K3を対象に、別途評価した。

4つのベンチマークで平均した、6つのAIモデルにおける出力コストの無駄を比較したテスト結果。左は全体の無駄率で、Kimi-K3の内部推論は別に示している。右はタスク成功時と失敗時の無駄率で、一般に失敗時のほうが無駄が多い。

上の結果が示すように、回答の生成とツールの利用に費やした金額のうち、11%から24.9%が無駄になったと判断された。最も優れた結果を示したのはGPT-6 Astraで、最も悪かったのはClaude Sonnet 5だった。Kimi-K3では、回答とツール利用に使われたトークンのおよそ6分の1が無駄になり、内部推論では4分の1を超えた。

一般に、タスクに失敗した場合のほうが無駄は多かったが、Kimi-K3の推論では逆の結果だった。また、不要な作業にトークンを多く費やすことで成功の可能性が高まるという明確な証拠はなかった。

別のテストでは、AIが作業を続けている最中に無駄なトークンを減らそうと試みた。各ステップでAIの判定役**を使い、モデルの推論から繰り返しの情報や無意味なテキストを取り除いてから、タスクを続行させた。

2つのベンチマークで、不要なAIの推論を取り除いた場合に成功率がどう変化するかを示すテスト結果。推論の41～46%を取り除いても性能への影響は小さかった一方、推論をすべて取り除くと失敗が大幅に増えた。

SWE-bench Verifiedでは推論の41%を削減したが、性能は低下せず、成功率は実際に89%から89.5%へわずかに上昇した。MCP-Atlasでは46%を削減し、成功率は65%から62.3%へと小幅に低下した。

つまり、AIが作業している最中でも、推論のほぼ半分を捨てることができ、タスクを完了する能力を大きく損なわずに済んだ。

最後に^†、同一のタスクを異なるエージェントハーネスで実行し、Kimi-K3をテストした。以下に示すように、推論の出力量には4倍を超える差があったものの、性能が一貫して向上することはなかった。

2つのベンチマークで、エージェントハーネスごとのKimi-K3のトークン消費量を比較したテスト結果。内部推論を青、回答とツール呼び出しをオレンジで示す。コーディングタスクでは、Hermesに比べてMini-SWEで4倍を超える量の推論が生成された。

無駄の一部は、基本的なソフトウェア上の不具合に起因していた。OpenCode、Kimi Code CLI、OpenClawは、誤ったPython環境でコーディングテストを開始し、エラーと再試行を招いた。

結論

これは、長さと綿密な手法を考えれば、じっくり読む価値がありそうな論文の概要にすぎない。

このテーマは、私がよく意識していることを思い起こさせた。それは、こうしたプロセスについて、私たちが実際に理解していることと最先端を担う供給元が理解していることとの間に大きな隔たりがある一方で、企業は製品を、あたかも過去3か月間リンターにかけられ、見事に合格したかのように進んで売り出そうとしている、ということだ。

現状、少なくとも今のところ、悪い結果が生じた場合に責めるべき相手は私たち自身以外にいない。私たちのほぼ全員が、きわめて実験的で予測不能な製品だと知っているものを購入しているからだ。

* University of Illinois Urbana-Champaign、Northeastern University、University of California (Los Angeles)、および独立研究者が、明言されているとおり同等に貢献。

* 私が確認できる限り、この論文には使用されたモデルが記載されていない。

^†これは論文ではなく、本記事についての注記です。論文は、私が通常取り上げる長さの上限を超えており、ここでは扱いきれないほど多くのテストと深い分析を含んでいます。詳細については、上にリンクした原文PDFを参照してください。

初出：2026年11月6日（金）