Bito、コンテキストとモデルの振り分けでコーディングエージェントのコストを削減するGovernorを発表

コーディングエージェントは、有用な変更を加える前に、セッションの大半を適切なファイルの特定に費やすことがあります。検索するたびにコンテキストが増え、その後のやり取りでモデルに再送される可能性があるため、小規模なタスクでも推論コストが膨らんでいきます。Bitoは、新しいモデルルーター「Governor」でこのコストの両面に取り組みます。Governorは、コードベースのコンテキストと、作業をどのモデルに任せるかという判断を組み合わせます。

10月27日に公開されたGovernorは、既存のコーディングエージェントと、それらが呼び出すモデルの間に位置します。Bitoによると、不要な検索コンテキストを削減し、適切なモデルと推論レベルを選ぶことで、品質を維持しながらエージェント関連の支出を40%から70%削減できます。この削減幅は同社が報告した結果であり、すべてのチームで削減が保証されるわけではありません。

この製品は、Claude Code、Cursor、Codexなどのツールを使うワークフローに対応しています。チームは、開発者がすでに使っているコーディング環境を置き換えるのではなく、エージェントの接続先を共通のエンドポイントに設定します。

長時間のコーディングセッションで、予想以上に費用がかかる理由

エージェントにかかる費用は、トークン単価だけでは決まりません。セッション中には、検索やファイルの読み込み、編集、テストの実行が何度も行われ、その結果生じた会話内容が、後続のモデル呼び出しでも再び入力されることがあります。そのため、タスクの早い段階で大きなファイルを読み込むと、エージェントが最初にそのファイルを開いた後も、長くコストに影響する可能性があります。

Bitoは、あるClaude Codeのセッションで検索結果が約65,000トークンに達した事例を挙げています。同社によると、蓄積されたコンテキストが繰り返し処理された結果、セッションの終了時には合計600万トークンに達しました。これらの数値は、計測対象となった1回のセッションを示すものであり、すべてのコーディングタスクに一般的なコストを表すものではありません。

プロンプトキャッシュを使えば、繰り返し入力される内容のコストを抑えられる場合がありますが、キャッシュされたトークンと新たに処理されるトークンでは料金が異なります。そのため、合計費用はエージェントの動作、保持するコンテキスト、そしてモデルの切り替えによって有用なキャッシュ状態が維持されるか失われるかによって変わります。

「適切なモデルを選ぶことは重要ですが、エージェントがコードを検索し、すでに確認した内容をすべて再送するコストも同じくらい重要です」と、Bitoの共同創業者兼CEOであるAmar Goelは発表で述べています。

コードコンテキストエンジンで、繰り返しの調査を削減

Governorは、企業のコードを表す最新のグラフを保持します。エージェントがコードベースの調査を必要とするとき、Bitoによると、Governorはより小型で高速なモデルを使って調査を行い、関連するコードコンテキストを添えた要約回答を返すことができます。

フロンティアモデルによる調査の繰り返しを避け、不要な検索結果がメインエージェントとの会話に入り込まないようにすることが、コスト削減につながります。要点を絞った回答を返すことで、最初の検索料金だけでなく、その後のやり取りに持ち越されるコンテキストの量も変わります。

Bitoのプラットフォームのドキュメントでは、基盤となるグラフについてさらに詳しく説明されています。このグラフは、シンボル、サービスの構成、依存関係、リポジトリ間の関係に加え、課題管理ツール、設計文書、エンジニアリングに関する議論などの情報源から得られるコンテキストもインデックス化します。また、データベーススキーマ、アーキテクチャパターン、デプロイに関するコンテキストもマッピングします。

これにより、この製品は単なるテキスト断片の照合にとどまらない、幅広い情報検索を可能にします。認証の変更に関する質問では、あるインターフェースを担当するサービス、それに依存する呼び出し元、過去の設計判断の根拠を特定する必要があるかもしれません。こうした関係を結び付けることで、コードを提案する前に、変更の影響をエージェントが調査しやすくなります。

重要なのは、実際に活用できる根拠を出力することです。BitoのGovernorの紹介では、ファイル名と行番号を示した簡潔な調査結果が説明されています。これにより、メインエージェントは実際のコードベースを根拠として、次のステップを進められます。

タスクとキャッシュに応じたルーティング

Governorは、実行中の作業に応じてモデルと推論レベルも選択します。Bitoによると、タスクの種類、浅い回答や誤った回答がもたらす影響、ユーザーの意図、セッション中にすでに構築されたキャッシュを考慮します。

短いメッセージに大きな指示が含まれている場合には、こうしたコンテキストが重要になります。たとえば「進めてください」という短い言葉でも、複雑な計画の実行を許可することがあります。メッセージの長さを難易度の目安にするルーターでは、開発者がエージェントに実際に何を求めているのかを見落とす可能性があります。

Bitoによると、Governorは開発者から新たな依頼を受けた時点でルーティングを決定し、エージェントがタスクに取り組む間、その選択を維持します。また、モデルを切り替えることで得られる可能性のある節約額が、既存のキャッシュによる利点を失うことに見合うかどうかも考慮します。

したがって、安価なモデルが次の呼び出しでも常に最安とは限りません。すでに会話が長い場合などは、より高価なモデルに蓄積されたキャッシュが計算結果を左右することがあります。推論の設定も別の要素です。より深い分析が必要なタスクでは追加の計算が妥当な場合がありますが、定型的な作業では必要ないこともあります。

Governorの導入設計は、既存のワークフローを維持することを意図している。Bitoによると、AnthropicおよびOpenAI互換のAPIをサポートし、チームのプロバイダーキーを使って動作するほか、既存のゲートウェイと併用できる。これはルーティング層についての説明であり、チームは引き続き、利用するエージェントとプロバイダーへのアクセスを設定する必要がある。

Privadoが報告するコスト削減と手順の減少

発表に添えられた顧客事例によると、プライバシーソフトウェア企業のPrivadoは、Claude Codeを使ったエンジニアリング業務で管理テストを実施した。Bitoの報告では、タスクあたりのコストは4.12ドルから2.14ドルへと48%減少し、エージェントが1タスクを完了するのに必要なステップ数も47から23に減った。

同社によると、品質は変わらず、タスクの完了時間は38%短縮した。Bitoのウェブサイトでは、顧客とのA/B比較は40件のエンジニアリングタスクを対象とし、同じタスク、モデル、テスト環境を使って、Governorを変数として比較したと説明している。

こうした詳細があることで、幅広いコスト削減をうたうだけの場合よりも結果を具体的に把握できる一方、どこまで一般化できるかには限界が残る。リポジトリ、タスクの構成、プロバイダーの組み合わせ、あるいは開始時に使うモデルが異なれば、検索、キャッシュの利用、推論コストのバランスも変わり得る。

Bitoは、コーディングモデルのコストと品質に関する調査も公開している。9月の調査では、60件のエンジニアリングタスクで29種類のモデルをテストし、1,740件の回答を採点したとしている。一部のタスクはコードを実行したり、あらかじめ仕込んだ不具合を検出したりして検証し、ほかのタスクでは実行前に定めた基準に照らしてAI評価者が判定した。このより広範なモデル調査は、Privadoの顧客比較とは別のものである。

トラフィックを切り替える前にルーティングを試せる制御機能

Governorには、「品質」「バランス」「コスト」の各設定に加え、リクエストの処理方法を変えずに、チームのトラフィックをどのようにルーティングするかを記録するシャドーモードがある。これにより、エンジニアリングの責任者は、設定を有効にする前に提案された判断を確認できる。

そのほかの安全策には、厳格な価格上限、許可なくより高価なモデルへルーティングすることへの制限、問題発生時にリクエストされたモデルへフォールバックする機能が含まれる。ルーティングの判断は、その理由とともに記録される。

Bitoは、Governorの対象をコーディングエージェント以外にも広げる計画だ。今回のリリースが当面対応するのは、長時間のソフトウェア開発セッション中に探索とモデル呼び出しを繰り返すことで生じる、具体的なエンジニアリング上の課題である。

重要な指標となるのは、必要な品質と時間も考慮したうえで、作業を正常に完了するためにかかるコストだ。Governorが掲げるのは、エージェントにより適切なコンテキストを与え、モデルの能力をより意図的に割り当てることで、開発者に使い慣れたツールを手放させることなく、チームがこの指標を改善できるという考え方である。