トークンコストだけでは、企業向けAIが機能しているかどうかは分からない

企業向けAIは、よくあるサイクルをたどっています。初めのうち、組織はこの技術への期待に胸を躍らせ、まだ請求額が明らかになっていなかったこともあり、最も大規模で高性能なモデルを選んで、AIに全面的に取り組みました。実際に請求が届くと、反応もまた予想どおりでした。チームは利用を制限し、実験を減らし、より安価なモデルを探し始めたのです。

Databricksの共同創業者兼CEO、Ali Ghodsiは、このサイクルの初期段階を「トークン最大化」と表現しています。これは、より多くのトークンを消費することを進歩の証拠とみなす考え方です。より重要なのは「価値最大化」の段階です。支出によって何が得られるのかを理解し、重要な業務にその支出を振り向けることを意味します。

これは、コスト最適化を新しい名前で呼んでいるだけではありません。コスト最適化が組織の支出をどう減らすかを問うのに対し、価値最大化が問うのは、支出からより多くの成果をどう得るかです。AIが個別の実験から企業の日常業務へと広がるにつれ、この違いはますます重要になります。

最も大規模なモデルが常に最適とは限らない

多くの組織は、ほぼすべての業務に利用可能な最も高性能なモデルを使うところから、AI導入を始めました。チームがこの技術で何ができるのかを理解しようとしていた初期の実験段階では、予測可能性よりもモデルの能力が重視されていたため、このアプローチには理にかなった面がありました。

しかし、導入が拡大するにつれ、あらゆるリクエストに最先端モデルを使うコストは、正当化が難しくなりました。一部の組織は利用を制限したり、チームに業務を減らすよう求めたりしましたが、広範な制限を設けると、実際の無駄だけでなく、有益な実験まで抑制しかねません。

より成熟したアプローチが広がりつつあります。チームは日常的な業務に小型の特化型モデルを割り当て、複雑な推論が必要なタスクや、失敗した場合の損失が大きいタスクには、より高性能なモデルを使い始めています。将来的には、コスト、性能、機密データをより細かく管理するため、自社のインフラ内にモデルを導入する組織も出てくるでしょう。

重要なのは、大型モデルと小型モデルのどちらが優れているかではありません。そのモデルが業務に適しているか、そして得られる結果が、その成果を生み出すための総コストに見合うかどうかです。

トークンが示すのは活動量であり、価値ではない

企業向けAIのダッシュボードの大半は、利用量を中心に構成されています。使用されたトークン数、それを処理したモデル、組織が支出した金額が表示されます。こうした数値は必要ですが、業務が有用な結果を生み出したかどうかまでは分かりません。

トークンを2倍消費するチームが、必ずしも2倍の価値を生み出しているとは限りません。より難しい業務を処理しているのかもしれませんし、不必要に高性能なモデルを使っていたり、失敗したタスクを何度も再試行するエージェントに頼っていたりする可能性もあります。モデルのコストが高いワークロードでも、障害を防ぎ、顧客の問題を解決し、従業員に貴重な時間を取り戻させるなら、優れた投資である可能性があります。

同じ問題は、トークンではなくギガバイトを対象に、可観測性の分野で何年も前から起きていました。最大限の可視性を確保するのが最も安全な戦略に思えたため、チームはまずあらゆるデータの収集を始めました。ストレージと処理のコストが増えると、支出を抑えるため、データのサンプリング、保存期間の短縮、コンテキストの削除に取り組むようになりました。

どちらの場合も、コスト上昇への対応として、活動量を減らすことが選ばれがちでした。組織に必要なのは、どの活動に価値があり、どれが無駄で、どれなら成果を損なわずに効率化できるのかを見極める力です。

実際のコストは推論だけにとどまらない

モデルへの呼び出しだけで、AIワークロードの全体が完結することはほとんどありません。エージェントは回答を生成するまでに、文書を取得し、データベースにクエリを送り、テレメトリを検索し、外部サービスを呼び出し、新たなアプリケーションやインフラの処理を発生させることがあります。

デプロイ後にチェックアウトのレイテンシが増加した原因を調査するエージェントを考えてみましょう。ログを調べ、メトリクスを比較し、トレースを確認し、デプロイ記録を取得して、下流のサービスを分析するかもしれません。最初の仮説が外れれば、時間範囲を調整し、別のサービス名で検索し、複数の別の原因を追うこともあります。

そのため、人間による1つの指示が、機械による数百もの処理を生み出すことがあります。こうした処理は、コンピューティングリソース、ストレージの入出力、ネットワーク容量、サードパーティAPIの利用枠を消費しますが、そのいずれも組織のモデル支出ダッシュボードには表示されない可能性があります。

つまり、一見安価なモデルが、高コストのワークフローを支えていることもあります。より高性能なモデルは1回の呼び出しあたりのコストが高くても、少ない手順で正しい結論にたどり着き、再試行や補助インフラを減らせるかもしれません。この比較を行うには、タスク全体を観測する必要があります。

活動、コスト、成果を結び付ける

価値最大化には、別々に測定されることの多い3種類の情報を、組織が結び付ける必要があります。

1つ目はAIの稼働状況で、モデルの選択、トークン消費量、レイテンシ、ツールの呼び出し、再試行、並列処理の分岐などが含まれます。2つ目は、その稼働によって生じるインフラコストと財務コストで、コンピューティング、ストレージ、ネットワークの利用、データベース負荷、外部APIの利用料金などが含まれます。3つ目は成果です。作業が正常に完了したか、そしてその結果が誰かにとって有用だったかを示す必要があります。

すべての成果を正確な金額に換算する必要はありません。実用的な指標で十分な場合もあります。たとえば、回答が受け入れられたか、誰かが作業をやり直す必要があったか、インシデントをより迅速に解決できたか、自動化されたワークフローが人の介入なしに完了したか、といった指標です。

たとえば、数百件のクエリを生成するインシデント調査でも、エンジニアが重要なサービスを30分早く復旧できるなら、実施する価値があるかもしれません。一方、はるかに小規模なワークフローでも、誰も読まないレポートを作成するだけなら、無駄になり得ます。トークン消費量だけでは、この2つを区別できません。

組織が稼働状況と成果を結び付けて把握できるようになれば、最先端モデルをどこで使うか、小規模なモデルで十分な領域はどこか、ワークフローをどこで再設計すべきかを、意図的に判断できるようになります。

可視化のために制御を手放す必要はない

AIの価値を把握するには、機密性の高いコンテキストにアクセスする必要があります。プロンプト、生成結果、ソースコード、顧客情報、本番環境のテレメトリーは、いずれも同じワークフローに含まれる可能性があります。

AIシステムの性能を把握するためだけに、組織がこうした情報を外部サービスにエクスポートしなければならない状況は避けるべきです。測定を有用にするプロンプトや本番環境のコンテキストは、セキュリティ、プライバシー、コンプライアンスの各チームが組織の環境外への持ち出しを認められない情報と同じである可能性があります。

そのため、企業のリーダーは、AIデータやオブザーバビリティデータがどこで処理されるのか、誰がアクセスできるのか、どのくらいの期間保持されるのか、そして既存のセキュリティ境界内で分析できるのかを確認する必要があります。適切なガバナンスには可視性が欠かせませんが、その可視化によって新たなデータ管理上の問題を生じさせてはなりません。

基盤となるデータの近くで分析を行えば、AIの稼働状況を、それが影響を及ぼすアプリケーション、インフラ、業務プロセスと結び付けることも容易になります。全体像を把握することで、チームは支出額だけでなく、その支出によって何が得られたのかも理解できるようになります。

量ではなく価値を最適化する

エンタープライズAIの次の段階で成功する組織は、必ずしも最も多くのトークンを使う組織や、支出を最も抑える組織ではありません。意味のある成果を生み出すモデルやワークロードを見極め、その知見を導入の指針にできる組織です。

そのためには、個別のモデルコストダッシュボードに頼る段階から脱却する必要があります。ユーザーのリクエストからモデルの呼び出し、ツール、インフラ、そして最終的な成果に至るまでの全経路を観測するとともに、機密情報を組織の適切な管理下に置かなければなりません。

トークン最大化（Tokenmaxxing）は、実験を促し、AIで何ができるかを明らかにしたという点で、有意義な段階でした。その次に必要となるのが価値最大化（Valuemaxxing）です。可視性、コスト、成果を結び付けるこの取り組みによって、組織は支出やデータの管理を失うことなく、実験を続けられます。

最初の請求書が届いたからといって、エンタープライズAIの規模を縮小する必要はありません。必要なのは、より計画的に活用することです。作業量を難易度に合わせ、モデルをタスクに合わせ、支出を測定可能な価値に見合うものにする必要があります。