レポート

AI性能指標としてのGPU使用率に異議を唱える「推論経済性スコアカード」

Theo Nash
Unite.AI を Google の優先ソースに追加
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
要点GPU使用率では、生産的な出力と高コストなコンテキスト再構築を区別できない。
もっと見る
  • GPU使用率では、生産的な出力と高コストなコンテキスト再構築を区別できない。
  • スコアカードは、チップの活動量ではなく、電力、ラックスペース、コストに対する有用なスループットを測定する。
  • 共有NVMeキャッシュにより、ベンチマークでコンテキスト再計算がプリフィルサイクルの6.8%に削減された。

GPUが活発に稼働していても、生産的に働いているとは限りません。推論経済性スコアカードの主張はここにあります。NAND ResearchとWEKAによるこの新たな研究は、本番環境でAIを稼働させるインフラを評価するため、より幅広い視点を提案しています。

この枠組みは、チップの稼働状況ではなく、電力、ラックスペース、コストに照らして、サービス目標を満たしながらどれだけ有用な出力を提供できるかに注目します。AIエージェントが長い会話を維持し、ツールを呼び出し、以前のコンテキストに繰り返し戻るようになるにつれ、その重要性は高まっています。推論サーバーは、コンテキストの再構築に大量の計算リソースを費やしていても、使用率のダッシュボード上では健全に見えることがあります。

発表とあわせて、WEKAはNebiusと実施した、NVIDIA HGX B300ハードウェアを用いる8時間のベンチマークを紹介しています。また、他の組織が比較を再現できるよう、ワークロードのトレースデータとツールも公開しています。このスコアカードは評価の枠組みとして提案されたものであり、確立された業界標準ではありません。この研究は、今回の評価の枠組みから自社のストレージ技術が恩恵を受けるWEKAが資金を提供しました。

GPU使用率だけでは、コストのかかる作業の繰り返しを見抜けない理由

推論とは、学習済みモデルを実行して回答を生成するプロセスです。新しいトークンを生成する前に、モデルはプリフィルと呼ばれる段階で入力と会話履歴を処理します。この処理では、キー・バリューキャッシュ(KVキャッシュ)が作成されます。これは中間的なアテンションデータで、会話が続く際に以前の計算を再利用できるようにします。

このキャッシュの保存先として最速なのは、HBM(高帯域幅メモリ)と呼ばれるGPUのメモリです。しかし、HBMにはモデルの重みやその他の作業データも格納する必要があります。セッションが長くなり、複数のユーザーがリソースを取り合うと、サーバーは空き容量を確保するため、キャッシュされたコンテキストを削除せざるを得ないことがあります。

ユーザーやエージェントが戻ってきたとき、失われたキャッシュを再構築するため、古いトークンを再び処理しなければならない場合があります。これは、モデルが会話を恒久的に失ったという意味ではありません。インフラが再利用可能な表現を破棄し、その再構築にコストをかけなければならないということです。

ここに測定上の落とし穴があります。昨日のコンテキストを再処理する場合も、有用な新しい回答を生成する場合も、GPUは稼働し続けます。使用率は今でも有用な診断指標ですが、それだけでは顧客がどれだけ生産的な処理を受けられたのか、運用担当者には分かりません。

推論経済性スコアカードが測定するもの

このスコアカードでは、少なくとも8時間にわたる連続テストを求めています。短時間のデモでは見逃される可能性のある挙動を明らかにするには、それだけの時間が必要です。比較では、モデル、精度、ワークロード、同時実行数、キャッシュ条件、品質基準、サービスレベル目標を同一に保たなければなりません。測定対象にはサービングスタック全体を含め、冷却設備と施設のオーバーヘッドも明示します。

品質とサービスの目標を満たした成功出力だけを、有効処理量に算入します。失敗したリクエスト、再試行、タイムアウト、破棄された出力も、計算から除外するのではなく、見える形で残さなければなりません。

指標 明らかにできること
ワット当たりのトークン数 電力をどれだけ効率よく有用なモデル出力に変換できるか。
ラック当たりのトークン数 物理的な設置スペース内で、デプロイメントがどれだけの出力を提供できるか。
推論当たりのコスト システム全体でリクエストを正常に処理するための費用。
GPU有効処理量 チップの生の稼働状況ではなく、サービス目標を満たして提供された生産的な出力。
最初のトークンが出るまでの時間とエンドツーエンドのレイテンシ 応答が始まり、完了するまでにユーザーが待つ時間。
メモリ効率 限られたメモリ容量をシステムがどれだけ効果的に使うか。
運用密度 デプロイメントと運用上の制約が、利用可能な容量にどう影響するか。
エージェントの同時実行性 複数のアクティブなエージェントのワークロードを、システムがどれだけ適切に処理できるか。
コンテキストの保持 ワークロードの増加に伴い、再利用可能なセッションコンテキストをどれだけ効果的に維持できるか。

スループットと有効処理量の違いは、特に重要です。トークンをより多く生成しても、顧客が求める応答期限に間に合わないサーバーは、速度が遅く見えても一貫して期限を守るシステムより役に立たないことがあります。同様に、キャッシュを大きくすることが経済的に有利なのは、そのメリットが追加のストレージ、ネットワーク、運用コストを上回る場合に限られます。

共有ストレージでKVキャッシュを拡張する方法

WEKAのベンチマークに関する技術的な説明では、NeuralMeshとAugmented Memory Gridを取り上げています。これらは再利用可能なKVデータを共有NVMeストレージに保持し、GPU本体のメモリ容量を超えて利用できるようにします。NVMeは、フラッシュドライブで一般的に使用されている高性能インターフェースです。

この設計では、キャッシュをGPU上で何度も再構築するのではなく、サービング基盤がネットワーク経由で取得できるリソースとして扱います。RDMA(リモートダイレクトメモリアクセス)とNVIDIA GPUDirect Storageは、CPUの関与を抑えながら、ストレージからGPUへデータを直接転送する経路を支援します。

これは、既存のデータを移動するか、再計算するかという選択です。ストレージへのアクセス経路が十分に高速であれば、長い履歴を再構築するより、データを取得するほうが低コストになる場合があります。その利点は、キャッシュの再利用、コンテキストの長さ、同時実行数、データ経路全体の速度によって変わります。一方、処理対象のデータがすでにHBMに収まる短いリクエストでは、問題の性質が異なります。

8時間のベンチマークで実際に確認されたこと

NebiusとWEKAによる共同テストでは、DeepSeek-V4-Proを実行する8基のGPUを搭載したHGX B300サービングノードを1台使用しました。リプレイのワークロードには、実際のエージェントのトレースが5,000件超含まれ、アクティブなセッションを512件維持し、最大32件のリクエストを同時に処理できるスケジューラーを使用しました。アクティブなセッション数と同時リクエスト数は、異なる指標です。

WEKAによると、8時間にわたるテストで、共有キャッシュを使った場合のGPU時間あたりの出力トークン数は、HBMのみでサービングした場合の3.7倍でした。正常に完了したリクエストのうち、最初のトークンが5秒以内に生成された割合は97%で、ベースラインの44%を上回りました。過去に処理したコンテキストの再計算が占めたプリフィルサイクルの割合は、ベースラインでは60%だったのに対し、共有キャッシュでは6.8%でした。

追加のキャッシュには、8ノードのクラスターにまたがるNVMeドライブが使われましたが、報告されたサービング結果はGPUノード1台で得られたものです。したがって、GPUあたりに換算した性能向上は、総コストやエネルギー消費も同程度に削減されることを示すものではありません。そうした計算には、サポートに必要なリソースも含める必要があります。

ベースラインの選択も重要です。技術解説によると、テスト実施時には、このモデルに適したDRAMオフロードの実装が利用できませんでした。これらの結果が比較しているのは、テスト対象の構成とHBMのみでのサービングであり、あらゆる代替キャッシュアーキテクチャに対する優位性を証明するものではありません。

公開トレースによって比較の有用性が高まる

WEKAのオープンソースkvlabプロジェクトは、元の会話やソースコードの内容を公開することなく、タイミングやキャッシュの再利用パターンを含むエージェントセッションの構造を記録し、再生します。そのローダーについては、NVIDIAのAIPerfツール群に記載されています。また、発表ではSemiAnalysisのAgentXベンチマークとの統合も明らかにされています。

一時停止や長くなる履歴、関連するエージェントの動作を再現することで、互いに無関係な合成プロンプトを流すだけでは見落とされるキャッシュへの負荷を明らかにできます。こうしたリプレイで測定できるのはサービングの挙動であり、それだけでエージェントが業務上のタスクを正しく完了したと証明できるわけではありません。

企業にとって、推論経済性スコアカードの中心的な意義は、成功の定義をより明確にしたことにあります。つまり、必要な品質と速度を満たす有用な応答を、利用可能なリソースの範囲内で提供することです。エージェントがより多くのコンテキストを消費し、より長時間稼働するようになるにつれ、GPUを稼働させ続けることは、出発点として確認すべき事柄にすぎません。商業的に重要なのは、顧客に届く成果です。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。