Supermicro、長文脈AI向けの共有KVキャッシュストレージを発表

Supermicroは2026年11月5日、IBMおよびNVIDIAとともに、再利用可能なAI推論コンテキストをGPUメモリの外にある共有ストレージへ移すKVキャッシュストレージソリューションを発表しました。両社によると、共同テストでは130,000トークンのプロンプトで、最初のトークンが生成されるまでの時間を最大56分の1に短縮しました。

このソリューションは、AMD EPYC 9005プロセッサーを搭載したSupermicro Petascaleオールフラッシュストレージサーバー、IBM Storage Scaleソフトウェア、NVIDIAのDynamo推論フレームワーク、Spectrum-X Ethernetネットワークを組み合わせています。複数ターンの処理やエージェント型アプリケーション、コーディングアシスタント、マルチモーダルAI、長文脈の検索拡張生成を対象としています。大規模なコードベース、文書、画像、会話履歴によって、GPUやCPUのメモリに保持できる量を超えるキー・バリュー状態が生じることがあります。

リクエスト間でコンテキストを再利用

プリフィル処理では、トークン化されたプロンプトを、モデルが使用する中間的なキー・バリュー状態に変換します。これらの状態を永続化すれば、後続のリクエストで再計算せずにコンテキストを再利用できます。このアーキテクチャは、GPUノードやクラスター間で共有アクセスできる高可用性ストレージ層を備え、キャッシュ容量も処理を中断することなく拡張できます。

Dynamoは、キャッシュを考慮したルーティングを行い、プリフィルとデコードを分離するとともに、KV Block ManagerとNIXL転送ライブラリを通じてキャッシュ済みブロックをオフロードします。IBM Storage Scale Erasure Coding Editionは、NVIDIAのメモリー階層における共有G4ストレージ層を提供します。

ベンチマーク結果とテスト条件

2026年6月5日に公開され、2026年8月20日に最終更新されたIBM Redbooksのリファレンスアーキテクチャによると、130,000トークンの場合、GPUで再計算する処理には32.14秒かかったのに対し、ストレージを利用するキャッシュでは0.570秒でした。今回の発表は、これらの既存の測定結果に基づくものであり、11月に新たな調査結果が公表されたわけではありません。

別途実施した200リクエストのテストでは、同時接続数を28とし、合計2,400万トークン、KVキャッシュデータ量825 GBに相当する、重複のない100件のプロンプトを使用しました。Redbookによると、スループットは毎秒0.19リクエストから4.26リクエストへ増加し、処理時間の合計は1,048.56秒から46.94秒へ短縮されました。キャッシュが空の状態からテストを開始したため、再利用が進むまでのコールドスタート期間も、全実行の平均値に含まれています。

他の利用者の処理が競合する環境を想定したテストでは、別の4クライアントが毎秒200 GBのネットワークI/Oを発生させました。キャッシュを使用したシステムは毎秒3.6リクエストの処理を維持し、200件のリクエストを55.56秒で完了しました。Redbookは、これはネットワークに競合がない場合のキャッシュ使用時の結果と比べ、スループットが18%低下した状態だと説明しています。

推論の測定はすべて、NVIDIA RTX PRO 6000 GPUを4基搭載した1台のSupermicro GPUクライアントノードで行い、8ノード構成のPetascaleストレージクラスターに接続しました。ソフトウェア構成は、Dynamo v0.9.0+、vLLM v0.14.1、NVIDIA AIPerf、およびopenai/gpt-oss-120bモデルです。共有G4層の性能を分離して測定するため、GPUメモリーとシステムDRAMのキャッシュ層は無効にしました。

ネットワークの余力と導入規模の設計

テスト環境のスパイン・リーフ型ネットワークは、Spectrum-X SN5600スイッチ3台で構成されていました。Redbookによると、クライアント向け帯域幅は最大80 GB/sで、8ノードのストレージシステムの読み取りスループットは最大315 GB/sでした。この構成では、ストレージ層の最大読み取り性能ではなく、クライアント側のネットワークがボトルネックとなっています。

Redbookのサイジング例では、小規模な概念実証導入にはストレージノード4台、テストに使用した中規模構成には8台、大規模なAIファクトリーには16台以上を使用しています。適切な設計は、容量、帯域幅、同時実行数、モデルサイズ、ワークロードのすべてに左右されます。Supermicroによると、工場でのラック統合サービスと現地導入サービスにより、導入期間を数週間から数日に短縮できます。

今回の発表では、以前から文書化され、共同で検証されていたアーキテクチャが導入用パッケージとして提供されます。ただし、その効果は特定のモデル、プロンプト構成、同時実行数、ネットワークに依存します。導入にあたって中心となる問いは、ストレージ容量とクライアント帯域幅が、実際のコンテキスト再利用需要に見合っているかどうかです。クライアントネットワークでデータを転送できなければ、ストレージの読み取り余力を増やしても推論性能は向上しません。