AIモデルとプラットフォーム
Valkey 9.2、AI推論向け分散KVキャッシュを導入

要点分散KVキャッシュにより、推論エンジンはプリフィル中にプロンプトテンソルを再計算する代わりに再利用できる。
もっと見る
- 分散KVキャッシュにより、推論エンジンはプリフィル中にプロンプトテンソルを再計算する代わりに再利用できる。
- Multiverse Computingは、初回トークンのレイテンシ目標を満たしながら、同じGPU上で50%多くのリクエストを処理した。
- ワーキングセットがすでにGPUとホストメモリに収まっている場合、共有キャッシュはほとんど利点をもたらさない。
Valkeyは2026年11月19日、AI推論向けの分散型キーバリューキャッシュを導入したバージョン9.2をリリースした。プロジェクトの発表によると、この共有キャッシュにより、既存のGPUインフラ上で推論コストを最大40%、応答の最初のトークンが返るまでの待ち時間を最大80%削減できる。
2026年10月20日に公開されたValkeyの技術記事では、GPUメモリやホストメモリの外部に設ける共有キャッシュについて説明している。このキャッシュには、モデルがプロンプトの指示、ツール定義、会話履歴を処理する際に生成されるキーバリュー・テンソルが保存される。推論エンジンは、新たな出力を生成する前の処理段階であるプリフィルで再計算する代わりに、同じコンテキストでこれらのテンソルを再利用できる。GPUサーバー間でこの階層を共有すれば、ローカルメモリから追い出された会話も、どのノードからでも読み込める。
オープンウェイトモデルを実行するセルフマネージド環境では、設定を変更するだけで、アプリケーションコードを更新せずにLMCacheコネクターを介してキャッシュをvLLMやSGLangなどのエンジンに接続できる。9.2で導入された、ラディックス木を基盤とする新しいデータ型Path Hashは、完全一致検索、最長プレフィックス照合、プレフィックスの走査に対応する。Valkeyはこれを、より大きなAIデータをGPUメモリまたはホストメモリに置いたまま、キャッシュ内で最長一致するプレフィックスとその場所を探すための軽量インデックスとして位置づけている。
測定された効果とワークロードの限界
Multiverse ComputingのAIプラットフォーム担当ディレクター、Ennio Pastore氏によると、Valkeyの分散KVキャッシュを使うことで、同じGPU構成のままリクエスト処理数を50%増やしつつ、初回トークン生成時間の中央値を1秒以内にする目標を達成できた。初回トークンのレイテンシ中央値は、通常のトラフィックで23%、ピーク時のトラフィックで95%低下した。また、Multiverse Computingは、分散キャッシュの耐障害性を高めることを目的としたLMCacheコネクターの改善にも貢献した。
Valkeyの技術記事で紹介された合成ベンチマークでは、コンテキスト長が12,000~28,000トークンの会話を100件同時に処理し、H100アクセラレーターを8基ずつ搭載した2台のGPUノード全体で、毎秒8件のリクエストを受け付けた。各ノードはvLLMとLMCacheを通じてLlama-3.1-70Bを実行し、共有キャッシュと同じアベイラビリティーゾーンに3シャード構成のValkey 9クラスターを配置した。このプロジェクトでは、リクエスト処理数が約25%、出力トークン数が約28%増加した一方、キャッシュによってGPU費用は約15%増加した。
Valkeyのテスト結果と導入ガイダンスによると、共有キャッシュの効果が限られるケースは明確だ。ワーキングセットがすでにGPUメモリとホストメモリに収まる場合や、リクエスト間でコンテキストが繰り返し使われない場合、効果はほとんどない。また、新しいトークンのプリフィルがボトルネックになっても、GPUの演算能力を増やすことはできない。キャッシュはGPU群と同じアベイラビリティーゾーンに配置することが推奨される。キャッシュが初回トークン生成までの経路上にあり、ゾーンをまたぐ通信がレイテンシや転送料金の増加につながる可能性があるためだ。
メモリとネットワークのオーバーヘッドを削減
AIキャッシュに加えて、バージョン9.2ではデータストア自体のインフラコストも削減の対象としている。オプトインで利用できるフォークレス・スナップショットとレプリカ全体の同期では、別個のサーバープロセスを起動せず、バックグラウンドスレッドを使用する。これにより、書き込みの多い処理中に発生するコピーオンライトのメモリーオーバーヘッドを回避できる。このインフラによる増加分はキー当たり4バイトであり、 prefer-forkless 必要に応じて、ポリシーはフォーク方式に切り替わる。
継続的なレプリケーションで使う圧縮方式は、レプリカごとに個別にネゴシエーションされる。そのため、古いレプリカや圧縮を無効にしたレプリカには、引き続き非圧縮データが送信される。Valkeyのリリース記事によると、約315バイトのキーを300万件使ったベンチマークでは、LZ4によってレプリケーション帯域幅が52%削減され、スループットのオーバーヘッドは1%未満だった。ストリーム全体のスナップショット圧縮はLZ4とZstandardに対応する。Zstandardを使うにはビルド時のオプション指定が必要で、特に、計算コストに比べてネットワークコストが高いリージョン間レプリケーションを想定している。
大規模なソート済みセットでは、スキップリストに代わってB+木を使うようになった。Valkeyによると、20バイトの要素を含む500万件のメンバーを使ったテストでは、メンバー当たりのメモリーオーバーヘッドが36~43%減少した。その他の運用面の追加機能には、サーバー側でのホットキー検出、再利用可能なアクセス制御ロール、クラスターのハートビートとレプリケーションの優先処理、管理用接続の予約、レプリカに遅延が生じた際に利用できる任意の書き込みスロットリングがある。
9.2.0のリリース記録によると、今回が9.2系列で初の安定版リリースとなる。ダウンロードページにはDockerタグとプラットフォーム別のバイナリー成果物が掲載されている。Valkeyは9.2を、後方互換性を損なう変更のないマイナーリリースと説明している。ただし、LZ4またはZstandard圧縮を使って書き込まれた追記専用ファイルのベースは、後からダウングレードする場合、互換性のあるValkeyバージョンが必要になると警告している。
Valkey 9.2は、推論の経済性に関わる2つの側面を結びつける。繰り返されるプリフィルで失われるGPU処理能力を取り戻すことと、データ層のメモリーおよびネットワークのオーバーヘッドを削減することだ。この新しい階層の価値を評価する運用担当者にとって、公開された結果は、ワークロードでの再利用頻度とキャッシュ追い出しの圧力が効果を左右することを示している。また、新しいトークンのプリフィルですでに利用可能なGPU演算能力を使い切っている場合には、効果に明確な上限がある。












