パートナーシップ
SambaNova、空冷AI推論に向けてIntel GPUとSN50を組み合わせ

要点SambaNovaは推論を分割し、Intel GPUがプレフィルを処理する一方、同社のRDUがメモリ依存のデコードを処理します。
もっと見る
- SambaNovaは推論を分割し、Intel GPUがプレフィルを処理する一方、同社のRDUがメモリ依存のデコードを処理します。
- 標準イーサネットとオープンなサービングソフトウェアが、独自のインターコネクトなしで2つのアクセラレータプールを接続します。
- 空冷設計は、液冷への改修が現実的でない既存データセンターを対象としています。
SambaNova Systemsは2026年11月15日に発表し、SuperComputing 2026でIntelとともに空冷AI推論システムを実演した。このシステムでは、プロンプト処理に4基のIntel GPU D-Seriesアクセラレーターを、トークン生成にSambaRack SN50を使用し、GLM-5.3を実行した。
このシステムでは推論を、入力されたプロンプトを処理してキー・バリュー(KV)キャッシュを構築するプリフィルと、出力トークンを生成するデコードに分けている。計算負荷の高いプリフィルはIntelのハードウェアが担い、メモリ帯域に制約されるデコードはSambaNovaの第5世代再構成可能データフローユニット(RDU)が担う。SambaNovaは、録画されたこのシステムを、顧客が既存のデータセンターに導入できるようになる設計として紹介している。
推論の各段階に異なるハードウェアを使用
この実演の規模は、Intelのリファレンス構成を大きく下回る。SambaNovaによると、D-SeriesのリファレンスラックはGPUを80基搭載し、FP4演算でピーク性能208ペタフロップスを実現する。メモリ容量は構成に応じて12 TBから38 TBとなる。これらの数値は、より大規模なプリフィル設計を示すものであり、SuperComputingの実演環境で測定された性能ではない。
IntelのD270製品仕様によると、この空冷GPUは消費電力350 Wで、32基のXe3Pコア、256基のXMXマトリックスエンジン、標準のPCIe 5.0、カード1枚あたり最大480 GBのLPDDR5Xメモリを備える。標準フォームファクターを採用しており、独自仕様のネットワークや特注システムを必要とせず、既存のサーバーで動作することを想定している。
SambaRack SN50は1台あたりRDUを16基搭載し、推論時の消費電力は通常20 kWとなる。最大16台のラックを1つのユニットとして稼働させることができ、RDUは最大256基となる。これにより、より低消費電力のラックにワークロードを分散できる。SambaNovaによると、同社のデータフローアーキテクチャは、個別のGPUカーネル間でデータをメモリに戻すのではなく、チップ間でモデルの処理を連鎖させることで、トークン生成時のメモリトラフィックとカーネル再起動のオーバーヘッドを削減する。
オープンソフトウェアがハードウェア群を接続
NVIDIA Dynamoは2つのアクセラレーター群の前段に配置され、キャッシュ済みのコンテキストをすでに保持しているハードウェアに各リクエストを振り分けるよう設計されている。vLLMはIntelのプリフィル経路とSN50のデコード経路の両方に対応し、NIXLは標準的なRoCEv2 Ethernetを使用して、UCX/RDMA経由でKVキャッシュデータを転送する。そのため、ハードウェアの種類が異なる間の引き継ぎには、独自の相互接続ではなく、既存のEthernetファブリックを利用できる。
SN50は、以前のプロンプトに由来するKVプレフィックスを接続されたDDRメモリに保持し、チップ上のSRAMとHBMはアクティブなデコードを支える。エージェントが会話や共有コンテキストに戻ると、キャッシュを考慮したルーティングによって、そのプレフィックスを保持するSN50にリクエストを送ることができる。その結果、新たな内容だけがGPUのプリフィル処理を経由し、ネットワークを通過するKV状態も少なくなる。SambaNovaによると、こうしたキャッシュヒットは最初のトークンが生成されるまでの時間を短縮し、新たなリクエストに対応するGPUの処理能力を確保する。この投稿では、こうした利点を説明しているものの、統合システムの実演におけるレイテンシやスループットの実測結果は報告していない。
既存の空冷施設内で拡張
この分割構成により、各処理段階を独立して拡張することもできる。長いプロンプトにはD-Seriesのプリフィル能力の増強が必要になる場合がある一方、より長い出力を生成するエージェントにはSN50のデコード能力の追加が求められる場合がある。どちらの場合も、もう一方の処理能力を同じ割合で拡張する必要はない。
この柔軟性は、施設に液冷システムを容易に導入できない事業者を想定している。Intelによると、D270は標準的なPCIeフォームファクターと350 Wの空冷仕様を採用し、特殊な液冷設備への改修を行わずに既存のラックで使用できるよう設計されている。SN50のラック単位の電力特性と組み合わせることで、既存の空冷環境に推論能力を追加することを目指す設計だ。
この実演の意義は、統合にある。一般的なサービングソフトウェアと標準的なEthernetで接続した2種類のアクセラレーターアーキテクチャを、推論の異なる段階に割り当て、ワークロードに応じて拡張できる。電力と冷却の上限が決まっている事業者にとって、残る課題は、両方のハードウェア群を運用する価値があるほど、実運用のワークロードで説明されているキャッシュと稼働率の改善効果が得られるかどうかだ。












