D-Matrix、複数ラック構成のAI推論クラスター「Squadron」を発表

d-Matrixは2026年10月12日、データセンター規模のAI推論向けに複数ラックを連携させるシステム群「Squadron」を発表した。創業者兼CEOのSid Shethは、サンノゼで開催されたOCP Global Summitの初日の基調講演でクラスターを披露した。クラスターは最大16台のSquadRackに拡張でき、Corsair XPUを最大1,024基搭載する。システムは優先顧客への出荷が始まっている。

Squadronは、Arista、Broadcom、Supermicroとの協業で開発された。d-Matrixはすでに、社内の研究開発用にアリゾナ州のデータセンターへシステムを導入しており、顧客が自社のデータセンターに設置するためのクラスターも、優先顧客向けに出荷している。Squadronを構成する同社のCorsairサーバーと、ラック規模のシステムであるSquadRackは、いずれも一般販売されている。d-Matrixは、Squadronがメガワット級の推論計算能力を提供すると説明している。また、コーディング、パーソナルエージェント、サイバーセキュリティ、高頻度取引など、低遅延が求められるアプリケーションを運用するAI研究機関、企業、主権組織を対象としていると述べた。

Shethは今回の発表を、d-Matrixが特化型チップ企業からデータセンター向け計算インフラ企業へと進化する節目と位置付けた。「お客様は今、超低遅延のAIアプリケーションを構築し、規模を拡大するために利用できる、世界で最も効率的なデータセンター規模の推論インフラを手にしています」と、同社の発表で述べた。

Supermicroの社長兼CEOであるCharles Liangは、この協業は、Data Center Building Block Solutionsプログラムを通じてAI技術を提供するSupermicroの能力を示すものだと述べた。これにより顧客は、高度なAIワークロードや異種コンピューティング環境向けに、効率性と高性能を備え、オンライン稼働までの時間を短縮した推論インフラを導入できる。

ラック構成とオープン標準の相互接続

Squadronには複数の構成があり、最大16台のSquadRackをまとめた統合クラスターへ拡張できる。各SquadRackは8台のサーバーを収めた1ラックで、クラスター全体ではCorsair XPUを最大1,024基搭載できる。クラスター同士はd-MatrixのJetStream NICで相互接続され、同社のAviatorソフトウェアとともに導入される。システムは空冷式で、業界標準に基づいて構築されているため、顧客は液冷設備や新たな施設建設を行わずに、すでに運用しているデータセンターへ設置できるとd-Matrixは述べた。顧客は同じアーキテクチャ上で、Corsairサーバー1台、SquadRack 1台、または複数ラック構成のSquadronクラスターを導入できる。

同社のラック規模製品のページには、基準構成が4種類掲載されている。シングルサーバー・スターターラックは、カード8枚と、帯域幅1,200 TB/sの性能メモリー16GBを搭載し、容量メモリーは最大2TB、消費電力は10 kW未満。デュアルサーバー・スターターラックは、サーバー2台とカード16枚を使用し、性能メモリーは32GB。定格消費電力は10～30 kWで、JetStreamを介したイーサネットベースのスケールアウトに対応する。マルチサーバー・ハーフラックは、サーバー4台とカード32枚を使用し、性能メモリーは64GB、定格消費電力は30～100 kW。エンタープライズ対応フルラックは、サーバー8台とカード64枚を使用し、性能メモリーは128GB。パフォーマンスモードでは、最大1,000億パラメーターのモデルを実行できる。

相互接続には、単一ノード内のスケールアップにPCIeを、ラック内のスケールアップとラック間のスケールアウトに業界標準のイーサネットを使用する。同社は業界コンソーシアムのUALinkとUECに加盟しており、両団体は次世代のスケールアップおよびスケールアウト規格の策定に取り組んでいる。

SquadRackとCorsairプラットフォームの背景

Squadronは、d-Matrixが2025年10月14日、前回のOCP Global SummitでSquadRackとして初めて発表したラック規模製品群を拡張するものだ。この発表も、Arista、Broadcom、Supermicroとの協業で行われた。当時、d-MatrixはSquadRackを、AI推論専用に設計された業界初のラック規模ソリューションと説明し、従来のアクセラレーターと比べてコスト性能が最大3倍、エネルギー効率が3倍高く、トークン生成が最大10倍速いと述べていた。

2025年の発表によると、8ノード構成のSquadRackは最大1,000億パラメーターの生成AIモデルを実行し、標準規格に基づくイーサネットによって、複数ラックにまたがる数百ノードまでスケールアウトできる。構成部品として、Corsair推論アクセラレーター、JetStream IOアクセラレーター、SupermicroのX14 AI Server Platform、ノード内のスケールアップに使うBroadcomのPCIeスイッチ、JetStream NICに接続するArista Leafイーサネットスイッチ、そしてAviatorソフトウェアスタックが挙げられている。

両システムの中核となるCorsairプラットフォームは、従来の限界を超えてSRAMを拡張することを目的としたチップレットベースの設計を採用し、既存のPCIeベースのインフラに統合でき、最大1,000億パラメーターのモデルに対応する。d-Matrixの3DIMC設計は、DRAMをロジックダイに直接積層する。また、Aviatorソフトウェアスタックは、コンパイラーからランタイムまで、ハードウェアと共同で設計されている。

Attention-FFN分離のデモ

Shethは基調講演で、d-MatrixがGPUサーバーと組み合わせたSquadronシステムを用いて、attention-FFN分離（AFD）を実装したことも明らかにした。同社によると、モデルのエキスパートとフィードフォワードネットワークをCorsairラックにオフロードした結果、ユーザー1人あたり毎秒845トークンを達成した。また、64人の同時ユーザーがいる構成では、毎秒20,415トークンの総スループットに達した。d-Matrixは、現在入手可能な実際のシリコン上でAFDの動作を示したのは同社が初めてだと述べている。

2026年10月12日に公開された関連技術記事では、テスト環境が説明されている。ワークロードにはGPT-OSS-20Bを使用する。これは混合エキスパートモデルで、全209億個のパラメーターのうち191億2,000万個をエキスパートが占め、推論ごとに32人中4人のエキスパート、約36億個のパラメーターがアクティブになる。4ビット精度では、これらのエキスパートはSRAMを16GB搭載した8枚のCorsairカードサーバーに収まる。80GBのNvidia H100 GPUがアテンション、埋め込み、KVキャッシュ、エキスパートへのルーティングを処理する一方、Corsairはエキスパートの計算を実行する。バッチサイズが64の場合、2基のH100 GPUで8基のCorsairアクセラレーターを共有する。

d-Matrixによると、CorsairのSRAMは150 TB/sのメモリ帯域幅を備えており、同社はこれがH100のHBM3の帯域幅の45倍、HBM4が提供する18 TB/sの約9倍に当たるとしている。また同社は、フィードフォワード処理をCorsairに移すことで、コンテキスト長が1Kの場合、H100を1基だけ使用したときの出力トークンあたりの処理時間が2.59ミリ秒から1.28ミリ秒に短縮され、約50％削減されたと報告した。

記事によると、モデルの24層を処理するため、GPUとCorsairの間で24回の往復通信が行われ、さらにLMヘッドとの間でもう1回行われる。その際、GPUは2,880次元の隠れ状態ベクトルと対象エキスパートの割り当て情報を、クラスターあたり400 Gb/sのイーサネット帯域幅を提供するJetStreamリンク経由で送信する。JetStreamのデバイス主導型通信により、GPUはCorsairのメモリに直接書き込めるほか、ホストCPUを介さずにCorsairから結果を書き戻せる。各CorsairカードにはLMヘッドのシャードが1つずつ格納される。この構成によりLMヘッドの処理時間が10分の1になったと、d-Matrixは述べている。

同社によると、バッチサイズが64の場合、このシステムはコンテキスト長129で、64ユーザー全員分のデコードステップを2.46ミリ秒で完了する。d-Matrixはまた、Corsairは投機的デコード構成とAFD構成を、数千億個のパラメーターを持つモデルにまで拡張できると述べ、対象としてGLM 5.xとKimi K3を挙げた。

d-Matrixの研究者は、2026年10月14日の午前11時と午後2時（太平洋時間）、および2026年10月15日の午前11時（太平洋時間）に、同社のOCPブースC82でAFDのデモをライブで披露する。