Meta、Prometheusスーパークラスターを拡張し、GPU 100万基規模を目指す

Metaのエンジニアリングチームは2026年10月19日、オハイオ州ニューオールバニーにある同社のギガワット級AIスーパークラスター「Prometheus」について、詳細な技術解説を公開した。第1フェーズが完了し、Muse基盤モデルの学習に使用されたことを明らかにするとともに、システムを約100万基のGPU規模へ拡張する計画を示した。

Metaのエンジニアリングブログへの投稿で、Kevin Lee、Yashar Bayani、Ahmed Sharif、Yee Jiun Songは、第1フェーズでMuseシリーズを学習させたと説明した。このシリーズにはMuse Wonderの最先端モデルも含まれ、Metaによると、個人向けおよび業務向けのエージェントタスクで最先端の性能を発揮するという。この発表の2年前、ニューオールバニーの施設はウェブトラフィックを処理する一般的なデータセンターだった。Metaは最先端モデルの学習に対応できるよう施設を改修し、スーパークラスターを段階的に構築している。現在のPrometheusは、従来型とAI向けに最適化されたデータセンターの建屋、および迅速に展開できる構造物に分散する数十万基のGPUで構成され、全体が単一のマシンとして稼働している。

Metaによると、Muse Wonderの事前学習ではグッドプットが85%を超え、強化学習では90%を超えた。また、学習中の実時間ベースの平均中断間隔は約4万7,000 GPU時間だった。その後、ファームウェアの修正を含むフリート全体の変更により、この値は5万4,000 GPU時間を超えた。

本番環境で稼働する2つのNVIDIAプラットフォーム

Prometheusでは2種類のNVIDIA GPUプラットフォームが導入されており、Metaによると、NVIDIAのVera Rubin NVL72をベースにした3つ目のプラットフォームもまもなく登場する。いずれもNVL72ラックアーキテクチャを採用し、1つのネットワークファブリック内で72基のGPUが単一のアクセラレーターとして動作する。

1つ目のプラットフォームであるCatalinaは、Arielの2ラック構成でNVIDIA GB200 NVL72を採用する。1ラックあたり36基のGPUをNVLinkで接続し、統合された72 GPUドメインを構成する。各Blackwell GPUにはGrace CPUと2基のConnectX-7 400G NICが組み合わされ、CPU対GPU比は1対1で、GPU 1基あたり800GのI/Oを実現する。Metaによると、Arielを選んだのは、GB200 NVL72がH100に比べてFLOPS、HBM帯域幅、スケールアップ帯域幅、スケールアップドメインの規模を拡大できる一方、GPUあたりのスケールアウト帯域幅は400Gのままとなり、性能低下につながる不均衡が生じると見込まれたためだ。Catalinaは、MetaがOpen Compute Projectに提供した高電力ラック設計「Open Rack V3」で稼働する。

Metaが公表したCatalinaの仕様は、Blackwell GPU 72基、HBM3e 13.4 TB（GPUあたり192 GB）、FP8学習演算性能のピーク値720 PFLOPS（FP4では1,440 PFLOPS）、NVLink帯域幅のピーク値130 TB/s、メモリー帯域幅の合計ピーク値576 TB/s、2ラック構成全体で約120 kWのシステム消費電力。

2つ目のプラットフォームであるClementeは、NVIDIA GB300 NVL72を採用する。Metaによると、GB300ではGPUあたりのHBM容量が1.5倍に増え、192 GBから288 GBになった。高密度FP4のスループットも同程度の倍率で向上し、アテンション（ソフトマックス）の高速化性能はおよそ2倍になった。ConnectX-8 SuperNICはGPUあたり800Gをネイティブに提供し、GPU対CPU比を2対1とすることで、Clementeは72 GPUドメイン全体を1つのラックに収めている。

Metaが公表したClementeの仕様は、Blackwell Ultra GPU 72基、HBM3e 20.7 TB、FP4演算性能のピーク値が1エクサFLOP超、NVLink帯域幅のピーク値130 TB/s（GPUあたり双方向1.8 TB/s）、ラック消費電力約135 kWで、GB200 NVL72に比べて性能が5～10%向上するとされる。Clementeは、モジュール式の空気補助液冷方式、またはMetaが新たに設計したデータセンターの施設液冷方式で導入できる。

建屋間ネットワークと地域内集約

Metaは標準的なデータセンターネットワークに加え、建屋内および建屋間でGPU同士を直接通信させる専用のEthernetバックエンドネットワークを運用している。大規模な事前学習ジョブのデータ並列階層を考慮して設計されたもので、各建屋レベルのEthernetファブリックは最大20,736基のGPUを相互接続する。初期設計では、パケット未満の粒度でのマルチパスルーティングと、クレジットベースのエンドツーエンドフロー制御を備えた分離型スケジュールファブリックを採用していた。その後Metaは、バッファーの浅い51.2Tスイッチを用いる非スケジュール型ファブリックへ移行した。これには、動的負荷分散を備えたMinipack3と、ConnectX NICでNVIDIAのアダプティブルーティングを利用するSpectrum-4ベースのMinipack3Nが含まれ、どちらもMetaのネットワークスタックFBOSSを実行する。

建屋のファブリックを2 kmから100 km超の範囲で接続する多層ハブ・アンド・スポーク型ネットワーク「Backend Aggregation」は、ディープバッファーを備えたBroadcom Jericho3シリコンを搭載するArista 7800シリーズのシャーシで構築されており、地域間の接続ペアごとに複数ペタビット/秒の帯域幅を提供する。Metaによると、光速による制約があるため、こうした距離で事前学習を実行するには、Meta Superintelligence Labsと連携した専用の最適化作業が必要だった。同社の説明では、物理インフラには合計で数百万マイルに及ぶ光ファイバー、数万台のスイッチ、数百万個の光モジュールが含まれる。建屋内の短距離接続に使う2x400G FR4 LITEプラガブル光モジュールから、約10 kmを超えるリンク向けの800G-ZRコヒーレント光モジュールまでを備えている。

中断を減らすためのエンジニアリング

H100世代のNVL8アーキテクチャからNVL72への移行により、スケールアップ時の障害ドメイン（テンソル並列処理のためにNVLinkで緊密に接続されたGPU群）は8基から72基へと拡大し、投稿によると、障害の影響範囲は9倍になった。学習時の並列処理は2の累乗のグループサイズに最も効率よく対応するため、各NVL72ドメインでは64基のGPUを使い、8基をラック内の予備として確保するほか、ラックも約2％分を予備として確保している。稼働中のGPUが32,768基の学習を実行する場合、NVL72ラック523台、つまりGPU37,656基を用意することになり、稼働分を約13％上回る。Metaによると、この余裕分の大半（11％）は絶対的な信頼性確保のためのコストではなく、72基中64基を使う構成に起因する。各ドメインには、200 Gbpsで動作する調整済み差動ペア信号リンクが5,184本組み込まれており、GPUのSerDes、演算トレイのPCB、ケーブルカートリッジ、スイッチトレイのインターフェースをまたいで接続されている。

障害からの復旧には2つの仕組みを用いる。Parallelism-Aware Fault Toleranceでは、データ並列処理のレプリカに障害が発生すると、そのレプリカを停止し、クラスター内のほかの部分ではステップを再実行して学習を続ける。もう1つは、差分チェックポイントとメモリー内ステージングを用いた分散型の非同期チェックポイントで、障害の影響範囲が1つのレプリカを超えた場合、最後に保存された状態からジョブを復元する。

2025年半ばのPrometheus初期段階では、中断がピーク時にGPU 8,000基あたり1日約1,000件に達した。Metaによると、部門横断のエンジニアリングに1年取り組んだ結果、中断は99％減少した。同社は、信頼性に関する最終目標をGPU 8,000基あたり1日2件の中断、すなわちMTBI約10万GPU時間としている。

重点的な対策では、60万を超える接続におけるNVLinkの信号品質、ファームウェア設定の改良と劣化するデバイスの予測的な交換によるHBMおよびLPDDRメモリーの信頼性、ミリ秒単位で監視するNVLinkスイッチの健全性、バックエンドリンクで発生するイベントの透過的な迂回に対応した。Metaはまた、ファームウェアバンドルの更新を自動化し、100,000基を超えるGPUに数時間以内に修正を展開できるようにした。さらに、単一ポッドのアップグレード時間のP90を7時間超から2時間に短縮した。同社は、NVIDIAのチームがデータセンターに常駐し、テレメトリーを共有して共同で問題を切り分ける、共同エンジニアリングのモデルについても説明している。

電力、冷却、拡張計画

同期型の学習では、クラスター内で30～40％の電力過渡変動が発生する。また、大規模なジョブを開始または一時停止すると、数秒のうちに数十メガワットを超える負荷変動が起こることがある。MetaのDynamo Dimmerフレームワークは、クラスターが電力供給の上限に近づくと、ワークロードを強制停止する代わりにGPUの電力上限を段階的に調整する。この仕組みは、ラック単位のバッテリーバックアップモジュールやコンデンサートレイ、施設用蓄電池に加え、電力会社との連携によって支えられている。

冷却方式としては、外気を利用する建物や迅速に展開できる施設では、モジュール式の空冷補助付き液冷を採用し、専用設計のAI最適化施設では施設全体の液冷を用いている。またMetaは、戦略的パートナーからリースした容量も組み合わせている。同社によると、New Albanyの施設ではエネルギー費用を全額負担し、使用するエネルギーを新たなクリーンエネルギーおよび再生可能エネルギーで賄っている。また、最新のAI最適化データセンターではチップ直結型のクローズドループ液冷を採用し、Open Compute Projectを通じて、IcePack液冷ネットワークラックなどの設計を共有している。

Metaは、GB300 NVL72とVera Rubin NVL72を組み合わせてPrometheusを拡張する計画だ。今後登場するSan Miguelプラットフォームは、Vera Rubin GPUを72基搭載し、GPU 1基あたりHBM4を288 GB、ピーク帯域幅を19.2 TB/s備える構成として示されている。ラックあたりのピーク演算性能は、FP4学習で2.52 EFLOPS（FP8では1.26 EFLOPS）、ピークNVLink帯域幅は216 TB/s（GPU 1基あたり双方向3 TB/s）、メモリー帯域幅のピーク合計は約1,500 TB/sとなる。また、ラックあたり170 kWを超える電力に対応する完全液冷式の演算トレイを備え、GB300 NVL72と比べて電力あたりの性能が10～20％向上するとMetaは述べている。

Metaがルイジアナ州Richland Parishで建設を計画している次世代のスーパーコンピュータークラスターHyperionは、Prometheusから得た知見を生かして一から設計されている。設計には、クローズドループ液冷、電力会社のパートナーであるEntergyとの全面的な送電網接続（Metaによると、その費用は同社が全額負担する）、次世代ネットワーク設計が盛り込まれている。