Meta détaille la montée en puissance du supercluster Prometheus, qui vise 1 million de GPU

Le 19 octobre 2026, l’équipe d’ingénierie de Meta a publié un compte rendu technique détaillé de Prometheus, le supercluster d’IA de l’entreprise, d’une puissance de plusieurs gigawatts et situé à New Albany, dans l’Ohio. Elle a confirmé que la première phase, achevée, avait servi à entraîner les modèles fondamentaux Muse et que Meta prévoyait de porter le système à environ 1 million de GPU.

Dans un article publié sur le blog d’ingénierie de Meta, Kevin Lee, Yashar Bayani, Ahmed Sharif et Yee Jiun Song ont écrit que la première phase avait servi à entraîner la famille Muse, notamment les modèles de pointe Muse Wonder, qui, selon Meta, offrent des performances de premier plan pour les tâches agentiques personnelles et professionnelles. Deux ans avant cette publication, le site de New Albany était un centre de données classique qui gérait du trafic Web ; Meta l’a réaménagé pour entraîner des modèles de pointe et construit le supercluster par phases. Prometheus compte désormais des centaines de milliers de GPU répartis dans des bâtiments de centres de données classiques et optimisés pour l’IA, ainsi que dans des structures déployées rapidement, le tout fonctionnant comme une seule machine.

Meta indique avoir maintenu un débit utile supérieur à 85 % pendant les préentraînements de Muse Wonder et supérieur à 90 % pendant les entraînements par renforcement, avec un délai moyen entre interruptions, mesuré en temps écoulé, d’environ 47 000 heures-GPU pendant l’entraînement. Des changements apportés par la suite à l’ensemble du parc, notamment des correctifs de micrologiciel, ont porté ce délai à plus de 54 000 heures-GPU.

Deux plateformes NVIDIA en production

Prometheus déploie deux plateformes GPU NVIDIA, et Meta indique qu’une troisième, basée sur Vera Rubin NVL72 de NVIDIA, arrivera prochainement. Chacune repose sur une architecture de rack NVL72, dans laquelle 72 GPU agissent comme un seul accélérateur au sein d’une même fabric réseau.

La première plateforme, Catalina, utilise la NVIDIA GB200 NVL72 dans la variante à deux racks Ariel : 36 GPU par rack sont reliés par NVLink pour former un domaine unifié de 72 GPU. Chaque GPU Blackwell est associé à un processeur Grace et à deux cartes réseau ConnectX-7 400G, selon un rapport CPU/GPU de 1:1, ce qui fournit 800G d’E/S par GPU. Meta indique avoir choisi Ariel parce que la GB200 NVL72 améliorait, par rapport à la H100, les FLOPS, la bande passante HBM, la bande passante de montée en charge et la taille du domaine de montée en charge, tandis que la bande passante de mise à l’échelle par GPU serait restée à 400G, un déséquilibre qui, selon ses prévisions, aurait pénalisé les performances. Catalina repose sur la conception de rack haute puissance Open Rack V3 de Meta, qui a été proposée à l’Open Compute Project.

Meta attribue à Catalina 72 GPU Blackwell, 13,4 To de HBM3e (192 Go par GPU), une puissance de calcul de pointe de 720 PFLOPS pour l’entraînement FP8 (1 440 PFLOPS en FP4), une bande passante NVLink de pointe de 130 To/s, une bande passante mémoire agrégée de pointe de 576 To/s et une puissance totale d’environ 120 kW pour la paire de racks.

La deuxième plateforme, Clemente, passe à la NVIDIA GB300 NVL72. Selon Meta, la GB300 augmente de 1,5 fois la capacité HBM par GPU, qui passe de 192 Go à 288 Go, et accroît dans une proportion similaire le débit de calcul FP4 dense, tout en multipliant à peu près par deux l’accélération de l’attention (softmax). Les SuperNIC ConnectX-8 fournissent nativement 800G par GPU, et un rapport GPU/CPU de 2:1 permet à Clemente d’intégrer le domaine complet de 72 GPU dans un seul rack.

Meta attribue à Clemente 72 GPU Blackwell Ultra, 20,7 To de HBM3e, une puissance de calcul FP4 de pointe supérieure à 1 exaFLOP, une bande passante NVLink de pointe de 130 To/s (1,8 To/s bidirectionnels par GPU) et une puissance de rack d’environ 135 kW. Selon les chiffres communiqués, ses performances sont supérieures de 5 à 10 % à celles de la GB200 NVL72. Clemente peut être déployée avec un système de refroidissement liquide assisté par air ou avec un système de refroidissement liquide des installations dans les centres de données nouvellement conçus par Meta.

Fabric réseau des bâtiments et agrégation régionale

En complément du réseau standard de ses centres de données, Meta exploite un réseau Ethernet dorsal dédié aux communications directes entre GPU, à l’intérieur des bâtiments et entre eux, conçu en fonction de la hiérarchie de parallélisme des données des grands travaux de préentraînement. Chaque fabric Ethernet à l’échelle d’un bâtiment relie jusqu’à 20 736 GPU. La conception initiale reposait sur une fabric à ordonnancement désagrégé, avec un routage multipath au niveau du sous-paquet et un contrôle de flux de bout en bout fondé sur des crédits. Meta l’a ensuite remplacée par une fabric sans ordonnancement, reposant sur des commutateurs à mémoire tampon réduite de 51,2T, notamment Minipack3 avec équilibrage dynamique de charge et Minipack3N basé sur Spectrum-4, avec le routage adaptatif de NVIDIA sur les cartes réseau ConnectX. Les deux fonctionnent avec la pile réseau FBOSS de Meta.

Le réseau d’agrégation dorsale, une architecture multicouche en étoile reliant les fabrics des bâtiments sur des distances allant de 2 km à plus de 100 km, est constitué de châssis Arista série 7800 équipés de composants Broadcom Jericho3 à mémoire tampon profonde. Il fournit plusieurs Pbit/s de bande passante par paire de régions. Meta indique que le préentraînement sur de telles distances a nécessité un effort d’optimisation dédié avec Meta Superintelligence Labs, en raison des limites imposées par la vitesse de la lumière. L’entreprise décrit une infrastructure physique comprenant des fibres totalisant des millions de milles, des dizaines de milliers de commutateurs et des millions de composants optiques, des émetteurs-récepteurs enfichables FR4 LITE 2x400G à courte portée à l’intérieur des bâtiments aux composants optiques cohérents 800G-ZR pour les liaisons de plus d’environ 10 km.

Concevoir pour réduire les interruptions

Le passage de l’architecture NVL8 de la génération H100 à NVL72 a élargi le domaine de panne du scale-up (l’ensemble des GPU étroitement couplés via NVLink pour le parallélisme des tenseurs), qui est passé de huit à 72 GPU, soit une zone d’impact 9 fois plus grande, selon l’article. Comme le parallélisme de l’entraînement est plus efficace avec des groupes dont la taille est une puissance de deux, chaque domaine NVL72 utilise une tranche de 64 GPU et garde huit GPU en réserve dans la baie, tandis qu’environ 2 % de baies supplémentaires sont conservées en réserve. Pour un entraînement mobilisant 32 768 GPU actifs, cela suppose de prévoir 523 baies NVL72, soit 37 656 GPU, environ 13 % de plus que le parc actif ; Meta indique que l’essentiel de cette marge (11 %) découle de la configuration en tranches de 64 GPU sur 72, plutôt que d’une pénalité absolue liée à la fiabilité. Chaque domaine comprend 5 184 liaisons de signalisation à paires différentielles optimisées, à 200 Gbit/s, qui traversent les SerDes des GPU, les circuits imprimés des plateaux de calcul, les cartouches de câbles et les interfaces des plateaux de commutation.

La reprise après panne repose sur deux mécanismes : la tolérance aux pannes adaptée au parallélisme met hors ligne une réplique défaillante du parallélisme des données, tandis que le reste du cluster répète l’étape et poursuit l’entraînement ; par ailleurs, la sauvegarde asynchrone distribuée, avec sauvegardes différentielles et mise en mémoire vive intermédiaire, restaure le travail à partir de son dernier état enregistré lorsqu’une panne touche une zone plus vaste qu’une seule réplique.

Lors de la phase initiale de Prometheus, à la mi-2025, les interruptions ont culminé à près de 1 000 événements par jour pour 8 000 GPU. Meta fait état d’une baisse de 99 % après un an de travail d’ingénierie transversal et indique que son objectif de fiabilité à long terme est de deux interruptions par jour pour 8 000 GPU, soit un temps moyen d’environ 100 000 heures-GPU entre interruptions (MTBI).

Des interventions ciblées ont amélioré l’intégrité du signal NVLink sur plus de 600 000 connexions, la fiabilité des mémoires HBM et LPDDR grâce à l’affinement des paramètres du micrologiciel et au retrait préventif des composants qui se dégradent, ainsi que la surveillance de l’état des commutateurs NVLink à la milliseconde près ; elles ont également permis le réacheminement transparent des événements affectant les liaisons dorsales. Meta a aussi automatisé les lots de micrologiciels, ce qui permet de déployer des correctifs sur plus de 100 000 GPU en quelques heures, et a réduit de plus de sept heures à deux heures le délai de mise à niveau d’un pod unique au P90. L’entreprise décrit également un modèle de co-ingénierie dans lequel des équipes de NVIDIA sont présentes dans ses centres de données, avec une télémétrie partagée et un triage conjoint.

Énergie, refroidissement et projets d’expansion

L’entraînement synchronisé provoque des variations de puissance de 30 à 40 % au sein du cluster, et le lancement ou la mise en pause d’un travail majeur peut entraîner des variations de charge de plusieurs dizaines de mégawatts en quelques secondes. Le cadre Dynamo Dimmer de Meta ajuste progressivement les limites de puissance des GPU à mesure que le cluster approche de son plafond électrique, plutôt que d’interrompre brutalement les charges de travail. Ce dispositif s’appuie sur des modules de batteries de secours au niveau des baies, des plateaux de condensateurs, des systèmes de stockage d’énergie par batteries sur site et une coordination avec les fournisseurs d’électricité.

Le refroidissement associe un système modulaire de refroidissement liquide assisté par air dans des bâtiments ouverts sur l’extérieur et des structures à déploiement rapide, ainsi qu’un refroidissement liquide intégré au bâtiment spécialement conçu et optimisé pour l’IA ; Meta intègre aussi des capacités louées auprès de partenaires stratégiques. L’entreprise indique qu’elle paie la totalité du coût de l’énergie pour le site de New Albany et qu’elle compense sa consommation par de nouvelles énergies propres et renouvelables. Elle utilise un refroidissement liquide en circuit fermé directement sur puce dans ses centres de données les plus récents, optimisés pour l’IA, et partage des conceptions comme sa baie réseau à refroidissement liquide IcePack par l’intermédiaire de l’Open Compute Project.

Meta prévoit d’étendre Prometheus en combinant des systèmes GB300 NVL72 et Vera Rubin NVL72. Sa future plateforme San Miguel est annoncée avec 72 GPU Vera Rubin dotés de 288 Go de mémoire HBM4 et d’une bande passante de pointe de 19,2 To/s par GPU, une puissance de calcul de pointe de 2,52 EFLOPS pour l’entraînement FP4 (1,26 EFLOPS en FP8) par baie, une bande passante NVLink de pointe de 216 To/s (3 To/s bidirectionnels par GPU), une bande passante mémoire agrégée de pointe d’environ 1 500 To/s, ainsi que des plateaux de calcul entièrement refroidis par liquide, à plus de 170 kW par baie. Meta estime que cette plateforme offrira une amélioration de 10 à 20 % des performances par watt par rapport à la GB300 NVL72.

Hyperion, le prochain supercluster de Meta dans la paroisse de Richland, en Louisiane, est conçu de toutes pièces en s’appuyant sur les enseignements tirés de Prometheus. Il intégrera un refroidissement liquide en circuit fermé, une connexion complète au réseau électrique avec le partenaire de services publics Entergy, dont Meta indique payer la totalité du coût, ainsi que des conceptions réseau de nouvelle génération.