Meta licht toe hoe Prometheus-supercluster opschaalt naar 1 miljoen GPU’s

Het engineeringteam van Meta publiceerde op 19 oktober 2026 een gedetailleerd technisch verslag over Prometheus, het AI-supercluster op gigawattschaal van het bedrijf in New Albany, Ohio. Daarin bevestigt het team dat de voltooide eerste fase de Muse-basismodellen heeft getraind en dat Meta van plan is het systeem op te schalen naar ongeveer 1 miljoen GPU’s.

In een bericht op Meta’s engineeringblog schreven Kevin Lee, Yashar Bayani, Ahmed Sharif en Yee Jiun Song dat de eerste fase de Muse-modellenfamilie heeft getraind, waaronder de geavanceerde modellen Muse Wonder, die volgens Meta topprestaties leveren bij agenttaken voor persoonlijk en professioneel gebruik. Twee jaar voordat dit bekend werd gemaakt, was de locatie in New Albany een conventioneel datacenter dat webverkeer verwerkte; Meta heeft de locatie aangepast voor het trainen van geavanceerde modellen en bouwt het supercluster in fasen. Prometheus bestaat nu uit honderdduizenden GPU’s, verspreid over traditionele en voor AI geoptimaliseerde datacentergebouwen en snel inzetbare constructies. Ze functioneren allemaal als één machine.

Meta meldt dat het tijdens pretraining van Muse Wonder een goodput van meer dan 85% behaalde en tijdens runs voor reinforcement learning van meer dan 90%. De gemiddelde wandkloktijd tussen onderbrekingen tijdens het trainen bedroeg ongeveer 47.000 GPU-uren; latere wijzigingen in het hele GPU-park, waaronder firmwareoplossingen, brachten dit op meer dan 54.000 GPU-uren.

Twee NVIDIA-platforms in productie

Prometheus maakt gebruik van twee NVIDIA-GPU-platforms. Volgens Meta komt er binnenkort een derde platform bij, gebaseerd op NVIDIA’s Vera Rubin NVL72. Elk platform gebruikt een NVL72-rackarchitectuur, waarin 72 GPU’s binnen één netwerkstructuur als één accelerator functioneren.

Het eerste platform, Catalina, gebruikt de NVIDIA GB200 NVL72 in de Ariel-uitvoering met twee racks: per rack zijn 36 GPU’s via NVLink gekoppeld tot één domein van 72 GPU’s. Elke Blackwell-GPU is gekoppeld aan een Grace-CPU en twee ConnectX-7-NIC’s van 400G, met een verhouding van 1:1 tussen CPU’s en GPU’s. Dat levert 800G aan I/O per GPU op. Meta zegt voor Ariel te hebben gekozen omdat de GB200 NVL72 ten opzichte van de H100 meer FLOPS, HBM-bandbreedte, opschalingsbandbreedte en een groter opschalingsdomein bood. De afschalingsbandbreedte per GPU zou daarentegen op 400G zijn gebleven, een onbalans waarvan Meta verwachtte dat die ten koste zou gaan van de prestaties. Catalina draait op Meta’s krachtige rackontwerp Open Rack V3, dat is bijgedragen aan het Open Compute Project.

Volgens Meta omvat Catalina 72 Blackwell-GPU’s met 13,4 TB HBM3e (192 GB per GPU), een piekcapaciteit van 720 PFLOPS voor FP8-trainingsberekeningen (1.440 PFLOPS bij FP4), een piekbandbreedte van 130 TB/s via NVLink, een maximale gezamenlijke geheugenbandbreedte van 576 TB/s en een totaal systeemvermogen van ongeveer 120 kW voor het paar racks.

Het tweede platform, Clemente, maakt de overstap naar de NVIDIA GB300 NVL72. Volgens Meta vergroot de GB300 de HBM-capaciteit per GPU met een factor 1,5, van 192 GB naar 288 GB, en neemt ook de doorvoer bij dichte FP4-berekeningen met een vergelijkbare factor toe. De versnelling van attention (softmax) wordt ongeveer verdubbeld. ConnectX-8 SuperNIC’s leveren standaard 800G per GPU, en dankzij een GPU-CPU-verhouding van 2:1 past het volledige domein van 72 GPU’s in één rack.

Volgens Meta omvat Clemente 72 Blackwell Ultra-GPU’s met 20,7 TB HBM3e, meer dan 1 exaFLOP aan FP4-piekrekenkracht, een piekbandbreedte van 130 TB/s via NVLink (1,8 TB/s bidirectioneel per GPU) en een rackvermogen van ongeveer 135 kW. De opgegeven prestatieverbetering ten opzichte van de GB200 NVL72 bedraagt 5–10%. Clemente kan worden ingezet met modulaire luchtgeassisteerde vloeistofkoeling of met koeling via de faciliteit met vloeistof, in Meta’s nieuw ontworpen datacenters.

Netwerkstructuren voor gebouwen en regionale aggregatie

Naast het standaarddatacenternetwerk beheert Meta een speciaal Ethernet-back-endnetwerk voor rechtstreekse communicatie tussen GPU’s binnen en tussen gebouwen, ontworpen rond de data-parallelle hiërarchie van grote pretrainingstaken. Elke Ethernet-netwerkstructuur op gebouwniveau verbindt maximaal 20.736 GPU’s met elkaar. Het oorspronkelijke ontwerp gebruikte een gedisaggregeerde, geplande netwerkstructuur met multipadroutering op subpakketniveau en end-to-endstroomregeling op basis van credits. Later stapte Meta over op een niet-geplande netwerkstructuur met switches van 51.2T en kleine buffers. Daaronder vallen Minipack3 met dynamische belastingverdeling en de op Spectrum-4 gebaseerde Minipack3N met NVIDIA Adaptive Routing op ConnectX-NIC’s. Beide draaien op Meta’s FBOSS-netwerkstack.

Het Backend Aggregation-netwerk is een meerlagig hub-and-spoke-ontwerp dat netwerkstructuren van gebouwen over afstanden van 2 km tot meer dan 100 km met elkaar verbindt. Het is opgebouwd met chassis uit de Arista 7800-serie, die draaien op de Broadcom Jericho3-chip met diepe buffers, en levert meerdere Pbps aan bandbreedte per regiopaar. Meta zegt dat pretraining over zulke afstanden vanwege de beperkingen van de lichtsnelheid een speciaal optimalisatietraject met Meta Superintelligence Labs vereiste. Het bedrijf beschrijft een fysieke infrastructuur met in totaal miljoenen mijlen aan glasvezel, tienduizenden switches en miljoenen optische componenten, van FR4 LITE-pluggables voor korte afstanden binnen gebouwen tot coherente 800G-ZR-optiek voor verbindingen over afstanden van meer dan ongeveer 10 km.

Ontwerpen om onderbrekingen te beperken

De overstap van de NVL8-architectuur van de H100-generatie naar NVL72 vergrootte volgens het bericht het foutdomein voor opschaling (de groep GPU’s die via NVLink nauw met elkaar zijn verbonden voor tensorparallelisme) van acht naar 72 GPU’s, een negen keer zo grote impactzone. Omdat trainingsparallelisme het efficiëntst werkt met groepsgroottes die een macht van twee zijn, gebruikt elk NVL72-domein een slice van 64 GPU’s en houdt het acht GPU’s achter de hand als reserve in het rack; daarnaast wordt ongeveer 2% extra racks in reserve gehouden. Voor een trainingsrun met 32.768 actieve GPU’s betekent dit dat er 523 NVL72-racks, oftewel 37.656 GPU’s, moeten worden ingezet: ongeveer 13% meer dan het aantal actieve GPU’s. Meta zegt dat het grootste deel van die marge (11%) voortkomt uit de indeling in slices van 64 van de 72 GPU’s, en niet uit een absolute toeslag voor betrouwbaarheid. Elk domein bevat 5.184 afgestemde differentiële signaallinks met een snelheid van 200 Gbps, die lopen via GPU-SerDes, PCB’s van compute trays, kabelcassettes en interfaces van switch trays.

Foutherstel berust op twee mechanismen: parallelismebewuste fouttolerantie haalt een defecte replica voor dataparallelisme offline, terwijl de rest van het cluster de stap herhaalt en doorgaat met trainen. Daarnaast herstelt gedistribueerde asynchrone checkpointing, met delta-checkpointing en staging in het geheugen, de taak vanaf de laatst opgeslagen status wanneer het impactgebied van een fout groter is dan één replica.

Tijdens de eerste fase van Prometheus, medio 2025, piekte het aantal onderbrekingen op bijna 1.000 gebeurtenissen per dag per 8K GPU’s. Meta meldt dat dit aantal na een jaar van engineering door verschillende disciplines met 99% is gedaald. Het bedrijf stelt dat het streefcijfer voor betrouwbaarheid twee onderbrekingen per dag per 8K GPU’s is, oftewel ongeveer 100.000 GPU-uren MTBI.

Gerichte aanpassingen verbeterden de signaalintegriteit van NVLink op meer dan 600.000 verbindingen, de betrouwbaarheid van HBM- en LPDDR-geheugen dankzij verfijnde firmware-instellingen en het voorspellend uitfaseren van verslechterende apparaten, en de gezondheid van NVLink-switches, die met millisecondenresolutie wordt bewaakt. Ook werden gebeurtenissen op backendverbindingen transparant omgeleid. Meta ontwikkelde bovendien automatisering voor firmwarebundels, waarmee binnen enkele uren fixes naar meer dan 100.000 GPU’s worden uitgerold. De P90-upgradetijd van één pod werd teruggebracht van meer dan zeven uur naar twee uur. Verder beschrijft het bedrijf een model voor gezamenlijke engineering, waarbij teams van NVIDIA in de datacenters van Meta zijn gestationeerd en gebruikmaken van gedeelde telemetrie en gezamenlijke triage.

Stroomvoorziening, koeling en uitbreidingsplannen

Gesynchroniseerde training veroorzaakt stroompieken van 30–40% binnen het cluster. Het starten of pauzeren van een grote taak kan binnen enkele seconden leiden tot belastingsverschuivingen van meer dan tientallen megawatt. Het Dynamo Dimmer-framework van Meta past de vermogenslimieten van GPU’s geleidelijk aan wanneer het cluster zijn elektrische limiet nadert, in plaats van workloads abrupt stop te zetten. Dit wordt ondersteund door batterijback-upmodules op rackniveau, condensatortrays, energieopslag met batterijen op de locatie en afstemming met nutsbedrijven.

De koeling combineert modulaire vloeistofkoeling met luchttoevoer in gebouwen met vrije luchtkoeling en snel inzetbare constructies met vloeistofkoeling van de faciliteit in het speciaal gebouwde, voor AI geoptimaliseerde gebouw. Meta integreert ook gehuurde capaciteit van strategische partners. Het bedrijf stelt dat het de volledige energiekosten voor de locatie in New Albany betaalt en het energieverbruik daar compenseert met nieuwe schone en hernieuwbare energie. In zijn nieuwste, voor AI geoptimaliseerde datacenters gebruikt het directe, gesloten vloeistofkoeling van de chip. Ook deelt Meta ontwerpen, zoals zijn met vloeistof gekoelde IcePack-netwerkrack, via het Open Compute Project.

Meta is van plan Prometheus uit te breiden met een combinatie van GB300 NVL72- en Vera Rubin NVL72-systemen. Het aankomende San Miguel-platform omvat volgens de specificaties 72 Vera Rubin-GPU’s met 288 GB HBM4 en een piekbandbreedte van 19,2 TB/s per GPU; een piekprestatie voor FP4-training van 2,52 EFLOPS (1,26 EFLOPS FP8) per rack; een piekbandbreedte van 216 TB/s voor NVLink (3 TB/s bidirectioneel per GPU); een totale piekgeheugenbandbreedte van ongeveer 1.500 TB/s; en volledig vloeistofgekoelde compute trays met meer dan 170 kW per rack. Volgens Meta levert dit een verbetering van 10–20% op in prestaties per watt ten opzichte van de GB300 NVL72.

Hyperion, Meta’s volgende supercluster in Richland Parish, Louisiana, wordt vanaf de basis ontworpen met inzichten uit Prometheus. Het krijgt gesloten vloeistofkoeling, een volledige aansluiting op het elektriciteitsnet in samenwerking met nutsbedrijf Entergy — waarvoor Meta zegt de volledige kosten te betalen — en netwerkontwerpen van de volgende generatie.