Meta beskriver hur Prometheus-superklustret skalas upp mot 1 miljon GPU:er

Den 19 oktober 2026 publicerade Metas ingenjörsteam en detaljerad teknisk redogörelse för Prometheus, företagets AI-superkluster i gigawattklass i New Albany i Ohio. Där bekräftade teamet att den första fasen, som nu är slutförd, användes för att träna grundmodellerna i Muse-familjen och att Meta planerar att skala upp systemet till omkring 1 miljon GPU:er.

I ett inlägg på Metas ingenjörsblogg skrev Kevin Lee, Yashar Bayani, Ahmed Sharif och Yee Jiun Song att den första fasen användes för att träna Muse-familjen, däribland de avancerade modellerna Muse Wonder, som enligt Meta presterar i framkant på personliga och professionella agentbaserade uppgifter. Två år före offentliggörandet var anläggningen i New Albany ett konventionellt datacenter som hanterade webbtrafik. Meta byggde om det för träning av avancerade modeller och bygger ut superklustret i flera faser. Prometheus består nu av hundratusentals GPU:er fördelade på traditionella och AI-optimerade datacenterbyggnader samt snabbinstallerade byggnader, som alla arbetar som en enda maskin.

Meta uppger att man uppnådde en goodput på över 85 % under förträningskörningar med Muse Wonder och över 90 % under körningar med förstärkningsinlärning. Den genomsnittliga tiden mellan avbrott, mätt i väggklocketid, var ~47 000 GPU-timmar under träningen. Senare förändringar i hela GPU-flottan, däribland korrigeringar av fast programvara, ökade den till över 54 000 GPU-timmar.

Två NVIDIA-plattformar i drift

Prometheus använder två NVIDIA GPU-plattformar, och enligt Meta är en tredje, baserad på NVIDIA:s Vera Rubin NVL72, på väg inom kort. Alla använder en NVL72-rackarkitektur där 72 GPU:er fungerar som en enda accelerator i ett gemensamt nätverk.

Den första plattformen, Catalina, använder NVIDIA GB200 NVL72 i Ariel-varianten med två rack: 36 GPU:er i varje rack kopplas samman via NVLink till en gemensam domän med 72 GPU:er. Varje Blackwell-GPU paras ihop med en Grace-CPU och två ConnectX-7 400G-NIC:ar, med ett förhållande på 1:1 mellan CPU:er och GPU:er, vilket ger 800G I/O per GPU. Meta uppger att man valde Ariel eftersom GB200 NVL72 gav högre FLOPS, HBM-bandbredd, uppskalningsbandbredd och större uppskalningsdomän än H100, medan utökningsbandbredden per GPU skulle ha legat kvar på 400G, en obalans som enligt företagets förväntningar skulle ha försämrat prestandan. Catalina körs på Metas högeffektsrack Open Rack V3, som Meta bidrog med till Open Compute Project.

Meta anger att Catalina har 72 Blackwell-GPU:er med 13,4 TB HBM3e (192 GB per GPU), en maximal beräkningskapacitet för FP8-träning på 720 PFLOPS (1 440 PFLOPS med FP4), en maximal NVLink-bandbredd på 130 TB/s, en sammanlagd maximal minnesbandbredd på 576 TB/s och en total systemeffekt på cirka 120 kW för de två racken tillsammans.

Den andra plattformen, Clemente, använder NVIDIA GB300 NVL72. Enligt Meta ökar GB300 HBM-kapaciteten per GPU med 1,5 gånger, från 192 GB till 288 GB, och den täta FP4-genomströmningen i ungefär samma grad, samtidigt som accelerationen av attention (softmax) ungefär fördubblas. ConnectX-8 SuperNIC:ar levererar 800G per GPU direkt, och ett förhållande på 2:1 mellan GPU:er och CPU:er gör att Clemente kan rymma hela domänen med 72 GPU:er i ett enda rack.

Meta anger att Clemente har 72 Blackwell Ultra-GPU:er med 20,7 TB HBM3e, en maximal FP4-beräkningskapacitet på över 1 exaFLOP, en maximal NVLink-bandbredd på 130 TB/s (1,8 TB/s dubbelriktat per GPU) och en rackeffekt på omkring 135 kW. Meta uppger att prestandan är 5–10 % bättre än med GB200 NVL72. Clemente kan användas med modulär luftassisterad vätskekylning eller med vätskekylning via anläggningen i Metas nyutformade datacenter.

Nätverksstrukturer i byggnader och regional trafikaggregering

Vid sidan av det vanliga datacenternätverket driver Meta ett särskilt Ethernet-baknätsnätverk för direkt kommunikation mellan GPU:er inom och mellan byggnader, utformat kring den dataparallella hierarkin i stora förträningsjobb. Varje Ethernet-nätverk på byggnadsnivå kopplar samman upp till 20 736 GPU:er. Den ursprungliga utformningen använde en Disaggregated Scheduled Fabric med multipath-routing på underpaketnivå och kreditbaserad flödeskontroll från ände till ände. Meta gick senare över till en Non-Scheduled Fabric med switchar på 51,2T med små buffertar, däribland Minipack3 med Dynamic Load Balancing och Minipack3N, baserad på Spectrum-4, med NVIDIA:s Adaptive Routing på ConnectX-NIC:ar. Båda kör Metas nätverksstack FBOSS.

Nätverket för backendaggregering är en flerskiktad hubb-och-ekrar-arkitektur som länkar samman nätverken i byggnader över avstånd från 2 km till mer än 100 km. Det byggs med chassin i Arista 7800-serien som kör Broadcom Jericho3-kretsar med stora buffertar och levererar flera Pbps bandbredd per regionpar. Meta uppger att förträning över dessa avstånd krävde ett särskilt optimeringsarbete tillsammans med Meta Superintelligence Labs på grund av ljusets hastighet. Företaget beskriver en fysisk infrastruktur med fibertrådar som sammanlagt sträcker sig över miljontals miles, tiotusentals switchar och miljontals optiska komponenter, från kortdistansmoduler av typen 2x400G FR4 LITE inne i byggnader till koherent 800G-ZR-optik för länkar på mer än cirka 10 km.

Teknik för färre avbrott

Övergången från H100-generationens NVL8-arkitektur till NVL72 utökade felområdet vid uppskalning (gruppen GPU:er som är tätt sammankopplade via NVLink för tensorparallellism) från åtta till 72 GPU:er, vilket gav ett nio gånger större påverkansområde, enligt inlägget. Eftersom träningsparallellism fungerar mest effektivt med gruppstorlekar som är potenser av två kör varje NVL72-domän en delmängd på 64 GPU:er och håller åtta GPU:er som reserver i racket, med ungefär 2 % ytterligare rack i reserv. För en träningskörning med 32 768 aktiva GPU:er innebär det att 523 NVL72-rack, eller 37 656 GPU:er, måste tas i drift – cirka 13 % fler än det aktiva antalet. Meta uppger att merparten av denna marginal (11 %) beror på geometrin i 64-av-72-uppdelningen snarare än på ett generellt tillförlitlighetspåslag. Varje domän omfattar 5 184 optimerade signallänkar med differentialpar på 200 Gbit/s, som löper genom GPU:ernas SerDes, kretskort i beräkningsrack, kabelkassetter och gränssnitten i switchrack.

Återställning efter fel bygger på två mekanismer: parallellismmedveten feltolerans, som tar en felaktig dataparallell replik ur drift medan resten av klustret upprepar steget och fortsätter träningen, samt distribuerad asynkron kontrollpunktslagring med delta-kontrollpunkter och mellanlagring i minnet, som återställer jobbet från dess senast sparade tillstånd när felets påverkan sträcker sig utanför en enda replik.

Under Prometheus inledande fas i mitten av 2025 nådde antalet avbrott som mest nästan 1 000 händelser per 8K GPU:er och dag. Meta rapporterar en minskning på 99 % efter ett års tvärfunktionellt ingenjörsarbete och uppger att tillförlitlighetsmålet är två avbrott per 8K GPU:er och dag, eller en genomsnittlig tid mellan avbrott (MTBI) på ~100k GPU-timmar.

Riktade åtgärder förbättrade signalkvaliteten för NVLink i över 600 000 anslutningar, tillförlitligheten hos HBM- och LPDDR-minnen genom finjusterade firmwareinställningar och förebyggande utfasning av enheter med försämrad funktion, övervakningen av NVLink-switcharnas tillstånd med millisekunders upplösning samt transparent omdirigering av händelser i backend-länkarna. Meta byggde också automatisering för firmwarepaket som distribuerar korrigeringar till över 100k GPU:er inom några timmar och minskade P90-uppgraderingstiden för en enskild pod från mer än sju timmar till två timmar. Företaget beskriver dessutom en modell för gemensam teknisk utveckling där NVIDIA-team är stationerade vid dess datacenter och delar telemetridata samt genomför gemensam felsökning.

Strömförsörjning, kylning och expansionsplaner

Synkroniserad träning orsakar effekttransienter på 30–40 % inom klustret, och när ett större jobb startas eller pausas kan belastningen förändras med flera tiotals megawatt på några sekunder. Metas ramverk Dynamo Dimmer justerar gradvis GPU:ernas effektgränser när klustret närmar sig sin elektriska kapacitetsgräns, i stället för att stoppa arbetsbelastningar tvärt, med stöd av reservbatterimoduler på racknivå, kondensatorfack, energilagring i anläggningsbatterier och samordning med elleverantörer.

Kylningen kombinerar modulär vätskekylning med luftassistans i byggnader med frikyla och snabbuppförda anläggningar med vätskekylning på anläggningsnivå i den specialbyggda, AI-optimerade byggnaden. Meta integrerar också hyrd kapacitet från strategiska partner. Företaget uppger att det betalar hela energikostnaden för anläggningen i New Albany och matchar sin energianvändning med ny, ren och förnybar energi. I sina senaste AI-optimerade datacenter använder företaget vätskekylning med sluten krets direkt mot chippen och delar konstruktioner, till exempel det vätskekylda nätverksracket IcePack, via Open Compute Project.

Meta planerar att bygga ut Prometheus med en kombination av GB300 NVL72- och Vera Rubin NVL72-system. Den kommande San Miguel-plattformen anges ha 72 Vera Rubin-GPU:er med 288 GB HBM4 och en maximal bandbredd på 19,2 TB/s per GPU, en maximal beräkningsprestanda för FP4-träning på 2,52 EFLOPS (1,26 EFLOPS för FP8) per rack, en maximal NVLink-bandbredd på 216 TB/s (3 TB/s dubbelriktat per GPU), en sammanlagd maximal minnesbandbredd på ungefär 1 500 TB/s samt helt vätskekylda beräkningsmoduler med över 170 kW per rack. Enligt Meta ger plattformen 10–20 % bättre prestanda per watt än GB300 NVL72.

Hyperion, Metas nästa superkluster i Richland Parish i Louisiana, utformas från grunden med lärdomar från Prometheus. Planerna omfattar vätskekylning med sluten krets, fullständig anslutning till elnätet via energibolaget Entergy – Meta uppger att företaget betalar hela kostnaden – och nätverkslösningar av nästa generation.