Meta beskriver, hvordan Prometheus-superklyngen skaleres mod 1 million GPU’er

Metas ingeniørteam offentliggjorde den 19. oktober 2026 en detaljeret teknisk beskrivelse af Prometheus, virksomhedens AI-superklynge i gigawatt-skala i New Albany, Ohio. Teamet bekræftede, at den afsluttede første fase blev brugt til at træne de grundlæggende Muse-modeller, og at Meta planlægger at skalere systemet op til omkring 1 million GPU’er.

I et indlæg på Metas ingeniørblog skrev Kevin Lee, Yashar Bayani, Ahmed Sharif og Yee Jiun Song, at den første fase blev brugt til at træne Muse-familien, herunder Muse Wonder-grænsemodellerne, som ifølge Meta leverer topmoderne ydeevne inden for personlige og professionelle opgaver udført af AI-agenter. To år før offentliggørelsen var stedet i New Albany et konventionelt datacenter, der håndterede webtrafik; Meta ombyggede det til træning af avancerede modeller og er ved at opføre superklyngen i faser. Prometheus består nu af hundredtusindvis af GPU’er fordelt på traditionelle og AI-optimerede datacenterbygninger samt hurtigt etablerbare strukturer, som alle fungerer som én samlet maskine.

Meta oplyser, at virksomheden opnåede en goodput på over 85 % under prætræningskørsler med Muse Wonder og over 90 % under kørsler med forstærkningslæring. Under træningen var den gennemsnitlige tid mellem afbrydelser målt i faktisk forløbet tid cirka 47.000 GPU-timer; efterfølgende ændringer på tværs af hele GPU-flåden, herunder rettelser af firmware, øgede tallet til over 54.000 GPU-timer.

To NVIDIA-platforme i drift

Prometheus anvender to NVIDIA-GPU-platforme, og ifølge Meta er en tredje platform baseret på NVIDIAs Vera Rubin NVL72 snart på vej. Hver platform bruger en NVL72-rackarkitektur, hvor 72 GPU’er fungerer som én accelerator i et fælles netværk.

Den første platform, Catalina, bruger NVIDIA GB200 NVL72 i Ariel-varianten med to rackskabe: 36 GPU’er i hvert rack forbindes via NVLink til ét samlet domæne med 72 GPU’er. Hver Blackwell-GPU er parret med en Grace-CPU og to ConnectX-7 400G-NIC’er i et CPU-til-GPU-forhold på 1:1, hvilket giver 800G I/O pr. GPU. Meta oplyser, at Ariel blev valgt, fordi GB200 NVL72 gav højere FLOPS, HBM-båndbredde, scale-up-båndbredde og større scale-up-domæne end H100, mens scale-out-båndbredden pr. GPU ville være forblevet på 400G, en ubalance, som Meta forventede ville koste ydeevne. Catalina kører på Metas højtydende rackdesign Open Rack V3, som Meta har bidraget med til Open Compute Project.

Meta angiver, at Catalina har 72 Blackwell-GPU’er med 13,4 TB HBM3e (192 GB pr. GPU), en maksimal beregningskapacitet på 720 PFLOPS til FP8-træning (1.440 PFLOPS ved FP4), en maksimal NVLink-båndbredde på 130 TB/s, en samlet maksimal hukommelsesbåndbredde på 576 TB/s og en samlet systemeffekt på cirka 120 kW for de to rackskabe.

Den anden platform, Clemente, går over til NVIDIA GB300 NVL72. Ifølge Meta øger GB300 HBM-kapaciteten pr. GPU med 1,5 gange, fra 192 GB til 288 GB, og den tætte FP4-gennemstrømning med omtrent samme faktor, samtidig med at accelerationen af attention (softmax) omtrent fordobles. ConnectX-8 SuperNIC’er leverer 800G pr. GPU direkte, og et GPU-til-CPU-forhold på 2:1 gør det muligt at samle hele domænet med 72 GPU’er i ét rack.

Meta angiver, at Clemente har 72 Blackwell Ultra-GPU’er med 20,7 TB HBM3e, en maksimal FP4-beregningskapacitet på over 1 exaFLOP, en maksimal NVLink-båndbredde på 130 TB/s (1,8 TB/s tovejs pr. GPU) og en rackeffekt på cirka 135 kW. Meta oplyser, at ydeevnen er 5–10 % højere end for GB200 NVL72. Clemente kan installeres med modulær luftassisteret væskekøling eller med væskekøling fra datacenterets køleanlæg i Metas nyudformede datacentre.

Opbygning af netværksstrukturer og regional sammenkobling

Ud over standardnetværket til datacentre driver Meta et dedikeret Ethernet-backendnetværk til direkte kommunikation mellem GPU’er i og på tværs af bygninger, udformet omkring det dataparallelle hierarki i store prætræningsopgaver. Hver Ethernet-netværksstruktur på bygningsniveau forbinder op til 20.736 GPU’er. Det oprindelige design brugte en Disaggregated Scheduled Fabric med multipath-routing på underpakkeniveau og kreditbaseret flowkontrol fra ende til ende; senere skiftede Meta til en Non-Scheduled Fabric med switches med små buffere på 51.2T, herunder Minipack3 med Dynamic Load Balancing og den Spectrum-4-baserede Minipack3N med NVIDIAs Adaptive Routing på ConnectX-netværkskort. Begge kører Metas FBOSS-netværksstak.

Backend Aggregation-netværket, et flerlaget hub-and-spoke-design, der forbinder netværksstrukturer på tværs af bygninger over afstande fra 2 km til mere end 100 km, er bygget med Arista 7800-serie-chassiser med Broadcom Jericho3-chips med dybe buffere og leverer flere Pbps båndbredde for hvert regionspar. Meta oplyser, at det krævede en målrettet optimeringsindsats sammen med Meta Superintelligence Labs at køre prætræning over disse afstande på grund af lysets hastighed. Virksomheden beskriver en fysisk infrastruktur med fiberstrenge på tilsammen millioner af miles, titusindvis af switches og optiske komponenter i milliontal, fra 2x400G FR4 LITE-pluggable transceivere til korte forbindelser inden for bygninger til 800G-ZR-koherent optik til forbindelser på over cirka 10 km.

Teknik, der skal mindske antallet af afbrydelser

Overgangen fra H100-generationens NVL8-arkitektur til NVL72 udvidede fejlområdet for skalering op (den gruppe GPU’er, der er tæt forbundet via NVLink til tensorparallelisering) fra otte GPU’er til 72, hvilket ifølge opslaget gav et 9 gange større påvirkningsområde. Da træningsparallelisering fungerer mest effektivt med gruppestørrelser, der er potenser af to, bruger hvert NVL72-domæne et udsnit på 64 GPU’er og holder otte GPU’er som reserver i racket, mens cirka 2 % ekstra racks holdes i reserve. For en træningskørsel med 32.768 aktive GPU’er betyder det, at der skal klargøres 523 NVL72-racks, svarende til 37.656 GPU’er, cirka 13 % mere end det aktive antal. Meta siger, at det meste af denne margen (11 %) skyldes geometrien i udsnittet på 64 ud af 72 GPU’er snarere end et fast påslag for pålidelighed. Hvert domæne omfatter 5.184 optimerede signalforbindelser med differentialpar ved 200 Gbps, som går gennem GPU-SerDes, printkort i compute-bakker, kabelkassetter og grænseflader til switchbakker.

Gendannelse efter fejl benytter to mekanismer: Parallelism-Aware Fault Tolerance tager en fejlramt data-parallel replika offline, mens resten af klyngen gentager trinnet og fortsætter træningen. Distribueret, asynkron kontrolpunktslagring med delta-kontrolpunkter og midlertidig lagring i hukommelsen gendanner jobbet fra dets senest gemte tilstand, hvis en fejl rammer et større område end én replika.

I Prometheus’ indledende fase i midten af 2025 nåede afbrydelserne et højdepunkt på næsten 1.000 hændelser dagligt pr. 8.000 GPU’er. Meta rapporterer et fald på 99 % efter et års tværfagligt ingeniørarbejde og angiver, at virksomhedens overordnede mål for pålidelighed er to afbrydelser pr. 8.000 GPU’er om dagen eller cirka 100.000 GPU-timer MTBI.

Målrettede løsninger forbedrede signalintegriteten i NVLink på tværs af mere end 600.000 forbindelser, øgede HBM- og LPDDR-hukommelsens pålidelighed gennem finjusterede firmwareindstillinger og forudsigelig udfasning af enheder med forringet ydeevne, overvågede NVLink-switches’ tilstand med millisekunders opløsning og muliggjorde gennemsigtig omdirigering af hændelser på backend-forbindelser. Meta udviklede også automatisering af firmwarepakker, som udruller løsninger til mere end 100.000 GPU’er på få timer, og reducerede P90-opdateringstiden for en enkelt pod fra mere end syv timer til to timer. Virksomheden beskriver desuden en model for fælles udvikling, hvor NVIDIA-teams er til stede i virksomhedens datacentre og deler telemetridata og håndterer fejlsøgning i fællesskab.

Planer for strøm, køling og udvidelse

Synkroniseret træning udløser strømtransienter på 30–40 % i klyngen, og start eller pause af et større job kan ændre belastningen med over adskillige titals megawatt på få sekunder. Metas Dynamo Dimmer-rammeværk justerer gradvist GPU’ernes strømgrænser, når klyngen nærmer sig sin elektriske kapacitetsgrænse, i stedet for at standse arbejdsbelastningerne brat. Det understøttes af batteribackupmoduler på rackniveau, kondensatorbakker, energilagring i anlæggets batterier og koordinering med forsyningsselskaber.

Kølingen kombinerer modulær, luftassisteret væskekøling i bygninger med fri luftcirkulation og hurtigt opførte strukturer med væskekøling i et specialbygget, AI-optimeret anlæg. Meta integrerer også lejet kapacitet fra strategiske partnere. Virksomheden oplyser, at den betaler de fulde energiomkostninger for anlægget i New Albany og matcher sit energiforbrug med ny, ren og vedvarende energi. Den bruger direkte-til-chip-væskekøling i et lukket kredsløb i sine nyeste AI-optimerede datacentre og deler design, såsom det væskekølede netværksrack IcePack, gennem Open Compute Project.

Meta planlægger at udvide Prometheus med en blanding af GB300 NVL72- og Vera Rubin NVL72-systemer. Den kommende San Miguel-platform er angivet med 72 Vera Rubin-GPU’er, der hver har 288 GB HBM4 og en maksimal båndbredde på 19,2 TB/s, en maksimal FP4-træningskapacitet på 2,52 EFLOPS (1,26 EFLOPS FP8) pr. rack, en maksimal NVLink-båndbredde på 216 TB/s (3 TB/s tovejs pr. GPU), en samlet maksimal hukommelsesbåndbredde på cirka 1.500 TB/s samt compute-bakker med fuld væskekøling ved over 170 kW pr. rack. Ifølge Meta giver systemet en forbedring af ydeevnen pr. watt på 10–20 % sammenlignet med GB300 NVL72.

Hyperion, Metas næste superklynge i Richland Parish i Louisiana, er under udvikling fra grunden med udgangspunkt i erfaringerne fra Prometheus. Den får væskekøling i et lukket kredsløb, fuld tilslutning til elnettet i samarbejde med forsyningsselskabet Entergy, hvis fulde omkostninger Meta siger, at virksomheden betaler, samt netværksdesign af næste generation.