Meta beskriver Prometheus-superklyngen, som skaleres mot 1 million GPU-er

Metas ingeniørteam publiserte 19. oktober 2026 en detaljert teknisk redegjørelse for Prometheus, selskapets AI-superklynge på gigawatt-skala i New Albany i Ohio. Teamet bekreftet at den fullførte første fasen trente Muse-grunnmodellene, og at Meta planlegger å skalere systemet til rundt 1 million GPU-er.

I et innlegg på Metas ingeniørblogg skrev Kevin Lee, Yashar Bayani, Ahmed Sharif og Yee Jiun Song at den første fasen trente Muse-familien, inkludert Muse Wonder-frontiermodellene, som ifølge Meta leverer toppmoderne ytelse på agentbaserte oppgaver for personlig og profesjonell bruk. To år før opplysningene ble offentliggjort, var anlegget i New Albany et konvensjonelt datasenter som håndterte nettrafikk. Meta bygde det om for trening av frontiermodeller og bygger superklyngen i flere faser. Prometheus består nå av hundretusener av GPU-er fordelt på tradisjonelle og AI-optimaliserte datasenterbygninger og strukturer som kan tas raskt i bruk, og alle kjører som én samlet maskin.

Meta opplyser at selskapet opprettholdt en effektiv gjennomstrømning på over 85 % under forhåndstrening av Muse Wonder og over 90 % under kjøringer med forsterkende læring, med en gjennomsnittlig veggklokketid mellom avbrudd på ~47k GPU-timer under treningen. Senere endringer på tvers av hele GPU-parken, blant annet fastvareoppdateringer, økte dette til over 54K GPU-timer.

To NVIDIA-plattformer i drift

Prometheus bruker to NVIDIA GPU-plattformer, og ifølge Meta kommer snart en tredje, basert på NVIDIAs Vera Rubin NVL72. Alle bruker en NVL72-rackarkitektur der 72 GPU-er fungerer som én akselerator i et felles nettverk.

Den første plattformen, Catalina, bruker NVIDIA GB200 NVL72 i Ariel-varianten med to rack: 36 GPU-er i hvert rack kobles sammen via NVLink til ett samlet domene med 72 GPU-er. Hver Blackwell-GPU er paret med en Grace-CPU og to ConnectX-7 400G-NIC-er, med et forhold på 1:1 mellom CPU-er og GPU-er, noe som gir 800G I/O per GPU. Meta sier at selskapet valgte Ariel fordi GB200 NVL72 økte FLOPS, HBM-båndbredde, skaleringsbåndbredde og størrelsen på skaleringsdomenet sammenlignet med H100, mens skalerbar båndbredde per GPU ville ha blitt værende på 400G – en ubalanse Meta forventet ville redusere ytelsen. Catalina kjører på Metas høyeffekts rackdesign Open Rack V3, som selskapet har bidratt med til Open Compute Project.

Meta oppgir at Catalina har 72 Blackwell-GPU-er med 13,4 TB HBM3e (192 GB per GPU), en maksimal FP8-treningsytelse på 720 PFLOPS (1 440 PFLOPS med FP4), en maksimal NVLink-båndbredde på 130 TB/s, en samlet maksimal minnebåndbredde på 576 TB/s og en samlet systemeffekt på rundt 120 kW for de to rackene.

Den andre plattformen, Clemente, går over til NVIDIA GB300 NVL72. Ifølge Meta øker GB300 HBM-kapasiteten per GPU med 1,5 ganger, fra 192 GB til 288 GB, og den tette FP4-gjennomstrømningen øker omtrent like mye, samtidig som akselerasjonen av attention (softmax) omtrent dobles. ConnectX-8 SuperNIC-er leverer 800G direkte per GPU, og et forhold på 2:1 mellom GPU-er og CPU-er gjør at Clemente får plass til hele domenet på 72 GPU-er i ett rack.

Meta oppgir at Clemente har 72 Blackwell Ultra-GPU-er med 20,7 TB HBM3e, en maksimal FP4-ytelse på over 1 exaFLOP, en maksimal NVLink-båndbredde på 130 TB/s (1,8 TB/s toveis per GPU) og en rackeffekt på rundt 135 kW. Meta oppgir at ytelsen er 5–10 % bedre enn med GB200 NVL72. Clemente kan settes opp med modulær luftassistert væskekjøling eller med væskekjøling via kjøleanlegget i Metas nyutformede datasentre.

Bygningsnettverk og regional sammenkobling

Ved siden av det vanlige datasenternettverket driver Meta et eget Ethernet-baknett for direkte kommunikasjon mellom GPU-er i og mellom bygninger, utformet rundt data-parallellhierarkiet i store forhåndstreningsjobber. Hvert Ethernet-nettverk på bygningsnivå kobler sammen opptil 20 736 GPU-er. Den opprinnelige utformingen brukte en oppdelt, planlagt nettverksstruktur med ruting av flere baner på nivået under pakker og ende-til-ende-flytkontroll basert på kreditter. Meta gikk senere over til en ikke-planlagt nettverksstruktur med svitsjer med små buffere på 51,2T, blant annet Minipack3 med dynamisk lastbalansering og Minipack3N, basert på Spectrum-4, med NVIDIAs Adaptive Routing på ConnectX-NIC-er. Begge kjører Metas nettverksstakk FBOSS.

Backend-aggregasjonsnettverket er en flerlags hub-and-spoke-utforming som kobler sammen nettverkene i bygningene over avstander fra 2 km til mer enn 100 km. Det er bygget med Arista 7800-seriechassis med Broadcom Jericho3-brikker med dype buffere og leverer flere Pbit/s båndbredde per regionpar. Meta sier at forhåndstrening over slike avstander krevde en egen optimaliseringsinnsats sammen med Meta Superintelligence Labs på grunn av lyshastighetens begrensninger. Selskapet beskriver en fysisk infrastruktur med fibertråder som til sammen strekker seg over millioner av miles, titusenvis av svitsjer og optiske komponenter i milliontall – fra kortrekkende FR4 LITE-pluggmoduler i bygningene til 800G-ZR-koherentoptikk for forbindelser på mer enn rundt 10 km.

Utviklet for færre avbrudd

Overgangen fra H100-generasjonens NVL8-arkitektur til NVL72 utvidet feilområdet ved oppskalering (gruppen GPU-er som er tett sammenkoblet via NVLink for tensorparallellisme) fra åtte GPU-er til 72, altså et ni ganger større konsekvensområde, ifølge innlegget. Siden treningsparallellisme utnyttes mest effektivt med gruppestørrelser som er potenser av to, bruker hvert NVL72-domene et utsnitt på 64 GPU-er og holder åtte GPU-er som reserver i samme rack, med omtrent 2 % ekstra rack i reserve. For en treningskjøring med 32 768 aktive GPU-er betyr det at man må klargjøre 523 NVL72-rack, eller 37 656 GPU-er, omtrent 13 % mer enn det aktive omfanget. Meta sier at det meste av denne marginen (11 %) skyldes geometrien i et utsnitt på 64 av 72 GPU-er, og ikke et absolutt påslag for pålitelighet. Hvert domene har 5 184 finjusterte signalledd med differensialpar på 200 Gbps, som går gjennom GPU-enes SerDes, kretskortene i beregningsbrettene, kabelkassettene og grensesnittene på svitsjbrettene.

Feilgjenoppretting bygger på to mekanismer: Parallelism-Aware Fault Tolerance setter en defekt replika for datap parallellisering ut av drift, mens resten av klyngen gjentar trinnet og fortsetter treningen. I tillegg gjenoppretter distribuert asynkron kontrollpunktslagring, med delta-kontrollpunktslagring og mellomlagring i minnet, jobben fra den sist lagrede tilstanden når konsekvensområdet til en feil omfatter mer enn én replika.

I den innledende fasen av Prometheus, midt i 2025, nådde avbruddene en topp på nesten 1 000 hendelser per dag per 8K GPU-er. Meta rapporterer en reduksjon på 99 % etter ett år med teknisk arbeid på tvers av fagområder og sier at det langsiktige pålitelighetsmålet er to avbrudd per dag per 8K GPU-er, eller ~100k GPU-timer MTBI.

Målrettede tiltak forbedret signalkvaliteten i NVLink på tvers av mer enn 600 000 forbindelser, påliteligheten til HBM- og LPDDR-minne gjennom forbedrede fastvareinnstillinger og forebyggende utfasing av enheter som forringes, overvåkingen av helsetilstanden til NVLink-svitsjene med millisekundoppløsning og transparent omdirigering av hendelser i bakplansforbindelsene. Meta utviklet også automatisering av fastvarepakker som ruller ut feilrettinger til mer enn 100k GPU-er i løpet av noen timer, og reduserte oppgraderingstiden for én enkelt pod ved P90 fra mer enn sju timer til to timer. Selskapet beskriver dessuten en modell for felles utviklingsarbeid der NVIDIA-team er stasjonert ved datasentrene deres, med delte telemetridata og felles feilsøking.

Planer for strøm, kjøling og utvidelse

Synkronisert trening utløser raske effektendringer på 30–40 % i klyngen, og oppstart eller pause av en stor jobb kan endre belastningen med mer enn titalls megawatt i løpet av sekunder. Metas rammeverk Dynamo Dimmer justerer gradvis GPU-enes effektgrenser når klyngen nærmer seg den elektriske kapasitetsgrensen, i stedet for å stanse arbeidsbelastninger brått. Løsningen støttes av batteribackupmoduler på racknivå, kondensatorbrett, batterilagring ved anlegget og koordinering med strømleverandørene.

Kjøleløsningen kombinerer modulær væskekjøling med luftassistanse i bygninger med fri lufttilførsel og bygg som kan tas raskt i bruk, med væskekjøling i et spesialbygd, AI-optimalisert bygg. Meta integrerer også leid kapasitet fra strategiske partnere. Selskapet opplyser at det betaler hele energikostnaden for anlegget i New Albany og dekker energiforbruket med ny, ren og fornybar energi. I sine nyeste AI-optimaliserte datasentre bruker selskapet lukket væskekjøling direkte til brikken, og det deler design som det væskekjølte nettverksracket IcePack gjennom Open Compute Project.

Meta planlegger å utvide Prometheus med en kombinasjon av GB300 NVL72- og Vera Rubin NVL72-systemer. Den kommende San Miguel-plattformen er oppgitt å ha 72 Vera Rubin-GPU-er med 288 GB HBM4 og en maksimal båndbredde på 19,2 TB/s per GPU, 2,52 EFLOPS maksimal FP4-treningsytelse (1,26 EFLOPS FP8) per rack, 216 TB/s maksimal NVLink-båndbredde (3 TB/s toveis per GPU), omtrent 1 500 TB/s maksimal samlet minnebåndbredde og fullt væskekjølte beregningsbrett med over 170 kW per rack. Ifølge Meta gir den 10–20 % bedre ytelse per watt enn GB300 NVL72.

Hyperion, Metas neste superklynge i Richland Parish i Louisiana, utformes fra grunnen av med utgangspunkt i erfaringene fra Prometheus. Den skal ha lukket væskekjøling, full tilkobling til strømnettet gjennom strømleverandørpartneren Entergy, der Meta sier at selskapet betaler hele kostnaden, og neste generasjons nettverksdesign.