Meta kertoo Prometheus-supertietokoneklusterin skaalautumisesta kohti miljoonaa grafiikkasuoritinta

Metan insinööritiimi julkaisi 19. lokakuuta 2026 yksityiskohtaisen teknisen kuvauksen Prometheuksesta, yhtiön gigawatin mittakaavan tekoälysupertietokoneklusterista New Albanyssa Ohiossa. Kuvauksessa vahvistettiin, että ensimmäisessä, valmiiksi saadussa vaiheessa koulutettiin Muse-perusmallit ja että Meta aikoo kasvattaa järjestelmän noin miljoonaan grafiikkasuorittimeen.

Metan teknisen blogin julkaisussa Kevin Lee, Yashar Bayani, Ahmed Sharif ja Yee Jiun Song kertoivat, että ensimmäisessä vaiheessa koulutettiin Muse-malliperhe, johon kuuluvat Muse Wonder -huippumallit. Metan mukaan ne tarjoavat alan huipputason suorituskykyä henkilökohtaisissa ja ammatillisissa agenttipohjaisissa tehtävissä. Kaksi vuotta ennen julkistusta New Albanyn alueella sijaitsi tavanomainen datakeskus, joka käsitteli verkkoliikennettä; Meta muokkasi sen huippumallien koulutukseen sopivaksi ja rakentaa superklusteria vaiheittain. Prometheus koostuu nyt sadoista tuhansista grafiikkasuorittimista, jotka sijaitsevat perinteisissä ja tekoälykuormille optimoiduissa datakeskusrakennuksissa sekä nopeasti käyttöönotettavissa rakenteissa. Kaikki toimivat yhtenä koneena.

Meta kertoo saavuttaneensa Muse Wonderin esikoulutuksessa yli 85 prosentin hyötysuoritusasteen ja vahvistusoppimisajoissa yli 90 prosentin hyötysuoritusasteen. Koulutuksen aikana keskimääräinen seinäkellonajan mukainen aika keskeytysten välillä oli noin 47 000 GPU-tuntia; myöhemmät koko laitteistokannan muutokset, kuten laiteohjelmistokorjaukset, nostivat lukeman yli 54 000 GPU-tuntiin.

Tuotannossa kaksi NVIDIA-alustaa

Prometheuksessa on käytössä kaksi NVIDIA-grafiikkasuoritinalustaa, ja Metan mukaan kolmas, NVIDIAn Vera Rubin NVL72 -alustaan perustuva, saapuu pian. Kaikissa käytetään NVL72-räkkirakennetta, jossa 72 grafiikkasuoritinta toimii yhtenä kiihdyttimenä yhden verkkorakenteen sisällä.

Ensimmäinen alusta, Catalina, käyttää NVIDIA GB200 NVL72:ta Arielin kahden räkin kokoonpanossa: kummankin räkkin 36 grafiikkasuoritinta yhdistetään NVLinkillä yhtenäiseksi 72 grafiikkasuorittimen kokonaisuudeksi. Jokainen Blackwell-grafiikkasuoritin yhdistetään Grace-suorittimeen ja kahteen ConnectX-7 400G -verkkokorttiin, jolloin suorittimien ja grafiikkasuorittimien suhde on 1:1 ja kunkin grafiikkasuorittimen I/O-nopeus 800G. Meta kertoo valinneensa Arielin, koska GB200 NVL72 paransi H100:aan verrattuna FLOPS-laskentatehoa, HBM-muistin kaistanleveyttä, skaalautumisnopeuden kaistanleveyttä ja skaalautuvan verkkoalueen kokoa. Skaalautumiskaistanleveys grafiikkasuoritinta kohden olisi kuitenkin pysynyt 400G:ssä, ja Meta odotti tämän epätasapainon heikentävän suorituskykyä. Catalina toimii Metan Open Rack V3 -suurtehoräkkiratkaisulla, jonka Meta on tuonut Open Compute Project -hankkeen käyttöön.

Metan ilmoittamien tietojen mukaan Catalinassa on 72 Blackwell-grafiikkasuoritinta ja 13,4 Tt HBM3e-muistia (192 Gt grafiikkasuoritinta kohden), FP8-koulutuksessa 720 PFLOPSin huippulaskentateho (FP4:llä 1 440 PFLOPS), NVLinkin huippukaistanleveys on 130 Tt/s, muistin yhteenlaskettu huippukaistanleveys 576 Tt/s ja kahden räkkin järjestelmän kokonaisteho noin 120 kW.

Toinen alusta, Clemente, siirtyy käyttämään NVIDIA GB300 NVL72:ta. Metan mukaan GB300 kasvattaa HBM-muistin kapasiteettia grafiikkasuoritinta kohden 1,5-kertaiseksi eli 192 Gt:sta 288 Gt:uun ja tiheän FP4-laskennan suorituskykyä vastaavasti, samalla kun huomion (softmaxin) käsittelyn kiihdytys tehostuu noin kaksinkertaiseksi. ConnectX-8 SuperNIC -verkkokortit tarjoavat natiivisti 800G:n nopeuden grafiikkasuoritinta kohden, ja grafiikkasuorittimien ja suorittimien suhde 2:1 mahdollistaa koko 72 grafiikkasuorittimen kokonaisuuden sijoittamisen yhteen räkkiin.

Metan mukaan Clementessä on 72 Blackwell Ultra -grafiikkasuoritinta ja 20,7 Tt HBM3e-muistia, FP4-laskennan huippusuorituskyky ylittää yhden eksaFLOPSin ja NVLinkin huippukaistanleveys on 130 Tt/s (kaksisuuntaisesti 1,8 Tt/s grafiikkasuoritinta kohden). Räkin tehonkulutus on noin 135 kW, ja suorituskyvyn kerrotaan olevan 5–10 % parempi kuin GB200 NVL72:ssa. Clemente voidaan ottaa käyttöön joko modulaarisella, ilma-avusteisella nestejäähdytyksellä tai Metan hiljattain suunnittelemien datakeskusten tilojen nestejäähdytyksellä.

Rakennusten verkkorakenteet ja alueellinen yhdistäminen

Tavallisen datakeskusverkon rinnalla Meta käyttää erillistä Ethernet-taustaverkkoa, joka välittää grafiikkasuorittimien välistä liikennettä suoraan rakennusten sisällä ja niiden välillä. Verkko on suunniteltu suurten esikoulutustöiden datarinnakkaisuushierarkian pohjalta. Kunkin rakennuksen Ethernet-verkko yhdistää enintään 20 736 grafiikkasuoritinta. Alkuperäisessä ratkaisussa käytettiin hajautettua ajastettua verkkoa, pakettia pienemmällä tasolla tapahtuvaa monireititystä ja krediittipohjaista päästä päähän -vuonohjausta. Myöhemmin Meta siirtyi ajastamattomaan verkkoon, jossa käytetään pienpuskurisia 51,2T-kytkimiä: mukana ovat dynaamista kuormantasausta käyttävä Minipack3 ja Spectrum-4-piiriin perustuva Minipack3N, jossa hyödynnetään NVIDIA-verkkokorttien mukautuvaa reititystä. Molemmissa käytetään Metan FBOSS-verkkopinoa.

Taustaverkon yhdistämisverkko on monikerroksinen keskus-ja-säde-rakenne, joka yhdistää rakennusten verkot 2 kilometrin ja yli 100 kilometrin välisillä etäisyyksillä. Se on toteutettu Arista 7800 -sarjan kytkinrungoilla, joissa käytetään suurpuskurista Broadcom Jericho3 -piitä, ja se tarjoaa useiden petabitien sekuntikaistanleveyden alueparia kohden. Meta kertoo, että esikoulutuksen toteuttaminen näillä etäisyyksillä vaati erillistä optimointityötä Meta Superintelligence Labsilta valonnopeuden asettamien rajoitusten vuoksi. Yhtiön mukaan fyysiseen infrastruktuuriin kuuluu miljoonien mailien verran valokuitua, kymmeniä tuhansia kytkimiä ja miljoonia optisia lähetin-vastaanottimia: rakennusten sisäisistä lyhyen kantaman 2x400G FR4 LITE -liitettävistä moduuleista yli noin 10 kilometrin yhteyksiin tarkoitettuihin 800G-ZR-koherenttioptiikkamoduuleihin.

Suunnittelua keskeytysten vähentämiseksi

Siirtyminen H100-sukupolven NVL8-arkkitehtuurista NVL72-arkkitehtuuriin kasvatti skaalauksen vika-alueen eli niiden GPU:iden joukon, jotka on kytketty tiiviisti toisiinsa NVLinkin kautta tensoririnnakkaisuutta varten, kahdeksasta GPU:sta 72:een. Julkaisun mukaan vika-alueen laajuus kasvoi siis yhdeksänkertaiseksi. Koska koulutuksen rinnakkaistaminen toimii tehokkaimmin kahden potensseina olevilla ryhmäkoilla, kussakin NVL72-vika-alueessa käytetään 64 GPU:n siivua ja kahdeksan GPU:ta pidetään varalla samassa räkkikaapissa. Lisäksi varalla on noin 2 % lisää räkkikaappeja. Kun koulutusajossa on käytössä 32 768 GPU:ta, tämä tarkoittaa 523 NVL72-räkkikaapin eli 37 656 GPU:n varaamista, mikä on noin 13 % enemmän kuin aktiivisesti käytössä olevien GPU:iden määrä. Metan mukaan suurin osa tästä marginaalista (11 %) johtuu 64 GPU:n siivun ja 72 GPU:n kokonaisuuden välisestä rakenteesta eikä ehdottomasta luotettavuusvaatimuksesta. Kussakin vika-alueessa on 5 184 viritettyä differentiaaliparien signaalilinkkiä, joiden nopeus on 200 Gbps ja jotka kulkevat GPU:iden SerDes-liitäntöjen, laskentatarjottimien piirilevyjen, kaapelikasettien ja kytkintarjottimien liitäntöjen kautta.

Vikatilanteista palautumiseen käytetään kahta menetelmää: rinnakkaisuustietoinen vikasietoisuus poistaa viallisen data-rinnakkaisen replikan käytöstä, kun taas muu klusteri suorittaa vaiheen uudelleen ja jatkaa koulutusta. Hajautettu asynkroninen tarkistuspisteiden tallennus delta-tarkistuspisteiden ja muistissa tapahtuvan välivaiheen tallennuksen kanssa puolestaan palauttaa työn viimeksi tallennetusta tilasta, jos vian vaikutusalue ulottuu yhtä replikaa laajemmalle.

Prometheuksen alkuvaiheessa vuoden 2025 puolivälissä keskeytyksiä oli enimmillään lähes 1 000 vuorokaudessa jokaista 8 000 GPU:ta kohden. Meta kertoo keskeytysten vähentyneen 99 % vuoden poikkitoiminnallisen kehitystyön jälkeen ja ilmoittaa luotettavuuden pitkän aikavälin tavoitteekseen kaksi keskeytystä vuorokaudessa jokaista 8 000 GPU:ta kohden eli noin 100 000 GPU-tuntia keskimääräisenä keskeytysten välisenä aikana (MTBI).

Kohdennetuilla korjauksilla parannettiin NVLink-signaalin eheyttä yli 600 000 yhteydessä ja HBM- ja LPDDR-muistien luotettavuutta tarkentamalla laiteohjelmiston asetuksia sekä poistamalla heikkeneviä laitteita ennakoivasti käytöstä. Lisäksi NVLink-kytkinten kuntoa seurattiin millisekuntitarkkuudella ja taustajärjestelmän linkkitapahtumia reititettiin uudelleen käyttäjälle näkymättömästi. Meta rakensi myös laiteohjelmistopakettien automatisoidun jakelujärjestelmän, joka asentaa korjaukset yli 100 000 GPU:hun muutamassa tunnissa. Samalla yhden podin päivitysaika P90-tasolla lyheni yli seitsemästä tunnista kahteen tuntiin. Meta kuvailee myös yhteiskehitysmallia, jossa NVIDIAn tiimit työskentelevät sen datakeskuksissa ja käytössä ovat yhteiset telemetriatiedot ja yhteinen ongelmanratkaisu.

Sähkö, jäähdytys ja laajentumissuunnitelmat

Synkronoitu koulutus aiheuttaa klusterissa 30–40 %:n tehomuutoksia, ja suuren työn käynnistäminen tai keskeyttäminen voi muuttaa kuormitusta sekunneissa yli kymmenien megawattien verran. Metan Dynamo Dimmer -kehys säätää GPU:iden tehorajoja vähitellen klusterin lähestyessä sähköverkon kapasiteetin ylärajaa sen sijaan, että työkuormat pysäytettäisiin äkillisesti. Sen tukena ovat räkkikaappikohtaiset akkuvarmistusmoduulit, kondensaattoritarjottimet, kiinteistön akkuvarastot sekä yhteistyö sähköyhtiöiden kanssa.

Jäähdytyksessä yhdistyvät modulaarinen ilma-avusteinen nestejäähdytys ulkoilmajäähdytteisissä rakennuksissa ja nopeasti käyttöönotettavissa rakennelmissa sekä kiinteistön nestejäähdytys tarkoitusta varten rakennetussa tekoälyoptimoidussa rakennuksessa. Meta hyödyntää myös strategisilta kumppaneilta vuokrattua kapasiteettia. Yhtiö ilmoittaa maksavansa New Albanyn toimipaikan energiakustannukset kokonaisuudessaan ja kattavansa energiankulutuksensa uudella puhtaalla ja uusiutuvalla energialla. Uusimmissa tekoälyoptimoiduissa datakeskuksissaan se käyttää suljetun kierron suoraa nestejäähdytystä siruille ja jakaa esimerkiksi IcePack-nestejäähdytteisen verkkoräkkikaapin suunnitelmat Open Compute Projectin kautta.

Meta aikoo laajentaa Prometheusta GB300 NVL72- ja Vera Rubin NVL72 -järjestelmillä. Tulevan San Miguel -alustan teknisissä tiedoissa mainitaan 72 Vera Rubin -GPU:ta, joissa kussakin on 288 GB HBM4-muistia ja 19,2 TB/s:n huippukaistanleveys. Räkkikaappikohtainen FP4-koulutuksen huippulaskentateho on 2,52 EFLOPS (FP8:lla 1,26 EFLOPS). NVLinkin huippukaistanleveys on 216 TB/s (3 TB/s kaksisuuntaisesti GPU:ta kohden), muistin yhteenlaskettu huippukaistanleveys on noin 1 500 TB/s, ja laskentatarjottimet jäähdytetään kokonaan nesteellä yli 170 kW:n teholla räkkikaappia kohden. Metan mukaan suorituskyky wattia kohden paranee 10–20 % GB300 NVL72:een verrattuna.

Hyperion, Metan seuraava superklusteri Richland Parishissa Louisianassa, suunnitellaan alusta alkaen Prometheuksesta saatujen kokemusten pohjalta. Siihen tulee suljetun kierron nestejäähdytys, täysi yhteys sähköverkkoon sähköyhtiökumppani Entergyn kautta — Meta kertoo maksavansa siitä kaikki kustannukset — sekä seuraavan sukupolven verkkoratkaisut.