Meta podrobně popisuje supercluster Prometheus a jeho rozšiřování směrem k 1 milionu GPU

Inženýrský tým společnosti Meta zveřejnil 19. října 2026 podrobný technický popis projektu Prometheus, jejího superclusteru pro umělou inteligenci v gigawattovém měřítku v New Albany v Ohiu. Potvrdil, že dokončená první fáze posloužila k trénování základních modelů Muse a že Meta plánuje systém rozšířit přibližně na 1 milion GPU.

V příspěvku na technickém blogu společnosti Meta Kevin Lee, Yashar Bayani, Ahmed Sharif a Yee Jiun Song napsali, že v první fázi byla natrénována rodina modelů Muse, včetně pokročilých modelů Muse Wonder, které podle společnosti Meta dosahují špičkových výsledků při agentních úlohách pro osobní i profesní využití. Ještě dva roky před zveřejněním těchto informací byl areál v New Albany běžným datovým centrem zajišťujícím webový provoz; Meta jej přestavěla pro trénování pokročilých modelů a supercluster buduje po etapách. Prometheus nyní tvoří stovky tisíc GPU rozmístěných v tradičních i pro umělou inteligenci optimalizovaných budovách datových center a v objektech určených k rychlému nasazení; všechny fungují jako jediný počítačový systém.

Meta uvádí, že při předtrénování modelu Muse Wonder dosáhla trvale více než 85% efektivní propustnosti a při bězích posilovaného učení více než 90%. Průměrná doba mezi přerušeními měřená v reálném čase činila během trénování přibližně 47 tisíc hodin provozu GPU; následné změny v celém výpočetním parku, včetně oprav firmwaru, ji zvýšily na více než 54 tisíc hodin provozu GPU.

Dvě platformy NVIDIA v provozu

Prometheus využívá dvě platformy GPU NVIDIA a podle společnosti Meta se brzy začne nasazovat také třetí, založená na platformě NVIDIA Vera Rubin NVL72. Každá z nich využívá architekturu racku NVL72, v níž 72 GPU funguje jako jediný akcelerátor v rámci jedné síťové struktury.

První platforma, Catalina, využívá NVIDIA GB200 NVL72 v dvourackové variantě Ariel: 36 GPU v každém racku je propojeno přes NVLink do jednotné 72-GPU domény. Každé GPU Blackwell je spárováno s procesorem Grace a dvěma síťovými kartami ConnectX-7 400G při poměru CPU a GPU 1:1, což zajišťuje vstupně-výstupní propustnost 800G na každé GPU. Meta uvádí, že zvolila variantu Ariel, protože GB200 NVL72 oproti H100 zvýšil výkon ve FLOPS, propustnost HBM, propustnost při škálování nahoru i velikost domény pro škálování nahoru, zatímco propustnost při škálování ven by zůstala na 400G na GPU; podle očekávání společnosti by tato nerovnováha snižovala výkon. Catalina běží na vysoce výkonném racku Meta Open Rack V3, který společnost poskytla projektu Open Compute Project.

Meta uvádí, že Catalina zahrnuje 72 GPU Blackwell, 13,4 TB paměti HBM3e (192 GB na GPU), špičkový výpočetní výkon 720 PFLOPS pro trénování FP8 (1 440 PFLOPS při FP4), špičkovou propustnost NVLink 130 TB/s, špičkovou souhrnnou propustnost paměti 576 TB/s a celkový příkon systému přibližně 120 kW pro dvojici racků.

Druhá platforma, Clemente, přechází na NVIDIA GB300 NVL72. Podle společnosti Meta zvyšuje GB300 kapacitu HBM na GPU 1,5krát, tedy ze 192 GB na 288 GB, a podobně zvyšuje i hustý výpočetní výkon FP4, přičemž zrychlení výpočtů pozornosti (softmax) přibližně zdvojnásobuje. Síťové karty ConnectX-8 SuperNIC nativně poskytují 800G na GPU a poměr GPU a CPU 2:1 umožňuje platformě Clemente umístit celou 72-GPU doménu do jediného racku.

Meta uvádí, že Clemente zahrnuje 72 GPU Blackwell Ultra, 20,7 TB paměti HBM3e, špičkový výpočetní výkon FP4 přesahující 1 exaFLOP a špičkovou propustnost NVLink 130 TB/s (obousměrně 1,8 TB/s na GPU). Příkon racku činí přibližně 135 kW a deklarované zvýšení výkonu oproti GB200 NVL72 dosahuje 5–10 %. Clemente lze nasadit s modulárním kapalinovým chlazením s podporou vzduchu nebo s kapalinovým chlazením objektu v nově navržených datových centrech Meta.

Propojovací sítě budov a regionální agregace

Vedle standardní sítě datového centra provozuje Meta vyhrazenou ethernetovou síť Back-End pro přímou komunikaci mezi GPU uvnitř budov i mezi nimi, navrženou s ohledem na hierarchii datového paralelismu při rozsáhlém předtrénování. Každá ethernetová síťová struktura na úrovni budovy propojuje až 20 736 GPU. Původní návrh využíval architekturu Disaggregated Scheduled Fabric s vícenásobným směrováním na úrovni podpaketů a řízením toku od začátku do konce založeným na kreditech; Meta později přešla na architekturu Non-Scheduled Fabric s přepínači 51.2T s malou vyrovnávací pamětí. Patří mezi ně Minipack3 s technologií Dynamic Load Balancing a Minipack3N založený na čipu Spectrum-4 s technologií NVIDIA Adaptive Routing na síťových kartách ConnectX; obě řešení používají síťový software Meta FBOSS.

Síť Backend Aggregation, vícevrstvá topologie typu hub-and-spoke propojující síťové struktury budov na vzdálenostech od 2 km do více než 100 km, je vybudována na šasi řady Arista 7800 s čipy Broadcom Jericho3 s velkou vyrovnávací pamětí. Mezi každou dvojicí regionů zajišťuje propustnost několika petabitů za sekundu. Meta uvádí, že provozování předtrénování na takové vzdálenosti vyžadovalo ve spolupráci s Meta Superintelligence Labs zvláštní optimalizační úsilí kvůli omezením daným rychlostí světla. Společnost popisuje fyzickou infrastrukturu zahrnující optická vlákna o celkové délce milionů mil, desítky tisíc přepínačů a miliony optických modulů – od krátkodosahových modulů 2x400G FR4 LITE uvnitř budov až po koherentní optiku 800G-ZR pro spoje delší než přibližně 10 km.

Inženýrství zaměřené na omezení přerušení

Přechod z architektury NVL8 generace H100 na NVL72 rozšířil doménu poruch při škálování výkonu (soubor GPU úzce propojených přes NVLink pro paralelismus tenzorů) z osmi GPU na 72, tedy na devítinásobný rozsah dopadu, uvádí příspěvek. Protože se paralelismus při trénování nejúčinněji uplatňuje ve skupinách o velikosti mocniny dvou, v každé doméně NVL72 běží 64 GPU a osm GPU zůstává jako náhradní v rámci racku; v rezervě jsou přitom přibližně 2 % dalších racků. Pro trénovací běh s 32 768 aktivními GPU je tedy třeba nasadit 523 racků NVL72, tedy 37 656 GPU, což je přibližně o 13 % více než aktivní kapacita. Meta uvádí, že většina této rezervy (11 %) vyplývá z uspořádání 64 z 72 GPU, nikoli z pevně dané přirážky kvůli spolehlivosti. Každá doména obsahuje 5 184 vyladěných signalizačních spojů s diferenciálními páry o rychlosti 200 Gbps, které vedou přes rozhraní SerDes GPU, desky plošných spojů výpočetních trayů, kabelové kazety a rozhraní trayů přepínačů.

Obnova po poruše využívá dva mechanismy: odolnost vůči chybám zohledňující paralelismus odstaví vadnou repliku paralelního zpracování dat, zatímco zbytek clusteru zopakuje krok a pokračuje v trénování; asynchronní distribuované vytváření kontrolních bodů s přírůstkovým ukládáním a přípravou dat v paměti obnoví úlohu z posledního uloženého stavu, pokud rozsah dopadu poruchy přesáhne jednu repliku.

V počáteční fázi provozu Promethea v polovině roku 2025 dosahoval počet přerušení téměř 1 000 událostí denně na každých 8 tisíc GPU. Meta uvádí, že po roce mezioborové technické spolupráce se tento počet snížil o 99 %, a za svůj hlavní cíl v oblasti spolehlivosti označuje dvě přerušení denně na každých 8 tisíc GPU, tedy přibližně 100 tisíc GPU hodin MTBI.

Cílená nápravná opatření řešila integritu signálu NVLink na více než 600 000 spojích, spolehlivost pamětí HBM a LPDDR pomocí zdokonaleného nastavení firmwaru a prediktivního vyřazování degradujících zařízení, stav přepínačů NVLink sledovaný s milisekundovým rozlišením a transparentní přesměrovávání událostí na páteřních spojích. Meta také vytvořila automatizaci balíčků firmwaru, která nasazuje opravy na více než 100 tisíc GPU během několika hodin, a zkrátila dobu aktualizace jednoho modulu P90 z více než sedmi hodin na dvě hodiny. Popisuje rovněž model společného technického vývoje, v němž týmy NVIDIA působí přímo v jejích datových centrech a sdílejí telemetrická data i společně řeší problémy.

Plány na napájení, chlazení a rozšiřování

Synchronizované trénování vyvolává v clusteru výkonové přechodové jevy v rozsahu 30–40 % a spuštění nebo pozastavení rozsáhlé úlohy může během několika sekund změnit zatížení o více než desítky megawattů. Rámec Meta Dynamo Dimmer postupně upravuje limity příkonu GPU, když se cluster blíží k hranici elektrického napájení, místo aby pracovní zátěž náhle zastavil. Podporují jej záložní bateriové moduly na úrovni racků, kondenzátorové tray, stacionární bateriová úložiště v areálech a koordinace s dodavateli elektřiny.

Chlazení kombinuje modulární kapalinové chlazení s podporou vzduchu v budovách s přirozeným prouděním vzduchu a v rychle nasaditelných konstrukcích s kapalinovým chlazením budov v účelově navrženém objektu optimalizovaném pro AI. Meta zároveň využívá pronajatou kapacitu od strategických partnerů. Společnost uvádí, že hradí veškeré náklady na energii pro lokalitu New Albany a svou spotřebu energie pokrývá novou čistou a obnovitelnou energií, v nejnovějších datových centrech optimalizovaných pro AI používá uzavřené kapalinové chlazení přímo na čipu a prostřednictvím Open Compute Project sdílí návrhy, například kapalinou chlazený síťový rack IcePack.

Meta plánuje rozšířit Prometheus kombinací systémů GB300 NVL72 a Vera Rubin NVL72. Její připravovaná platforma San Miguel je uváděna s 72 GPU Vera Rubin, z nichž každé má 288 GB paměti HBM4 a špičkovou propustnost 19,2 TB/s; na rack nabízí špičkový výpočetní výkon pro trénování FP4 ve výši 2,52 EFLOPS (1,26 EFLOPS FP8), špičkovou propustnost NVLink 216 TB/s (3 TB/s obousměrně na GPU), přibližně 1 500 TB/s špičkové celkové propustnosti paměti a plně kapalinou chlazené výpočetní traye při příkonu přes 170 kW na rack. Podle údajů Meta přináší oproti GB300 NVL72 o 10–20 % vyšší výkon na watt.

Hyperion, další supercluster společnosti Meta v okrese Richland Parish v Louisianě, se navrhuje od základu s využitím poznatků z projektu Prometheus. Počítá s uzavřeným kapalinovým chlazením, plným připojením k elektrické síti ve spolupráci s dodavatelem energie Entergy, za které Meta podle svých slov hradí veškeré náklady, a se síťovými návrhy nové generace.