Meta detaliază extinderea superclusterului Prometheus către 1 milion de GPU-uri

La 19 octombrie 2026, echipa de inginerie a Meta a publicat o prezentare tehnică detaliată a superclusterului AI Prometheus, de ordinul gigawaților, din New Albany, Ohio. Compania a confirmat că prima fază, finalizată, a antrenat modelele fundamentale Muse și că intenționează să extindă sistemul până la aproximativ 1 milion de GPU-uri.

Într-o postare pe blogul de inginerie al Meta, Kevin Lee, Yashar Bayani, Ahmed Sharif și Yee Jiun Song au scris că în prima fază a fost antrenată familia Muse, inclusiv modelele de vârf Muse Wonder, despre care Meta afirmă că oferă performanțe de ultimă generație în sarcini agentice personale și profesionale. Cu doi ani înainte de această dezvăluire, centrul din New Albany era un centru de date obișnuit, care deservea traficul web; Meta l-a reconfigurat pentru antrenarea modelelor de vârf și construiește superclusterul în mai multe faze. Prometheus cuprinde acum sute de mii de GPU-uri, distribuite în clădiri tradiționale și optimizate pentru AI, precum și în structuri cu implementare rapidă, toate funcționând ca o singură mașină.

Meta raportează că a menținut un debit efectiv de peste 85% în timpul rundelor de preantrenare Muse Wonder și de peste 90% în rundele de învățare prin consolidare, cu un timp mediu real între întreruperi de aproximativ 47.000 de ore-GPU în timpul antrenării; modificările ulterioare aplicate întregii flote, inclusiv remedierile de firmware, au ridicat valoarea la peste 54.000 de ore-GPU.

Două platforme NVIDIA în exploatare

Prometheus utilizează două platforme GPU NVIDIA, iar Meta spune că o a treia, bazată pe platforma NVIDIA Vera Rubin NVL72, va sosi în curând. Fiecare folosește o arhitectură de rack NVL72, în care 72 de GPU-uri funcționează ca un singur accelerator în cadrul unei rețele unificate.

Prima platformă, Catalina, folosește NVIDIA GB200 NVL72 în varianta Ariel cu două rackuri: 36 de GPU-uri din fiecare rack sunt conectate prin NVLink într-un domeniu unificat de 72 de GPU-uri; fiecare GPU Blackwell este asociat cu un procesor Grace și două plăci de rețea ConnectX-7 de 400G, într-un raport CPU-GPU de 1:1, asigurând un debit de intrare/ieșire de 800G per GPU. Meta spune că a ales Ariel deoarece GB200 NVL72 oferea valori mai mari decât H100 pentru FLOPS, lățimea de bandă HBM, lățimea de bandă la scalarea în sus și dimensiunea domeniului de scalare în sus, în timp ce lățimea de bandă la scalarea în afara domeniului ar fi rămas la 400G per GPU — un dezechilibru despre care compania estima că ar afecta performanța. Catalina funcționează pe designul de rack de mare putere Open Rack V3 al Meta, contribuit la Open Compute Project.

Meta indică pentru Catalina 72 de GPU-uri Blackwell cu 13,4 TB de HBM3e (192 GB per GPU), o capacitate de calcul de vârf de 720 PFLOPS pentru antrenare FP8 (1.440 PFLOPS la FP4), o lățime de bandă NVLink de vârf de 130 TB/s, o lățime de bandă agregată de vârf a memoriei de 576 TB/s și o putere totală a sistemului de aproximativ 120 kW pentru perechea de două rackuri.

A doua platformă, Clemente, trece la NVIDIA GB300 NVL72. Potrivit Meta, GB300 mărește de 1,5 ori capacitatea HBM per GPU, de la 192 GB la 288 GB, și debitul de calcul FP4 în format dens într-un raport similar, dublând totodată aproximativ accelerarea operațiilor de atenție (softmax). Plăcile de rețea ConnectX-8 SuperNIC asigură nativ 800G per GPU, iar raportul GPU-CPU de 2:1 îi permite platformei Clemente să integreze întregul domeniu de 72 de GPU-uri într-un singur rack.

Meta indică pentru Clemente 72 de GPU-uri Blackwell Ultra cu 20,7 TB de HBM3e, o capacitate de calcul FP4 de vârf de peste 1 exaFLOP, o lățime de bandă NVLink de vârf de 130 TB/s (1,8 TB/s bidirecțional per GPU) și o putere a rackului de aproximativ 135 kW, precum și o îmbunătățire declarată a performanței de 5–10% față de GB200 NVL72. Clemente poate fi implementată cu răcire cu lichid asistată de aer sau cu răcire cu lichid la nivelul instalației, în noile centre de date proiectate de Meta.

Rețelele din clădiri și agregarea regională

Pe lângă rețeaua standard a centrelor de date, Meta operează o rețea Ethernet de back-end dedicată comunicării directe între GPU-uri, în interiorul clădirilor și între acestea, proiectată în jurul ierarhiei de paralelism al datelor din sarcinile mari de preantrenare. Fiecare rețea Ethernet la nivel de clădire interconectează până la 20.736 de GPU-uri. Designul inițial folosea o rețea disociată cu planificare, rutare multipath la nivel de subpachet și control al fluxului de la un capăt la altul, bazat pe credite; ulterior, Meta a trecut la o rețea fără planificare, cu switch-uri 51.2T cu buffere mici. Aceasta include Minipack3, cu echilibrare dinamică a încărcării, și Minipack3N, bazat pe Spectrum-4, cu rutarea adaptivă NVIDIA pe plăcile de rețea ConnectX; ambele rulează stiva de rețea FBOSS a Meta.

Rețeaua de agregare back-end, o arhitectură multistratificată cu noduri centrale și ramificații, care conectează rețelele clădirilor pe distanțe de la 2 km la peste 100 km, este construită cu șasiuri din seria Arista 7800, care folosesc cipuri Broadcom Jericho3 cu buffere mari, și asigură o lățime de bandă de mai mulți Pbps pentru fiecare pereche de regiuni. Meta spune că antrenarea în prealabil pe asemenea distanțe a necesitat un efort dedicat de optimizare din partea Meta Superintelligence Labs, din cauza limitărilor impuse de viteza luminii. Compania descrie o infrastructură fizică alcătuită din fire de fibră optică cu o lungime cumulată de milioane de mile, zeci de mii de switch-uri și milioane de componente optice, de la module conectabile 2x400G FR4 LITE pentru distanțe scurte în interiorul clădirilor până la componente optice coerente 800G-ZR pentru legături de peste aproximativ 10 km.

Proiectare inginerească pentru reducerea întreruperilor

Trecerea de la arhitectura NVL8 a generației H100 la NVL72 a extins domeniul de impact al unei defecțiuni la scalare (setul de GPU-uri conectate strâns prin NVLink pentru paralelismul tensorial) de la opt GPU-uri la 72, mărind de 9 ori raza de impact, potrivit postării. Deoarece paralelizarea antrenării funcționează cel mai eficient cu grupuri de dimensiuni egale cu puteri ale lui doi, fiecare domeniu NVL72 utilizează o partiție de 64 de GPU-uri și păstrează opt GPU-uri de rezervă în rack, precum și aproximativ 2% de rackuri suplimentare în rezervă. Pentru o sesiune de antrenare cu 32.768 de GPU-uri active, aceasta înseamnă instalarea a 523 de rackuri NVL72, adică 37.656 de GPU-uri, cu aproximativ 13% peste capacitatea activă; Meta afirmă că cea mai mare parte a acestei marje (11%) rezultă din configurația partiției de 64 din 72, nu dintr-un cost absolut al fiabilității. Fiecare domeniu include 5.184 de legături de semnalizare cu perechi diferențiale, reglate la 200 Gbps, care trec prin interfețele SerDes ale GPU-urilor, plăcile PCB ale tăvilor de calcul, cartușele de cabluri și interfețele tăvilor de comutare.

Recuperarea în caz de defecțiune folosește două mecanisme: toleranța la defecte conștientă de paralelism scoate din funcțiune o replică ce utilizează paralelismul pe date, în timp ce restul clusterului repetă pasul și continuă antrenarea; iar salvarea distribuită asincronă a stării, cu salvări incrementale și pregătire în memorie, reia sarcina de la ultima stare salvată atunci când aria de impact a unei defecțiuni depășește o singură replică.

În faza inițială a Prometheus, la jumătatea anului 2025, întreruperile au atins un vârf de aproape 1.000 de evenimente zilnice la fiecare 8K de GPU-uri. Meta raportează o reducere de 99% după un an de activități de inginerie interfuncționale și afirmă că obiectivul său fundamental în materie de fiabilitate este de două întreruperi pe zi la fiecare 8K de GPU-uri sau un MTBI de aproximativ 100k ore-GPU.

Măsurile de remediere specifice au vizat integritatea semnalului NVLink în peste 600.000 de conexiuni, fiabilitatea memoriilor HBM și LPDDR prin setări de firmware îmbunătățite și retragerea predictivă a dispozitivelor care se degradează, monitorizarea stării comutatoarelor NVLink la nivel de milisecundă și redirecționarea transparentă a evenimentelor de legătură din backend. Meta a creat, de asemenea, automatizări pentru pachetele de firmware, care distribuie remedieri către peste 100k de GPU-uri în câteva ore, și a redus timpul de actualizare P90 pentru un singur pod de la peste șapte ore la două ore. Compania descrie și un model de co-proiectare în care echipele NVIDIA lucrează în centrele sale de date, cu telemetrie partajată și triere comună a problemelor.

Planuri privind energia, răcirea și extinderea

Antrenarea sincronizată provoacă fluctuații ale consumului de energie de 30–40% în cadrul clusterului, iar pornirea sau suspendarea unei sarcini majore poate modifica sarcina cu peste zeci de megawați în câteva secunde. Cadrul Dynamo Dimmer al Meta ajustează treptat limitele de putere ale GPU-urilor pe măsură ce clusterul se apropie de plafonul electric, în loc să oprească brusc sarcinile de lucru, cu sprijinul modulelor de rezervă cu baterii la nivel de rack, al tăvilor cu condensatoare, al stocării energiei în baterii la nivelul instalației și al coordonării cu furnizorii de utilități.

Răcirea combină răcirea cu lichid asistată de aer, în clădiri cu ventilație liberă și structuri cu implementare rapidă, cu răcirea cu lichid la nivelul instalației din clădirea special construită și optimizată pentru IA; Meta integrează și capacitate închiriată de la parteneri strategici. Compania afirmă că achită integral costul energiei pentru amplasamentul din New Albany și își corelează consumul de energie cu energie curată și regenerabilă nouă, folosește răcirea cu lichid în circuit închis, direct pe cip, în cele mai noi centre de date optimizate pentru IA și pune la dispoziție proiecte precum rackul de rețea răcit cu lichid IcePack prin Open Compute Project.

Meta intenționează să extindă Prometheus cu o combinație de sisteme GB300 NVL72 și Vera Rubin NVL72. Platforma San Miguel, care urmează să fie lansată, este prezentată cu 72 de GPU-uri Vera Rubin, fiecare cu 288 GB de HBM4 și o lățime de bandă maximă de 19,2 TB/s per GPU; o putere de calcul maximă pentru antrenarea FP4 de 2,52 EFLOPS (1,26 EFLOPS FP8) per rack; o lățime de bandă NVLink maximă de 216 TB/s (3 TB/s bidirecțional per GPU); o lățime de bandă agregată maximă a memoriei de aproximativ 1.500 TB/s; și tăvi de calcul răcite integral cu lichid, la peste 170 kW per rack. Potrivit Meta, platforma va îmbunătăți performanța per watt cu 10–20% față de GB300 NVL72.

Hyperion, următorul supercluster al Meta, din parohia Richland, Louisiana, este proiectat de la zero pe baza concluziilor desprinse din Prometheus. Proiectul prevede răcire cu lichid în circuit închis, conectare completă la rețeaua electrică împreună cu partenerul din sectorul utilităților Entergy, al cărei cost integral, potrivit Meta, este achitat de companie, precum și proiecte de rețea de nouă generație.