Meta opisuje skalowanie superklastra Prometheus w kierunku miliona procesorów GPU

19 października 2026 r. zespół inżynieryjny Meta opublikował szczegółowy opis techniczny Prometheusa, wielkoskalowego superklastra AI o mocy gigawatów w New Albany w stanie Ohio. Potwierdził, że w ukończonej pierwszej fazie wytrenowano modele podstawowe Muse, a Meta planuje zwiększyć skalę systemu do około miliona procesorów GPU.

We wpisie na blogu inżynieryjnym Meta Kevin Lee, Yashar Bayani, Ahmed Sharif i Yee Jiun Song napisali, że w pierwszej fazie wytrenowano rodzinę Muse, w tym modele frontier Muse Wonder, które według Meta osiągają najnowocześniejsze wyniki w zadaniach agentowych do użytku osobistego i zawodowego. Dwa lata przed tym ujawnieniem ośrodek w New Albany był konwencjonalnym centrum danych obsługującym ruch internetowy; Meta przebudowała go z myślą o trenowaniu modeli frontier i rozwija superklaster etapami. Obecnie Prometheus obejmuje setki tysięcy procesorów GPU rozmieszczonych w tradycyjnych budynkach centrów danych, obiektach zoptymalizowanych pod kątem AI oraz konstrukcjach umożliwiających szybkie wdrożenie — wszystkie działają jak jedna maszyna.

Meta podaje, że podczas wstępnego trenowania Muse Wonder utrzymywała ponad 85% przepustowości użytecznej, a podczas uczenia ze wzmocnieniem — ponad 90%. Średni czas między przerwami, liczony według czasu zegarowego, wynosił podczas treningu około 47 tys. godzin pracy procesora GPU; późniejsze zmiany w całej flocie, w tym poprawki oprogramowania układowego, wydłużyły go do ponad 54 tys. godzin pracy procesora GPU.

Dwie platformy NVIDIA w eksploatacji

Prometheus wykorzystuje dwie platformy procesorów GPU NVIDIA, a według Meta wkrótce pojawi się trzecia, oparta na NVL72 NVIDIA Vera Rubin. Każda z nich wykorzystuje architekturę szafy NVL72, w której 72 procesory GPU działają jako jeden akcelerator w ramach jednej struktury sieciowej.

Pierwsza platforma, Catalina, wykorzystuje NVIDIA GB200 NVL72 w wariancie Ariel z dwiema szafami: po 36 procesorów GPU w każdej szafie łączy się przez NVLink w jedną domenę obejmującą 72 procesory GPU. Każdy procesor GPU Blackwell jest sparowany z procesorem CPU Grace i dwoma kartami sieciowymi ConnectX-7 400G, przy stosunku CPU do GPU wynoszącym 1:1, co zapewnia 800G wejścia/wyjścia na procesor GPU. Meta twierdzi, że wybrała wariant Ariel, ponieważ GB200 NVL72 zapewniał większą moc obliczeniową FLOPS, przepustowość HBM, przepustowość w skali-up oraz większy rozmiar domeny w skali-up niż H100, podczas gdy przepustowość w skali-out na procesor GPU pozostałaby na poziomie 400G — dysproporcja ta, jak przewidywano, obniżyłaby wydajność. Catalina działa w wysokowydajnej szafie Meta Open Rack V3, wniesionej do projektu Open Compute Project.

Według danych Meta Catalina obejmuje 72 procesory GPU Blackwell, 13,4 TB pamięci HBM3e (192 GB na procesor GPU), szczytową moc obliczeniową 720 PFLOPS w treningu FP8 (1440 PFLOPS w FP4), szczytową przepustowość NVLink wynoszącą 130 TB/s, szczytową łączną przepustowość pamięci na poziomie 576 TB/s oraz łączny pobór mocy systemu wynoszący około 120 kW dla pary szaf.

Druga platforma, Clemente, wykorzystuje NVIDIA GB300 NVL72. Według Meta GB300 zwiększa pojemność pamięci HBM na procesor GPU 1,5-krotnie — z 192 GB do 288 GB — a gęstą przepustowość FP4 w podobnym stopniu, jednocześnie mniej więcej podwajając przyspieszenie obliczeń związanych z mechanizmem uwagi (softmax). Karty sieciowe ConnectX-8 SuperNIC zapewniają natywnie 800G na procesor GPU, a stosunek GPU do CPU wynoszący 2:1 pozwala zmieścić w jednej szafie całą domenę obejmującą 72 procesory GPU.

Meta podaje, że Clemente obejmuje 72 procesory GPU Blackwell Ultra i 20,7 TB pamięci HBM3e, zapewnia szczytową moc obliczeniową FP4 przekraczającą 1 eksaFLOP oraz szczytową przepustowość NVLink wynoszącą 130 TB/s (1,8 TB/s w obu kierunkach na procesor GPU), a pobór mocy szafy wynosi około 135 kW. Deklarowana poprawa wydajności względem GB200 NVL72 wynosi 5–10%. Clemente można wdrożyć z modułowym chłodzeniem cieczą wspomaganym powietrzem albo z chłodzeniem cieczą infrastruktury w nowo zaprojektowanych centrach danych Meta.

Struktury sieciowe w budynkach i agregacja regionalna

Oprócz standardowej sieci centrum danych Meta obsługuje dedykowaną sieć Ethernet Back-End, służącą do bezpośredniej komunikacji między procesorami GPU w obrębie budynków i pomiędzy nimi. Zaprojektowano ją z myślą o hierarchii przetwarzania równoległego na danych, stosowanej w dużych zadaniach wstępnego trenowania. Każda struktura sieci Ethernet na poziomie budynku łączy ze sobą do 20 736 procesorów GPU. Początkowy projekt wykorzystywał Disaggregated Scheduled Fabric z wielościeżkowym trasowaniem na poziomie mniejszym niż pakiet i sterowaniem przepływem od końca do końca opartym na kredytach; później Meta przeszła na Non-Scheduled Fabric z przełącznikami 51.2T o małych buforach, w tym Minipack3 z Dynamic Load Balancing oraz Minipack3N opartym na Spectrum-4, wykorzystującym NVIDIA Adaptive Routing na kartach sieciowych ConnectX. Oba rozwiązania działają na stosie sieciowym Meta FBOSS.

Sieć agregacyjna Backend Aggregation, wielowarstwowa architektura typu hub-and-spoke łącząca struktury sieciowe budynków na odległościach od 2 km do ponad 100 km, jest zbudowana z wykorzystaniem urządzeń szkieletowych serii Arista 7800 wyposażonych w układy Broadcom Jericho3 z dużymi buforami. Zapewnia przepustowość wielu Pbps dla każdej pary regionów. Meta podaje, że trenowanie wstępne na takich odległościach wymagało dedykowanych prac optymalizacyjnych prowadzonych z Meta Superintelligence Labs ze względu na ograniczenia wynikające z prędkości światła. Firma opisuje infrastrukturę fizyczną obejmującą włókna światłowodowe o łącznej długości milionów mil, dziesiątki tysięcy przełączników i miliony elementów optycznych — od krótkiego zasięgu, podłączanych modułów 2x400G FR4 LITE w budynkach po spójne układy optyczne 800G-ZR dla łączy o długości przekraczającej około 10 km.

Projektowanie z myślą o ograniczeniu liczby przerw

Przejście z architektury NVL8 generacji H100 na NVL72 rozszerzyło domenę awarii w skalowaniu w górę (zbiór procesorów GPU ściśle połączonych przez NVLink na potrzeby równoległego przetwarzania tensorów) z ośmiu do 72 GPU, zwiększając zasięg awarii dziewięciokrotnie — jak podano w publikacji. Ponieważ równoległość trenowania najlepiej sprawdza się w grupach o liczebności będącej potęgą dwójki, w każdej domenie NVL72 działa 64-GPU-owy segment, a osiem GPU pozostaje w szafie jako rezerwa; dodatkowo około 2% szaf jest utrzymywanych w zapasie. W przypadku treningu z udziałem 32 768 aktywnych GPU oznacza to konieczność zapewnienia 523 szaf NVL72, czyli 37 656 GPU — około 13% więcej niż wynosi aktywna infrastruktura. Meta podaje, że większość tego zapasu (11%) wynika z konfiguracji obejmującej 64 z 72 GPU, a nie z bezwzględnego narzutu związanego z niezawodnością. Każda domena obejmuje 5184 dostrojone łącza sygnałowe par różnicowych o przepustowości 200 Gb/s, biegnące przez układy SerDes GPU, płytki PCB tac obliczeniowych, kasety kablowe i interfejsy tac przełączników.

Odzyskiwanie po awarii wykorzystuje dwa mechanizmy: tolerancja awarii uwzględniająca równoległość wyłącza wadliwą replikę przetwarzania równoległego danych, podczas gdy reszta klastra ponawia krok i kontynuuje trening; z kolei rozproszone, asynchroniczne tworzenie punktów kontrolnych, połączone z przyrostowym zapisem punktów kontrolnych i przechowywaniem danych w pamięci, przywraca zadanie z jego ostatniego zapisanego stanu, gdy obszar awarii obejmuje więcej niż jedną replikę.

W początkowej fazie działania Prometheus, w połowie 2025 roku, liczba przerw sięgała niemal 1000 dziennie na każde 8 tys. GPU. Meta informuje, że po roku współpracy zespołów z różnych dziedzin liczba ta spadła o 99%, a jej nadrzędnym celem w zakresie niezawodności są dwie przerwy dziennie na każde 8 tys. GPU, czyli około 100 tys. godzin pracy GPU między przerwami (MTBI).

Ukierunkowane poprawki dotyczyły integralności sygnału NVLink w ponad 600 000 połączeń, niezawodności pamięci HBM i LPDDR dzięki udoskonalonym ustawieniom oprogramowania układowego oraz predykcyjnemu wycofywaniu urządzeń ulegających degradacji, monitorowania stanu przełączników NVLink z rozdzielczością milisekundową, a także przezroczystego przekierowywania zdarzeń związanych z łączami zaplecza. Meta opracowała też automatyzację wdrażania pakietów oprogramowania układowego, która w ciągu kilku godzin dostarcza poprawki do ponad 100 tys. GPU, i skróciła czas aktualizacji pojedynczego poda na poziomie P90 z ponad siedmiu do dwóch godzin. Firma opisuje również model wspólnego opracowywania rozwiązań, w ramach którego zespoły NVIDIA pracują w jej centrach danych, korzystając ze wspólnej telemetrii i wspólnie analizując problemy.

Zasilanie, chłodzenie i plany rozbudowy

Zsynchronizowany trening powoduje w klastrze skoki poboru mocy rzędu 30–40%, a rozpoczęcie lub wstrzymanie dużego zadania może w ciągu kilku sekund zmienić obciążenie o ponad dziesiątki megawatów. Framework Dynamo Dimmer firmy Meta stopniowo dostosowuje limity mocy GPU, gdy klaster zbliża się do granicy możliwości elektrycznych, zamiast gwałtownie zatrzymywać zadania. Rozwiązanie to wspierają moduły bateryjnego zasilania awaryjnego na poziomie szaf, tace kondensatorów, obiektowe magazyny energii w bateriach oraz koordynacja z dostawcami energii.

System chłodzenia łączy modułowe chłodzenie cieczą wspomagane powietrzem w budynkach z chłodzeniem powietrzem zewnętrznym i konstrukcjach umożliwiających szybkie wdrożenie z obiektowym chłodzeniem cieczą w specjalnie zaprojektowanym budynku zoptymalizowanym pod kątem AI. Meta korzysta również z dzierżawionej infrastruktury udostępnianej przez strategicznych partnerów. Firma informuje, że pokrywa pełne koszty energii w lokalizacji New Albany i równoważy jej zużycie nową energią czystą i odnawialną, stosuje bezpośrednie chłodzenie cieczą układów w najnowszych centrach danych zoptymalizowanych pod kątem AI oraz udostępnia za pośrednictwem Open Compute Project projekty takie jak chłodzony cieczą stojak sieciowy IcePack.

Meta planuje rozbudować Prometheus, wykorzystując zarówno systemy GB300 NVL72, jak i Vera Rubin NVL72. Nadchodząca platforma San Miguel ma obejmować 72 procesory GPU Vera Rubin, każdy z 288 GB pamięci HBM4 i szczytową przepustowością 19,2 TB/s, szczytową moc obliczeniową 2,52 EFLOPS dla treningu FP4 (1,26 EFLOPS dla FP8) na szafę, szczytową przepustowość NVLink wynoszącą 216 TB/s (3 TB/s w obu kierunkach na GPU), łączną szczytową przepustowość pamięci na poziomie około 1500 TB/s oraz tace obliczeniowe chłodzone w całości cieczą, przy mocy przekraczającej 170 kW na szafę. Według Meta wydajność na wat będzie o 10–20% wyższa niż w przypadku GB300 NVL72.

Hyperion, kolejny superklaster Meta w parafii Richland w stanie Luizjana, jest projektowany od podstaw z wykorzystaniem doświadczeń zdobytych przy Prometheus. Ma obejmować chłodzenie cieczą w obiegu zamkniętym, pełne przyłączenie do sieci energetycznej we współpracy z dostawcą energii Entergy, za które — jak podaje Meta — firma pokrywa pełne koszty, a także projekty sieci nowej generacji.