Meta Menguraikan Peningkatan Skala Superklaster Prometheus Menuju 1 Juta GPU

Pada 19 Oktober 2026, tim rekayasa Meta menerbitkan uraian teknis terperinci tentang Prometheus, superklaster AI berskala gigawatt milik perusahaan di New Albany, Ohio. Mereka mengonfirmasi bahwa fase pertama yang telah rampung melatih model fondasi Muse dan bahwa Meta berencana meningkatkan skala sistem tersebut hingga sekitar 1 juta GPU.

Dalam artikel di blog rekayasa Meta, Kevin Lee, Yashar Bayani, Ahmed Sharif, dan Yee Jiun Song menulis bahwa fase pertama melatih keluarga Muse, termasuk model terdepan Muse Wonder, yang menurut Meta menghadirkan kinerja mutakhir dalam tugas berbasis agen untuk keperluan pribadi dan profesional. Dua tahun sebelum pengungkapan ini, lokasi di New Albany tersebut merupakan pusat data konvensional yang menangani lalu lintas web; Meta merombaknya untuk melatih model terdepan dan sedang membangun superklaster itu secara bertahap. Kini, Prometheus terdiri atas ratusan ribu GPU yang tersebar di gedung pusat data konvensional dan yang dioptimalkan untuk AI, serta struktur yang dapat diterapkan dengan cepat; semuanya beroperasi sebagai satu mesin.

Meta melaporkan bahwa tingkat kerja efektif (goodput) yang dipertahankannya mencapai lebih dari 85% dalam pelatihan awal Muse Wonder dan lebih dari 90% dalam pelatihan penguatan, dengan waktu rata-rata berbasis waktu nyata di antara interupsi sekitar 47 ribu jam GPU selama pelatihan. Perubahan menyeluruh yang diterapkan kemudian di seluruh armada, termasuk perbaikan firmware, meningkatkan angka tersebut menjadi lebih dari 54 ribu jam GPU.

Dua Platform NVIDIA yang Beroperasi

Prometheus menggunakan dua platform GPU NVIDIA, dan menurut Meta, platform ketiga yang berbasis Vera Rubin NVL72 dari NVIDIA akan segera hadir. Masing-masing menggunakan arsitektur rak NVL72, yang memungkinkan 72 GPU berfungsi sebagai satu akselerator dalam satu fabric jaringan.

Platform pertama, Catalina, menggunakan NVIDIA GB200 NVL72 dalam varian dua rak Ariel: 36 GPU per rak dihubungkan melalui NVLink menjadi satu domain 72 GPU, dengan setiap GPU Blackwell dipasangkan dengan CPU Grace dan dua NIC ConnectX-7 400G dalam rasio CPU terhadap GPU 1:1, sehingga menghasilkan I/O 800G per GPU. Meta mengatakan memilih Ariel karena GB200 NVL72 meningkatkan FLOPS, bandwidth HBM, bandwidth untuk scale-up, dan ukuran domain scale-up dibandingkan H100, sementara bandwidth scale-out per GPU akan tetap 400G—ketimpangan yang diperkirakan Meta akan menurunkan kinerja. Catalina menggunakan rancangan rak berdaya tinggi Open Rack V3 milik Meta, yang disumbangkan ke Open Compute Project.

Meta mencantumkan spesifikasi Catalina berupa 72 GPU Blackwell dengan HBM3e sebesar 13,4 TB (192 GB per GPU), komputasi pelatihan FP8 puncak sebesar 720 PFLOPS (1.440 PFLOPS pada FP4), bandwidth NVLink puncak 130 TB/s, bandwidth memori agregat puncak 576 TB/s, serta daya total sistem sekitar 120 kW untuk sepasang rak tersebut.

Platform kedua, Clemente, beralih ke NVIDIA GB300 NVL72. Menurut Meta, GB300 meningkatkan kapasitas HBM per GPU sebesar 1,5 kali, dari 192 GB menjadi 288 GB, dan throughput FP4 untuk beban padat dengan faktor serupa, sekaligus meningkatkan kemampuan akselerasi attention (softmax) sekitar dua kali lipat. SuperNIC ConnectX-8 menyediakan 800G secara bawaan per GPU, sementara rasio GPU terhadap CPU 2:1 memungkinkan Clemente menampung seluruh domain 72 GPU dalam satu rak.

Meta mencantumkan spesifikasi Clemente berupa 72 GPU Blackwell Ultra dengan HBM3e sebesar 20,7 TB, komputasi FP4 puncak lebih dari 1 exaFLOP, bandwidth NVLink puncak 130 TB/s (1,8 TB/s dua arah per GPU), serta daya rak sekitar 135 kW, dengan peningkatan kinerja yang dinyatakan sebesar 5–10% dibandingkan GB200 NVL72. Clemente dapat diterapkan dengan Pendinginan Cair Berbantuan Udara modular atau Pendinginan Cair Fasilitas di pusat data yang baru dirancang Meta.

Membangun Fabric dan Agregasi Regional

Selain jaringan pusat data standar, Meta mengoperasikan jaringan Ethernet Back-End khusus untuk komunikasi langsung antargPU di dalam dan antarbangunan, yang dirancang berdasarkan hierarki paralelisme data pada pekerjaan pelatihan awal berskala besar. Setiap fabric Ethernet tingkat bangunan menghubungkan hingga 20.736 GPU. Rancangan awal menggunakan fabric terjadwal terdisagregasi dengan perutean multipath pada tingkat subpaket dan kendali aliran ujung ke ujung berbasis kredit; Meta kemudian beralih ke fabric tanpa penjadwalan pada switch 51.2T dengan buffer dangkal, termasuk Minipack3 dengan Dynamic Load Balancing dan Minipack3N berbasis Spectrum-4 dengan Adaptive Routing dari NVIDIA pada NIC ConnectX. Keduanya menjalankan tumpukan jaringan FBOSS milik Meta.

Jaringan Agregasi Backend, rancangan hub-dan-jari-jari berlapis-lapis yang menghubungkan fabric bangunan pada jarak 2 km hingga lebih dari 100 km, dibangun menggunakan sasis seri Arista 7800 yang menjalankan silikon Broadcom Jericho3 dengan buffer besar. Jaringan ini menyediakan bandwidth beberapa Pbps untuk setiap pasangan wilayah. Meta mengatakan bahwa menjalankan pelatihan awal pada jarak tersebut membutuhkan upaya pengoptimalan khusus bersama Meta Superintelligence Labs karena keterbatasan kecepatan cahaya. Perusahaan itu menggambarkan infrastruktur fisik yang mencakup bentangan serat optik dengan panjang total jutaan mil, puluhan ribu switch, dan jutaan perangkat optik, mulai dari perangkat pluggable FR4 LITE 2x400G untuk jarak pendek di dalam gedung hingga optik koheren 800G-ZR untuk sambungan yang jaraknya lebih dari sekitar 10 km.

Rekayasa untuk Mengurangi Interupsi

Peralihan dari arsitektur NVL8 pada generasi H100 ke NVL72 memperluas domain kegagalan scale-up (sekumpulan GPU yang terhubung erat melalui NVLink untuk paralelisme tensor) dari delapan GPU menjadi 72 GPU—area dampak gangguan yang 9 kali lebih besar, menurut tulisan tersebut. Karena paralelisme pelatihan paling efisien jika dipetakan ke kelompok berukuran pangkat dua, setiap domain NVL72 menjalankan satu irisan berisi 64 GPU dan menyisakan delapan GPU sebagai cadangan di dalam rak, dengan sekitar 2% rak tambahan disiapkan sebagai cadangan. Untuk proses pelatihan dengan 32.768 GPU aktif, ini berarti menyiapkan 523 rak NVL72, atau 37.656 GPU—sekitar 13% lebih banyak daripada jumlah GPU yang aktif; Meta menyatakan bahwa sebagian besar selisih tersebut (11%) disebabkan oleh konfigurasi irisan 64 dari 72 GPU, bukan oleh beban tambahan untuk mencapai tingkat keandalan tertentu. Setiap domain mencakup 5.184 tautan pensinyalan pasangan diferensial yang disetel pada 200 Gbps, yang menghubungkan SerDes GPU, PCB baki komputasi, kartrid kabel, dan antarmuka baki switch.

Pemulihan dari kegagalan menggunakan dua mekanisme: Parallelism-Aware Fault Tolerance menonaktifkan replika paralel data yang mengalami gangguan sementara bagian klaster lainnya mengulangi langkah tersebut dan melanjutkan pelatihan; sementara itu, checkpointing asinkron terdistribusi dengan checkpointing delta dan penyimpanan sementara di memori memulihkan tugas dari keadaan terakhir yang tersimpan ketika area dampak gangguan meluas hingga lebih dari satu replika.

Pada fase awal Prometheus pada pertengahan 2025, gangguan mencapai puncaknya, yakni hampir 1.000 kejadian per hari untuk setiap 8 ribu GPU. Meta melaporkan penurunan 99% setelah satu tahun rekayasa lintas fungsi dan menyatakan bahwa sasaran utama keandalannya adalah dua gangguan per hari untuk setiap 8 ribu GPU, atau MTBI sekitar 100 ribu jam-GPU.

Perbaikan terarah dilakukan untuk mengatasi integritas sinyal NVLink pada lebih dari 600.000 sambungan; keandalan memori HBM dan LPDDR melalui penyempurnaan pengaturan firmware serta penonaktifan prediktif perangkat yang kinerjanya menurun; pemantauan kondisi switch NVLink dengan resolusi milidetik; dan pengalihan rute secara transparan untuk kejadian pada tautan backend. Meta juga membangun otomatisasi bundel firmware yang menerapkan perbaikan ke lebih dari 100 ribu GPU dalam hitungan jam dan memangkas waktu peningkatan P90 untuk satu pod dari lebih dari tujuh jam menjadi dua jam. Meta juga menjelaskan model rekayasa bersama, dengan tim NVIDIA ditempatkan di pusat datanya untuk berbagi telemetri dan melakukan triase bersama.

Rencana Daya, Pendinginan, dan Ekspansi

Pelatihan tersinkronisasi memicu perubahan beban daya sebesar 30–40% di dalam klaster, sementara memulai atau menjeda tugas besar dapat menggeser beban lebih dari puluhan megawatt hanya dalam hitungan detik. Kerangka kerja Dynamo Dimmer dari Meta secara bertahap menyesuaikan batas daya GPU saat klaster mendekati batas kapasitas listriknya, alih-alih menghentikan beban kerja secara paksa. Pendekatan ini didukung oleh modul daya cadangan baterai di tingkat rak, baki kapasitor, penyimpanan energi baterai di fasilitas, serta koordinasi dengan penyedia utilitas.

Sistem pendinginan memadukan pendinginan cair berbantuan udara modular di gedung dengan sirkulasi udara bebas dan bangunan yang dapat diterapkan dengan cepat, serta pendinginan cair di fasilitas dalam gedung yang dibangun khusus dan dioptimalkan untuk AI. Meta juga mengintegrasikan kapasitas sewaan dari mitra strategis. Perusahaan menyatakan bahwa pihaknya menanggung seluruh biaya energi untuk lokasi New Albany dan mengimbangi konsumsi energinya dengan energi bersih dan terbarukan yang baru. Meta menggunakan pendinginan cair loop tertutup langsung ke chip di pusat data terbarunya yang dioptimalkan untuk AI, serta membagikan rancangan seperti rak jaringan berpendingin cair IcePack melalui Open Compute Project.

Meta berencana memperluas Prometheus dengan gabungan sistem GB300 NVL72 dan Vera Rubin NVL72. Platform San Miguel yang akan datang tercatat memiliki 72 GPU Vera Rubin dengan HBM4 sebesar 288 GB dan bandwidth puncak 19,2 TB/s per GPU; komputasi pelatihan FP4 puncak 2,52 EFLOPS (FP8 1,26 EFLOPS) per rak; bandwidth NVLink puncak 216 TB/s (3 TB/s dua arah per GPU); bandwidth memori agregat puncak sekitar 1.500 TB/s; serta baki komputasi yang sepenuhnya berpendingin cair dengan daya lebih dari 170 kW per rak. Menurut Meta, kinerja per wattnya meningkat 10–20% dibandingkan GB300 NVL72.

Hyperion, superklaster Meta berikutnya di Paroki Richland, Louisiana, dirancang dari awal dengan memanfaatkan pembelajaran dari Prometheus. Rancangannya mencakup pendinginan cair loop tertutup, konektivitas penuh ke jaringan listrik bersama mitra utilitas Entergy—yang menurut Meta seluruh biayanya ditanggung perusahaan—serta rancangan jaringan generasi berikutnya.