Meta, Prometheus süper kümesinin 1 milyon GPU’ya doğru ölçeklenmesine ilişkin ayrıntıları paylaşıyor

Meta’nın mühendislik ekibi, şirketin Ohio eyaletinin New Albany kentinde bulunan gigawatt ölçeğindeki yapay zekâ süper kümesi Prometheus hakkında 19 Ekim 2026’da ayrıntılı bir teknik açıklama yayımladı. Açıklamada, tamamlanan ilk aşamada Muse temel modellerinin eğitildiği doğrulandı ve Meta’nın sistemi yaklaşık 1 milyon GPU’ya ölçeklendirmeyi planladığı belirtildi.

Meta’nın mühendislik blogundaki bir yazıda Kevin Lee, Yashar Bayani, Ahmed Sharif ve Yee Jiun Song, ilk aşamada Muse Wonder öncü modellerinin de aralarında bulunduğu Muse ailesinin eğitildiğini yazdı. Meta’ya göre bu modeller, kişisel ve profesyonel görevlerde ajan tabanlı kullanım için son teknoloji performans sunuyor. Bu açıklamadan iki yıl önce New Albany’deki tesis, web trafiğini çalıştıran geleneksel bir veri merkeziydi; Meta tesisi öncü modellerin eğitimi için yeniden düzenledi ve süper kümeyi aşamalar hâlinde kuruyor. Prometheus artık geleneksel ve yapay zekâya göre optimize edilmiş veri merkezi binalarına ve hızla devreye alınabilen yapılara yayılmış yüz binlerce GPU’dan oluşuyor; bu GPU’ların tümü tek bir makine gibi çalışıyor.

Meta, Muse Wonder ön eğitim çalışmalarında %85’in, pekiştirmeli öğrenme çalışmalarında ise %90’ın üzerinde verimli iş hacmini sürdürdüğünü bildiriyor. Eğitim sırasında kesintiler arasındaki duvar saati cinsinden ortalama süre yaklaşık 47 bin GPU saatiydi; ürün yazılımı düzeltmeleri de dâhil olmak üzere daha sonra filonun tamamında yapılan değişikliklerle bu süre 54 bin GPU saatinin üzerine çıktı.

Üretimde İki NVIDIA Platformu

Prometheus, iki NVIDIA GPU platformunu devreye alıyor. Meta, NVIDIA’nın Vera Rubin NVL72 platformunun üçüncü platform olarak yakında geleceğini söylüyor. Her platformda, 72 GPU’nun tek bir ağ yapısı içinde tek bir hızlandırıcı gibi çalıştığı NVL72 raf mimarisi kullanılıyor.

İlk platform Catalina, Ariel’in iki raflı varyantındaki NVIDIA GB200 NVL72’yi kullanıyor: Her raftaki 36 GPU, NVLink üzerinden birleştirilerek tek bir 72 GPU’lu alan oluşturuyor. Her Blackwell GPU, bir Grace CPU ve iki ConnectX-7 400G NIC ile eşleştiriliyor; CPU-GPU oranı 1:1 ve GPU başına 800G G/Ç sağlanıyor. Meta, Ariel’i seçme nedeninin GB200 NVL72’nin H100’e kıyasla FLOPS, HBM bant genişliği, ölçek büyütme bant genişliği ve ölçek büyütme alanı boyutu bakımından sağladığı artış olduğunu söylüyor. Buna karşılık GPU başına yatay ölçekleme bant genişliği 400G’de kalacaktı; Meta bunun performansı düşürecek bir dengesizlik yaratmasını bekliyordu. Catalina, Meta’nın Open Compute Project’e katkıda bulunduğu, yüksek güç kapasiteli Open Rack V3 raf tasarımında çalışıyor.

Meta, Catalina’nın 72 Blackwell GPU, 13,4 TB HBM3e (GPU başına 192 GB), FP8 eğitiminde 720 PFLOPS tepe hesaplama gücü (FP4’te 1.440 PFLOPS), 130 TB/sn tepe NVLink bant genişliği, toplamda 576 TB/sn tepe bellek bant genişliği ve iki raflı sistem genelinde yaklaşık 120 kW güç tüketimi sunduğunu belirtiyor.

İkinci platform Clemente, NVIDIA GB300 NVL72’ye geçiyor. Meta’ya göre GB300, GPU başına HBM kapasitesini 192 GB’tan 288 GB’a çıkararak 1,5 kat artırıyor; yoğun FP4 işleme kapasitesi de benzer oranda yükseliyor. Dikkat (softmax) hızlandırması ise yaklaşık iki katına çıkıyor. ConnectX-8 SuperNIC’ler GPU başına doğal olarak 800G sağlıyor; 2:1 GPU-CPU oranı sayesinde Clemente, 72 GPU’lu alanın tamamını tek bir rafa sığdırabiliyor.

Meta, Clemente’nin 72 Blackwell Ultra GPU, 20,7 TB HBM3e, 1 exaFLOP’un üzerinde tepe FP4 hesaplama gücü, 130 TB/sn tepe NVLink bant genişliği (GPU başına çift yönlü 1,8 TB/sn) ve rafta yaklaşık 135 kW güç tüketimi sunduğunu belirtiyor. GB200 NVL72’ye kıyasla performansta %5–10 artış sağladığı da ifade ediliyor. Clemente, modüler hava destekli sıvı soğutmayla ya da Meta’nın yeni tasarladığı veri merkezlerinde tesis tipi sıvı soğutmayla devreye alınabiliyor.

Ağ Yapılarının Kurulması ve Bölgesel Toplama

Meta, standart veri merkezi ağına ek olarak, büyük ölçekli ön eğitim işlerinin veri paralelliği hiyerarşisi temelinde tasarlanmış, binaların içinde ve arasında doğrudan GPU’dan GPU’ya iletişim sağlayan özel bir Ethernet arka uç ağı işletiyor. Her bina düzeyindeki Ethernet ağ yapısı, 20.736’ya kadar GPU’yu birbirine bağlıyor. İlk tasarımda paket altı düzeyinde çok yollu yönlendirme ve kredi tabanlı uçtan uca akış denetimi sunan Ayrıştırılmış Zamanlanmış Ağ Yapısı kullanılıyordu. Meta daha sonra, sığ arabellekli 51.2T anahtarlarda çalışan Zamanlamasız Ağ Yapısı’na geçti. Bu yapıda Dinamik Yük Dengeleme özellikli Minipack3 ile ConnectX NIC’lerinde NVIDIA’nın Uyarlamalı Yönlendirme özelliğini kullanan, Spectrum-4 tabanlı Minipack3N yer alıyor; her ikisi de Meta’nın FBOSS ağ yığınını çalıştırıyor.

Bina ağ yapılarını 2 km ile 100 km’yi aşan mesafelerde birbirine bağlayan, çok katmanlı merkez-uydu tasarımındaki Arka Uç Toplama ağı, derin arabellekli Broadcom Jericho3 yongaları çalıştıran Arista 7800 serisi şasilerle kuruldu ve her bölge çifti için birden çok Pbps bant genişliği sağlıyor. Meta, ışık hızının getirdiği sınırlamalar nedeniyle bu mesafelerde ön eğitim gerçekleştirmek için Meta Superintelligence Labs ile özel bir optimizasyon çalışması yürütmek gerektiğini söylüyor. Şirket, fiziksel altyapının toplam uzunluğu milyonlarca mili bulan fiber hatları, on binlerce anahtarı ve milyonlarca optik bileşeni kapsadığını belirtiyor. Bu bileşenler, binaların içindeki 2x400G FR4 LITE kısa mesafeli takılabilir alıcı-vericilerden yaklaşık 10 km’yi aşan bağlantılarda kullanılan 800G-ZR koherent optik bileşenlere kadar uzanıyor.

Kesintileri Azaltmak İçin Mühendislik

Gönderiye göre, H100 neslinin NVL8 mimarisinden NVL72’ye geçiş, ölçek büyütme arıza etki alanını (tensor paralelliği için NVLink üzerinden sıkı biçimde birbirine bağlanan GPU kümesini) sekiz GPU’dan 72 GPU’ya çıkararak olası arıza etkisinin kapsamını 9 kat artırdı. Eğitim paralelliği, GPU sayısı ikinin kuvveti olan gruplara en verimli şekilde dağıtıldığından, her NVL72 etki alanında 64 GPU’luk bir dilim çalıştırılıyor ve raf içinde yedek olarak sekiz GPU tutuluyor; ayrıca rafların yaklaşık %2’si yedekte bekletiliyor. Etkin 32.768 GPU ile yapılacak bir eğitim çalışması için 523 NVL72 rafı, yani 37.656 GPU tahsis edilmesi gerekiyor; bu sayı etkin kapasiteden yaklaşık %13 daha fazla. Meta, bu fazladan kapasitenin büyük bölümünün (%11) mutlak bir güvenilirlik maliyetinden değil, 72 GPU içindeki 64 GPU’luk dilimin geometrisinden kaynaklandığını belirtiyor. Her etki alanında GPU SerDes’leri, hesaplama tepsilerindeki PCB’ler, kablo kartuşları ve anahtar tepsisi arayüzlerinden geçen, 200 Gbps hızında çalışan 5.184 ayarlanmış diferansiyel çift sinyal bağlantısı bulunuyor.

Arızalardan kurtarma için iki yöntem kullanılıyor: Paralellik Farkındalıklı Hata Toleransı, arızalı bir veri paralelliği kopyasını devre dışı bırakırken kümenin geri kalanının adımı yineleyip eğitime devam etmesini sağlıyor; delta kontrol noktası alma ve bellek içi hazırlamayı kullanan dağıtık asenkron kontrol noktası alma ise arızanın etki alanı tek bir kopyayı aştığında işi son kaydedilen durumundan geri yüklüyor.

Prometheus’un 2025 ortasındaki ilk aşamasında kesintiler, günde her 8 bin GPU başına yaklaşık 1.000 olayla zirve yaptı. Meta, işlevler arası bir yıl süren mühendislik çalışmalarının ardından kesintilerin %99 azaldığını bildiriyor ve güvenilirlik konusundaki temel hedefinin günde her 8 bin GPU başına iki kesinti, yani yaklaşık 100 bin GPU saati MTBI olduğunu belirtiyor.

Hedefe yönelik düzeltmeler arasında 600.000’den fazla bağlantıda NVLink sinyal bütünlüğünün iyileştirilmesi; aygıt yazılımı ayarlarının hassaslaştırılması ve performansı düşen aygıtların önceden devreden çıkarılması yoluyla HBM ve LPDDR bellek güvenilirliğinin artırılması; NVLink anahtarlarının sağlığının milisaniye hassasiyetinde izlenmesi ve arka uç bağlantı olaylarının fark ettirmeden başka yollara yönlendirilmesi yer aldı. Meta ayrıca, düzeltmeleri saatler içinde 100 binden fazla GPU’ya dağıtan aygıt yazılımı paketi otomasyonu geliştirdi ve tek pod için P90 yükseltme süresini yedi saatin üzerinden iki saate indirdi. Şirket, NVIDIA ekiplerinin ortak telemetri ve birlikte yürütülen sorun önceliklendirme süreçleriyle veri merkezlerinde görev aldığı bir ortak mühendislik modeli de tarif ediyor.

Güç, Soğutma ve Genişleme Planları

Eşzamanlı eğitim, küme genelinde %30–40’lık güç dalgalanmalarına yol açıyor; büyük bir işi başlatmak veya duraklatmak, yükleri saniyeler içinde onlarca megavatı aşan miktarlarda değiştirebiliyor. Küme elektrik kapasitesi sınırına yaklaştıkça Meta’nın Dynamo Dimmer çerçevesi, iş yüklerini aniden durdurmak yerine GPU güç sınırlarını kademeli olarak ayarlıyor. Bu yaklaşım; raf düzeyinde batarya yedekleme modülleri, kapasitör tepsileri, tesis ölçeğinde batarya enerji depolama sistemleri ve elektrik şirketleriyle eşgüdümle destekleniyor.

Soğutma sisteminde, doğal hava soğutmalı binalar ve hızla kurulabilen yapılar için modüler, hava destekli sıvı soğutma ile amaca özel tasarlanmış, yapay zekâ için optimize edilmiş binada tesis ölçeğinde sıvı soğutma bir arada kullanılıyor; Meta ayrıca stratejik ortaklarından kiraladığı kapasiteyi de sisteme dahil ediyor. Şirket, New Albany tesisindeki enerji maliyetinin tamamını karşıladığını ve enerji tüketimini yeni temiz ve yenilenebilir enerjiyle dengelediğini belirtiyor. En yeni yapay zekâ için optimize edilmiş veri merkezlerinde doğrudan çipe kapalı devre sıvı soğutma kullanıyor; IcePack sıvı soğutmalı ağ rafı gibi tasarımlarını da Open Compute Project aracılığıyla paylaşıyor.

Meta, Prometheus’u GB300 NVL72 ve Vera Rubin NVL72 sistemlerinin bir karışımıyla genişletmeyi planlıyor. Yaklaşan San Miguel platformu; 72 Vera Rubin GPU, GPU başına 288 GB HBM4 bellek ve 19,2 TB/s tepe bant genişliği; raf başına 2,52 tepe EFLOPS FP4 eğitim işlem gücü (1,26 EFLOPS FP8); 216 TB/s tepe NVLink bant genişliği (GPU başına çift yönlü 3 TB/s); yaklaşık 1.500 TB/s toplam tepe bellek bant genişliği ve raf başına 170 kW’ın üzerinde güçte çalışan, tamamen sıvı soğutmalı hesaplama tepsileriyle tanımlanıyor. Meta, GB300 NVL72’ye kıyasla watt başına performansta %10–20 iyileşme sağlanacağını belirtiyor.

Meta’nın Louisiana eyaletindeki Richland Parish’te kuracağı bir sonraki süper küme Hyperion, Prometheus’tan edinilen bilgiler doğrultusunda en baştan tasarlanıyor. Tasarımda kapalı devre sıvı soğutma, elektrik hizmeti sağlayıcısı Entergy ile tam şebeke bağlantısı (Meta, bunun tüm maliyetini karşıladığını belirtiyor) ve yeni nesil ağ tasarımları yer alıyor.