Meta illustra Prometheus, il supercluster in espansione verso 1 milione di GPU

Il 19 ottobre 2026, il team di ingegneria di Meta ha pubblicato un resoconto tecnico dettagliato di Prometheus, il supercluster di IA dell’azienda, con una potenza su scala di gigawatt e situato a New Albany, in Ohio. Ha confermato che la prima fase, ormai completata, ha addestrato i modelli fondazionali Muse e che Meta prevede di portare il sistema a circa 1 milione di GPU.

In un post sul blog di ingegneria di Meta, Kevin Lee, Yashar Bayani, Ahmed Sharif e Yee Jiun Song hanno scritto che la prima fase ha addestrato la famiglia Muse, compresi i modelli di frontiera Muse Wonder, che, secondo Meta, offrono prestazioni all’avanguardia nelle attività agentiche personali e professionali. Due anni prima della pubblicazione di queste informazioni, il sito di New Albany era un normale centro dati che gestiva il traffico web; Meta lo ha riconvertito per l’addestramento di modelli di frontiera e sta costruendo il supercluster per fasi. Prometheus comprende oggi centinaia di migliaia di GPU distribuite tra edifici di centri dati tradizionali e ottimizzati per l’IA e strutture a rapida implementazione, che operano tutte come un’unica macchina.

Meta riferisce di aver mantenuto un goodput superiore all’85% nelle sessioni di pre-addestramento di Muse Wonder e superiore al 90% in quelle di apprendimento per rinforzo, con un tempo medio tra le interruzioni, misurato in tempo effettivo, di circa 47.000 ore-GPU durante l’addestramento; successive modifiche all’intero parco, tra cui correzioni del firmware, hanno portato il dato a oltre 54.000 ore-GPU.

Due piattaforme NVIDIA in produzione

Prometheus impiega due piattaforme GPU NVIDIA e, secondo Meta, una terza basata su Vera Rubin NVL72 di NVIDIA arriverà a breve. Ciascuna adotta un’architettura rack NVL72, nella quale 72 GPU operano come un unico acceleratore all’interno di un fabric di rete.

La prima piattaforma, Catalina, utilizza NVIDIA GB200 NVL72 nella variante Ariel a due rack: 36 GPU per rack sono collegate tramite NVLink in un unico dominio da 72 GPU; ciascuna GPU Blackwell è abbinata a una CPU Grace e a due NIC ConnectX-7 da 400G, con un rapporto CPU-GPU di 1:1, per fornire 800G di I/O per GPU. Meta afferma di aver scelto Ariel perché GB200 NVL72 offriva prestazioni superiori a H100 in termini di FLOPS, larghezza di banda HBM, larghezza di banda di scale-up e dimensioni del dominio di scale-up, mentre la larghezza di banda di scale-out per GPU sarebbe rimasta a 400G, uno squilibrio che, secondo le previsioni, avrebbe penalizzato le prestazioni. Catalina si basa sul rack ad alta potenza Open Rack V3 di Meta, presentato all’Open Compute Project.

Meta indica per Catalina 72 GPU Blackwell con 13,4 TB di HBM3e (192 GB per GPU), 720 PFLOPS di picco per il calcolo di addestramento FP8 (1.440 PFLOPS con FP4), 130 TB/s di larghezza di banda NVLink di picco, 576 TB/s di larghezza di banda aggregata di memoria di picco e una potenza complessiva del sistema di circa 120 kW per la coppia di rack.

La seconda piattaforma, Clemente, passa a NVIDIA GB300 NVL72. Secondo Meta, GB300 aumenta di 1,5 volte la capacità HBM per GPU, da 192 GB a 288 GB, e offre un incremento analogo del throughput FP4 denso, raddoppiando all’incirca l’accelerazione dell’attenzione (softmax). Le SuperNIC ConnectX-8 forniscono nativamente 800G per GPU e un rapporto GPU-CPU di 2:1 consente a Clemente di alloggiare l’intero dominio da 72 GPU in un singolo rack.

Meta indica per Clemente 72 GPU Blackwell Ultra con 20,7 TB di HBM3e, oltre 1 exaFLOP di picco per il calcolo FP4, 130 TB/s di larghezza di banda NVLink di picco (1,8 TB/s bidirezionali per GPU) e una potenza del rack di circa 135 kW, con un miglioramento delle prestazioni dichiarato del 5–10% rispetto a GB200 NVL72. Clemente può essere implementato con il raffreddamento a liquido modulare assistito dall’aria oppure con il raffreddamento a liquido dell’impianto nei centri dati di nuova progettazione di Meta.

Fabric degli edifici e aggregazione regionale

Oltre alla rete standard dei centri dati, Meta gestisce una rete Ethernet di backend dedicata alla comunicazione diretta da GPU a GPU, all’interno degli edifici e tra un edificio e l’altro, progettata per la gerarchia di parallelismo dei dati tipica dei grandi lavori di pre-addestramento. Ogni fabric Ethernet a livello di edificio collega fino a 20.736 GPU. Il progetto iniziale utilizzava una fabric schedulata disaggregata, con instradamento multipath a livello di sotto-pacchetto e controllo del flusso end-to-end basato su crediti; Meta è poi passata a una fabric non schedulata su switch 51.2T con buffer ridotti, tra cui Minipack3 con bilanciamento dinamico del carico e Minipack3N basato su Spectrum-4 con instradamento adattivo NVIDIA sulle NIC ConnectX. Entrambi eseguono lo stack di rete FBOSS di Meta.

La rete di aggregazione backend, un’architettura multilivello a hub e spoke che collega le fabric degli edifici su distanze comprese tra 2 km e oltre 100 km, è realizzata con chassis della serie Arista 7800 dotati di chip Broadcom Jericho3 con buffer profondi e offre una larghezza di banda di diversi Pbps per coppia di regioni. Meta afferma che l’esecuzione del pre-addestramento su tali distanze ha richiesto un’attività di ottimizzazione dedicata con Meta Superintelligence Labs, a causa dei limiti imposti dalla velocità della luce. L’azienda descrive un’infrastruttura fisica che comprende fibre per un totale di milioni di miglia, decine di migliaia di switch e milioni di dispositivi ottici: dai moduli collegabili a corto raggio 2x400G FR4 LITE all’interno degli edifici alle ottiche coerenti 800G-ZR per i collegamenti oltre circa 10 km.

Progettata per ridurre le interruzioni

Il passaggio dall’architettura NVL8 della generazione H100 a NVL72 ha ampliato da otto a 72 GPU il dominio di guasto dello scale-up, cioè l’insieme di GPU strettamente interconnesse tramite NVLink per il parallelismo dei tensori: un raggio d’impatto 9 volte maggiore, secondo il post. Poiché il parallelismo dell’addestramento è più efficiente con gruppi di dimensioni pari a una potenza di due, ogni dominio NVL72 utilizza una porzione da 64 GPU e mantiene otto GPU di riserva all’interno del rack, con circa il 2% di rack aggiuntivi tenuti in riserva. Per un ciclo di addestramento con 32.768 GPU attive, occorre quindi predisporre 523 rack NVL72, pari a 37.656 GPU, circa il 13% in più rispetto alla capacità attiva; Meta afferma che gran parte di questo margine (l’11%) deriva dalla configurazione a 64 GPU su 72, anziché da un costo assoluto in termini di affidabilità. Ogni dominio integra 5.184 collegamenti di segnalazione a coppia differenziale ottimizzati, a 200 Gbps, che attraversano i SerDes delle GPU, i circuiti stampati dei vassoi di calcolo, le cartucce di cavi e le interfacce dei vassoi degli switch.

Il ripristino dopo un guasto si basa su due meccanismi: la tolleranza ai guasti consapevole del parallelismo mette fuori servizio una replica con parallelismo dei dati difettosa, mentre il resto del cluster ripete il passaggio e continua l’addestramento; il checkpointing asincrono distribuito, con checkpoint incrementali e preparazione dei dati in memoria, ripristina il processo dall’ultimo stato salvato quando l’area interessata da un guasto supera una singola replica.

Nella fase iniziale di Prometheus, a metà del 2025, le interruzioni hanno raggiunto un picco di quasi 1.000 eventi al giorno ogni 8.000 GPU. Meta riferisce che, dopo un anno di attività ingegneristica interfunzionale, le interruzioni sono diminuite del 99% e dichiara che il suo obiettivo di riferimento per l’affidabilità è di due interruzioni al giorno ogni 8.000 GPU, pari a circa 100.000 ore-GPU di MTBI.

Gli interventi mirati hanno riguardato l’integrità del segnale NVLink su oltre 600.000 connessioni; l’affidabilità delle memorie HBM e LPDDR, tramite impostazioni firmware perfezionate e la dismissione preventiva dei dispositivi in via di deterioramento; il monitoraggio dello stato degli switch NVLink con risoluzione al millisecondo; e il reindirizzamento trasparente degli eventi relativi ai collegamenti backend. Meta ha inoltre sviluppato un’automazione per i pacchetti firmware che distribuisce le correzioni a oltre 100.000 GPU nel giro di poche ore e ha ridotto da oltre sette ore a due ore il tempo di aggiornamento P90 di un singolo pod. L’azienda descrive inoltre un modello di co-progettazione in cui i team NVIDIA operano nei suoi data center, con telemetria condivisa e analisi congiunta dei problemi.

Piani per l’alimentazione, il raffreddamento e l’espansione

L’addestramento sincronizzato provoca variazioni transitorie della potenza del 30–40% all’interno del cluster, e l’avvio o la sospensione di un processo di grandi dimensioni può modificare carichi superiori a decine di megawatt nel giro di pochi secondi. Il framework Dynamo Dimmer di Meta regola gradualmente i limiti di potenza delle GPU man mano che il cluster si avvicina al proprio limite elettrico, invece di arrestare bruscamente i carichi di lavoro; a supporto di questa gestione ci sono moduli di alimentazione di emergenza a batteria a livello di rack, vassoi di condensatori, sistemi di accumulo di energia a batteria per le strutture e il coordinamento con i fornitori di servizi pubblici.

Il raffreddamento combina sistemi modulari a liquido assistiti dall’aria, installati in edifici a ventilazione naturale e strutture a rapida installazione, con il raffreddamento a liquido dell’edificio appositamente progettato e ottimizzato per l’IA; Meta integra inoltre capacità in leasing messe a disposizione da partner strategici. L’azienda afferma di sostenere l’intero costo dell’energia per il sito di New Albany e di compensarne i consumi con nuova energia pulita e rinnovabile; nei suoi più recenti data center ottimizzati per l’IA utilizza un sistema di raffreddamento a liquido a circuito chiuso diretto al chip e condivide progetti come il rack di rete raffreddato a liquido IcePack tramite l’Open Compute Project.

Meta prevede di ampliare Prometheus con una combinazione di sistemi GB300 NVL72 e Vera Rubin NVL72. La futura piattaforma San Miguel è indicata con 72 GPU Vera Rubin dotate di 288 GB di HBM4 e una larghezza di banda di picco di 19,2 TB/s per GPU; una capacità di calcolo di picco per l’addestramento FP4 pari a 2,52 EFLOPS per rack (1,26 EFLOPS FP8); una larghezza di banda NVLink di picco di 216 TB/s (3 TB/s bidirezionali per GPU); una larghezza di banda di memoria aggregata di picco di circa 1.500 TB/s; e vassoi di calcolo completamente raffreddati a liquido, con oltre 170 kW per rack. Secondo Meta, offrirà un miglioramento del 10–20% delle prestazioni per watt rispetto a GB300 NVL72.

Hyperion, il prossimo supercluster di Meta a Richland Parish, in Louisiana, è progettato da zero sulla base delle conoscenze acquisite con Prometheus. Prevede un sistema di raffreddamento a liquido a circuito chiuso, il pieno collegamento alla rete elettrica in collaborazione con il fornitore di servizi pubblici Entergy — il cui costo, secondo Meta, è interamente a carico dell’azienda — e progetti di rete di nuova generazione.