Meta detalla la ampliación del superclúster Prometheus hacia 1 millón de GPU

El equipo de ingeniería de Meta publicó el 19 de octubre de 2026 un informe técnico detallado sobre Prometheus, el superclúster de IA de la compañía a escala de gigavatios en New Albany, Ohio. En él confirmó que la primera fase, ya completada, entrenó los modelos fundacionales Muse y que Meta planea ampliar el sistema hasta aproximadamente 1 millón de GPU.

En una publicación del blog de ingeniería de Meta, Kevin Lee, Yashar Bayani, Ahmed Sharif y Yee Jiun Song escribieron que la primera fase entrenó la familia Muse, incluidos los modelos de frontera Muse Wonder, que, según Meta, ofrecen un rendimiento de vanguardia en tareas agénticas personales y profesionales. Dos años antes de esta revelación, el sitio de New Albany era un centro de datos convencional que gestionaba tráfico web; Meta lo adaptó para entrenar modelos de frontera y está construyendo el superclúster por fases. Prometheus comprende ahora cientos de miles de GPU distribuidas en edificios de centros de datos tradicionales y optimizados para IA, así como en estructuras de despliegue rápido, todas funcionando como una sola máquina.

Meta informa que mantuvo un rendimiento efectivo superior al 85 % en las ejecuciones de preentrenamiento de Muse Wonder y superior al 90 % en las ejecuciones de aprendizaje por refuerzo, con un tiempo medio entre interrupciones, medido en tiempo real, de ~47 mil horas de GPU durante el entrenamiento; cambios posteriores en toda la flota, incluidas correcciones de firmware, elevaron esa cifra a más de 54 mil horas de GPU.

Dos plataformas NVIDIA en producción

Prometheus despliega dos plataformas de GPU NVIDIA, y Meta afirma que pronto llegará una tercera basada en Vera Rubin NVL72 de NVIDIA. Todas utilizan una arquitectura de bastidor NVL72, en la que 72 GPU funcionan como un único acelerador dentro de una misma estructura de red.

La primera plataforma, Catalina, utiliza NVIDIA GB200 NVL72 en la variante de dos bastidores Ariel: las 36 GPU de cada bastidor se conectan mediante NVLink para formar un dominio unificado de 72 GPU, y cada GPU Blackwell se empareja con una CPU Grace y dos NIC ConnectX-7 de 400G, con una relación CPU-GPU de 1:1, lo que proporciona 800G de E/S por GPU. Meta afirma que eligió Ariel porque GB200 NVL72 ofrecía mejoras respecto de H100 en FLOPS, ancho de banda HBM, ancho de banda de escalado vertical y tamaño del dominio de escalado vertical, mientras que el ancho de banda de escalado horizontal por GPU se habría mantenido en 400G, un desequilibrio que, según sus previsiones, habría reducido el rendimiento. Catalina funciona con el diseño de bastidor de alta potencia Open Rack V3 de Meta, que la compañía aportó al Open Compute Project.

Meta describe Catalina como un sistema con 72 GPU Blackwell y 13,4 TB de HBM3e (192 GB por GPU), 720 PFLOPS de capacidad máxima de cómputo para entrenamiento FP8 (1.440 PFLOPS con FP4), 130 TB/s de ancho de banda máximo de NVLink, 576 TB/s de ancho de banda máximo agregado de memoria y una potencia total del sistema de aproximadamente 120 kW en el conjunto de dos bastidores.

La segunda plataforma, Clemente, da el salto a NVIDIA GB300 NVL72. Según Meta, GB300 aumenta en 1,5 veces la capacidad HBM por GPU, de 192 GB a 288 GB, y el rendimiento FP4 denso en una proporción similar, al tiempo que aproximadamente duplica la aceleración de la atención (softmax). Las SuperNIC ConnectX-8 proporcionan de forma nativa 800G por GPU, y una relación GPU-CPU de 2:1 permite a Clemente alojar el dominio completo de 72 GPU en un solo bastidor.

Meta describe Clemente como un sistema con 72 GPU Blackwell Ultra y 20,7 TB de HBM3e, más de 1 exaFLOP de capacidad máxima de cómputo FP4, 130 TB/s de ancho de banda máximo de NVLink (1,8 TB/s bidireccionales por GPU) y una potencia de bastidor de unos 135 kW, con una mejora de rendimiento declarada del 5–10 % respecto de GB200 NVL72. Clemente puede desplegarse con refrigeración líquida modular asistida por aire o con refrigeración líquida de las instalaciones en los centros de datos de nuevo diseño de Meta.

Estructuras de red entre edificios y agregación regional

Además de la red estándar del centro de datos, Meta opera una red Ethernet dedicada de back-end para la comunicación directa entre GPU, tanto dentro de los edificios como entre ellos, diseñada en torno a la jerarquía de paralelismo de datos de los grandes trabajos de preentrenamiento. Cada estructura Ethernet a nivel de edificio interconecta hasta 20.736 GPU. El diseño inicial utilizaba una estructura programada desagregada, con enrutamiento multipath a nivel inferior al paquete y control de flujo de extremo a extremo basado en créditos; Meta la actualizó posteriormente a una estructura no programada con switches de búfer reducido de 51,2T, incluidos Minipack3 con balanceo dinámico de carga y Minipack3N basado en Spectrum-4, con enrutamiento adaptable de NVIDIA en NIC ConnectX; ambos ejecutan la pila de redes FBOSS de Meta.

La red de agregación de back-end, un diseño de concentrador y radios de varias capas que enlaza las estructuras de red de los edificios a distancias de entre 2 km y más de 100 km, está construida con chasis de la serie Arista 7800 que utilizan silicio Broadcom Jericho3 con búfer profundo y proporciona varios Pbps de ancho de banda por par de regiones. Meta afirma que ejecutar el preentrenamiento a esas distancias requirió un esfuerzo de optimización específico junto con Meta Superintelligence Labs debido a las limitaciones impuestas por la velocidad de la luz. La compañía describe una infraestructura física que abarca tendidos de fibra que suman millones de millas, decenas de miles de switches y millones de componentes ópticos, desde transceptores enchufables 2x400G FR4 LITE de corto alcance dentro de los edificios hasta óptica coherente 800G-ZR para enlaces de más de aproximadamente 10 km.

Ingeniería para reducir las interrupciones

El paso de la arquitectura NVL8 de la generación H100 a NVL72 amplió de ocho a 72 GPU el dominio de fallos del escalado (el conjunto de GPU estrechamente interconectadas mediante NVLink para el paralelismo de tensores), lo que multiplicó por 9 el radio de impacto, según la publicación. Como el paralelismo del entrenamiento se asigna con mayor eficiencia a grupos cuyo tamaño es una potencia de dos, cada dominio NVL72 ejecuta un segmento de 64 GPU y reserva ocho GPU de repuesto en el mismo rack, además de mantener aproximadamente un 2 % de racks adicionales en reserva. Para un entrenamiento con 32.768 GPU activas, esto supone aprovisionar 523 racks NVL72, es decir, 37.656 GPU, aproximadamente un 13 % más que el número de GPU activas; Meta afirma que la mayor parte de ese margen (11 %) se debe a la configuración de segmentos de 64 de las 72 GPU, y no a un coste absoluto de fiabilidad. Cada dominio integra 5.184 enlaces de señalización de par diferencial ajustados a 200 Gbps, que atraviesan los SerDes de las GPU, las placas de circuito impreso de las bandejas de cómputo, los cartuchos de cables y las interfaces de las bandejas de conmutación.

La recuperación ante fallos utiliza dos mecanismos: la tolerancia a fallos consciente del paralelismo desconecta una réplica defectuosa del paralelismo de datos mientras el resto del clúster repite el paso y continúa el entrenamiento; y los puntos de control asíncronos distribuidos, con puntos de control incrementales y almacenamiento provisional en memoria, restauran el trabajo desde su último estado guardado cuando el alcance de un fallo supera el de una réplica.

Durante la fase inicial de Prometheus, a mediados de 2025, las interrupciones alcanzaron un máximo de casi 1.000 eventos diarios por cada 8.000 GPU. Meta informa de una reducción del 99 % tras un año de ingeniería interfuncional y señala que su principal objetivo de fiabilidad es limitar las interrupciones a dos por cada 8.000 GPU al día, o a unas 100.000 horas-GPU entre interrupciones (MTBI).

Las medidas correctivas específicas abordaron la integridad de la señal de NVLink en más de 600.000 conexiones; la fiabilidad de la memoria HBM y LPDDR mediante ajustes de firmware perfeccionados y la retirada predictiva de dispositivos cuyo rendimiento se deteriora; la supervisión del estado de los conmutadores NVLink con resolución de milisegundos; y el redireccionamiento transparente de los eventos de los enlaces del backend. Meta también creó un sistema automatizado de paquetes de firmware que implementa correcciones en más de 100.000 GPU en cuestión de horas y redujo de más de siete horas a dos horas el tiempo de actualización de un solo pod en el percentil 90 (P90). Además, describe un modelo de ingeniería conjunta en el que equipos de NVIDIA trabajan desde sus centros de datos, con telemetría compartida y clasificación conjunta de problemas.

Energía, refrigeración y planes de expansión

El entrenamiento sincronizado provoca variaciones transitorias de potencia del 30–40 % en el clúster, y el inicio o la pausa de un trabajo importante puede cambiar la carga en más de decenas de megavatios en cuestión de segundos. El marco Dynamo Dimmer de Meta ajusta gradualmente los límites de potencia de las GPU a medida que el clúster se acerca a su límite eléctrico, en lugar de detener abruptamente las cargas de trabajo. Para ello, cuenta con módulos de respaldo de baterías a nivel de rack, bandejas de condensadores, almacenamiento de energía en baterías en las instalaciones y coordinación con los proveedores de servicios públicos.

La refrigeración combina sistemas modulares de refrigeración líquida asistida por aire en edificios con refrigeración por aire exterior y estructuras de rápida instalación, con refrigeración líquida de las instalaciones en el edificio diseñado específicamente y optimizado para IA. Meta también integra capacidad arrendada a socios estratégicos. La empresa afirma que paga el costo total de la energía del emplazamiento de New Albany y que compensa su consumo energético con nueva energía limpia y renovable; utiliza refrigeración líquida de circuito cerrado directamente en los chips en sus centros de datos más recientes, optimizados para IA; y comparte diseños, como su rack de red IcePack refrigerado por líquido, a través del Open Compute Project.

Meta planea ampliar Prometheus con una combinación de sistemas GB300 NVL72 y Vera Rubin NVL72. Las especificaciones de su próxima plataforma San Miguel incluyen 72 GPU Vera Rubin con 288 GB de HBM4 y un ancho de banda máximo de 19,2 TB/s por GPU; una capacidad máxima de cómputo para entrenamiento de 2,52 EFLOPS FP4 (1,26 EFLOPS FP8) por rack; un ancho de banda máximo de NVLink de 216 TB/s (3 TB/s bidireccionales por GPU); un ancho de banda máximo agregado de memoria de aproximadamente 1.500 TB/s; y bandejas de cómputo refrigeradas completamente por líquido que superan los 170 kW por rack. Según Meta, ofrece una mejora del 10–20 % en rendimiento por vatio respecto de GB300 NVL72.

Hyperion, el próximo superclúster de Meta en Richland Parish, Luisiana, se está diseñando desde cero a partir de lo aprendido con Prometheus. Incluirá refrigeración líquida de circuito cerrado, conexión completa a la red eléctrica con su socio de servicios públicos Entergy —cuyo costo total, según afirma Meta, corre por cuenta de la empresa— y diseños de red de próxima generación.