Meta detalha a expansão do supercluster Prometheus rumo a 1 milhão de GPUs

Em 19 de outubro de 2026, a equipe de engenharia da Meta publicou um relato técnico detalhado sobre o Prometheus, o supercluster de IA da empresa, com escala de gigawatts, em New Albany, Ohio. A publicação confirmou que a primeira fase, já concluída, treinou os modelos fundamentais Muse e que a Meta planeja expandir o sistema para cerca de 1 milhão de GPUs.

Em uma publicação no blog de engenharia da Meta, Kevin Lee, Yashar Bayani, Ahmed Sharif e Yee Jiun Song escreveram que a primeira fase treinou a família Muse, incluindo os modelos de fronteira Muse Wonder, que, segundo a Meta, oferecem desempenho de ponta em tarefas agênticas pessoais e profissionais. Dois anos antes da divulgação, o local de New Albany era um data center convencional que atendia ao tráfego da web; a Meta o adaptou para treinar modelos de fronteira e está construindo o supercluster em fases. Atualmente, o Prometheus reúne centenas de milhares de GPUs distribuídas por edifícios de data center tradicionais e otimizados para IA, além de estruturas de implantação rápida, todos operando como uma única máquina.

A Meta informa que manteve uma taxa de processamento útil superior a 85% nas execuções de pré-treinamento do Muse Wonder e superior a 90% nas execuções de aprendizado por reforço, com um tempo médio entre interrupções, medido em tempo de parede, de ~47 mil horas de GPU durante o treinamento; mudanças posteriores em toda a frota, incluindo correções de firmware, elevaram esse valor para mais de 54 mil horas de GPU.

Duas plataformas NVIDIA em produção

O Prometheus implanta duas plataformas de GPUs NVIDIA, e, segundo a Meta, uma terceira, baseada no NVIDIA Vera Rubin NVL72, chegará em breve. Todas usam uma arquitetura de rack NVL72, na qual 72 GPUs funcionam como um único acelerador dentro de uma mesma malha de rede.

A primeira plataforma, Catalina, usa o NVIDIA GB200 NVL72 na variante de dois racks Ariel: 36 GPUs por rack são conectadas por NVLink para formar um domínio unificado de 72 GPUs; cada GPU Blackwell é pareada com uma CPU Grace e duas placas de rede ConnectX-7 de 400G, em uma proporção de 1:1 entre CPUs e GPUs, oferecendo 800G de E/S por GPU. A Meta afirma ter escolhido o Ariel porque o GB200 NVL72 ampliava, em relação ao H100, o desempenho em FLOPS, a largura de banda HBM, a largura de banda de expansão e o tamanho do domínio de expansão, enquanto a largura de banda de expansão horizontal por GPU permaneceria em 400G, um desequilíbrio que, segundo a expectativa da empresa, reduziria o desempenho. O Catalina funciona no projeto de rack de alta potência Open Rack V3 da Meta, contribuído para o Open Compute Project.

A Meta informa que o Catalina conta com 72 GPUs Blackwell, 13,4 TB de HBM3e (192 GB por GPU), 720 PFLOPS de capacidade máxima de computação para treinamento em FP8 (1.440 PFLOPS em FP4), 130 TB/s de largura de banda máxima do NVLink, 576 TB/s de largura de banda agregada máxima de memória e cerca de 120 kW de potência total do sistema no conjunto de dois racks.

A segunda plataforma, Clemente, passa a usar o NVIDIA GB300 NVL72. Segundo a Meta, o GB300 aumenta em 1,5 vez a capacidade de HBM por GPU, de 192 GB para 288 GB, e o processamento denso em FP4 em um fator semelhante, além de aproximadamente dobrar a aceleração de atenção (softmax). As placas de rede ConnectX-8 SuperNIC oferecem nativamente 800G por GPU, e a proporção de 2:1 entre GPUs e CPUs permite que o Clemente reúna todo o domínio de 72 GPUs em um único rack.

A Meta informa que o Clemente conta com 72 GPUs Blackwell Ultra, 20,7 TB de HBM3e, mais de 1 exaFLOP de capacidade máxima de computação em FP4, 130 TB/s de largura de banda máxima do NVLink (1,8 TB/s bidirecionais por GPU) e cerca de 135 kW de potência no rack, com uma melhoria de desempenho declarada de 5–10% em relação ao GB200 NVL72. O Clemente pode ser implantado com resfriamento líquido modular assistido por ar ou com resfriamento líquido da instalação nos data centers recém-projetados da Meta.

Construção de malhas de rede e agregação regional

Além da rede padrão do data center, a Meta opera uma rede Ethernet de back-end dedicada à comunicação direta entre GPUs dentro dos edifícios e entre eles, projetada em torno da hierarquia de paralelismo de dados de grandes tarefas de pré-treinamento. Cada malha Ethernet no nível do edifício interconecta até 20.736 GPUs. O projeto inicial usava uma malha programada desagregada, com roteamento multipercurso em nível de subpacote e controle de fluxo de ponta a ponta baseado em créditos; posteriormente, a Meta migrou para uma malha não programada com switches 51.2T de buffers pequenos, incluindo o Minipack3, com balanceamento dinâmico de carga, e o Minipack3N, baseado no Spectrum-4, com o Adaptive Routing da NVIDIA nas placas de rede ConnectX. Ambos executam a pilha de rede FBOSS da Meta.

A rede de agregação de back-end, um projeto multicamadas em hub e spoke que conecta as malhas dos edifícios ao longo de distâncias de 2 km a mais de 100 km, é construída com chassis da série Arista 7800 que executam silício Broadcom Jericho3 com buffers profundos e oferece vários Pbps de largura de banda por par de regiões. A Meta afirma que executar o pré-treinamento nessas distâncias exigiu um esforço de otimização dedicado com a Meta Superintelligence Labs devido às limitações impostas pela velocidade da luz. A empresa descreve uma infraestrutura física que abrange cabos de fibra cuja extensão total chega a milhões de milhas, dezenas de milhares de switches e milhões de componentes ópticos, desde módulos conectáveis de curto alcance 2x400G FR4 LITE dentro dos edifícios até a óptica coerente 800G-ZR para conexões que ultrapassam aproximadamente 10 km.

Engenharia para reduzir interrupções

A mudança da arquitetura NVL8 da geração H100 para a NVL72 ampliou de oito para 72 GPUs o domínio de falha de escalabilidade (o conjunto de GPUs estreitamente interconectadas por NVLink para o paralelismo de tensores), aumentando em 9 vezes o raio de impacto, segundo a publicação. Como o paralelismo do treinamento se organiza com mais eficiência em grupos de tamanho potência de dois, cada domínio NVL72 executa uma fatia de 64 GPUs e mantém oito GPUs como unidades sobressalentes no rack, além de aproximadamente 2% de racks adicionais na reserva. Em uma execução de treinamento com 32.768 GPUs ativas, isso significa provisionar 523 racks NVL72, ou 37.656 GPUs, cerca de 13% acima da capacidade ativa; a Meta afirma que a maior parte dessa margem (11%) decorre da configuração de fatias de 64 entre 72 GPUs, e não de um custo adicional inevitável de confiabilidade. Cada domínio incorpora 5.184 enlaces de sinalização de pares diferenciais ajustados, a 200 Gbps, que atravessam os SerDes das GPUs, as placas de circuito impresso (PCBs) das bandejas de computação, os cartuchos de cabos e as interfaces das bandejas de comutação.

A recuperação de falhas utiliza dois mecanismos: a tolerância a falhas ciente do paralelismo tira de operação uma réplica com paralelismo de dados que apresenta falhas, enquanto o restante do cluster repete a etapa e continua o treinamento; já a criação distribuída e assíncrona de pontos de verificação, com pontos de verificação incrementais e preparação em memória, restaura o trabalho a partir do último estado salvo quando a área afetada pela falha excede uma réplica.

Na fase inicial do Prometheus, em meados de 2025, as interrupções chegaram a quase 1.000 eventos diários por cada 8 mil GPUs. A Meta relata uma redução de 99% após um ano de trabalho de engenharia entre diferentes equipes e afirma que sua meta de confiabilidade é de duas interrupções por dia para cada 8 mil GPUs, ou cerca de 100 mil horas de GPU entre interrupções (MTBI).

As correções direcionadas trataram da integridade do sinal NVLink em mais de 600 mil conexões; da confiabilidade da memória HBM e LPDDR, por meio de configurações de firmware aprimoradas e da retirada preditiva de dispositivos em processo de degradação; do estado dos comutadores NVLink, monitorado com resolução de milissegundos; e do redirecionamento transparente de eventos nos enlaces de backend. A Meta também desenvolveu a automação de pacotes de firmware, capaz de implantar correções em mais de 100 mil GPUs em poucas horas, e reduziu de mais de sete horas para duas horas o tempo de atualização de um único pod no percentil 90 (P90). Além disso, descreve um modelo de coengenharia no qual equipes da NVIDIA trabalham em seus centros de dados, com telemetria compartilhada e triagem conjunta.

Planos de energia, resfriamento e expansão

O treinamento sincronizado provoca variações transitórias de 30–40% na energia consumida pelo cluster, e iniciar ou pausar um trabalho de grande porte pode alterar a carga em mais de dezenas de megawatts em questão de segundos. A estrutura Dynamo Dimmer da Meta ajusta gradualmente os limites de potência das GPUs à medida que o cluster se aproxima de seu teto elétrico, em vez de interromper as cargas de trabalho abruptamente. Ela é apoiada por módulos de bateria de reserva no nível dos racks, bandejas de capacitores, armazenamento de energia em baterias nas instalações e coordenação com as concessionárias de serviços públicos.

O resfriamento combina sistemas modulares de refrigeração líquida com assistência de ar em edifícios abertos e estruturas de implantação rápida com refrigeração líquida para as instalações no edifício construído especificamente e otimizado para IA. A Meta também integra capacidade arrendada de parceiros estratégicos. A empresa afirma pagar o custo total da energia do complexo de New Albany e compensar seu consumo com novas fontes de energia limpa e renovável; usar refrigeração líquida em circuito fechado, diretamente nos chips, em seus mais novos centros de dados otimizados para IA; e compartilhar projetos como seu rack de rede IcePack, refrigerado a líquido, por meio do Open Compute Project.

A Meta planeja expandir o Prometheus com uma combinação de sistemas GB300 NVL72 e Vera Rubin NVL72. A próxima plataforma San Miguel está listada com 72 GPUs Vera Rubin, cada uma com 288 GB de HBM4 e largura de banda de pico de 19,2 TB/s; capacidade de computação de pico para treinamento FP4 de 2,52 EFLOPS por rack (1,26 EFLOPS em FP8); largura de banda de pico do NVLink de 216 TB/s (3 TB/s bidirecionais por GPU); largura de banda agregada de pico da memória de aproximadamente 1.500 TB/s; e bandejas de computação totalmente refrigeradas a líquido, com mais de 170 kW por rack. Segundo a Meta, a plataforma oferece uma melhoria de 10–20% no desempenho por watt em relação à GB300 NVL72.

O Hyperion, próximo supercluster da Meta, em Richland Parish, Louisiana, está sendo projetado desde o início com base nos aprendizados do Prometheus. O projeto inclui refrigeração líquida em circuito fechado, conexão completa à rede elétrica em parceria com a concessionária Entergy — cujo custo total, segundo a Meta, é pago pela empresa — e projetos de rede de próxima geração.