Meta详解Prometheus超级集群：扩容目标直指100万块GPU

Meta工程团队于2026年10月19日发布了关于Prometheus的详细技术介绍。Prometheus是该公司位于俄亥俄州纽奥尔巴尼、规模达吉瓦级的AI超级集群。Meta确认，第一阶段已完成，并用于训练Muse基础模型；公司计划将该系统扩展至约100万块GPU。

Kevin Lee、Yashar Bayani、Ahmed Sharif和Yee Jiun Song在Meta工程博客的一篇文章中写道，第一阶段训练了Muse系列模型，其中包括前沿模型Muse Wonder。Meta表示，这些模型在个人和专业场景中的智能体任务上达到了业界领先水平。此次披露前两年，纽奥尔巴尼园区还是一座用于承载网络流量的传统数据中心；Meta对其进行了改造，以用于前沿模型训练，并正分阶段建设这座超级集群。如今，Prometheus由分布在传统数据中心建筑、面向AI优化的数据中心建筑以及快速部署设施中的数十万块GPU组成，所有GPU协同运行，如同一台机器。

Meta称，在Muse Wonder预训练过程中，集群持续保持了超过85%的有效吞吐率；在强化学习过程中，有效吞吐率超过90%。训练期间，按实际运行时间计算的平均中断间隔约为4.7万GPU小时。此后，Meta在整个GPU集群范围内进行了多项改进，包括修复固件问题，使这一间隔提升至超过5.4万GPU小时。

两款NVIDIA平台已投入生产

Prometheus部署了两款NVIDIA GPU平台。Meta表示，第三款基于NVIDIA的Vera Rubin NVL72的平台也即将到来。每款平台都采用NVL72机架架构，在同一网络结构中让72块GPU作为单个加速器运行。

第一款平台Catalina采用NVIDIA GB200 NVL72的Ariel双机架配置：每个机架配备36块GPU，通过NVLink连接，组成统一的72-GPU域；每块Blackwell GPU搭配一颗Grace CPU和两块ConnectX-7 400G网卡，CPU与GPU之比为1:1，每块GPU可提供800G I/O。Meta表示，之所以选择Ariel，是因为与H100相比，GB200 NVL72提升了FLOPS、HBM带宽、扩展带宽和扩展域规模；而每块GPU的横向扩展带宽仍会维持在400G，Meta预计这种不平衡会损害性能。Catalina采用Meta面向高功率设计的Open Rack V3机架，该设计由Meta贡献给Open Compute Project。

Meta列出的Catalina配置为：72块Blackwell GPU，搭载13.4 TB HBM3e（每块GPU为192 GB）；FP8训练峰值算力为720 PFLOPS（FP4下为1,440 PFLOPS）；NVLink峰值带宽为130 TB/s；峰值聚合内存带宽为576 TB/s；双机架组合的系统总功耗约为120 kW。

第二款平台Clemente采用NVIDIA GB300 NVL72。Meta称，GB300将每块GPU的HBM容量提高了1.5倍，从192 GB增至288 GB；密集FP4吞吐量也以相近幅度提升，同时注意力机制（softmax）的加速能力大约翻倍。ConnectX-8 SuperNIC可直接为每块GPU提供800G带宽；GPU与CPU之比为2:1，因此Clemente能够将完整的72-GPU域装入单个机架。

Meta列出的Clemente配置为：72块Blackwell Ultra GPU，搭载20.7 TB HBM3e；FP4峰值算力超过1 exaFLOP；NVLink峰值带宽为130 TB/s（每块GPU的双向带宽为1.8 TB/s）；机架功耗约为135 kW。Meta称，与GB200 NVL72相比，其性能提升了5–10%。Clemente既可采用模块化空气辅助液冷，也可在Meta新设计的数据中心中采用设施液冷。

楼宇网络架构与区域汇聚

除了标准数据中心网络，Meta还运营专用的以太网后端网络，用于楼宇内部及楼宇之间GPU到GPU的直接通信；该网络围绕大型预训练任务的数据并行层级设计。每个楼宇级以太网网络结构最多可互连20,736块GPU。初始设计采用解耦式调度网络，使用亚数据包级多路径路由和基于信用的端到端流量控制；Meta之后改用基于浅缓存51.2T交换机的非调度式网络，包括采用动态负载均衡的Minipack3，以及基于Spectrum-4、在ConnectX网卡上采用NVIDIA自适应路由的Minipack3N。两者均运行Meta的FBOSS网络协议栈。

后端汇聚网络采用多层枢纽辐射式设计，将相距2 km至100 km以上的楼宇网络结构连接起来。该网络使用搭载深缓存Broadcom Jericho3芯片的Arista 7800系列机箱，每对区域可获得多个Pb/s的带宽。Meta表示，由于受到光速限制，要在这些距离上运行预训练任务，需要Meta Superintelligence Labs专门开展优化工作。该公司介绍，其物理基础设施包括总长达数百万英里的光纤、数万台交换机和数百万个光模块，涵盖楼宇内部的2x400G FR4 LITE短距可插拔光模块，以及用于约10 km以上链路的800G-ZR相干光模块。

致力于减少中断

根据这篇文章，从 H100 一代的 NVL8 架构转向 NVL72，将扩展域故障范围（通过 NVLink 紧密耦合、用于张量并行的 GPU 集合）从 8 个 GPU 扩大到 72 个，故障影响范围扩大了 9 倍。由于训练并行最适合采用数量为 2 的幂次方的分组，每个 NVL72 域会运行一个由 64 个 GPU 组成的切片，并将 8 个 GPU 留作机架内备用，同时另有约 2% 的机架作为储备。对于一项使用 32,768 个活跃 GPU 的训练任务，这意味着需要配置 523 个 NVL72 机架，即 37,656 个 GPU，比活跃部署规模多出约 13%；Meta 表示，其中大部分余量（11%）源于 64/72 的切片布局，而非绝对可靠性方面的额外开销。每个域包含 5,184 条经过调优的差分对信号链路，速率为 200 Gbps，信号需经过 GPU 串行器/解串器（SerDes）、计算托盘 PCB、电缆盒和交换机托盘接口。

故障恢复采用两种机制：并行感知容错会使发生故障的数据并行副本下线，其余集群则重复执行该步骤并继续训练；分布式异步检查点机制则结合增量检查点和内存暂存，在故障影响范围超出单个副本时，从最近一次保存的状态恢复任务。

Prometheus 于 2025 年年中进入初始阶段时，每天每 8K 个 GPU 的中断次数一度接近 1,000 次。Meta 表示，经过一年跨职能工程协作，中断次数减少了 99%；该公司将可靠性目标定为每天每 8K 个 GPU 发生两次中断，或约每 100k 个 GPU 小时发生一次中断（MTBI）。

针对性改进解决了多个问题：对超过 600,000 条连接的 NVLink 信号完整性进行修复；通过改进固件设置并预测性退役性能退化的设备，提升 HBM 和 LPDDR 内存的可靠性；以毫秒级分辨率监控 NVLink 交换机的健康状况；并对后端链路事件进行透明重路由。Meta 还构建了固件包自动化部署系统，可在数小时内将修复部署到超过 100k 个 GPU，并将单个 Pod 升级时间的 P90 从超过 7 小时缩短至 2 小时。该公司还介绍了一种协同工程模式：NVIDIA 团队常驻其数据中心，共享遥测数据并联合开展问题分诊。

供电、冷却与扩建计划

同步训练会在集群内引发 30–40% 的电力瞬变；启动或暂停大型任务，则可能在数秒内造成数千万瓦以上的负载变化。Meta 的 Dynamo Dimmer 框架会在集群接近电力上限时逐步调整 GPU 功率限制，而不是强制停止工作负载；该框架还依托机架级备用电池模块、电容托盘、设施级电池储能，并与公用事业供应商协调。

冷却方案结合了模块化气辅液冷系统（用于自由进风建筑和快速部署设施）与专为 AI 优化而建的建筑内设施级液冷；Meta 还整合了战略合作伙伴提供的租赁算力。该公司表示，承担 New Albany 场址的全部能源成本，并通过新增清洁能源和可再生能源匹配自身能耗；其最新的 AI 优化数据中心采用芯片直连式闭环液冷，并通过 Open Compute Project 分享 IcePack 液冷网络机架等设计。

Meta 计划采用 GB300 NVL72 与 Vera Rubin NVL72 系统相结合的方式扩建 Prometheus。即将推出的 San Miguel 平台配备 72 个 Vera Rubin GPU，每个 GPU 搭载 288 GB HBM4，峰值带宽为 19.2 TB/s；每个机架的 FP4 训练算力峰值为 2.52 EFLOPS（FP8 为 1.26 EFLOPS），峰值 NVLink 带宽为 216 TB/s（每个 GPU 双向带宽为 3 TB/s），峰值总内存带宽约为 1,500 TB/s；其计算托盘采用全液冷设计，每个机架功率超过 170 kW。Meta 表示，与 GB300 NVL72 相比，其每瓦性能可提升 10–20%。

Meta 正在从零开始设计其位于路易斯安那州里奇兰堂区的下一代超级集群 Hyperion，并借鉴 Prometheus 的经验。设计方案包括闭环液冷、与公用事业合作伙伴 Entergy 实现全面电网接入（Meta 表示将承担全部费用），以及新一代网络设计。