Meta, Prometheus 슈퍼클러스터를 GPU 100만 개 규모로 확장하는 계획 상세히 공개

Meta 엔지니어링팀은 2026년 10월 19일, 오하이오주 뉴올버니에 있는 자사의 기가와트급 AI 슈퍼클러스터 Prometheus에 관한 상세한 기술 자료를 발표했다. 이 자료에서 Meta는 1단계 구축을 완료해 Muse 파운데이션 모델을 학습했으며, 시스템 규모를 약 100만 개 GPU까지 확대할 계획이라고 밝혔다.

Meta 엔지니어링 블로그에 게시한 글에서 Kevin Lee, Yashar Bayani, Ahmed Sharif, Yee Jiun Song은 1단계에서 Muse Wonder 프런티어 모델을 포함한 Muse 제품군을 학습했다고 밝혔다. Meta에 따르면 이 모델들은 개인 및 업무용 에이전트 기반 작업에서 최첨단 성능을 제공한다. 이번 공개가 있기 2년 전, 뉴올버니 부지는 웹 트래픽을 처리하는 일반 데이터센터였다. Meta는 이곳을 프런티어 모델 학습에 적합하도록 개조하고 슈퍼클러스터를 단계적으로 구축하고 있다. 현재 Prometheus는 기존 데이터센터 건물과 AI에 최적화된 데이터센터 건물, 신속 구축형 시설에 분산된 수십만 개의 GPU로 구성되며, 이 모두가 하나의 기계처럼 작동한다.

Meta는 Muse Wonder 사전 학습에서 85%를 넘는 유효 처리량을, 강화 학습에서 90%를 넘는 유효 처리량을 지속적으로 달성했다고 밝혔다. 학습 중 중단 간 벽시계 기준 평균 시간은 약 47k GPU 시간이었으며, 이후 펌웨어 수정 등을 포함한 전체 GPU 팜 차원의 변경으로 이 수치는 54K GPU 시간을 넘어섰다.

운영 중인 NVIDIA 플랫폼 두 종류

Prometheus에는 NVIDIA GPU 플랫폼 두 종류가 구축되어 있으며, Meta는 NVIDIA의 Vera Rubin NVL72 기반 플랫폼도 곧 도입될 예정이라고 밝혔다. 각 플랫폼은 NVL72 랙 아키텍처를 사용하며, 하나의 네트워크 패브릭 안에서 GPU 72개가 단일 가속기처럼 작동한다.

첫 번째 플랫폼인 Catalina는 Ariel 2랙 구성의 NVIDIA GB200 NVL72를 사용한다. 랙당 GPU 36개를 NVLink로 연결해 하나의 72-GPU 도메인으로 구성하고, 각 Blackwell GPU에는 Grace CPU 1개와 ConnectX-7 400G NIC 2개를 연결한다. CPU 대 GPU 비율은 1:1이며, GPU당 800G의 입출력 대역폭을 제공한다. Meta는 GB200 NVL72가 H100보다 FLOPS, HBM 대역폭, 스케일업 대역폭, 스케일업 도메인 크기를 높였다는 점에서 Ariel을 선택했다고 설명했다. 반면 GPU당 스케일아웃 대역폭은 400G에 머물러 성능 저하를 초래할 것으로 예상됐다. Catalina는 Meta의 고전력 랙 설계인 Open Rack V3를 기반으로 구동되며, 이 설계는 Open Compute Project에 기여한 것이다.

Meta가 공개한 Catalina 사양은 Blackwell GPU 72개, HBM3e 13.4 TB(GPU당 192 GB), FP8 학습 연산 성능 최대 720 PFLOPS(FP4에서는 1,440 PFLOPS), NVLink 대역폭 최대 130 TB/s, 메모리 집계 대역폭 최대 576 TB/s, 2랙 한 쌍 기준 총 시스템 전력 약 120 kW다.

두 번째 플랫폼인 Clemente는 NVIDIA GB300 NVL72를 사용한다. Meta에 따르면 GB300은 GPU당 HBM 용량을 1.5배 높여 192 GB에서 288 GB로 늘리고, 고밀도 FP4 처리량도 비슷한 비율로 높이는 한편, 어텐션(소프트맥스) 가속 성능은 약 두 배로 높인다. ConnectX-8 SuperNIC은 GPU당 기본적으로 800G를 제공하며, GPU 대 CPU 비율이 2:1이어서 Clemente는 72-GPU 도메인 전체를 단일 랙에 수용할 수 있다.

Meta가 공개한 Clemente 사양은 Blackwell Ultra GPU 72개, HBM3e 20.7 TB, FP4 연산 성능 최대 1 exaFLOP 초과, NVLink 대역폭 최대 130 TB/s(GPU당 양방향 1.8 TB/s), 랙 전력 약 135 kW다. Meta는 GB200 NVL72보다 성능이 5–10% 향상된다고 밝혔다. Clemente는 모듈형 공기 보조 액체 냉각 방식이나 Meta가 새로 설계한 데이터센터의 시설 액체 냉각 방식으로 구축할 수 있다.

건물 간 패브릭과 지역 집계 네트워크

Meta는 일반 데이터센터 네트워크와 함께 건물 내부 및 건물 간 GPU 직접 통신을 위한 전용 이더넷 백엔드 네트워크를 운영한다. 이 네트워크는 대규모 사전 학습 작업의 데이터 병렬 계층 구조를 고려해 설계됐다. 건물 단위의 각 이더넷 패브릭은 최대 20,736개의 GPU를 연결한다. 초기 설계에는 패킷보다 작은 단위의 다중 경로 라우팅과 크레딧 기반 종단 간 흐름 제어를 적용한 분리형 스케줄 패브릭이 사용됐다. 이후 Meta는 얕은 버퍼를 갖춘 51.2T 스위치 기반의 비예약형 패브릭으로 전환했다. 여기에는 동적 부하 분산 기능을 갖춘 Minipack3와, ConnectX NIC에서 NVIDIA Adaptive Routing을 지원하는 Spectrum-4 기반 Minipack3N이 포함되며, 두 장비 모두 Meta의 FBOSS 네트워킹 스택을 실행한다.

건물 패브릭을 2 km에서 100 km가 넘는 거리에 걸쳐 연결하는 다층 허브 앤 스포크 설계의 백엔드 집계 네트워크는 딥 버퍼 Broadcom Jericho3 실리콘을 탑재한 Arista 7800 시리즈 섀시로 구축되며, 지역 내 두 지점 사이에 여러 Pbps의 대역폭을 제공한다. Meta는 빛의 속도에 따른 제약 때문에 이 정도 거리에서 사전 학습을 실행하려면 Meta Superintelligence Labs와 함께 별도의 최적화 작업을 진행해야 했다고 밝혔다. 회사 설명에 따르면 이 네트워크의 물리적 인프라에는 총 길이가 수백만 마일에 달하는 광섬유 가닥, 수만 대의 스위치, 수백만 개의 광송수신기가 포함된다. 광송수신기는 건물 내부의 단거리 플러그형 2x400G FR4 LITE부터 약 10 km가 넘는 링크에 사용하는 800G-ZR 코히런트 광송수신기까지 다양하다.

중단을 줄이기 위한 엔지니어링

게시물에 따르면 H100 세대의 NVL8 아키텍처에서 NVL72로 전환하면서 텐서 병렬 처리를 위해 NVLink로 긴밀하게 연결된 GPU 집합인 확장형 장애 도메인의 규모가 GPU 8개에서 72개로 늘어나 장애 영향 범위가 9배 커졌다. 학습 병렬화는 2의 거듭제곱 단위의 그룹 크기에서 가장 효율적으로 작동하므로, 각 NVL72 도메인은 GPU 64개로 구성된 슬라이스를 실행하고 랙 내 예비 GPU 8개를 유지하며, 여기에 약 2%의 랙을 추가 예비분으로 확보한다. 활성 GPU 32,768개를 사용하는 학습 작업의 경우 NVL72 랙 523개, 즉 GPU 37,656개를 준비해야 하며, 이는 실제 작업에 필요한 규모보다 약 13% 많은 수치다. Meta는 이 여유분의 대부분(11%)이 절대적인 안정성 확보 비용 때문이 아니라 72개 중 64개를 사용하는 슬라이스 구성에서 비롯된다고 밝혔다. 각 도메인에는 200Gbps로 작동하는 조정된 차동 쌍 신호 링크 5,184개가 포함되며, 이 링크는 GPU SerDes, 연산 트레이 PCB, 케이블 카트리지, 스위치 트레이 인터페이스를 거친다.

장애 복구에는 두 가지 메커니즘이 사용된다. 병렬화 인지형 장애 허용 기능은 데이터 병렬 복제본에 장애가 발생하면 해당 복제본을 오프라인으로 전환하고, 나머지 클러스터는 해당 단계를 다시 수행하면서 학습을 계속한다. 또한 차등 체크포인트와 메모리 내 스테이징을 활용하는 분산 비동기 체크포인트 기능은 장애 영향 범위가 복제본 하나를 넘어설 경우 마지막으로 저장된 상태에서 작업을 복원한다.

2025년 중반 Prometheus 초기 단계에는 하루 GPU 8,000개당 중단이 최대 약 1,000건에 달했다. Meta는 여러 기능 조직이 1년간 협력해 엔지니어링을 진행한 뒤 중단 건수가 99% 감소했다고 밝혔으며, 신뢰성의 최종 목표는 하루 GPU 8,000개당 중단 2건, 즉 약 10만 GPU 시간의 MTBI라고 설명했다.

집중적인 개선 작업으로 60만 개가 넘는 연결에서 NVLink 신호 무결성을 높이고, 펌웨어 설정을 개선하고 성능이 저하되는 장치를 예측해 퇴역시켜 HBM 및 LPDDR 메모리의 안정성을 강화했다. 또한 밀리초 단위로 NVLink 스위치 상태를 모니터링하고 백엔드 링크 이벤트를 원활하게 다른 경로로 우회하도록 했다. Meta는 몇 시간 안에 GPU 10만 개 이상에 수정 사항을 배포하는 펌웨어 번들 자동화도 구축했으며, 단일 포드 업그레이드에 걸리는 P90 시간을 7시간 초과에서 2시간으로 단축했다. 아울러 NVIDIA 팀이 데이터센터에 상주하며 원격 측정 데이터를 공유하고 함께 문제를 분류·대응하는 공동 엔지니어링 모델을 운영한다고 밝혔다.

전력·냉각 및 확장 계획

동기화된 학습은 클러스터 내에서 30~40%의 순간적인 전력 변동을 일으키며, 대규모 작업을 시작하거나 일시 중지하면 몇 초 만에 수십 메가와트를 넘는 부하가 변동할 수 있다. Meta의 Dynamo Dimmer 프레임워크는 클러스터가 전력 한계에 가까워지면 작업을 강제로 중단하는 대신 GPU 전력 한도를 점진적으로 조정한다. 이 프레임워크는 랙 단위 배터리 백업 모듈, 커패시터 트레이, 시설용 배터리 에너지 저장 장치와 전력 공급업체와의 협력을 기반으로 한다.

냉각 방식으로는 외기 개방형 건물과 신속 배치 구조물에 모듈식 공기 보조 액체 냉각을 적용하고, AI 최적화 전용 건물에는 시설 단위 액체 냉각을 도입한다. Meta는 전략적 파트너로부터 임대한 용량도 함께 활용한다. 회사는 New Albany 시설의 에너지 비용 전액을 부담하고 에너지 사용량에 상응하는 신규 청정·재생에너지를 확보한다고 밝혔다. 최신 AI 최적화 데이터센터에는 칩 직접 냉각 방식의 폐쇄 루프 액체 냉각을 적용하며, Open Compute Project를 통해 IcePack 액체 냉각 네트워크 랙 등의 설계도 공유한다.

Meta는 GB300 NVL72 시스템과 Vera Rubin NVL72 시스템을 조합해 Prometheus를 확장할 계획이다. 출시 예정인 San Miguel 플랫폼에는 Vera Rubin GPU 72개가 탑재되며, GPU당 HBM4 메모리 288GB와 최대 대역폭 19.2TB/s를 제공한다. 랙당 FP4 학습 연산 성능은 최대 2.52EFLOPS(FP8 기준 1.26EFLOPS)이고, 최대 NVLink 대역폭은 216TB/s(GPU당 양방향 3TB/s)다. 최대 총 메모리 대역폭은 약 1,500TB/s이며, 랙당 170kW를 넘는 전력을 사용하는 연산 트레이 전체에 액체 냉각을 적용한다. Meta는 GB300 NVL72보다 와트당 성능이 10~20% 향상될 것으로 예상한다.

루이지애나주 리치랜드 패리시에 구축 중인 Meta의 차세대 슈퍼클러스터 Hyperion은 Prometheus에서 얻은 통찰을 바탕으로 처음부터 설계되고 있다. 폐쇄 루프 액체 냉각, 전력 공급 파트너인 Entergy와의 완전한 전력망 연결(이에 대해 Meta는 비용 전액을 부담한다고 밝힘), 차세대 네트워크 설계가 적용될 예정이다.