Meta tiết lộ siêu cụm Prometheus đang mở rộng quy mô hướng tới 1 triệu GPU

Ngày 19 tháng 10 năm 2026, đội ngũ kỹ thuật của Meta công bố bản tường thuật kỹ thuật chi tiết về Prometheus, siêu cụm AI quy mô gigawatt của công ty tại New Albany, Ohio, xác nhận giai đoạn đầu tiên đã hoàn tất và được dùng để huấn luyện các mô hình nền tảng Muse; Meta cũng cho biết công ty dự định mở rộng hệ thống lên khoảng 1 triệu GPU.

Trong bài đăng trên blog kỹ thuật của Meta, Kevin Lee, Yashar Bayani, Ahmed Sharif và Yee Jiun Song cho biết giai đoạn đầu tiên đã huấn luyện dòng mô hình Muse, trong đó có các mô hình tiên tiến Muse Wonder, mà theo Meta đạt hiệu năng hàng đầu trên các tác vụ tác nhân phục vụ mục đích cá nhân và công việc chuyên môn. Hai năm trước khi thông tin này được công bố, cơ sở ở New Albany là một trung tâm dữ liệu thông thường vận hành lưu lượng truy cập web; Meta đã cải tạo nơi này để huấn luyện các mô hình tiên tiến và đang xây dựng siêu cụm theo từng giai đoạn. Hiện nay, Prometheus gồm hàng trăm nghìn GPU, phân bố trong các tòa nhà trung tâm dữ liệu truyền thống, các tòa nhà được tối ưu hóa cho AI và những cấu trúc có thể triển khai nhanh; tất cả hoạt động như một cỗ máy duy nhất.

Meta cho biết trong các đợt tiền huấn luyện Muse Wonder, công ty duy trì tỷ lệ thông lượng hữu ích trên 85%, còn trong các đợt học tăng cường, tỷ lệ này vượt 90%; thời gian trung bình giữa các lần gián đoạn theo đồng hồ thực trong quá trình huấn luyện là khoảng 47.000 giờ GPU. Những thay đổi sau đó trên toàn bộ cụm máy, bao gồm các bản sửa lỗi phần sụn, đã nâng con số này lên hơn 54.000 giờ GPU.

Hai nền tảng NVIDIA đang được triển khai

Prometheus triển khai hai nền tảng GPU của NVIDIA, và Meta cho biết nền tảng thứ ba, dựa trên NVIDIA Vera Rubin NVL72, sẽ sớm ra mắt. Mỗi nền tảng sử dụng kiến trúc giá đỡ NVL72, trong đó 72 GPU hoạt động như một bộ tăng tốc duy nhất trong cùng một mạng.

Nền tảng đầu tiên, Catalina, sử dụng NVIDIA GB200 NVL72 theo cấu hình hai giá đỡ Ariel: 36 GPU trong mỗi giá đỡ được kết nối qua NVLink thành một miền thống nhất gồm 72 GPU; mỗi GPU Blackwell ghép cặp với một CPU Grace và hai NIC ConnectX-7 400G, theo tỷ lệ 1:1 giữa CPU và GPU, cung cấp I/O 800G cho mỗi GPU. Meta cho biết công ty chọn Ariel vì GB200 NVL72 cải thiện FLOPS, băng thông HBM, băng thông mở rộng nội bộ và quy mô miền mở rộng nội bộ so với H100, trong khi băng thông mở rộng liên cụm trên mỗi GPU vẫn chỉ ở mức 400G, một sự mất cân đối mà công ty dự đoán sẽ làm giảm hiệu năng. Catalina chạy trên thiết kế giá đỡ công suất cao Open Rack V3 của Meta, được đóng góp cho Open Compute Project.

Meta công bố cấu hình Catalina gồm 72 GPU Blackwell với 13,4 TB HBM3e (192 GB mỗi GPU), năng lực tính toán huấn luyện FP8 tối đa 720 PFLOPS (1.440 PFLOPS ở FP4), băng thông NVLink tối đa 130 TB/s, băng thông bộ nhớ tổng hợp tối đa 576 TB/s và tổng công suất hệ thống khoảng 120 kW cho cả cặp giá đỡ.

Nền tảng thứ hai, Clemente, chuyển sang NVIDIA GB300 NVL72. Theo Meta, GB300 tăng dung lượng HBM trên mỗi GPU lên 1,5 lần, từ 192 GB lên 288 GB, đồng thời tăng thông lượng FP4 dày đặc với mức tương tự, trong khi khả năng tăng tốc xử lý attention (softmax) tăng khoảng gấp đôi. SuperNIC ConnectX-8 cung cấp sẵn 800G cho mỗi GPU; tỷ lệ GPU/CPU 2:1 cho phép Clemente bố trí toàn bộ miền 72 GPU trong một giá đỡ duy nhất.

Meta công bố cấu hình Clemente gồm 72 GPU Blackwell Ultra với 20,7 TB HBM3e, năng lực tính toán FP4 tối đa trên 1 exaFLOP, băng thông NVLink tối đa 130 TB/s (1,8 TB/s hai chiều cho mỗi GPU) và công suất giá đỡ khoảng 135 kW; hiệu năng được công bố cao hơn 5–10% so với GB200 NVL72. Có thể triển khai Clemente với hệ thống làm mát bằng chất lỏng hỗ trợ không khí theo mô-đun hoặc hệ thống làm mát bằng chất lỏng của cơ sở tại các trung tâm dữ liệu mới được Meta thiết kế.

Xây dựng mạng lưới kết nối và tổng hợp lưu lượng theo khu vực

Bên cạnh mạng trung tâm dữ liệu tiêu chuẩn, Meta vận hành một mạng Ethernet Back-End chuyên dụng để GPU giao tiếp trực tiếp với nhau trong cùng tòa nhà và giữa các tòa nhà, được thiết kế dựa trên cấu trúc phân cấp song song dữ liệu của các tác vụ tiền huấn luyện quy mô lớn. Mỗi mạng Ethernet cấp tòa nhà kết nối tối đa 20.736 GPU. Thiết kế ban đầu sử dụng Disaggregated Scheduled Fabric với định tuyến đa đường ở cấp nhỏ hơn gói tin và cơ chế kiểm soát luồng đầu cuối dựa trên tín dụng; sau đó, Meta chuyển sang Non-Scheduled Fabric trên các bộ chuyển mạch 51.2T có bộ đệm nông, bao gồm Minipack3 với Dynamic Load Balancing và Minipack3N dựa trên Spectrum-4 với Adaptive Routing của NVIDIA trên các NIC ConnectX; cả hai đều chạy ngăn xếp mạng FBOSS của Meta.

Mạng tổng hợp Backend Aggregation, với thiết kế hub-and-spoke nhiều lớp kết nối các mạng tòa nhà trên khoảng cách từ 2 km đến hơn 100 km, được xây dựng bằng khung chuyển mạch dòng Arista 7800 chạy silicon Broadcom Jericho3 có bộ đệm lớn và cung cấp băng thông nhiều Pbps cho mỗi cặp khu vực. Meta cho biết việc chạy các tác vụ tiền huấn luyện trên những khoảng cách đó đòi hỏi một nỗ lực tối ưu hóa chuyên biệt cùng Meta Superintelligence Labs do những giới hạn về tốc độ ánh sáng. Công ty mô tả hạ tầng vật lý này gồm các sợi cáp quang có tổng chiều dài hàng triệu dặm, hàng chục nghìn bộ chuyển mạch và hàng triệu thiết bị quang học, từ các mô-đun cắm tầm ngắn 2x400G FR4 LITE trong các tòa nhà đến thiết bị quang học kết hợp 800G-ZR dùng cho các liên kết xa hơn khoảng 10 km.

Thiết kế để giảm số lần gián đoạn

Việc chuyển từ kiến trúc NVL8 của thế hệ H100 sang NVL72 đã mở rộng miền ảnh hưởng của sự cố khi mở rộng quy mô (tập hợp GPU được kết nối chặt chẽ qua NVLink để xử lý song song tensor) từ 8 GPU lên 72 GPU, khiến phạm vi ảnh hưởng của sự cố lớn gấp 9 lần, theo bài đăng. Vì cách chia nhóm theo lũy thừa của 2 giúp xử lý song song trong quá trình huấn luyện hiệu quả nhất, mỗi miền NVL72 sử dụng một lát gồm 64 GPU và giữ lại 8 GPU dự phòng ngay trong cùng rack, đồng thời dự phòng thêm khoảng 2% số rack. Với một đợt huấn luyện sử dụng 32.768 GPU đang hoạt động, cần bố trí 523 rack NVL72, tương đương 37.656 GPU, cao hơn khoảng 13% so với số GPU hoạt động; Meta cho biết phần lớn mức chênh lệch này (11%) xuất phát từ cách chia 64 GPU trong tổng số 72 GPU, chứ không phải do chi phí dự phòng nhằm bảo đảm độ tin cậy tuyệt đối. Mỗi miền có 5.184 đường truyền tín hiệu cặp vi sai được tinh chỉnh, hoạt động ở tốc độ 200 Gbps, đi qua các bộ thu phát SerDes của GPU, bảng mạch PCB trên khay tính toán, hộp cáp và các giao diện trên khay chuyển mạch.

Khôi phục sau sự cố dựa trên hai cơ chế: cơ chế chịu lỗi nhận biết mức độ song song sẽ đưa một bản sao xử lý song song dữ liệu gặp lỗi ra khỏi hệ thống, trong khi phần còn lại của cụm máy chủ lặp lại bước đó và tiếp tục huấn luyện; còn cơ chế tạo điểm kiểm tra bất đồng bộ phân tán, kết hợp với điểm kiểm tra delta và lưu tạm trong bộ nhớ, sẽ khôi phục tác vụ về trạng thái đã lưu gần nhất nếu phạm vi ảnh hưởng của sự cố vượt quá một bản sao.

Trong giai đoạn đầu của Prometheus vào giữa năm 2025, số lần gián đoạn đạt đỉnh gần 1.000 sự kiện mỗi ngày trên mỗi 8K GPU. Meta cho biết số lần gián đoạn đã giảm 99% sau một năm phối hợp kỹ thuật giữa các bộ phận, đồng thời nêu mục tiêu dài hạn về độ tin cậy là hai lần gián đoạn mỗi ngày trên mỗi 8K GPU, tương đương MTBI khoảng 100.000 giờ GPU.

Các biện pháp khắc phục có mục tiêu tập trung vào tính toàn vẹn tín hiệu NVLink trên hơn 600.000 kết nối; độ tin cậy của bộ nhớ HBM và LPDDR thông qua việc tinh chỉnh cài đặt chương trình cơ sở và chủ động loại bỏ các thiết bị đang xuống cấp; tình trạng của bộ chuyển mạch NVLink được giám sát với độ phân giải mili giây; và các sự kiện trên liên kết phía sau được chuyển tuyến lại một cách liền mạch. Meta cũng xây dựng hệ thống tự động hóa gói chương trình cơ sở, triển khai các bản sửa lỗi cho hơn 100.000 GPU chỉ trong vài giờ, đồng thời rút thời gian nâng cấp một pod đơn lẻ ở phân vị thứ 90 (P90) từ hơn 7 giờ xuống còn 2 giờ. Công ty mô tả mô hình đồng phát triển, trong đó các nhóm NVIDIA làm việc trực tiếp tại trung tâm dữ liệu của Meta, cùng chia sẻ dữ liệu đo từ xa và phối hợp xử lý sự cố.

Kế hoạch điện năng, làm mát và mở rộng

Quá trình huấn luyện đồng bộ gây ra các biến động công suất tức thời ở mức 30–40% trong cụm máy chủ; việc khởi chạy hoặc tạm dừng một tác vụ lớn có thể làm thay đổi tải hơn hàng chục megawatt chỉ trong vài giây. Khung điều tiết công suất Dynamo Dimmer của Meta dần điều chỉnh giới hạn công suất GPU khi cụm máy chủ tiến gần ngưỡng điện năng, thay vì dừng đột ngột các khối lượng công việc. Hệ thống này được hỗ trợ bởi các mô-đun pin dự phòng ở cấp rack, khay tụ điện, hệ thống lưu trữ năng lượng bằng pin tại cơ sở và sự phối hợp với các nhà cung cấp điện.

Giải pháp làm mát kết hợp hệ thống làm mát bằng chất lỏng có hỗ trợ luồng khí, thiết kế theo mô-đun, tại các tòa nhà thông thoáng và công trình có thể triển khai nhanh với hệ thống làm mát bằng chất lỏng tại cơ sở trong tòa nhà được xây dựng chuyên biệt, tối ưu cho AI. Meta cũng sử dụng công suất thuê từ các đối tác chiến lược. Công ty cho biết họ thanh toán toàn bộ chi phí năng lượng cho cơ sở ở New Albany và bù đắp mức tiêu thụ năng lượng bằng năng lượng sạch, tái tạo mới; sử dụng hệ thống làm mát bằng chất lỏng tuần hoàn kín, dẫn trực tiếp đến chip tại các trung tâm dữ liệu tối ưu cho AI mới nhất; đồng thời chia sẻ các thiết kế như rack mạng làm mát bằng chất lỏng IcePack thông qua Open Compute Project.

Meta dự định mở rộng Prometheus bằng cách kết hợp các hệ thống GB300 NVL72 và Vera Rubin NVL72. Nền tảng San Miguel sắp ra mắt được công bố với 72 GPU Vera Rubin, mỗi GPU có bộ nhớ HBM4 dung lượng 288 GB và băng thông đỉnh 19,2 TB/s; năng lực tính toán huấn luyện FP4 đỉnh 2,52 EFLOPS (1,26 EFLOPS FP8) cho mỗi rack; băng thông NVLink đỉnh 216 TB/s (hai chiều 3 TB/s cho mỗi GPU); tổng băng thông bộ nhớ đỉnh khoảng 1.500 TB/s; cùng các khay tính toán được làm mát hoàn toàn bằng chất lỏng, với công suất trên 170 kW mỗi rack. Theo Meta, nền tảng này cải thiện hiệu năng trên mỗi watt từ 10–20% so với GB300 NVL72.

Hyperion, siêu cụm máy tính tiếp theo của Meta tại Richland Parish, Louisiana, đang được thiết kế từ đầu dựa trên những bài học rút ra từ Prometheus. Thiết kế bao gồm hệ thống làm mát bằng chất lỏng tuần hoàn kín, kết nối toàn diện với lưới điện thông qua đối tác cung cấp điện Entergy—Meta cho biết họ thanh toán toàn bộ chi phí—và các thiết kế mạng thế hệ mới.