Meta เผยรายละเอียด Prometheus ซูเปอร์คลัสเตอร์ที่กำลังขยายสู่ GPU 1 ล้านตัว

เมื่อวันที่ 19 ตุลาคม 2026 ทีมวิศวกรรมของ Meta เผยแพร่รายงานทางเทคนิคโดยละเอียดเกี่ยวกับ Prometheus ซูเปอร์คลัสเตอร์ AI ขนาดระดับกิกะวัตต์ของบริษัทในเมืองนิวอัลบานี รัฐโอไฮโอ โดยยืนยันว่าเฟสแรกที่เสร็จสมบูรณ์ได้ใช้ฝึกโมเดลพื้นฐาน Muse แล้ว และ Meta วางแผนขยายระบบให้มี GPU ราว 1 ล้านตัว

ในโพสต์บนบล็อกวิศวกรรมของ Meta Kevin Lee, Yashar Bayani, Ahmed Sharif และ Yee Jiun Song เขียนไว้ว่า เฟสแรกใช้ฝึกโมเดลตระกูล Muse ซึ่งรวมถึงโมเดลแนวหน้ารุ่น Muse Wonder ที่ Meta ระบุว่ามีประสิทธิภาพระดับแนวหน้าของอุตสาหกรรมในงานเอเจนต์สำหรับการใช้งานส่วนบุคคลและระดับมืออาชีพ สองปีก่อนที่บริษัทจะเปิดเผยข้อมูลดังกล่าว พื้นที่ในนิวอัลบานีเป็นศูนย์ข้อมูลทั่วไปที่รองรับการรับส่งข้อมูลบนเว็บ Meta ปรับเปลี่ยนพื้นที่นี้เพื่อใช้ฝึกโมเดลแนวหน้า และกำลังสร้างซูเปอร์คลัสเตอร์เป็นระยะ ๆ ปัจจุบัน Prometheus ประกอบด้วย GPU หลายแสนตัว กระจายอยู่ในอาคารศูนย์ข้อมูลแบบดั้งเดิม อาคารที่ปรับแต่งเพื่อ AI โดยเฉพาะ และโครงสร้างที่ติดตั้งใช้งานได้อย่างรวดเร็ว โดยทั้งหมดทำงานร่วมกันเสมือนเป็นเครื่องเดียว

Meta รายงานว่าระหว่างการฝึกล่วงหน้า Muse Wonder ทำอัตราการประมวลผลที่สำเร็จได้มากกว่า 85% และระหว่างการฝึกแบบเสริมแรงทำได้มากกว่า 90% โดยมีเวลาเฉลี่ยระหว่างการหยุดชะงักขณะฝึกตามเวลาจริงประมาณ 47,000 ชั่วโมง GPU ต่อมา การปรับปรุงทั่วทั้งระบบ เช่น การแก้ไขเฟิร์มแวร์ ทำให้ตัวเลขดังกล่าวเพิ่มขึ้นเป็นมากกว่า 54,000 ชั่วโมง GPU

แพลตฟอร์ม NVIDIA สองรุ่นที่ใช้งานจริง

Prometheus ใช้แพลตฟอร์ม GPU ของ NVIDIA สองรุ่น และ Meta ระบุว่าแพลตฟอร์มรุ่นที่สามซึ่งใช้NVIDIA Vera Rubin NVL72 กำลังจะมาถึงในเร็ว ๆ นี้ แต่ละแพลตฟอร์มใช้สถาปัตยกรรมแร็ก NVL72 ซึ่งทำให้ GPU 72 ตัวทำงานเป็นตัวเร่งประมวลผลเดียวภายในโครงข่ายเดียวกัน

แพลตฟอร์มรุ่นแรก Catalina ใช้ NVIDIA GB200 NVL72 ในรูปแบบ Ariel แบบสองแร็ก โดย GPU 36 ตัวในแต่ละแร็กเชื่อมต่อผ่าน NVLink ให้เป็นโดเมนเดียวที่มี GPU 72 ตัว GPU Blackwell แต่ละตัวจับคู่กับ CPU Grace และ NIC ConnectX-7 400G สองตัว ในอัตราส่วน CPU ต่อ GPU 1:1 จึงให้แบนด์วิดท์ I/O 800G ต่อ GPU Meta ระบุว่าเลือก Ariel เพราะ GB200 NVL72 เพิ่มประสิทธิภาพ FLOPS แบนด์วิดท์ HBM แบนด์วิดท์การขยายระบบ และขนาดโดเมนการขยายระบบเมื่อเทียบกับ H100 ขณะที่แบนด์วิดท์การขยายระบบออกต่อ GPU จะยังอยู่ที่ 400G ซึ่ง Meta คาดว่าจะทำให้ประสิทธิภาพลดลง Catalina ทำงานบนการออกแบบแร็กกำลังสูง Open Rack V3 ของ Meta ซึ่งบริษัทสนับสนุนให้กับ Open Compute Project

Meta ระบุว่า Catalina มี GPU Blackwell 72 ตัว พร้อม HBM3e 13.4 TB (192 GB ต่อ GPU) กำลังประมวลผลฝึก FP8 สูงสุด 720 PFLOPS (1,440 PFLOPS ที่ FP4) แบนด์วิดท์ NVLink สูงสุด 130 TB/s แบนด์วิดท์หน่วยความจำรวมสูงสุด 576 TB/s และใช้พลังงานรวมของระบบประมาณ 120 kW สำหรับแร็กสองตัวที่จับคู่กัน

แพลตฟอร์มรุ่นที่สอง Clemente เปลี่ยนมาใช้ NVIDIA GB300 NVL72 ตามข้อมูลของ Meta GB300 เพิ่มความจุ HBM ต่อ GPU ขึ้น 1.5 เท่า จาก 192 GB เป็น 288 GB และเพิ่มอัตราการประมวลผล FP4 แบบหนาแน่นในระดับใกล้เคียงกัน ขณะเดียวกันก็เพิ่มความเร็วการเร่งความสนใจ (softmax) ประมาณสองเท่า ConnectX-8 SuperNIC ให้แบนด์วิดท์ 800G ต่อ GPU ได้โดยตรง และอัตราส่วน GPU ต่อ CPU ที่ 2:1 ช่วยให้ Clemente บรรจุโดเมน GPU ทั้ง 72 ตัวไว้ในแร็กเดียวได้

Meta ระบุว่า Clemente มี GPU Blackwell Ultra 72 ตัว พร้อม HBM3e 20.7 TB กำลังประมวลผล FP4 สูงสุดมากกว่า 1 exaFLOP แบนด์วิดท์ NVLink สูงสุด 130 TB/s (รับส่งข้อมูลสองทิศทาง 1.8 TB/s ต่อ GPU) และใช้พลังงานที่แร็กประมาณ 135 kW โดยมีประสิทธิภาพดีขึ้น 5–10% เมื่อเทียบกับ GB200 NVL72 ทั้งนี้ สามารถติดตั้ง Clemente พร้อมระบบระบายความร้อนด้วยของเหลวแบบใช้อากาศช่วย หรือระบบระบายความร้อนด้วยของเหลวของอาคาร ในศูนย์ข้อมูลที่ Meta ออกแบบขึ้นใหม่

การสร้างโครงข่ายภายในอาคารและการรวมเครือข่ายระดับภูมิภาค

นอกเหนือจากเครือข่ายศูนย์ข้อมูลมาตรฐานแล้ว Meta ยังใช้งานเครือข่าย Ethernet Back-End โดยเฉพาะ สำหรับการสื่อสารโดยตรงระหว่าง GPU ภายในอาคารและระหว่างอาคาร ซึ่งออกแบบตามลำดับชั้นการประมวลผลแบบขนานข้อมูลของงานฝึกล่วงหน้าขนาดใหญ่ โครงข่าย Ethernet ในระดับอาคารแต่ละแห่งเชื่อมต่อ GPU ได้สูงสุด 20,736 ตัว การออกแบบระยะแรกใช้ Disaggregated Scheduled Fabric ซึ่งกำหนดเส้นทางแบบหลายเส้นทางในระดับย่อยกว่าแพ็กเก็ต และควบคุมการไหลของข้อมูลตั้งแต่ต้นทางถึงปลายทางด้วยระบบเครดิต ต่อมา Meta เปลี่ยนมาใช้ Non-Scheduled Fabric บนสวิตช์ 51.2T ที่มีบัฟเฟอร์ตื้น ซึ่งรวมถึง Minipack3 ที่ใช้ Dynamic Load Balancing และ Minipack3N ที่ใช้ Spectrum-4 พร้อม Adaptive Routing ของ NVIDIA บน NIC ConnectX โดยทั้งสองรุ่นทำงานด้วยชุดซอฟต์แวร์เครือข่าย FBOSS ของ Meta

เครือข่าย Backend Aggregation ซึ่งเป็นการออกแบบแบบฮับและก้านเชื่อมต่อหลายชั้นที่เชื่อมโครงข่ายของอาคารต่าง ๆ ในระยะตั้งแต่ 2 km ไปจนถึงมากกว่า 100 km สร้างขึ้นด้วยแชสซี Arista ซีรีส์ 7800 ที่ใช้ชิป Broadcom Jericho3 ซึ่งมีบัฟเฟอร์ขนาดใหญ่ และให้แบนด์วิดท์หลาย Pbps ต่อคู่ภูมิภาค Meta ระบุว่าการฝึกล่วงหน้าผ่านระยะทางดังกล่าวต้องอาศัยการปรับแต่งเฉพาะทางร่วมกับ Meta Superintelligence Labs เนื่องจากข้อจำกัดด้านความเร็วแสง บริษัทอธิบายว่าโครงสร้างพื้นฐานทางกายภาพประกอบด้วยเส้นใยไฟเบอร์รวมกันหลายล้านไมล์ สวิตช์หลายหมื่นตัว และอุปกรณ์รับส่งสัญญาณเชิงแสงหลายล้านชิ้น ตั้งแต่โมดูลเสียบใช้งานระยะใกล้ 2x400G FR4 LITE ภายในอาคาร ไปจนถึงอุปกรณ์เชิงแสงแบบ coherent 800G-ZR สำหรับลิงก์ที่ไกลกว่าประมาณ 10 km

วิศวกรรมเพื่อลดการหยุดชะงัก

การเปลี่ยนจากสถาปัตยกรรม NVL8 ในยุค H100 มาเป็น NVL72 ทำให้โดเมนความขัดข้องของการขยายระบบ (กลุ่ม GPU ที่เชื่อมต่อกันอย่างแน่นหนาผ่าน NVLink เพื่อประมวลผลแบบขนานเทนเซอร์) เพิ่มจาก 8 GPU เป็น 72 GPU หรือมีขอบเขตผลกระทบกว้างขึ้น 9 เท่า ตามที่ระบุในโพสต์ เนื่องจากการแบ่งงานฝึกโมเดลแบบขนานทำงานได้มีประสิทธิภาพสูงสุดกับกลุ่มที่มีขนาดเป็นกำลังของ 2 แต่ละโดเมน NVL72 จึงทำงานโดยใช้ GPU 64 ตัว และสำรอง GPU 8 ตัวไว้ในแร็ก โดยมีแร็กสำรองเพิ่มอีกราว 2% สำหรับการฝึกโมเดลที่ใช้ GPU ทำงานอยู่ 32,768 ตัว จึงต้องเตรียมแร็ก NVL72 จำนวน 523 แร็ก หรือ GPU 37,656 ตัว ซึ่งมากกว่าจำนวนที่ใช้งานจริงประมาณ 13% Meta ระบุว่าส่วนใหญ่ของส่วนเผื่อดังกล่าว (11%) เป็นผลจากโครงสร้างการแบ่ง GPU 64 ตัวจากทั้งหมด 72 ตัว ไม่ใช่ต้นทุนด้านความน่าเชื่อถือที่เพิ่มขึ้นโดยตรง แต่ละโดเมนมีลิงก์ส่งสัญญาณแบบคู่ต่างศักย์ที่ปรับจูนแล้ว 5,184 ลิงก์ ความเร็ว 200 Gbps ซึ่งเชื่อมผ่าน SerDes ของ GPU แผงวงจร PCB ของถาดประมวลผล ตลับสายเคเบิล และจุดเชื่อมต่อของถาดสวิตช์

การกู้คืนจากความขัดข้องใช้กลไกสองแบบ ได้แก่ การทนต่อความขัดข้องที่คำนึงถึงการทำงานแบบขนาน ซึ่งนำชุดจำลองที่เกิดปัญหาในการประมวลผลแบบขนานข้อมูลออกจากระบบ ขณะที่ส่วนที่เหลือของคลัสเตอร์ทำขั้นตอนนั้นซ้ำและฝึกโมเดลต่อไป อีกกลไกคือการบันทึกจุดตรวจสอบแบบกระจายและไม่พร้อมกัน โดยใช้การบันทึกเฉพาะส่วนที่เปลี่ยนแปลงและการพักข้อมูลไว้ในหน่วยความจำ เพื่อกู้คืนงานจากสถานะที่บันทึกไว้ล่าสุดเมื่อขอบเขตผลกระทบจากความขัดข้องครอบคลุมมากกว่าชุดจำลองหนึ่งชุด

ในช่วงเริ่มต้นของ Prometheus เมื่อกลางปี 2025 การหยุดชะงักพุ่งสูงสุดเกือบ 1,000 ครั้งต่อวันต่อ GPU 8K ตัว Meta รายงานว่าหลังจากทำงานด้านวิศวกรรมข้ามสายงานเป็นเวลาหนึ่งปี จำนวนดังกล่าวลดลง 99% และระบุว่าเป้าหมายหลักด้านความน่าเชื่อถือคือการหยุดชะงักสองครั้งต่อวันต่อ GPU 8K ตัว หรือ MTBI ราว 100,000 ชั่วโมงการทำงานของ GPU

การแก้ไขแบบเจาะจงครอบคลุมความสมบูรณ์ของสัญญาณ NVLink ในการเชื่อมต่อกว่า 600,000 จุด ความน่าเชื่อถือของหน่วยความจำ HBM และ LPDDR ด้วยการปรับแต่งการตั้งค่าเฟิร์มแวร์และปลดระวางอุปกรณ์ที่เสื่อมสภาพล่วงหน้า การตรวจสอบสถานะสวิตช์ NVLink ในระดับมิลลิวินาที และการเปลี่ยนเส้นทางเหตุการณ์ที่เกิดกับลิงก์แบ็กเอนด์โดยไม่ให้ผู้ใช้สังเกตเห็น Meta ยังสร้างระบบอัตโนมัติสำหรับชุดเฟิร์มแวร์ ซึ่งติดตั้งการแก้ไขให้ GPU กว่า 100,000 ตัวได้ภายในไม่กี่ชั่วโมง และลดเวลาอัปเกรดพ็อดเดี่ยวที่เปอร์เซ็นไทล์ 90 (P90) จากมากกว่า 7 ชั่วโมงเหลือ 2 ชั่วโมง นอกจากนี้ บริษัทยังกล่าวถึงรูปแบบการร่วมพัฒนาทางวิศวกรรม โดยมีทีม NVIDIA ประจำอยู่ในศูนย์ข้อมูลของ Meta พร้อมใช้ข้อมูลการวัดและส่งสัญญาณร่วมกัน และร่วมกันจัดลำดับความสำคัญในการแก้ไขปัญหา

แผนด้านพลังงาน การระบายความร้อน และการขยายระบบ

การฝึกโมเดลแบบซิงโครไนซ์ทำให้เกิดการเปลี่ยนแปลงฉับพลันของกำลังไฟฟ้า 30–40% ภายในคลัสเตอร์ และการเริ่มหรือหยุดงานขนาดใหญ่สามารถทำให้โหลดเปลี่ยนแปลงมากกว่าหลายสิบเมกะวัตต์ภายในเวลาไม่กี่วินาที กรอบการทำงาน Dynamo Dimmer ของ Meta จะค่อย ๆ ปรับขีดจำกัดกำลังไฟฟ้าของ GPU เมื่อคลัสเตอร์เข้าใกล้เพดานกำลังไฟฟ้าที่รองรับ แทนที่จะสั่งหยุดงานทันที โดยมีโมดูลแบตเตอรี่สำรองระดับแร็ก ถาดตัวเก็บประจุ ระบบกักเก็บพลังงานด้วยแบตเตอรี่ของสถานที่ และการประสานงานกับผู้ให้บริการสาธารณูปโภครองรับ

ระบบระบายความร้อนใช้ทั้งระบบของเหลวที่ช่วยระบายความร้อนด้วยอากาศแบบโมดูลาร์ในอาคารแบบเปิดโล่งและอาคารที่ติดตั้งได้อย่างรวดเร็ว รวมถึงระบบระบายความร้อนด้วยของเหลวของอาคารในอาคารที่สร้างขึ้นโดยเฉพาะและปรับให้เหมาะกับ AI นอกจากนี้ Meta ยังใช้กำลังรองรับที่เช่าจากพันธมิตรเชิงกลยุทธ์ด้วย บริษัทระบุว่ารับผิดชอบค่าใช้จ่ายด้านพลังงานทั้งหมดของไซต์ New Albany และชดเชยการใช้พลังงานด้วยพลังงานสะอาดและพลังงานหมุนเวียนที่เพิ่มเข้ามา อีกทั้งใช้ระบบระบายความร้อนด้วยของเหลวแบบวงปิดที่ส่งตรงถึงชิปในศูนย์ข้อมูลที่ปรับให้เหมาะกับ AI รุ่นใหม่ที่สุด และเผยแพร่แบบการออกแบบ เช่น แร็กเครือข่ายระบายความร้อนด้วยของเหลว IcePack ผ่าน Open Compute Project

Meta วางแผนขยาย Prometheus ด้วยระบบ GB300 NVL72 และ Vera Rubin NVL72 ผสมผสานกัน โดยระบุข้อมูลของแพลตฟอร์ม San Miguel ที่กำลังจะเปิดตัวว่า มี GPU Vera Rubin 72 ตัว พร้อม HBM4 ขนาด 288 GB และแบนด์วิดท์สูงสุด 19.2 TB/s ต่อ GPU มีกำลังประมวลผลสำหรับการฝึก FP4 สูงสุด 2.52 EFLOPS ต่อแร็ก (FP8 1.26 EFLOPS) มีแบนด์วิดท์ NVLink สูงสุด 216 TB/s (ส่งข้อมูลสองทิศทาง 3 TB/s ต่อ GPU) มีแบนด์วิดท์หน่วยความจำรวมสูงสุดราว 1,500 TB/s และใช้ถาดประมวลผลที่ระบายความร้อนด้วยของเหลวทั้งหมด รองรับกำลังไฟมากกว่า 170 kW ต่อแร็ก โดย Meta ระบุว่าประสิทธิภาพต่อวัตต์ดีขึ้น 10–20% เมื่อเทียบกับ GB300 NVL72

Hyperion ซูเปอร์คลัสเตอร์แห่งถัดไปของ Meta ใน Richland Parish รัฐลุยเซียนา กำลังได้รับการออกแบบตั้งแต่ต้นโดยนำบทเรียนจาก Prometheus มาใช้ โดยจะมีระบบระบายความร้อนด้วยของเหลวแบบวงปิด การเชื่อมต่อกับโครงข่ายไฟฟ้าเต็มรูปแบบร่วมกับ Entergy ซึ่งเป็นพันธมิตรด้านสาธารณูปโภค โดย Meta ระบุว่าบริษัทจ่ายค่าใช้จ่ายทั้งหมด และการออกแบบเครือข่ายรุ่นถัดไป