Meta ने Prometheus सुपरक्लस्टर के 10 लाख GPU तक विस्तार की जानकारी दी

Meta की इंजीनियरिंग टीम ने 19 अक्टूबर 2026 को कंपनी के ओहायो के न्यू अल्बनी स्थित गीगावाट-स्तरीय AI सुपरक्लस्टर Prometheus का विस्तृत तकनीकी विवरण प्रकाशित किया। टीम ने पुष्टि की कि इसके पहले चरण में Muse फ़ाउंडेशनल मॉडल का प्रशिक्षण पूरा हो चुका है और Meta की योजना इस सिस्टम का विस्तार करके इसमें लगभग 10 लाख GPU लगाने की है।

Meta के इंजीनियरिंग ब्लॉग पर एक पोस्ट में Kevin Lee, Yashar Bayani, Ahmed Sharif और Yee Jiun Song ने लिखा कि पहले चरण में Muse परिवार के मॉडल प्रशिक्षित किए गए, जिनमें Muse Wonder के अत्याधुनिक मॉडल भी शामिल हैं। Meta के अनुसार, ये मॉडल व्यक्तिगत और पेशेवर एजेंट-आधारित कार्यों में अत्याधुनिक प्रदर्शन देते हैं। इस जानकारी के सार्वजनिक होने से दो साल पहले न्यू अल्बनी का यह परिसर वेब ट्रैफ़िक संभालने वाला एक पारंपरिक डेटा सेंटर था; Meta ने इसे अत्याधुनिक मॉडल के प्रशिक्षण के लिए फिर से तैयार किया और अब चरणबद्ध तरीके से सुपरक्लस्टर बना रही है। Prometheus में अब पारंपरिक और AI-अनुकूलित डेटा सेंटर भवनों तथा तेज़ी से तैनात की जा सकने वाली संरचनाओं में फैले सैकड़ों हज़ार GPU शामिल हैं, जो सभी मिलकर एक ही मशीन की तरह काम करते हैं।

Meta के मुताबिक, Muse Wonder के प्री-ट्रेनिंग रन में उसने 85% से अधिक गुडपुट बनाए रखा, जबकि रीइन्फ़ोर्समेंट लर्निंग रन में यह 90% से अधिक रहा। प्रशिक्षण के दौरान व्यवधानों के बीच वास्तविक समय के आधार पर औसत अंतराल लगभग 47k GPU घंटे था; इसके बाद फ़र्मवेयर सुधारों सहित पूरे बेड़े में किए गए बदलावों से यह बढ़कर 54K GPU घंटे से अधिक हो गया।

उत्पादन में NVIDIA के दो प्लेटफ़ॉर्म

Prometheus में NVIDIA के दो GPU प्लेटफ़ॉर्म तैनात हैं। Meta के मुताबिक, NVIDIA का Vera Rubin NVL72 पर आधारित तीसरा प्लेटफ़ॉर्म भी जल्द आ रहा है। हर प्लेटफ़ॉर्म में NVL72 रैक आर्किटेक्चर का इस्तेमाल होता है, जिसमें एक ही नेटवर्क फ़ैब्रिक के भीतर 72 GPU मिलकर एक त्वरक के रूप में काम करते हैं।

पहला प्लेटफ़ॉर्म, Catalina, Ariel के दो-रैक संस्करण में NVIDIA GB200 NVL72 का इस्तेमाल करता है: हर रैक में 36 GPU को NVLink के ज़रिए जोड़कर एक साझा 72-GPU डोमेन बनाया गया है। हर Blackwell GPU के साथ एक Grace CPU और दो ConnectX-7 400G NIC जुड़े हैं। CPU और GPU का अनुपात 1:1 है और हर GPU को 800G I/O मिलता है। Meta का कहना है कि उसने Ariel को इसलिए चुना क्योंकि GB200 NVL72 में H100 की तुलना में FLOPS, HBM बैंडविड्थ, स्केल-अप बैंडविड्थ और स्केल-अप डोमेन का आकार बढ़ा हुआ था, जबकि प्रति GPU स्केल-आउट बैंडविड्थ 400G ही रहती—यह असंतुलन प्रदर्शन घटा सकता था। Catalina, Meta के Open Rack V3 उच्च-शक्ति वाले रैक डिज़ाइन पर चलता है, जिसे Open Compute Project में योगदान के रूप में दिया गया था।

Meta के आँकड़ों के अनुसार, Catalina में 72 Blackwell GPU और 13.4 TB HBM3e (प्रति GPU 192 GB) है। इसकी अधिकतम FP8 प्रशिक्षण क्षमता 720 PFLOPS है (FP4 पर 1,440 PFLOPS), अधिकतम NVLink बैंडविड्थ 130 TB/s और कुल अधिकतम मेमोरी बैंडविड्थ 576 TB/s है। दो रैक के इस जोड़े में पूरे सिस्टम की बिजली खपत लगभग 120 kW है।

दूसरा प्लेटफ़ॉर्म, Clemente, NVIDIA GB300 NVL72 पर आधारित है। Meta के अनुसार, GB300 प्रति GPU HBM क्षमता को 1.5 गुना बढ़ाकर 192 GB से 288 GB करता है और डेंस FP4 थ्रूपुट में भी लगभग इतनी ही वृद्धि करता है, जबकि अटेंशन (softmax) त्वरण लगभग दोगुना हो जाता है। ConnectX-8 SuperNIC हर GPU को सीधे 800G देता हैं, और 2:1 GPU-से-CPU अनुपात की बदौलत Clemente पूरे 72-GPU डोमेन को एक ही रैक में समेट सकता है।

Meta के आँकड़ों के अनुसार, Clemente में 72 Blackwell Ultra GPU और 20.7 TB HBM3e है। इसकी अधिकतम FP4 कंप्यूट क्षमता 1 exaFLOP से अधिक, अधिकतम NVLink बैंडविड्थ 130 TB/s (प्रति GPU द्विदिशीय रूप से 1.8 TB/s) और रैक की बिजली क्षमता लगभग 135 kW है। Meta के मुताबिक, GB200 NVL72 की तुलना में इसका प्रदर्शन 5–10% बेहतर है। Clemente को मॉड्यूलर वायु-सहायित तरल शीतलन के साथ या Meta के नए डिज़ाइन किए गए डेटा सेंटरों में परिसर-आधारित तरल शीतलन के साथ तैनात किया जा सकता है।

भवनों के नेटवर्क फ़ैब्रिक और क्षेत्रीय एकत्रीकरण

मानक डेटा सेंटर नेटवर्क के साथ-साथ, Meta भवनों के भीतर और उनके बीच GPU से GPU तक सीधे संचार के लिए एक समर्पित Ethernet बैक-एंड नेटवर्क चलाता है। इसे बड़े प्री-ट्रेनिंग कार्यों की डेटा-समानांतर पदानुक्रम के अनुरूप डिज़ाइन किया गया है। हर भवन-स्तरीय Ethernet फ़ैब्रिक में अधिकतम 20,736 GPU आपस में जुड़े होते हैं। शुरुआती डिज़ाइन में पैकेट के उप-स्तर पर मल्टीपाथ रूटिंग और क्रेडिट-आधारित एंड-टू-एंड फ़्लो कंट्रोल वाला Disaggregated Scheduled Fabric इस्तेमाल किया गया था। बाद में Meta ने उथले बफ़र वाले 51.2T स्विचों पर Non-Scheduled Fabric अपनाया। इसमें Dynamic Load Balancing वाला Minipack3 और NVIDIA के ConnectX NIC पर Adaptive Routing वाला Spectrum-4-आधारित Minipack3N शामिल हैं; दोनों Meta के FBOSS नेटवर्किंग स्टैक पर चलते हैं।

Backend Aggregation नेटवर्क एक बहु-स्तरीय हब-एंड-स्पोक डिज़ाइन है, जो 2 km से 100 km से अधिक दूरी पर स्थित भवनों के फ़ैब्रिक को जोड़ता है। इसे गहरे बफ़र वाले Broadcom Jericho3 सिलिकॉन पर चलने वाली Arista 7800-सीरीज़ की चेसिस से बनाया गया है और यह हर क्षेत्रीय जोड़े के लिए कई Pbps बैंडविड्थ देता है। Meta का कहना है कि इतनी दूरी पर प्री-ट्रेनिंग चलाने के लिए Meta Superintelligence Labs के साथ मिलकर विशेष अनुकूलन करना पड़ा, क्योंकि प्रकाश की गति की सीमाएँ थीं। कंपनी के अनुसार, इसके भौतिक बुनियादी ढाँचे में कुल मिलाकर लाखों मील लंबाई के फ़ाइबर तार, हज़ारों की संख्या में दसियों हज़ार स्विच और लाखों ऑप्टिकल उपकरण शामिल हैं। इनमें भवनों के भीतर कम दूरी के लिए 2x400G FR4 LITE प्लगेबल उपकरणों से लेकर लगभग 10 km से अधिक दूरी के लिंक के लिए 800G-ZR कोहेरेंट ऑप्टिक्स तक शामिल हैं।

व्यवधान कम करने के लिए इंजीनियरिंग

H100 पीढ़ी के NVL8 आर्किटेक्चर से NVL72 पर जाने से स्केल-अप दोष-क्षेत्र (टेंसर समांतरता के लिए NVLink के ज़रिए कसकर जुड़े GPU का समूह) आठ GPU से बढ़कर 72 GPU हो गया—यानी संभावित प्रभाव का दायरा 9 गुना बड़ा हो गया, जैसा कि पोस्ट में बताया गया है। चूँकि प्रशिक्षण में समांतरता के लिए GPU समूहों का आकार 2 की घात के अनुरूप रखना सबसे अधिक कुशल होता है, इसलिए हर NVL72 दोष-क्षेत्र में 64 GPU का एक हिस्सा चलता है और रैक में आठ GPU अतिरिक्त रखे जाते हैं; इसके अलावा लगभग 2% रैक भी आरक्षित रखे जाते हैं। 32,768 सक्रिय GPU वाले प्रशिक्षण कार्य के लिए 523 NVL72 रैक, यानी 37,656 GPU लगाने होंगे—सक्रिय GPU संख्या से लगभग 13% अधिक। Meta के अनुसार, इस अतिरिक्त क्षमता का अधिकांश हिस्सा (11%) 72 में से 64 GPU इस्तेमाल करने की व्यवस्था के कारण है, न कि विश्वसनीयता बनाए रखने की कोई निश्चित अतिरिक्त लागत। हर दोष-क्षेत्र में 200 Gbps की गति वाले 5,184 अनुकूलित डिफरेंशियल-पेयर सिग्नलिंग लिंक शामिल हैं, जो GPU SerDes, कंप्यूट ट्रे के PCB, केबल कार्ट्रिज और स्विच ट्रे इंटरफ़ेस से होकर गुजरते हैं।

दोष से उबरने के लिए दो तरीके अपनाए जाते हैं: पैरेललिज़्म-अवेयर फॉल्ट टॉलरेंस में खराबी वाली डेटा-समांतर प्रतिकृति को ऑफ़लाइन कर दिया जाता है, जबकि क्लस्टर के बाकी हिस्से उस चरण को दोहराकर प्रशिक्षण जारी रखते हैं। दूसरा तरीका है डेल्टा चेकपॉइंटिंग और मेमोरी में अस्थायी भंडारण के साथ वितरित असमकालिक चेकपॉइंटिंग। जब किसी दोष का प्रभाव एक प्रतिकृति से आगे तक फैलता है, तो इससे कार्य को उसकी पिछली सहेजी गई स्थिति से बहाल किया जाता है।

2025 के मध्य में Prometheus के शुरुआती चरण के दौरान, हर दिन प्रति 8K GPU पर व्यवधानों की संख्या लगभग 1,000 तक पहुँच गई थी। Meta के मुताबिक, विभिन्न विभागों के बीच एक साल तक किए गए इंजीनियरिंग कार्य के बाद इसमें 99% की कमी आई। कंपनी का विश्वसनीयता संबंधी प्रमुख लक्ष्य हर दिन प्रति 8K GPU पर दो व्यवधान रखना है, यानी लगभग 100k GPU घंटे का MTBI।

लक्षित सुधारों में 600,000 से अधिक कनेक्शनों पर NVLink सिग्नल की अखंडता सुनिश्चित करना; फ़र्मवेयर सेटिंग को बेहतर बनाकर और खराब होते उपकरणों को पहले से हटाकर HBM तथा LPDDR मेमोरी की विश्वसनीयता बढ़ाना; मिलीसेकंड स्तर पर NVLink स्विच की स्थिति पर नज़र रखना; और बैकएंड लिंक की घटनाओं को बिना रुकावट वैकल्पिक मार्ग से भेजना शामिल था। Meta ने फ़र्मवेयर बंडल को स्वचालित रूप से लागू करने की व्यवस्था भी बनाई, जिससे कुछ ही घंटों में 100k से अधिक GPU पर सुधार तैनात किए जा सकते हैं। इसके साथ ही, एक पॉड के अपग्रेड का P90 समय सात घंटे से अधिक से घटाकर दो घंटे कर दिया गया। कंपनी ने सह-इंजीनियरिंग का ऐसा मॉडल भी बताया, जिसमें NVIDIA की टीमें उसके डेटा केंद्रों में तैनात रहती हैं और साझा टेलीमेट्री तथा मिलकर समस्या की जाँच करने की व्यवस्था होती है।

बिजली, शीतलन और विस्तार की योजनाएँ

समकालिक प्रशिक्षण से क्लस्टर के भीतर बिजली की खपत में 30–40% तक के अचानक उतार-चढ़ाव आते हैं। किसी बड़े कार्य को शुरू या रोकने पर कुछ ही सेकंड में दसियों मेगावाट से अधिक का लोड बदल सकता है। Meta का Dynamo Dimmer ढाँचा क्लस्टर की विद्युत सीमा के करीब पहुँचने पर GPU की बिजली-सीमा को धीरे-धीरे समायोजित करता है, ताकि कार्यभार को एकदम से रोकना न पड़े। इसे रैक-स्तरीय बैटरी बैकअप मॉड्यूल, कैपेसिटर ट्रे, परिसर में बैटरी ऊर्जा भंडारण और बिजली आपूर्तिकर्ताओं के साथ तालमेल का समर्थन मिलता है।

शीतलन व्यवस्था में खुली हवा वाली इमारतों और तेज़ी से तैनात की जा सकने वाली संरचनाओं में मॉड्यूलर, वायु-सहायित तरल शीतलन का इस्तेमाल किया जाता है। विशेष रूप से AI के लिए बनाई गई इमारत में परिसर-स्तरीय तरल शीतलन है। Meta रणनीतिक साझेदारों से किराये पर ली गई क्षमता को भी अपनी व्यवस्था में शामिल करती है। कंपनी का कहना है कि वह New Albany साइट की ऊर्जा की पूरी लागत चुकाती है और अपनी ऊर्जा खपत के बराबर नई स्वच्छ और नवीकरणीय ऊर्जा की व्यवस्था करती है। अपने नवीनतम AI-अनुकूलित डेटा केंद्रों में वह चिप तक सीधे पहुँचने वाली बंद-चक्र तरल शीतलन प्रणाली का उपयोग करती है। साथ ही, Open Compute Project के ज़रिए IcePack जैसे तरल-शीतित नेटवर्क रैक के डिज़ाइन साझा करती है।

Meta, Prometheus का विस्तार GB300 NVL72 और Vera Rubin NVL72 सिस्टम के मिश्रण से करने की योजना बना रही है। कंपनी की आगामी San Miguel प्लैटफ़ॉर्म सूची में 72 Vera Rubin GPU दिए गए हैं, जिनमें 288 GB HBM4 और हर GPU के लिए 19.2 TB/s की अधिकतम बैंडविड्थ है। इसमें प्रति रैक FP4 प्रशिक्षण के लिए अधिकतम 2.52 EFLOPS कंप्यूट क्षमता (FP8 के लिए 1.26 EFLOPS), अधिकतम 216 TB/s NVLink बैंडविड्थ (हर GPU के लिए दोनों दिशाओं में 3 TB/s), लगभग 1,500 TB/s की कुल अधिकतम मेमोरी बैंडविड्थ और पूरी तरह तरल-शीतित कंप्यूट ट्रे शामिल हैं। हर रैक की क्षमता 170 kW से अधिक है। Meta के अनुसार, GB300 NVL72 की तुलना में प्रति वाट प्रदर्शन में 10–20% सुधार होगा।

Meta का अगला सुपरक्लस्टर Hyperion, लुइज़ियाना के Richland Parish में बनाया जा रहा है। Prometheus से मिली सीख के आधार पर इसे शुरू से डिज़ाइन किया जा रहा है। इसमें बंद-चक्र तरल शीतलन, बिजली आपूर्तिकर्ता साझेदार Entergy के साथ पूर्ण ग्रिड कनेक्टिविटी और अगली पीढ़ी के नेटवर्क डिज़ाइन शामिल होंगे। Meta का कहना है कि वह ग्रिड कनेक्टिविटी की पूरी लागत चुकाती है।