एआई मॉडल और प्लेटफ़ॉर्म

AWS ने SageMaker HyperPod Slurm में प्रबंधित क्लस्टर एक्सटेंशन जोड़े

Theo Nash
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुक्लस्टर एक्सटेंशन नोड सॉफ़्टवेयर को घोषित स्थिति में बदल देते हैं जिसे HyperPod लगातार…
और देखें
  • क्लस्टर एक्सटेंशन नोड सॉफ़्टवेयर को घोषित स्थिति में बदल देते हैं जिसे HyperPod लगातार मान्य और समाधान करता है।
  • प्रशासक नोड्स को बदले बिना या लाइफ़साइकिल स्क्रिप्ट को फिर से चलाए बिना सेटिंग्स या एक्सटेंशन संस्करणों को अपडेट कर सकते हैं।
  • मौजूदा क्लस्टरों को माइग्रेट करने के लिए रखरखाव विंडो के दौरान स्क्रिप्ट-इंस्टॉल किए गए एजेंटों को मैन्युअल रूप से हटाना आवश्यक है।

Amazon Web Services ने 20 नवंबर 2026 को Amazon SageMaker HyperPod Slurm के लिए प्रबंधित क्लस्टर एक्सटेंशन लॉन्च किए। इनके ज़रिए चल रहे नोड्स पर सॉफ़्टवेयर को API या SageMaker AI कंसोल के माध्यम से घोषणात्मक ढंग से कॉन्फ़िगर किया जा सकता है। पहले दो एक्सटेंशन निगरानी और उपयोगकर्ता प्रबंधन के लिए हैं, जिनमें डायरेक्टरी एकीकरण भी शामिल है।

यह लॉन्च साझा AI प्रशिक्षण क्लस्टर के उस हिस्से से जुड़ा है जो प्रोविज़निंग के बाद बदलता रहता है। 2026 के दौरान HyperPod में API-आधारित Slurm कॉन्फ़िगरेशन, AMI-आधारित नोड सेटअप, निरंतर प्रोविज़निंग, स्वचालित टोपोलॉजी प्रबंधन और गहन स्वास्थ्य जाँचें पहले ही जोड़ी जा चुकी थीं। ये सुविधाएँ क्लस्टर की परिभाषा, क्षमता, नेटवर्क संरचना और हार्डवेयर स्वास्थ्य का प्रबंधन करती हैं; क्लस्टर एक्सटेंशन नोड्स पर चलने वाले सॉफ़्टवेयर पर यही तरीका लागू करते हैं, जो शोध टीमों, निगरानी की ज़रूरतों और पैकेज संस्करणों में बदलाव के साथ बदलता रहता है।

नोड सॉफ़्टवेयर की वांछित स्थिति

प्रशासक कंसोल, AWS CLI या SDK के माध्यम से AWS-प्रबंधित पैकेज इंस्टॉल, कॉन्फ़िगर, अपडेट और हटा सकते हैं। रोलआउट से पहले HyperPod सेटिंग्स को चुने गए एक्सटेंशन संस्करण की स्कीमा के अनुसार जाँचता है और अनुरोधित संस्करण तथा सेटिंग्स को वांछित स्थिति के रूप में दर्ज करता है। इसके बाद नोड एजेंट हर नोड की भूमिका के लिए आवश्यक घटक ही लागू करता है—इसमें स्केलिंग या प्रतिस्थापन के ज़रिए जोड़े गए नोड भी शामिल हैं।

अपडेट में केवल बदली जा रही सेटिंग्स भेजी जाती हैं। HyperPod उन्हें संग्रहीत कॉन्फ़िगरेशन में मिलाता है और सिर्फ़ प्रभावित घटकों को रीस्टार्ट करता है; नोड्स को बदलने या लाइफ़साइकल स्क्रिप्ट दोबारा चलाने की ज़रूरत नहीं होती। नए एक्सटेंशन संस्करणों को AMI अपडेट किए बिना भी इंस्टॉल किया जा सकता है। रोलआउट से पहले HyperPod संग्रहीत सेटिंग्स को नए संस्करण की स्कीमा के अनुसार जाँचता है, और अपग्रेड केवल आगे की दिशा में होते हैं।

रोलआउट के दौरान हर एक्सटेंशन की स्थिति Creating या Updating दिखाई जाती है; जब हर नोड अनुरोधित कॉन्फ़िगरेशन चला रहा हो और किसी समस्या की रिपोर्ट न हुई हो, तो स्थिति Active होती है; और जब नोड विफल हों या समस्याएँ रिपोर्ट करें, तो स्थिति Degraded होती है। DescribeClusterExtension नोड-स्तर की स्वास्थ्य समस्याओं को उनके कारण के अनुसार समूहित करता है और हर समूह के लिए कोड, संदेश तथा प्रभावित नोड्स की संख्या दिखाता है। आंतरिक विफलताओं पर HyperPod फिर से प्रयास करता है; अन्य कारणों को ठीक करने के बाद प्रशासक बिना कॉन्फ़िगरेशन बदले अपडेट कॉल करके प्रभावित नोड्स पर दोबारा प्रयास कर सकते हैं।

निगरानी और उपयोगकर्ता प्रबंधन

sagemaker-observability एक्सटेंशन नोड, GPU, Elastic Fabric Adapter, Slurm जॉब और Slurm क्लस्टर के मेट्रिक्स एकत्र करता है और उन्हें Amazon CloudWatch या Amazon Managed Service for Prometheus पर भेजता है। मेट्रिक्स की श्रेणियाँ, स्तर और संग्रह अंतराल कॉन्फ़िगर किए जा सकते हैं। नोड्स पर केवल उनकी भूमिका से संबंधित घटक चलते हैं—जैसे GPU नोड्स पर DCGM और EFA एक्सपोर्टर, और कंट्रोलर पर Slurm क्लस्टर मेट्रिक्स।

Amazon Managed Grafana का वैकल्पिक वर्कस्पेस पहले से बनाए गए Clusters और Jobs डैशबोर्ड जोड़ता है। ये क्लस्टर-व्यापी स्वास्थ्य और Slurm की स्थिति को हर नोड के बुनियादी ढाँचे के मेट्रिक्स तथा अलग-अलग जॉब के संसाधन उपयोग से जोड़ते हैं। इसमें CPU, मेमोरी, GPU उपयोग, डिस्क I/O और NCCL डेटा शामिल हैं।

sagemaker-user-management एक्सटेंशन ऐसे Linux उपयोगकर्ता और समूह बनाता है जिनकी आईडी सभी नोड्स पर एक जैसी होती हैं; यह नोड के प्रकार के अनुसार SSH और पासवर्ड के बिना sudo पहुँच नियंत्रित करता है, और उपयोगकर्ताओं को Slurm अकाउंटिंग में पंजीकृत करता है। खाते स्थानीय रूप से घोषित किए जा सकते हैं, LDAPS के ज़रिए Active Directory से लिए जा सकते हैं, या दोनों तरीकों से जोड़े जा सकते हैं। इसमें AWS Directory Service for Microsoft Active Directory से कनेक्शन भी शामिल हैं। नए और प्रतिस्थापन नोड्स पर वही कॉन्फ़िगरेशन लागू होता है, और प्रशासक हर नोड में साइन इन करने के बजाय API के ज़रिए पहुँच की समीक्षा कर सकते हैं।

माइग्रेशन, अनुमतियाँ और लागत

क्लस्टर एक्सटेंशन के लिए ऐसा HyperPod Slurm क्लस्टर आवश्यक है जो 2 नवंबर 2026 के HyperPod AMI या उसके बाद के संस्करण का उपयोग करता हो और जिसमें निरंतर प्रोविज़निंग सक्षम हो। चूँकि एक्सटेंशन सॉफ़्टवेयर को root के रूप में चलाते हैं, इसलिए AWS बनाने, अपडेट करने और हटाने की अनुमतियों को प्रशासक-स्तर की अनुमतियाँ मानता है और इन्हें क्लस्टर निष्पादन भूमिका को देने की सलाह नहीं देता। उस भूमिका को अब भी मेट्रिक्स के गंतव्यों और Active Directory के सीक्रेट्स तक पहुँच चाहिए, जबकि उपयोगकर्ता प्रबंधन के लिए होम डायरेक्टरी वाला साझा फ़ाइल सिस्टम आवश्यक है। अलग-अलग एक्सटेंशन ARN से प्लेटफ़ॉर्म और निगरानी टीमें अलग-अलग एक्सटेंशन का स्वामित्व रख सकती हैं।

मौजूदा क्लस्टर एक बार में एक क्षमता माइग्रेट कर सकते हैं और इस दौरान स्क्रिप्ट तथा एक्सटेंशन साथ-साथ चल सकते हैं। इस प्रक्रिया में क्लस्टर सॉफ़्टवेयर अपडेट करना, लाइफ़साइकल स्क्रिप्ट में उस क्षमता को बंद करना, रखरखाव अवधि के दौरान स्क्रिप्ट से इंस्टॉल किए गए एजेंटों को मैन्युअल रूप से हटाना और साफ़ क्लस्टर पर एक्सटेंशन बनाना शामिल है। हर घटक का एक ही स्वामी होना चाहिए: दोनों तरीकों से एक ही एक्सपोर्टर, उपयोगकर्ता या सेवा का प्रबंधन करने से इंस्टॉलेशन या रनटाइम संबंधी टकराव हो सकते हैं। संगठन-विशिष्ट सॉफ़्टवेयर के लिए कस्टम AMI और लाइफ़साइकल स्क्रिप्ट अब भी उपलब्ध हैं, और प्रशासक कंट्रोलर सहित हर नोड पर SSH तथा सीधे कॉन्फ़िगरेशन की पहुँच बनाए रखते हैं।

दोनों एक्सटेंशन उन सभी क्षेत्रों में उपलब्ध हैं जहाँ SageMaker HyperPod समर्थित है। क्लस्टर एक्सटेंशन के लिए कोई अतिरिक्त शुल्क नहीं है, लेकिन ग्राहकों को CloudWatch, Amazon Managed Service for Prometheus और AWS Secrets Manager जैसे अंतर्निहित संसाधनों का भुगतान करना होगा।

साझा आधारभूत-मॉडल क्लस्टरों के लिए इसका परिचालन संबंधी नतीजा यह है कि आम नोड सॉफ़्टवेयर, प्रोविज़निंग स्क्रिप्टों के संग्रह के बजाय, क्लस्टर की स्थिति का घोषित और लगातार जाँचा जाने वाला हिस्सा बन जाता है। स्क्रिप्ट के ज़रिए इंस्टॉल किए गए एजेंटों को हटाना पूरे फ़्लीट में किया जाने वाला एकमात्र मैन्युअल माइग्रेशन चरण है; इसके बाद, क्षमता बढ़ाने पर जोड़े गए नोड और बदले गए नोड समान एक्सटेंशन सेटिंग अपनाते हैं, जबकि संगठन-विशिष्ट टूलिंग पर नियंत्रण क्लस्टर टीम के पास रहता है।

Theo Nash एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो AI इन्फ्रास्ट्रक्चर, कंप्यूट, और आधुनिक कृत्रिम बुद्धिमत्ता को शक्ति देने वाले हार्डवेयर सिस्टम को कवर करते हैं। उनका काम बड़े पैमाने पर AI वर्कलोड्स के तकनीकी आधार पर केंद्रित है, जिसमें डेटा सेंटर, एक्सेलेरेटर, नेटवर्किंग, और उन्हें जोड़ने वाले सॉफ्टवेयर स्टैक शामिल हैं।

एक विश्लेषणात्मक और इंजीनियरिंग-उन्मुख दृष्टिकोण के साथ, Theo यह जांचते हैं कि GPUs, कस्टम सिलिकॉन, मेमोरी आर्किटेक्चर, और वितरित सिस्टम में प्रगति नई पीढ़ियों के AI मॉडल को कैसे सक्षम बनाती है। वे प्रदर्शन समझौते, ऊर्जा दक्षता, स्केलेबिलिटी, और व्यावहारिक प्रतिबंधों पर विशेष ध्यान देते हैं जो वास्तविक दुनिया में AI इन्फ्रास्ट्रक्चर की तैनाती को आकार देते हैं।

Theo Nash द्वारा लिखे गए लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा तकनीकी शुद्धता, स्पष्टता, और तेजी से विकसित हो रहे AI कंप्यूट परिदृश्य की जिम्मेदार कवरेज सुनिश्चित करने के लिए समीक्षित किए जाते हैं।