एआई मॉडल और प्लेटफ़ॉर्म

AWS ने HyperPod में प्रशिक्षण सत्यापन और अटके जॉब का पता लगाने की सुविधा जोड़ी

Theo Nash
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुHyperPod अब सत्यापित करता है कि GPU वास्तव में सही प्रशिक्षण परिणामों की गणना करते हैं…
और देखें
  • HyperPod अब सत्यापित करता है कि GPU वास्तव में सही प्रशिक्षण परिणामों की गणना करते हैं, न कि केवल हार्डवेयर स्वास्थ्य की जाँच करते हैं।
  • 15 मिनट का हैंग डिटेक्शन नियम एक रुके हुए 32-इंस्टेंस कार्य की बर्बादी को लगभग $16,900 से घटाकर लगभग $530 कर देता है।
  • Slurm हैंग डिटेक्शन डिफ़ॉल्ट रूप से बंद रहता है और नियम फ़ाइल के अनुपस्थित होने पर कार्य बिना किसी निगरानी के चुपचाप रह जाते हैं।

Amazon Web Services ने 18 नवंबर 2026 को Amazon SageMaker HyperPod के लिए विश्वसनीयता से जुड़ी तीन क्षमताओं की घोषणा की। इनका लक्ष्य प्रशिक्षण में संख्यात्मक त्रुटियों, Kubernetes की विफलताओं और रुके हुए Slurm जॉब का पता लगाना है, जो GPU क्षमता का उपयोग करते रह सकते हैं, जबकि अलग-अलग नोड अब भी स्वस्थ दिखाई देते हैं।

HyperPod पहले से ही हार्डवेयर की त्रुटियों पर नज़र रखता है, गहन नैदानिक जाँच चलाता है और इंस्टेंस के बीच संचार का परीक्षण करता है। साथ ही, खराब नोड को अपने-आप ठीक भी करता है। लेकिन इन उपायों से यह पता नहीं चलता कि GPU प्रशिक्षण के सही परिणाम निकाल रहे हैं या नहीं, जॉब में प्रगति जारी है या नहीं, अथवा वे Kubernetes सेवाएँ काम कर रही हैं या नहीं जिन पर जॉब निर्भर है।

AWS का लागत संबंधी उदाहरण इस जोखिम को दिखाता है: 32 ml.p5.48xlarge इंस्टेंस पर आठ घंटे तक अटका रहने वाला जॉब, जिनमें कुल 256 NVIDIA H100 GPU हैं, 2,048 GPU-घंटे बर्बाद करता है। US East (N. Virginia) में HyperPod की लगभग $66 प्रति इंस्टेंस-घंटा की ऑन-डिमांड कीमत के हिसाब से इसकी लागत करीब $16,900 होती है। 15 मिनट में जॉब का पता लगाने वाला नियम उसे रद्द कर देता है, ताकि Slurm उसे फिर से कतार में लगा सके; इससे इस परिदृश्य की लागत करीब $530 रह जाती है।

प्रशिक्षण की शुद्धता की जाँच

MultiNodeTrainingValidation, Amazon Elastic Kubernetes Service (EKS) द्वारा संचालित क्लस्टरों के लिए HyperPod की गहन स्वास्थ्य जाँचों का विस्तार करता है। इसमें समर्थित Elastic Fabric Adapter (EFA)-सक्षम NVIDIA GPU इंस्टेंस समूहों का उपयोग किया जाता है। इसका Tiny Megatron परीक्षण हर इंस्टेंस के सभी GPU पर एक निश्चित Megatron-LM कार्यभार चलाता है, जबकि Megatron परीक्षण EFA के ज़रिए एक ही प्रकार के इंस्टेंसों में वही कार्यभार चलाता है। यदि प्रशिक्षण का लॉस संख्या न हो सकने वाला (NaN) या अनंत हो जाए, अथवा परीक्षण निर्धारित समय-सीमा में पूरा न हो, तो इंस्टेंस को विफल माना जाता है।

यह जाँच इंस्टेंस समूह बनाते या अपडेट करते समय, या API के ज़रिए पूरे समूह अथवा चुने हुए इंस्टेंसों के लिए माँग पर चलाई जा सकती है। StartClusterHealthCheck नतीजे CloudWatch लॉग और नोड लेबल में दिखाई देते हैं। विफलता होने पर इंस्टेंस पर लेबल लगाया जाता है और, यदि नोड की स्वचालित रिकवरी चालू हो, तो उसे रीबूट या बदल दिया जाता है। क्षमता का प्रावधान करते समय यह प्रक्रिया ग्राहक के जॉब द्वारा उस क्षमता का उपयोग किए जाने से पहले होती है।

AWS के दो ml.p5.48xlarge इंस्टेंसों पर किए गए परीक्षण में, प्रशिक्षण की दोनों जाँचों ने 1 घंटे 28 मिनट तक चले पूरे गहन स्वास्थ्य-जाँच रन में करीब आठ मिनट जोड़े। जाँच पूरी होने तक इंस्टेंस कार्यभार स्वीकार नहीं कर सकते, इसलिए क्षमता की योजना बनाते समय प्रावधान के इस अतिरिक्त समय को भी ध्यान में रखना पड़ता है। निश्चित कार्यभार का परीक्षण सफल होने से यह साबित होता है कि उसका प्रशिक्षण सही ढंग से हुआ, लेकिन इससे यह सुनिश्चित नहीं होता कि ग्राहक का अपना प्रशिक्षण जॉब भी सफलतापूर्वक पूरा होगा।

क्लस्टर की विफलताओं को जॉब से जोड़ना

HyperPod Kubernetes Resource Monitoring Agent हर EKS क्लस्टर में एक पॉड के रूप में चलता है और CPU नोड को प्राथमिकता देता है, ताकि GPU क्षमता का उपयोग न हो। यह नोड की स्थितियों और उपलब्ध GPU या EFA डिवाइसों, ज़रूरी इंफ़्रास्ट्रक्चर पॉडों, आवश्यक DaemonSet, तथा HyperPodPyTorchJob और Kubeflow प्रशिक्षण जॉब पर नज़र रखता है। Kubernetes के Warning और Normal इवेंट विफलताओं और रिकवरी को चिह्नित करते हैं, जबकि संरचित JSON CloudWatch लॉग इतिहास सहेजते हैं और विफल जॉब को उनके पॉडों तथा नोडों से जोड़ते हैं।

एजेंट केवल रिपोर्ट देता है; वह नोड को रीबूट नहीं करता और न ही जॉब को दोबारा शुरू करता है। हार्डवेयर संबंधी सुधार की ज़िम्मेदारी स्वास्थ्य निगरानी एजेंट और नोड की स्वचालित रिकवरी की रहती है, जबकि HyperPod प्रशिक्षण ऑपरेटर जॉब को फिर से शुरू करने का काम करता है।

NCCL का वैकल्पिक एकीकरण संस्करण 2.24 या उसके बाद के संस्करण की माँग करता है। AWS के कार्यान्वयन में यह हर 30 सेकंड पर भाग लेने वाले प्रत्येक पॉड के विश्वसनीयता, उपलब्धता और सेवाक्षमता (RAS) लिसनर से जानकारी लेता है। इन रिपोर्टों को मिलाकर यह जॉब के स्तर पर स्वस्थ, प्रभावित या अस्वस्थ स्थिति निर्धारित करता है। लिसनर तक पहुँचने के लिए उसे पॉड IP से जोड़ना पड़ता है, जिससे पॉड नेटवर्क पर TCP पोर्ट 28028 खुल जाता है। AWS की सलाह है कि निगरानी चालू करने से पहले ऐसी Kubernetes NetworkPolicy लागू की जाए जो पोर्ट तक पहुँच को एजेंट तक सीमित करे, लेकिन जॉब के अपने पॉडों के बीच ट्रैफ़िक की अनुमति दे।

प्रगति रोक देने वाले Slurm जॉब का पता लगाना

Slurm की इस सुविधा के लिए 10 नवंबर 2026 को या उसके बाद जारी किया गया HyperPod Slurm Amazon Machine Image आवश्यक है। यह डिफ़ॉल्ट रूप से बंद रहती है और हर जॉब के लिए इस HYPERPOD_HANG_RULES पर्यावरण चर के ज़रिए चालू की जाती है। यह चर ऐसी नियम-फ़ाइल का पथ बताता है जिसे हर कंप्यूट नोड पर उसी पथ से पढ़ा जा सकता हो। इसके लिए प्रशिक्षण स्क्रिप्ट या कंटेनर में कोई बदलाव करने की ज़रूरत नहीं है, और यह सुविधा PyTorch, TensorFlow, JAX तथा कस्टम स्क्रिप्ट के साथ काम करती है।

डिफ़ॉल्ट पहचान व्यवस्था जॉब के आउटपुट और GPU गतिविधि पर नज़र रखती है। यह ऐसे मामलों का पता लगाती है जहाँ GPU निष्क्रिय हों, लेकिन मेमोरी का उपयोग बनाए रखें और आउटपुट रुक जाए; या फिर GPU की स्थिति चाहे जो हो, आउटपुट लंबे समय तक न आए। कस्टम रेगुलर-एक्सप्रेशन नियम डिफ़ॉल्ट पहचान व्यवस्था की जगह ले सकते हैं, समय-समय पर प्रगति संदेश भेजना अनिवार्य कर सकते हैं, या त्रुटि का पैटर्न मिलते ही जॉब को अटका हुआ घोषित कर सकते हैं। हर तरीके की अपनी सीमाएँ हैं: डिफ़ॉल्ट व्यवस्था ऐसे जॉब को पहचानने से चूक सकती है जो प्रगति किए बिना GPU को व्यस्त रखता है, जबकि कस्टम नियम उन रुकावटों को नहीं पकड़ पाते जिनका वर्णन उनके पैटर्न में नहीं है।

पता लगने पर एक HANG_DETECTED इवेंट CloudWatch में लिखा जाता है। डिफ़ॉल्ट notify कार्रवाई जॉब को चलता रहने देती है; cancel Slurm को उसे क्लस्टर की MaxBatchRequeue सीमा तक फिर से कतार में लगाने देती है, हालांकि इसके साथ सबमिट किए गए जॉब --no-requeue रद्द ही रहते हैं। यह ऑटो-रिज़्यूम से अलग है, जो हार्डवेयर विफलताओं के बाद बंद होने वाले जॉब को फिर से शुरू करता है; उन जॉब को नहीं जो आवंटित बने रहते हैं, लेकिन कोई प्रगति नहीं करते।

नियम-फ़ाइल न मिलने या अमान्य होने पर एक CONFIG_ERROR CloudWatch में इवेंट और जॉब को बिना निगरानी के छोड़ देता है, और … में कोई त्रुटि दिए बिना sbatch, squeue या जॉब आउटपुट में। चूँकि एजेंट नियम फ़ाइल के स्वामित्व की जाँच नहीं करता, इसलिए AWS फ़ाइल और उसकी मूल डायरेक्टरी के लिए कड़े अनुमतियाँ रखने की सलाह देता है, ताकि कोई अन्य उपयोगकर्ता फ़ाइल को बदलकर उसका उपयोग करने वाले जॉब के लिए पहचान या रद्दीकरण की प्रक्रिया में बदलाव न कर सके।

ये नए बदलाव मिलकर प्रशिक्षण की शुद्धता और जॉब की प्रगति को हार्डवेयर की स्थिति के साथ दृश्यमान बनाते हैं, जिससे क्षमता व्यर्थ होने पर मैन्युअल रूप से लॉग खंगालने की ज़रूरत कम होती है। इसके बदले संचालन संबंधी कुछ ज़िम्मेदारियाँ बढ़ती हैं: GPU समय की रक्षा के लिए प्रावधान जाँच में अधिक समय, CloudWatch निगरानी और सावधानी से समायोजित पहचान नियम अपनाने पड़ते हैं—खासकर तब, जब स्वचालित रद्दीकरण में किसी अटके हुए जॉब और सामान्य चेकपॉइंटिंग या मूल्यांकन के बीच के अंतराल में फ़र्क करना ज़रूरी हो।

Theo Nash एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो AI इन्फ्रास्ट्रक्चर, कंप्यूट, और आधुनिक कृत्रिम बुद्धिमत्ता को शक्ति देने वाले हार्डवेयर सिस्टम को कवर करते हैं। उनका काम बड़े पैमाने पर AI वर्कलोड्स के तकनीकी आधार पर केंद्रित है, जिसमें डेटा सेंटर, एक्सेलेरेटर, नेटवर्किंग, और उन्हें जोड़ने वाले सॉफ्टवेयर स्टैक शामिल हैं।

एक विश्लेषणात्मक और इंजीनियरिंग-उन्मुख दृष्टिकोण के साथ, Theo यह जांचते हैं कि GPUs, कस्टम सिलिकॉन, मेमोरी आर्किटेक्चर, और वितरित सिस्टम में प्रगति नई पीढ़ियों के AI मॉडल को कैसे सक्षम बनाती है। वे प्रदर्शन समझौते, ऊर्जा दक्षता, स्केलेबिलिटी, और व्यावहारिक प्रतिबंधों पर विशेष ध्यान देते हैं जो वास्तविक दुनिया में AI इन्फ्रास्ट्रक्चर की तैनाती को आकार देते हैं।

Theo Nash द्वारा लिखे गए लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा तकनीकी शुद्धता, स्पष्टता, और तेजी से विकसित हो रहे AI कंप्यूट परिदृश्य की जिम्मेदार कवरेज सुनिश्चित करने के लिए समीक्षित किए जाते हैं।