एआई मॉडल और प्लेटफ़ॉर्म
AWS ने SageMaker HyperPod Inference में प्रबंधित NVIDIA Dynamo जोड़ा

मुख्य बिंदुडायनामो की विघटित टोपोलॉजी प्रीफिल और डिकोड पूल को स्वतंत्र रूप से स्केल करने देती है…
और देखें
- डायनामो की विघटित टोपोलॉजी प्रीफिल और डिकोड पूल को स्वतंत्र रूप से स्केल करने देती है, जबकि दोनों अभी भी पूर्ण मॉडल भार लोड करते हैं।
- AWS का 2.05 गुना थ्रूपुट लाभ अप्रतिबंधित अधिकतम के बजाय विभिन्न समवर्ती स्तरों पर विलंब-सीमित परिणामों की तुलना करता है।
- प्रबंधित हाइपरपॉड समन्वय और पुनर्प्राप्ति को स्वचालित करता है लेकिन टोपोलॉजी और GPU आवंटन व्यापार-समझौतों को मापे गए कार्यभार व्यवहार पर छोड़ देता है।
Amazon Web Services ने 17 नवंबर, 2026 को घोषणा की कि Amazon SageMaker HyperPod Inference अब प्रबंधित, बहु-नोड और पृथक मॉडल सर्विंग के लिए NVIDIA Dynamo का समर्थन करता है। साथ ही, बेंचमार्क नतीजों में AWS की विलंबता सीमाओं के तहत प्रति GPU सबसे अधिक पात्र समेकित आउटपुट-टोकन थ्रूपुट का 2.05 गुना दिखाया गया।
यह सुविधा बड़े भाषा मॉडल की सर्विंग में आने वाली दो सीमाओं का समाधान करती है: मॉडल के वेट और दोबारा इस्तेमाल किए जा सकने वाले की-वैल्यू (KV) कैश को GPU मेमोरी में समाना, और जब लंबा प्रॉम्प्ट प्रोसेसिंग तथा टोकन जनरेशन एक ही GPU साझा करते हों, तो यह सुनिश्चित करना कि प्रॉम्प्ट प्रोसेसिंग से टोकन जनरेशन धीमा न हो। AWS मेमोरी पर पड़ने वाले दबाव को GLM-5.3 के उदाहरण से समझाता है, जिसके 8-बिट फ्लोटिंग-पॉइंट (FP8) वेट अकेले ही एक में उपलब्ध 640 GB GPU मेमोरी से अधिक हैं ml.p5.48xlarge इंस्टेंस में, KV कैश और रनटाइम के अतिरिक्त ओवरहेड को शामिल करने से पहले।
HyperPod इस फ्रेमवर्क के लिए प्रबंधित बुनियादी ढाँचा उपलब्ध कराता है: Elastic Fabric Adapter (EFA) नेटवर्किंग, समन्वित GPU शेड्यूलिंग, नोड, GPU और EFA की स्थिति की निगरानी, और नोड बदलना। HyperPod इस बदलाव का प्रबंधन करता है, जबकि ऑर्केस्ट्रेशन घटक प्रभावित वर्कर फिर से बनाते हैं।
पृथक सर्विंग और KV-जागरूक रूटिंग
Dynamo एक ओपन-सोर्स वितरित इन्फ़रेंस फ्रेमवर्क है, जो vLLM, SGLang और TensorRT-LLM के साथ काम करता है। इसकी पृथक टोपोलॉजी में एक फ़्रंटएंड अनुरोधों को प्रीफ़िल वर्करों तक भेजता है, जो प्रॉम्प्ट प्रोसेस करते हैं, और डिकोड वर्करों तक, जो टोकन जनरेट करते हैं। इन दोनों वर्कर-पूल को स्वतंत्र रूप से स्केल और समायोजित किया जा सकता है, लेकिन दोनों ही पूरे मॉडल के वेट लोड करते हैं; उनके बीच KV कैश EFA के ज़रिए स्थानांतरित होता है।
समेकित सर्विंग में दोनों चरण एक ही वर्कर पर चलते हैं। किसी भी टोपोलॉजी में, वर्कर एक ही इंस्टेंस पर चल सकते हैं या टेंसर और पाइपलाइन पैरेललिज़्म का इस्तेमाल करके कई इंस्टेंस में फैल सकते हैं, जिससे मॉडल को कई GPU में बाँटा जा सके। Dynamo का KV-जागरूक राउटर दोबारा इस्तेमाल किए जा सकने वाले प्रीफ़िक्स कैश और सक्रिय वर्करों के लोड को ध्यान में रखता है। AWS के अनुसार, प्रीफ़िक्स का दोबारा इस्तेमाल प्रॉम्प्ट की गणना फिर से करने की ज़रूरत घटा सकता है और पहले टोकन तक का समय बेहतर कर सकता है, जबकि लोड की जानकारी से अलग-अलग वर्करों पर अत्यधिक भार पड़ने से बचने में मदद मिलती है।
विलंबता सीमाओं के साथ बेंचमार्क
Qwen3-235B-A22B-FP8 की तुलना में Dynamo और TensorRT-LLM का इस्तेमाल दो p5en.48xlarge इंस्टेंस पर किया गया, जिनमें कुल 16 H200 GPU थे। AIPerf ने ऐसे अनुरोध तैयार किए जिनमें 4,000 इनपुट टोकन और 200 आउटपुट टोकन थे। AWS ने केवल उन्हीं मापे गए नतीजों को शामिल किया जिनमें पहले टोकन तक पहुँचने का 90वाँ प्रतिशतक समय एक सेकंड से कम था और जनरेशन की औसत गति प्रति उपयोगकर्ता कम-से-कम 50 टोकन प्रति सेकंड थी।
AWS ने बताया कि पृथक सर्विंग ने 80 की समवर्ती संख्या पर प्रति GPU 207 आउटपुट टोकन प्रति सेकंड हासिल किए। इसकी तुलना में, समेकित सर्विंग के सबसे अधिक पात्र नतीजे में 32 की समवर्ती संख्या पर यह आँकड़ा 101 था। इसलिए यह तुलना अलग-अलग समवर्ती स्तरों पर विलंबता-सीमित थ्रूपुट की है, न कि किसी भी टोपोलॉजी के लिए बिना किसी सीमा वाला अधिकतम थ्रूपुट।
Qwen3.5-397B-A17B-FP8 के एक अलग परीक्षण में Dynamo और vLLM का इस्तेमाल करके एक ही p5en.48xlarge इंस्टेंस पर आठ H200 GPU की तुलना दो इंस्टेंस पर चार-चार GPU से की गई। मॉडल, पैरेललिज़्म और वर्कलोड का कॉन्फ़िगरेशन समान रखा गया। AWS ने बताया कि दो-नोड सेटअप ने 32 की समवर्ती संख्या और प्रीफ़िक्स के अधिक पुनः उपयोग पर प्रति GPU 126.4 आउटपुट टोकन प्रति सेकंड हासिल किए, जो एकल-नोड थ्रूपुट का 99.1% था। मॉडल एक ही इंस्टेंस में समा जाता है और व्यवहार में आम तौर पर इसे अलग-अलग इंस्टेंस में नहीं बाँटा जाता, इसलिए यह परीक्षण नोड की सीमा पार करने से थ्रूपुट पर पड़ने वाले असर का नियंत्रित आधार-मापन था।
प्रबंधित कॉन्फ़िगरेशन और संसाधन नियोजन
उपयोगकर्ताओं के पास कॉन्फ़िगरेशन के दो तरीके हैं। मौजूदा Dynamo उपयोगकर्ता एक DynamoGraphDeployment मैनिफ़ेस्ट ला सकते हैं, जिसमें सर्विंग ग्राफ़ का विवरण हो, और स्टोरेज, नेटवर्किंग, पॉड की जगह, एंडपॉइंट, TLS, पंजीकरण तथा ऑटोस्केलिंग का प्रबंधन खुद कर सकते हैं। दूसरा InferenceEndpointConfig तरीका इस्तेमाल करता है dynamoSpec प्रबंधित एंडपॉइंट सेटअप के लिए और दोनों में से किसी भी सर्विंग टोपोलॉजी हेतु Kubernetes Event-driven Autoscaling (KEDA) का उपयोग करता है। इसमें डिफ़ॉल्ट रूप से vLLM मिलता है, KV-जागरूक रूटिंग और रेप्लिका की संख्या के लिए डिफ़ॉल्ट सेटिंग्स दी जाती हैं, और SageMaker एंडपॉइंट के ज़रिए OpenAI-संगत इंटरफ़ेस का समर्थन मिलता है।
यह ऐड-ऑन Dynamo की कस्टम रिसोर्स डेफ़िनिशन और सर्विंग तथा शेड्यूलिंग घटक इंस्टॉल करता है, जबकि रनटाइम AWS Deep Learning Containers उपलब्ध कराते हैं। प्रबंधित तरीके में, HyperPod Inference Operator Amazon S3 या FSx से वेट को तैयार करता है और DynamoGraphDeploymentतैयार करता है। Grove संबंधित पॉड समूहों के बीच समन्वय करता है, जबकि KAI Scheduler गैंग शेड्यूलिंग का इस्तेमाल करके यह सुनिश्चित करता है कि हर बहु-नोड वर्कर के पॉड एक साथ रखे जाएँ। Dynamo की किसी समर्थित रिलीज़ को अपनाने के लिए ऐड-ऑन को अपडेट करना ज़रूरी है।
AWS का GLM-5.3 उदाहरण GPU आवंटन के विकल्प को स्पष्ट करता है। इसके समेकित कॉन्फ़िगरेशन में एक मॉडल-वर्कर रेप्लिका दो ml.p5.48xlarge इंस्टेंस में चलती है, जिसमें 16-तरफ़ा टेंसर पैरेललिज़्म और दो फ़्रंटएंड रेप्लिका होती हैं। पृथक विकल्प में एक प्रीफ़िल रेप्लिका और दो डिकोड रेप्लिका कॉन्फ़िगर की जाती हैं; इनमें से हर एक दो इंस्टेंस में फैली होती है, यानी कुल छह इंस्टेंस। रेप्लिका की अलग-अलग संख्याएँ दिखाती हैं कि किसी डिप्लॉयमेंट में प्रॉम्प्ट प्रोसेसिंग और टोकन जनरेशन के लिए अलग-अलग मात्रा में क्षमता रखी जा सकती है, बजाय इसके कि एक ही संयुक्त पूल को स्केल किया जाए।
AWS बेंचमार्किंग से पहले EFA संचार की पुष्टि करने, प्रतिनिधि प्रॉम्प्ट लंबाइयों, आउटपुट लंबाइयों और प्रीफ़िक्स के पुनः उपयोग की जाँच करने, सेवा-स्तर के लक्ष्यों के अनुरूप समवर्ती अनुरोधों की संख्या में बदलाव करके परीक्षण करने और इंजन की सेटिंग बदलने से पहले मापे गए अवरोधों के आधार पर टोपोलॉजी तथा वर्कर आवंटन को समायोजित करने की सलाह देता है।
HyperPod अब समन्वय और पुनर्प्राप्ति से जुड़े अधिक काम संभालता है, लेकिन बेंचमार्क की स्थितियाँ और डिप्लॉयमेंट के उदाहरण दिखाते हैं कि प्रबंधित संचालन से सर्विंग के बीच के समझौते खत्म नहीं होते। उपयोगी कॉन्फ़िगरेशन अब भी प्रॉम्प्ट और जनरेशन के मापे गए व्यवहार, वर्कर पूलों के बीच GPU आवंटन तथा वर्कलोड की विलंबता और लागत संबंधी प्राथमिकताओं पर निर्भर करता है।












