एआई मॉडल और प्लेटफ़ॉर्म
AWS एक ही एंडपॉइंट से कई क्षेत्रों में HyperPod इन्फ़रेंस अनुरोधों को रूट करता है

मुख्य बिंदुवैश्विक गेटवे मौजूदा पॉड-स्तरीय Inference Gateway रूटिंग के ऊपर एक क्लस्टर-चयन स्तर…
और देखें
- वैश्विक गेटवे मौजूदा पॉड-स्तरीय Inference Gateway रूटिंग के ऊपर एक क्लस्टर-चयन स्तर जोड़ता है।
- ऑपरेटर विलंबता और लचीलेपन के बीच संतुलन बनाने के लिए RegionProximity सहित 0.40 पर चार भारित संकेतों को समायोजित करते हैं।
- AWS कहता है कि गेटवे प्रॉम्प्ट या कम्प्लीशन को लॉग या संग्रहीत नहीं करता है और केवल PrivateLink के माध्यम से रूट करता है।
AWS ने 20 नवंबर 2026 को Amazon SageMaker HyperPod Global Inference Gateway पेश किया। इससे ग्राहकों को एक ही AWS क्षेत्र या कई क्षेत्रों में पंजीकृत HyperPod क्लस्टरों पर इन्फ़रेंस अनुरोध भेजने के लिए एक प्रबंधित एंडपॉइंट मिलता है। यह सेवा क्षमता, कतार, निकटता और त्रुटि के संकेतों के आधार पर क्लस्टर चुनती है और क्लस्टर अनुपलब्ध होने पर स्वचालित रूप से दूसरे क्लस्टर पर अनुरोध भेज देती है।
इस शुरुआत के साथ मौजूदा SageMaker HyperPod Inference Gateway के ऊपर रूटिंग की एक दूसरी परत जुड़ गई है। क्लस्टर-स्तरीय यह गेटवे अब भी की-वैल्यू (KV) कैश के उपयोग और कतार की लंबाई जैसे संकेतों के आधार पर अलग-अलग मॉडल पॉड चुनता है। नई वैश्विक परत पहले क्लस्टर चुनती है, जबकि पॉड का चयन पहले की तरह ही होता है।
AWS क्षमता के उपयोग से जुड़ी एक समस्या का समाधान कर रहा है: एक संतृप्त क्लस्टर पर अनुरोध कतार में लग सकते हैं, जबकि कहीं और पहले से उपलब्ध कराए गए GPU निष्क्रिय पड़े रहते हैं। दो क्षेत्रों में पाँच क्लस्टरों पर चार मॉडल चलाने के उदाहरण में, हर मॉडल के लिए अलग-अलग सेवा देने पर क्लाइंट को 20 एंडपॉइंट ट्रैक करने पड़ते हैं। क्लस्टर-स्तरीय गेटवे इस संख्या को घटाकर पाँच कर देते हैं, जबकि वैश्विक गेटवे से केवल एक एंडपॉइंट मिलता है। यह प्रबंधित परत इस रूटिंग के लिए लोड बैलेंसर, DNS और क्षेत्रों के बीच नेटवर्किंग बनाने और बनाए रखने की ज़रूरत खत्म करती है। साथ ही, यह चरम ट्रैफ़िक को उपलब्ध क्षमता वाले क्लस्टरों की ओर भेजने देती है।
कॉन्फ़िगर करने योग्य क्लस्टर चयन
ऑपरेटर, भाग लेने वाले प्रत्येक क्लस्टर को प्रकाशित करने के लिए यह विकल्प सक्षम करता है spec.globalRouting उसके मौजूदा में InferenceGatewayConfig, फिर यह कॉल करता है CreateGlobalInferenceGateway उन क्लस्टरों के साथ जिन्हें एक समूह में रखना है। प्रकाशित करने पर ग्राहक के खाते में Network Load Balancer, वर्चुअल प्राइवेट क्लाउड (VPC) एंडपॉइंट सेवा और प्रमाणपत्र संसाधन बनते हैं। अप्रकाशित क्लस्टर को सफलतापूर्वक जोड़ा नहीं जा सकता।
क्लाइंट, AWS Signature Version 4 (SigV4) से हस्ताक्षरित OpenAI-संगत अनुरोध क्षेत्रीय एंडपॉइंट पर भेजते हैं। गेटवे अनुरोधकर्ता की पहचान सत्यापित करके एक स्वस्थ क्लस्टर चुनता है; AWS PrivateLink अनुरोध को क्षेत्र के भीतर या क्षेत्रों के बीच पहुँचाता है; और क्लस्टर का Inference Gateway मॉडल पॉड चुनता है। SageMaker रूटिंग फ़्लीट, निजी एंडपॉइंट, प्रमाणपत्र सत्यापन, स्वास्थ्य जाँच, प्रमाणीकरण और अनुरोध-दर सीमित करने की प्रक्रिया संचालित करता है। हर क्लस्टर पर सेवा-प्रबंधित प्रकाशक लोड मेट्रिक्स उपलब्ध कराता है।
हर अनुरोध के लिए गेटवे चार कॉन्फ़िगर करने योग्य संकेतों के आधार पर स्वस्थ क्लस्टरों को स्कोर देता है:
| संकेत | यह क्या मापता है | डिफ़ॉल्ट भार |
|---|---|---|
KVHeadroom |
क्लस्टर पर उपलब्ध KV कैश और GPU मेमोरी | 0.20 |
QueueDepth |
क्लस्टर पर लंबित काम की मात्रा | 0.25 |
RegionProximity |
क्लस्टर और गेटवे के क्षेत्र के बीच की दूरी | 0.40 |
ErrorRate |
क्लस्टर पर हाल में विफल हुए अनुरोध | 0.15 |
डिफ़ॉल्ट सेटिंग बदलने वाले ग्राहकों को चारों भार तय करने होंगे। इनके मान 0.0 से 1.0 के बीच होने चाहिए और इनका कुल 1.0 होना चाहिए। किसी संकेत को शून्य मान देकर निष्क्रिय किया जा सकता है। UpdateGlobalInferenceGateway नई सेटिंग लागू किए बिना ही नए अनुरोधों के लिए भारांकन बदलता है, जबकि पहले से जारी अनुरोध पुरानी सेटिंग के तहत पूरे होते हैं। AWS का कहना है कि निकटता के बजाय लचीलेपन को प्राथमिकता देने वाले कार्यभार बढ़ा सकते हैं ErrorRate और घटा सकते हैं RegionProximity.
विफलता की स्थिति में ट्रैफ़िक स्थानांतरण और गोपनीयता
गेटवे हर क्लस्टर की स्वास्थ्य-जाँच करता है और किसी क्लस्टर के विफल होने पर, क्लाइंट में बदलाव किए बिना, ट्रैफ़िक को अगले सबसे उपयुक्त क्लस्टर की ओर भेज देता है। ठीक होकर लौटे क्लस्टर पर ट्रैफ़िक धीरे-धीरे फिर से बढ़ाया जाता है। स्ट्रीमिंग शुरू न हुई हो तो विफल अनुरोध को किसी दूसरे क्लस्टर पर एक बार फिर भेजा जाता है; कोई भी क्लस्टर स्वस्थ न रहने पर गेटवे HTTP 503 लौटाता है। स्वस्थ क्लस्टर जोड़ने से एंडपॉइंट नहीं बदलता और न ही दूसरे क्लस्टरों का काम बाधित होता है। किसी क्लस्टर को हटाने पर उस पर नए अनुरोध भेजना बंद हो जाता है, लेकिन पहले से जारी काम पूरा होने दिया जाता है।
IAM, सामान्य और स्ट्रीमिंग इन्फ़रेंस अनुरोधों को अलग-अलग नियंत्रित करता है। ग्राहक JSON Web Tokens का इस्तेमाल करें तो वे SigV4 हस्ताक्षर के भीतर भेजे जाते हैं। अनुरोध केवल AWS PrivateLink के ज़रिए क्लस्टरों तक पहुँचते हैं। AWS के अनुसार, गेटवे प्रॉम्प्ट या जनित प्रतिक्रियाओं को लॉग या संग्रहित नहीं करता। वैश्विक गेटवे हटाने पर उसका एंडपॉइंट बंद हो जाता है, लेकिन हर क्लस्टर का अपना एंडपॉइंट काम करता रहता है।
Bagelcode के AI Platform उपाध्यक्ष Jinhyung Park ने AWS की घोषणा में कहा कि बीटा परीक्षणों के दौरान गेटवे ने दो क्षेत्रों के बीच अनुरोध भेजे और तब भी सेवा जारी रखी, जब एक क्लस्टर मॉडल चलाने में असमर्थ हो गया। इससे कंपनी की छोटी प्लेटफ़ॉर्म टीम को अपनी रूटिंग परत बनाए या संचालित किए बिना क्षेत्रों के बीच विफलता की स्थिति में अनुरोध दूसरे क्लस्टर पर भेजने की सुविधा मिली।
उपलब्धता और माइग्रेशन
यह सेवा 13 क्षेत्रों में उपलब्ध है: अमेरिका पूर्व (उत्तरी वर्जीनिया और ओहायो), अमेरिका पश्चिम (उत्तरी कैलिफ़ोर्निया और ओरेगन), दक्षिण अमेरिका (साओ पाउलो), यूरोप (फ्रैंकफर्ट, आयरलैंड, लंदन और स्टॉकहोम) और एशिया प्रशांत (टोक्यो, मुंबई, सिंगापुर और सिडनी)।
AWS की सलाह है कि एक ही क्लस्टर इस्तेमाल करने वाले ग्राहक क्लस्टर के Inference Gateway एंडपॉइंट का उपयोग जारी रखें और दूसरा क्लस्टर जोड़ते समय वैश्विक सेवा अपनाएँ। क्लाइंट को माइग्रेट करने के दौरान हर क्लस्टर का मौजूदा एंडपॉइंट अनुरोध संभालता रहता है। केवल एक क्षेत्र के क्लस्टरों वाला गेटवे भी कार्यभार को उसी क्षेत्र में बनाए रख सकता है। किसी गेटवे में शामिल न किया गया प्रकाशित क्लस्टर कोई ट्रैफ़िक प्राप्त नहीं करता, जबकि उसका Network Load Balancer चलता रहता है और शुल्क लगता रहता है।
निकटता, क्षमता और विफलता के संकेतों को एक ही नीति में शामिल करके, यह सेवा अन्यथा निष्क्रिय पड़ी GPU क्षमता के उपयोग को नेटवर्किंग की अलग परियोजना के बजाय कॉन्फ़िगरेशन संबंधी निर्णय बना देती है।












