एआई मॉडल और प्लेटफ़ॉर्म
Amazon SageMaker AI ने क्षेत्रीय फ़ेलओवर राउटर को आम तौर पर उपलब्ध कराया

मुख्य बिंदुराउटर फेलओवर इंजीनियरिंग को SageMaker AI में स्थानांतरित करता है, लेकिन ग्राहकों को अभी…
और देखें
- राउटर फेलओवर इंजीनियरिंग को SageMaker AI में स्थानांतरित करता है, लेकिन ग्राहकों को अभी भी कहीं और अतिरिक्त क्षमता के लिए भुगतान करना होगा।
- हेल्थ स्कोर मॉडल विलंबता को अनदेखा करते हैं, इसलिए सफल प्रतिक्रियाएँ देने वाले एंडपॉइंट धीमे होने के बावजूद अपना ट्रैफ़िक बनाए रखते हैं।
- ग्राहक वेट थ्रेशोल्ड या फेलओवर समय निर्धारित नहीं कर सकते क्योंकि राउटर सभी रूटिंग निर्णयों को स्वचालित रूप से नियंत्रित करता है।
Amazon Web Services ने 19 नवंबर, 2026 को क्रॉस-रीजन इन्फ़रेंस रूटिंग को आम तौर पर उपलब्ध कराया। इससे एप्लिकेशन Amazon SageMaker AI में एक ही राउटर के ज़रिए AWS के विभिन्न क्षेत्रों और खातों में मौजूद मॉडल सर्विंग संसाधनों तक पहुँच सकते हैं, जब स्थानीय क्षमता कम पड़ जाती है।
SageMaker AI एंडपॉइंट एक क्षेत्र और एक खाते में चलता है। जब ऑटोस्केलिंग आवश्यक इंस्टेंस प्रकार नहीं जोड़ पाती, तो अनुरोध सीमित हो सकते हैं और समय-सीमा समाप्त होने पर विफल हो सकते हैं—भले ही उसी मॉडल की अतिरिक्त क्षमता कहीं और उपलब्ध हो। प्रबंधित एंडपॉइंट इस्तेमाल करने वाले ग्राहकों को पहले क्रॉस-रीजन रूटिंग खुद बनानी पड़ती थी, जिसमें विफलता का पता लगाना, सुरक्षित रीट्राई, रिकवरी प्रबंधन और क्रॉस-अकाउंट ऐक्सेस शामिल थे।
नया क्षेत्रीय इन्फ़रेंस राउटर हर तार्किक मॉडल के लिए नाम वाला रूटिंग लक्ष्य इस्तेमाल करता है। किसी लक्ष्य में विभिन्न क्षेत्रों और खातों के रीयल-टाइम एंडपॉइंट और इन्फ़रेंस कंपोनेंट शामिल हो सकते हैं, या उसमें केवल एसिंक्रोनस एंडपॉइंट हो सकते हैं। एप्लिकेशन राउटर के ज़रिए लक्ष्य को कॉल करता है। मॉडल, एंडपॉइंट कॉन्फ़िगरेशन, इंस्टेंस पूल, कंटेनर और ऑटोस्केलिंग पहले जैसे ही रहते हैं, और सीधे InvokeEndpoint कॉल भी काम करते रहते हैं। राउटर क्षमता नहीं बनाता, मॉडल तैनात नहीं करता और एंडपॉइंट का आकार नहीं बढ़ाता, इसलिए हर गंतव्य अपने क्षेत्र में पहले से चालू होना चाहिए।
स्वास्थ्य संकेतों के आधार पर फ़ेलओवर
राउटर अपने ही क्षेत्र के स्वस्थ गंतव्यों को प्राथमिकता देता है और वहाँ मौजूद कई स्वस्थ गंतव्यों के बीच अनुरोध समान रूप से बाँटता है। उसका स्वास्थ्य स्कोर हर गंतव्य के क्षेत्र में मापे गए हाल के अनुरोधों पर आधारित होता है: सर्वर त्रुटियाँ, अनुरोध-दर सीमित होना और समय-सीमा पार होना स्कोर घटाते हैं; प्लेटफ़ॉर्म की त्रुटियाँ इसे सबसे अधिक घटाती हैं; जबकि अमान्य इनपुट जैसी अनुरोध के कारण हुई विफलताएँ ऐसा नहीं करतीं। मॉडल की प्रतिक्रिया में लगने वाला समय इस स्कोर में शामिल नहीं होता, इसलिए सफल प्रतिक्रियाएँ देना जारी रखने वाले एंडपॉइंट को उसका ट्रैफ़िक मिलता रहता है। SageMaker AI प्रकाशित करता है healthy, overloaded और degraded CloudWatch पर स्थितियाँ; अधिक भार वाले गंतव्यों का कुछ ट्रैफ़िक कम कर दिया जाता है, जबकि खराब स्थिति वाले गंतव्यों को ट्रैफ़िक का केवल छोटा हिस्सा मिलता है, ताकि राउटर उनकी रिकवरी का पता लगा सके।
AWS के अनुसार, लगातार त्रुटियाँ होने पर लगभग एक मिनट के भीतर ट्रैफ़िक दूसरी ओर भेजना शुरू हो जाता है; कम ट्रैफ़िक वाले गंतव्यों के मामले में इसमें अधिक समय लग सकता है। रिकवरी के बाद ट्रैफ़िक कई मिनटों में वापस आता है। ग्राहक भार-वितरण के अनुपात, फ़ॉलबैक का क्रम, सीमाएँ या फ़ेलओवर का समय तय नहीं कर सकते। दूरस्थ गंतव्यों की स्वास्थ्य जानकारी पुरानी पड़ जाने पर राउटर अपने क्षेत्र में ही ट्रैफ़िक रखता है।
रीयल-टाइम इन्फ़रेंस में अनुरोध दोबारा भेजने के नियम अधिक सीमित हैं। राउटर किसी दूसरे गंतव्य पर केवल एक बार फिर कोशिश करता है, और वह भी तभी जब मॉडल चला ही न हो। इसमें अनुरोध-दर सीमित होने, 503 त्रुटि आने, मॉडल तैयार न होने, ट्रैफ़िक सीमा के कारण अनुरोध अस्वीकार होने या गंतव्य तक पहुँच न मिलने की स्थिति शामिल है। समय-सीमा पार होने, 500 त्रुटि आने या मॉडल की त्रुटि होने पर यह कभी अनुरोध दोबारा नहीं भेजता। एसिंक्रोनस अनुरोध हर पात्र गंतव्य पर एक-एक बार भेजे जाते हैं—पहले स्थानीय गंतव्यों पर—जब तक कि कोई एक अनुरोध स्वीकार न कर ले।
हर रीयल-टाइम प्रतिक्रिया में सेवा देने वाले गंतव्य की पहचान होती है InvokedRoutedResourceArn और यह भी दिया जाता है RoutingReason का local-preferred, capacity-available, failover या only-healthy। CloudWatch में OpenTelemetry मेट्रिक्स से हर गंतव्य के अनुरोधों और त्रुटियों, गंतव्य पर लगने वाले समय, राउटर और विभिन्न क्षेत्रों के बीच नेटवर्क के अतिरिक्त ओवरहेड, तथा स्वास्थ्य की जानकारी मिलती है। एसिंक्रोनस प्रतिक्रियाओं में गंतव्य का नाम नहीं दिया जाता, हालाँकि CloudWatch मेट्रिक्स दिखाते हैं कि अनुरोध कहाँ भेजे गए थे।
क्षमता और पहुँच नियंत्रण एंडपॉइंट के मालिकों के पास ही रहते हैं
अतिरिक्त ट्रैफ़िक के कारण अनुरोध पाने वाले एंडपॉइंट पर अनुरोध-दर सीमित हो सकती है। डिफ़ॉल्ट रूप से, रीयल-टाइम एंडपॉइंट विभिन्न क्षेत्रों से आने वाले ट्रैफ़िक की कोई भी मात्रा स्वीकार करता है। वैकल्पिक सीमा के ज़रिए उसका मालिक लोड-परीक्षण से तय की गई प्रति-इंस्टेंस अनुरोध दर और अन्य क्षेत्रों के लिए उपलब्ध अधिकतम प्रतिशत तय कर सकता है। उपलब्ध सीमा सेवा में मौजूद इंस्टेंस की संख्या के अनुसार बदलती है, जिसमें ऑटोस्केलिंग से होने वाले बदलाव भी शामिल हैं। AWS के उदाहरण में, प्रति इंस्टेंस प्रति सेकंड 50 अनुरोध, 20% की सीमा और चार इंस्टेंस होने पर विभिन्न क्षेत्रों से प्रति सेकंड 40 अनुरोधों की अनुमति मिलती है। दो इंस्टेंस और जुड़ने पर यह संख्या बढ़कर 60 हो जाती है।
इस सीमा में केवल दूसरे क्षेत्रों से आए अनुरोध गिने जाते हैं; एंडपॉइंट के अपने क्षेत्र से आने वाले कॉल इस व्यवस्था के तहत कभी सीमित नहीं किए जाते। अतिरिक्त अनुरोध मॉडल चलने से पहले ही अस्वीकार कर दिए जाते हैं और उन्हें किसी दूसरी जगह एक बार फिर भेजा जाता है। अगर कोई गंतव्य उन्हें स्वीकार न कर सके, तो एप्लिकेशन को अनुरोध-दर सीमित होने की त्रुटि मिलती है। किसी एंडपॉइंट के सभी इन्फ़रेंस कंपोनेंट इस सीमा को साझा करते हैं।
दूसरे खाते के गंतव्यों के लिए, दोनों खातों को अनुरोधों की अनुमति देनी होगी। एंडपॉइंट की नीति पहुँच को किसी एक नामित राउटर तक सीमित कर सकती है, और राउटर कॉल करने वाले को ऐसे एंडपॉइंट तक पहुँच नहीं देता जिसे वह सीधे कॉल नहीं कर सकता।
तैनाती की सीमाएँ और मूल्य निर्धारण
यह सेवा me-south-1 और me-central-1 को छोड़कर अधिकांश व्यावसायिक AWS क्षेत्रों में रीयल-टाइम और एसिंक्रोनस इन्फ़रेंस के लिए आम तौर पर उपलब्ध है। इसमें प्रतिक्रिया स्ट्रीमिंग की सुविधा नहीं है। रीयल-टाइम अनुरोधों को गंतव्य से प्रतिक्रिया पाने के लिए लगभग एक मिनट मिलता है, रीयल-टाइम पेलोड अधिकतम 6 MB का हो सकता है, और हर राउटर अधिकतम 20 रूटिंग लक्ष्यों का समर्थन करता है, जिनमें से हर लक्ष्य में अधिकतम 10 गंतव्य हो सकते हैं।
राउटर स्वयं क्षेत्र-विशिष्ट है, इसलिए AWS सुझाव देता है कि प्रवेश-बिंदु की विश्वसनीयता बनाए रखने के लिए दो क्षेत्रों में राउटर बनाए जाएँ और क्लाइंट-साइड पर उनके बीच स्विच किया जाए। डेटा-निवास की सीमाओं को भी स्पष्ट रूप से कॉन्फ़िगर करना ज़रूरी है, क्योंकि अनुरोध को राउटर के क्षेत्र में या पंजीकृत किसी भी गंतव्य के क्षेत्र में संसाधित किया जा सकता है।
रूटिंग के लिए कोई अतिरिक्त शुल्क नहीं है। ग्राहक SageMaker AI के एंडपॉइंट और इन्फ़रेंस-कंपोनेंट की मानक दरें चुकाते हैं, चाहे अनुरोध सीधे आएँ या राउटर के ज़रिए, साथ ही राउटर के मेट्रिक्स और क्वेरी के लिए CloudWatch की मानक दरें भी।
इस लॉन्च के साथ फ़ेलओवर इंजीनियरिंग की ज़िम्मेदारी SageMaker AI पर आ जाती है, जबकि कंप्यूट लागत से जुड़ा मुख्य समझौता ग्राहकों के पास रहता है: किसी एक क्षेत्र में कमी होने पर भी सेवा जारी रखना इस बात पर निर्भर करता है कि दूसरे क्षेत्र में उपयोग योग्य इन्फ़रेंस क्षमता के लिए भुगतान किया जाए और उसे सही जगह पर रखा जाए।












