एआई मॉडल और प्लेटफ़ॉर्म
AWS ने SageMaker AI के इन्फ़रेंस एंडपॉइंट्स के लिए डिफ़ॉल्ट निगरानी सक्षम की

मुख्य बिंदुडिफ़ॉल्ट मॉनिटरिंग लेटेंसी ड्रिफ्ट और निष्क्रिय GPU को फ़्लैग करती है, बिना…
और देखें
- डिफ़ॉल्ट मॉनिटरिंग लेटेंसी ड्रिफ्ट और निष्क्रिय GPU को फ़्लैग करती है, बिना उपयोगकर्ताओं को पहले से थ्रेशोल्ड सेट करने की आवश्यकता के।
- निष्कर्ष एक एजेंटिक SageMaker Studio वर्कफ़्लो खोलते हैं जो उत्पादन परिवर्तनों से पहले अलग कंप्यूट पर विकल्पों का बेंचमार्क करता है।
- मॉनिटरिंग अतिरिक्त GPU लागत से मुक्त है और इसे OPT_OUT_TRACKING पर्यावरण चर के माध्यम से अक्षम किया जा सकता है।
Amazon Web Services (AWS) ने 19 नवंबर, 2026 को पात्र Amazon SageMaker AI जनरेटिव AI इन्फ़रेंस एंडपॉइंट्स के लिए डिफ़ॉल्ट निगरानी सक्षम की। इसके तहत विलंबता में बदलाव, निष्क्रिय GPU क्षमता और सर्विंग के छूटे हुए अनुकूलनों के बारे में AWS Health फ़ाइंडिंग जोड़ी गईं।
vLLM सर्विंग कंटेनर और GPU इंस्टेंस इस्तेमाल करने वाले एंडपॉइंट्स पर इस निगरानी के लिए किसी सेटअप की ज़रूरत नहीं होती। यह एंडपॉइंट-स्तर की विलंबता, GPU का उपयोग और सर्विंग कॉन्फ़िगरेशन को पढ़ती है, अनुरोध या जवाब की सामग्री को नहीं। इसका उद्देश्य तैनाती के बाद होने वाले धीरे-धीरे बदलावों का पता लगाना है, जो ट्रैफ़िक, प्रॉम्प्ट की लंबाई, सर्विंग सॉफ़्टवेयर और मॉडल की संसाधन-ज़रूरतों में बदलाव के साथ आते हैं।
यह घोषणा जनरेटिव AI इन्फ़रेंस के अनुकूलन से जुड़ी उन सिफ़ारिशों को आगे बढ़ाती है जिन्हें AWS ने 22 अप्रैल, 2026 को पेश किया था। उस कार्यप्रवाह में उपयोगकर्ता लागत, विलंबता या थ्रूपुट में से किसी एक को लक्ष्य चुन सकते हैं, अधिकतम तीन इंस्टेंस प्रकारों की तुलना कर सकते हैं और NVIDIA AIPerf की मदद से वास्तविक GPU पर कॉन्फ़िगरेशन का बेंचमार्क कर सकते हैं। यह मौजूदा उत्पादन एंडपॉइंट्स के बेंचमार्क का भी समर्थन करता है; नई परत उपयोगकर्ता की पहल पर होने वाली इस निर्णय-प्रक्रिया में निरंतर निगरानी और सूचनाएँ जोड़ती है।
निगरानी से किन बातों का पता चलता है
विलंबता में बदलाव से जुड़ी फ़ाइंडिंग, एंडपॉइंट की पिछले सप्ताह की अपनी स्थिति के साथ एंड-टू-एंड विलंबता के माध्यिका मान (p50) और पहले टोकन तक पहुँचने के माध्यिका समय की तुलना करती हैं। आधाररेखा ऐतिहासिक होने के कारण उपयोगकर्ताओं को पहले से कोई सीमा तय करने की ज़रूरत नहीं होती। इसके बाद होने वाले बेंचमार्क में टेन्सर समानांतरता की सेटिंग और वैकल्पिक इंस्टेंस प्रकारों या आकारों को परखा जाता है।
अन्य फ़ाइंडिंग में ऐसे GPU शामिल हैं जो अपनी क्षमता से काफ़ी कम उपयोग में रहते हैं, समर्थित होने के बावजूद बंद रखा गया स्पेक्युलेटिव डिकोडिंग, बिना ट्यून किए GPU कर्नेल, और ऐसे सर्विंग कंटेनर जिनमें प्रदर्शन सुधारने वाले नए अपडेट या गंभीर और उच्च-गंभीरता वाली कमजोरियों के पैच मौजूद नहीं हैं। अनुपयोगी क्षमता के मामले में, बेंचमार्क देखे गए अधिकतम ट्रैफ़िक के दौरान कम लागत वाले इंस्टेंस प्रकारों और छोटे आकारों को परखता है। जहाँ लागू हो, कॉन्फ़िगरेशन परीक्षण मौजूदा सेटअप की तुलना स्पेक्युलेटिव डिकोडिंग चालू करने, कर्नेल ट्यून करने या कंटेनर अपडेट करने से करते हैं।
AWS के उदाहरण पूरे फ़्लीट के माप नहीं, बल्कि प्रक्रिया समझाने वाले उदाहरण हैं: एक में पहले टोकन तक पहुँचने का माध्यिका समय सप्ताह-दर-सप्ताह लगभग 200 मिलीसेकंड बढ़ा हुआ दिखाया गया है, जबकि दूसरे में बताया गया है कि सप्ताह के अधिकांश समय सबसे व्यस्त GPU भी अपनी क्षमता के 12% या उससे कम पर काम कर रहा था।
हेल्थ अलर्ट से बेंचमार्क तक
फ़ाइंडिंग AWS Health और ईमेल के ज़रिए भेजी जाती हैं। हर एंडपॉइंट के लिए एक समय में अधिकतम एक सूचना आती है, जिसमें उस पर लागू सभी फ़ाइंडिंग शामिल होती हैं। AWS एक खाते को एक बार में मिलने वाली सूचनाओं की संख्या सीमित करता है, और सूचनाएँ एंडपॉइंट के AWS क्षेत्र के अनुसार होती हैं।
सूचना में बताया जाता है कि क्या देखा गया, वह विलंबता, क्षमता या लागत के लिए क्यों मायने रखता है और कौन-सी कार्रवाई सुझाई जाती है; अनुमानों को स्पष्ट रूप से अनुमान के रूप में चिह्नित किया जाता है। यह केवल एक अवलोकन है, पूरा किया हुआ बेंचमार्क नहीं। सुझाई गई कार्रवाई SageMaker Studio में एजेंट-आधारित अनुभव खोलती है, जिसमें एंडपॉइंट और उससे जुड़ा देखा गया ट्रैफ़िक पहले से भरा होता है।
उपयोगकर्ता की पुष्टि के बाद एजेंट, एंडपॉइंट के मॉडल और उसके मेट्रिक्स से तैयार किए गए ट्रैफ़िक प्रोफ़ाइल का इस्तेमाल करके संपादन योग्य SageMaker Python SDK नोटबुक बनाता है। नोटबुक सिफ़ारिश कार्य को AWS Health इवेंट से टैग करती है, ताकि परिणामों का संबंध फ़ाइंडिंग से जोड़ा जा सके। यह कार्य अलग कंप्यूट संसाधनों का इस्तेमाल करके मौजूदा कॉन्फ़िगरेशन की विकल्पों से प्रतिक्रिया समय, थ्रूपुट और प्रति दस लाख टोकन लागत के आधार पर तुलना करता है; उपयोगकर्ता परिणाम लागू करे, तभी उत्पादन वातावरण में बदलाव होता है।
AWS का सुझाव है कि चुने गए कॉन्फ़िगरेशन को पहले उत्पादन के किसी एक वैरिएंट पर लागू करें और मौजूदा कॉन्फ़िगरेशन को वापस लौटने के विकल्प के रूप में उपलब्ध रखें। किसी फ़ाइंडिंग पर कार्रवाई रोक देना या उसे ख़ारिज करना भी सामान्य परिणाम है, और सूचना AWS Health के इवेंट इतिहास में बनी रहती है।
लागत और सुविधा बंद करने के विकल्प
निगरानी पर GPU का कोई अतिरिक्त खर्च नहीं आता। बेंचमार्क के लिए SageMaker AI की सामान्य दरें लागू होती हैं या पहले से मौजूद मशीन-लर्निंग आरक्षण का उपयोग किया जाता है। किसी फ़ाइंडिंग पर कार्रवाई करने के लिए SageMaker Studio डोमेन, सिफ़ारिश कार्य चलाने और एंडपॉइंट अपडेट करने की AWS Identity and Access Management अनुमतियाँ, और बेंचमार्क इंस्टेंस का पर्याप्त कोटा आवश्यक है।
ग्राहक AWS User Notifications के ज़रिए सूचनाओं का प्रबंधन कर सकते हैं और चाहें तो हर महीने जैसे नियमित अंतराल पर सिफ़ारिशें चलाने का समय तय कर सकते हैं। सेट करना OPT_OUT_TRACKING मॉडल कंटेनर पर पर्यावरण चर उस एंडपॉइंट के इंजन मेट्रिक्स, GPU मेट्रिक्स और स्टार्टअप कॉन्फ़िगरेशन की जानकारी का संग्रह रोक देता है और उसकी सूचनाएँ भी बंद कर देता है।
किसी अनुकूलन का समर्थन होने से लाभ की गारंटी नहीं मिलती। AWS के अनुसार, स्पेक्युलेटिव डिकोडिंग के नतीजे समवर्ती अनुरोधों की संख्या और प्रॉम्प्ट तथा जवाब की लंबाई पर निर्भर करते हैं; अधिकतम और कम ट्रैफ़िक के समय नतीजे अलग हो सकते हैं। यही अंतर इस सुविधा की व्यावहारिक भूमिका तय करता है: डिफ़ॉल्ट टेलीमेट्री चेतावनी देती है, जबकि बेंचमार्क यह जाँचता है कि संभावित बचत या गति में बढ़ोतरी उस ट्रैफ़िक के दौरान भी मिलती है या नहीं जो सबसे ज़्यादा मायने रखता है।












