एआई मॉडल और प्लेटफ़ॉर्म
SageMaker AI कंटेनर द्वारा बताई गई GPU कैश स्थिति के आधार पर अनुरोधों को रूट करता है

मुख्य बिंदुKV-जागरूक रूटिंग कंटेनर-रिपोर्टेड निष्कासनों को ट्रैक करके कैश हिट दरों को 3–48% से…
और देखें
- KV-जागरूक रूटिंग कंटेनर-रिपोर्टेड निष्कासनों को ट्रैक करके कैश हिट दरों को 3–48% से 80–93% तक बढ़ाती है।
- मॉडल विलंबता में सुधार होने पर भी रूटिंग ओवरहेड CloudWatch OverheadLatency में 14 से 19 मिलीसेकंड जोड़ता है।
- इस सुविधा का कोई भी रूटिंग प्रभाव पड़ने के लिए कम से कम दो इंस्टेंस या इन्फरेंस-कंपोनेंट प्रतियाँ आवश्यक हैं।
Amazon Web Services ने 17 नवंबर, 2026 को KV कैश-अवेयर रूटिंग को Amazon SageMaker AI के रियल-टाइम एंडपॉइंट के लिए पेश किया। इसमें अनुरोधों को भेजने के लिए कंटेनर द्वारा बताई गई कैश स्थिति का उपयोग किया जाता है। AWS के अनुसार, लोड के तहत लंबे प्रॉम्प्ट वाले परीक्षणों में रैंडम रूटिंग की तुलना में पहला टोकन मिलने का औसत समय 97% तक कम हुआ और थ्रूपुट 234% तक बढ़ा।
KV कैश, पहले किए गए प्रॉम्प्ट के कंप्यूटेशन को GPU मेमोरी में रखता है, ताकि मॉडल समान इनपुट टोकन की शुरुआती प्रोसेसिंग—या प्रीफ़िल—दोहराने के बजाय उनका फिर से उपयोग कर सके। इसलिए चैट असिस्टेंट, रिट्रीवल-ऑगमेंटेड जनरेशन और लंबे सिस्टम प्रॉम्प्ट वाले एजेंटों के लिए कैश कहाँ रखा जाता है, यह अहम है: अनुरोध को किसी दूसरी जगह भेजने से इंस्टेंस को उस संदर्भ का दोबारा कंप्यूटेशन करना पड़ सकता है, जो किसी अन्य GPU में पहले से मौजूद है।
बताई गई कैश स्थिति के आधार पर रूटिंग
SageMaker AI की मौजूदा प्रीफ़िक्स-अवेयर रणनीति, अनुरोध के एक निश्चित प्रीफ़िक्स से कैश की जगह का अनुमान लगाती है। यह कैश से हटाई गई प्रविष्टियों का पता नहीं लगा सकती, और बढ़ती बातचीत के शुरुआती टर्न के हैश अलग-अलग हो सकते हैं, जिससे वे अलग-अलग इंस्टेंस पर पहुँच सकते हैं। इसके बजाय, KV-अवेयर रूटिंग मॉडल कंटेनर से मिलने वाली उन घटनाओं का उपयोग करती है, जो कैश प्रविष्टियाँ संग्रहीत या हटाए जाने पर उत्पन्न होती हैं।
यह सेवा एक प्रबंधित इंडेक्स रखती है, जिसमें एकतरफ़ा ट्रंकेट किए गए हैश को इंस्टेंस या इन्फ़रेंस-कंपोनेंट प्रतियों से जोड़ा जाता है। इसमें प्रॉम्प्ट, टोकन ID, अनुरोध पेलोड या KV टेंसर संग्रहीत नहीं किए जाते। आने वाले हर प्रॉम्प्ट को टोकनाइज़ करके इस इंडेक्स से मिलाया जाता है। एंडपॉइंट कैश में मौजूद सबसे लंबे मिलान का आकलन इंस्टेंस के लोड के साथ करता है और उन उम्मीदवारों को छोड़ देता है जिन पर बहुत अधिक काम का बोझ है।
अगर खोज में अधिक समय लगे, कोई उपयोगी मिलान न मिले या मिलान वाले सभी इंस्टेंस व्यस्त हों, तो अनुरोध कम से कम लंबित अनुरोधों वाली रूटिंग पर चला जाता है और फिर भी पूरा किया जाता है। क्षमता घटाने पर हटाए गए इंस्टेंस की इंडेक्स प्रविष्टियाँ निकाल दी जाती हैं, जबकि नए या बदले गए इंस्टेंस के कैश खाली होते हैं। इससे कैश दोबारा भरने और कोल्ड-स्टार्ट के दौरान अस्थायी विलंब हो सकता है।
बेंचमार्क में बढ़त और रूटिंग का अतिरिक्त खर्च
AWS के अनुसार, उसके 30 मिनट के परीक्षणों में सात ml.p5.48xlarge इंस्टेंस पर Llama 3.1 70B Instruct चलाया गया। इनमें 20 या 100 सिम्युलेट किए गए उपयोगकर्ता, कई टर्न वाली चैट और दस्तावेज़ों पर सवाल-जवाब के सत्र थे; प्रॉम्प्ट लगभग 64,000 टोकन तक के थे। KV-अवेयर रूटिंग के साथ कैश हिट दर 80–93% रही, जबकि रैंडम रूटिंग में यह 3–48% थी। परिणाम वर्कलोड पर निर्भर करते हैं, और छोटे प्रॉम्प्ट से सबसे कम लाभ हुआ, क्योंकि उनमें दोबारा इस्तेमाल करने के लिए प्रीफ़िल कंप्यूटेशन कम होता है।
रूटिंग के लिए की जाने वाली खोज से टोकनाइज़ेशन और इंडेक्स प्रोसेसिंग का अतिरिक्त खर्च जुड़ता है: छोटे प्रॉम्प्ट के लिए कुछ मिलीसेकंड और लंबे प्रॉम्प्ट के लिए इससे अधिक। सामान्य, केवल-पाठ वाले अनुरोधों में कंप्यूट किए गए टोकन मॉडल को भेज दिए जाते हैं, जिससे दूसरी बार टोकनाइज़ेशन की ज़रूरत नहीं पड़ती। AWS की दो इंस्टेंस वाली अलग Qwen3-4B-Instruct-2507 तुलना में, औसत CloudWatch OverheadLatency—जो मॉडल कंटेनर के बाहर SageMaker AI द्वारा बिताया गया समय मापता है—KV-अवेयर रूटिंग के साथ 14 से 19 मिलीसेकंड अधिक थी, जबकि मॉडल लेटेंसी और पहला टोकन मिलने का समय बेहतर हुआ।
डिप्लॉयमेंट की आवश्यकताएँ और दृश्यता
लॉन्च के समय, इस सुविधा के लिए SageMaker AI हेतु AWS vLLM डीप लर्निंग कंटेनर में vLLM 0.33.0 या उसके बाद का संस्करण, या Amazon Linux server-sagemaker-cuda-v2.8.0 बिल्ड या बाद का संस्करण आवश्यक है। प्रीफ़िक्स कैशिंग और KV कैश इवेंट चालू होने चाहिए। ग्राहक सेट करते हैं SM_VLLM_KV_EVENTS_CONFIG मॉडल पर और RoutingStrategy को KV_AWARE प्रोडक्शन वैरिएंट में, क्लाइंट कॉल में बदलाव किए बिना।
यह GPU-आधारित रियल-टाइम सिंगल-मॉडल और इन्फ़रेंस-कंपोनेंट एंडपॉइंट का समर्थन करता है, जिनमें डायनेमिक लो-रैंक अडैप्टेशन अडैप्टर भी शामिल हैं। रूटिंग के लिए सिंगल-मॉडल एंडपॉइंट में कम से कम दो इंस्टेंस या इन्फ़रेंस-कंपोनेंट की दो प्रतियाँ आवश्यक हैं; केवल एक डेस्टिनेशन होने पर इस सेटिंग का रूटिंग पर कोई प्रभाव नहीं पड़ता। अनुरोधों में समर्थित इनवोकेशन API के माध्यम से OpenAI-संगत Completions या Chat Completions पेलोड का उपयोग होना चाहिए, और InvokeEndpointWithBidirectionalStream समर्थित नहीं है।
लॉन्च के समय KV-अवेयर रूटिंग के लिए कोई समर्पित मेट्रिक्स या ग्राहक खाते के स्तर पर रूटिंग-निर्णय लॉग नहीं हैं, और फ़ॉलबैक SageMaker AI कंसोल या मेट्रिक्स में दिखाई नहीं देते। ग्राहक देख सकते हैं usage.prompt_tokens_details.cached_tokens प्रॉम्प्ट-टोकन विवरण चालू करने के बाद, और विस्तृत ऑब्ज़र्वेबिलिटी तथा CloudWatch के ज़रिए कैश हिट दर और पहला टोकन मिलने का समय जैसी कंटेनर मेट्रिक्स पर नज़र रख सकते हैं।
यह सुविधा उन सभी वाणिज्यिक AWS क्षेत्रों में उपलब्ध है जहाँ समर्थित कंटेनर के साथ SageMaker AI रियल-टाइम इन्फ़रेंस की सुविधा मिलती है। एंडपॉइंट के इंस्टेंस के अतिरिक्त कोई शुल्क नहीं है। AWS स्थिर, साझा प्रॉम्प्ट, छोटे संदर्भ और मध्यम लोड के लिए प्रीफ़िक्स-अवेयर रूटिंग को अब भी सरल विकल्प बताता है। KV-अवेयर रूटिंग लंबे, दोबारा इस्तेमाल किए जा सकने वाले संदर्भ, मेमोरी पर दबाव और बार-बार कैश प्रविष्टियाँ हटाए जाने की समस्या को संबोधित करती है। इस तरह हर वर्कलोड के लिए बुनियादी ढाँचे का एक स्पष्ट संतुलन सामने आता है: GPU पर प्रीफ़िल का बचाया गया काम बनाम हर अनुरोध पर रूटिंग का अतिरिक्त खर्च।












