AWS ने SageMaker Inference Endpoints में NVIDIA GPU विभाजन की सुविधा जोड़ी

Amazon Web Services (AWS) ने 6 नवंबर, 2026 को Amazon SageMaker Inference के लिए NVIDIA Multi-Instance GPU समर्थन की घोषणा की, जिससे रीयल-टाइम एंडपॉइंट पर हर डिप्लॉयमेंट को पूरा GPU देने के बजाय, हार्डवेयर स्तर पर अलग-अलग रखे गए कई मॉडल एक ही एक्सेलरेटर साझा कर सकते हैं।

यह सुविधा पूरा GPU आवंटित करने से जुड़ी दो सीमाओं को दूर करती है। एक्सेलरेटर की संख्या से यह तय होता है कि कोई इंस्टेंस कितने मॉडल होस्ट कर सकता है—भले ही हर मॉडल कितनी ही कम मेमोरी या कंप्यूट क्षमता का उपयोग करे। नए GPU पर विचार करने वाले ग्राहकों को भी पूरा डिवाइस आवंटित करना पड़ता है। इसके बजाय, Multi-Instance GPU (MIG) हर विभाजन को कंप्यूट इकाइयों का एक निश्चित हिस्सा और मेमोरी का एक समर्पित खंड देता है; हार्डवेयर स्तर पर अलगाव सुनिश्चित किया जाता है। हर मॉडल लगातार मेमोरी में मौजूद रहता है, इसलिए यह व्यवस्था उस देरी से भी बचाती है जो पहली बार उपयोग के लिए मल्टी-मॉडल एंडपॉइंट द्वारा किसी मॉडल को साझा डिवाइस पर लोड करने में लगती है।

विभाजन की सुविधा केवल उन रीयल-टाइम एंडपॉइंट के लिए है जो इनफ़रेंस कंपोनेंट का उपयोग करते हैं। SageMaker में यह ऐसी व्यवस्था है जो एक एंडपॉइंट पर कई मॉडल डिप्लॉय करने और हर मॉडल को मिलने वाली कंप्यूट क्षमता तय करने की सुविधा देती है। सिंगल-मॉडल एंडपॉइंट, सर्वरलेस एंडपॉइंट और अलग-अलग तरह के इंस्टेंस वाले पूल का विभाजन नहीं किया जा सकता। एसिंक्रोनस वर्कलोड भी इस सुविधा के दायरे से बाहर हैं, क्योंकि एसिंक्रोनस इनवोकेशन किसी इनफ़रेंस कंपोनेंट को लक्षित नहीं कर सकता।

Salesforce ने आवश्यकताएँ तय करने और शुरुआती कार्यान्वयन को मान्य करने में मदद की। Salesforce में सॉफ़्टवेयर इंजीनियरिंग आर्किटेक्ट Richard Chang ने कहा कि कंपनी को उम्मीद थी कि MIG वर्कलोड को सुरक्षित ढंग से समेकित करेगा, GPU उपयोग को बेहतर बनाएगा और इनफ़रेंस की लागत घटाएगा, साथ ही प्रदर्शन और अलगाव को पूर्वानुमेय बनाए रखेगा। Salesforce प्रतिनिधि प्रोडक्शन वर्कलोड के साथ सॉफ़्टवेयर को मान्य करने की तैयारी कर रहा है, इसलिए ये लाभ अभी अपेक्षाएँ हैं, प्रोडक्शन में हासिल किए गए परिणाम नहीं।

विभाजन को नियंत्रित करने वाले दो API फ़ील्ड

SageMaker AI डेवलपर दस्तावेज़ में दो वैकल्पिक फ़ील्ड बताए गए हैं: AcceleratorPartitionLayouts प्रोडक्शन वैरिएंट पर विभाजन निर्धारित करता है, और AcceleratorPartitionType इनफ़रेंस कंपोनेंट के लिए इस्तेमाल होने वाली प्रोफ़ाइल चुनता है। कोई नया API ऑपरेशन, संसाधन प्रकार या AWS Identity and Access Management कार्रवाई नहीं जोड़ी गई है; दोनों फ़ील्ड छोड़ देने पर एंडपॉइंट का मौजूदा व्यवहार जस का तस रहता है।

चुना गया लेआउट वैरिएंट के हर इंस्टेंस में मौजूद प्रत्येक एक्सेलरेटर पर एकसमान रूप से लागू होता है। AWS के उदाहरण में, एक इंस्टेंस पर मौजूद आठों A100 में से हर एक को ml.p4d.24xlarge में mig-4g.20gb, mig-2g.10gb और mig-1g.5gb विभाजनों में बाँटा जाता है, जिससे पूरे एंडपॉइंट पर 24 विभाजन बनते हैं। इनफ़रेंस कंपोनेंट की हर कॉपी अनुरोधित विभाजन में से एक का उपयोग करती है, जबकि InvokeEndpoint विभाजन पहचानकर्ता के बिना, घटक के नाम से मॉडल तक पहुँचना जारी रखता है। AWS के परीक्षणों के अनुसार, एक्सेलरेटर को विभाजित करने से प्रोविज़निंग में लगभग 17 सेकंड और लगे।

अलगाव में GPU कंप्यूट और मेमोरी शामिल हैं, पूरा होस्ट नहीं। एक ही इंस्टेंस पर मौजूद मॉडल होस्ट का CPU, होस्ट मेमोरी, स्टोरेज, नेटवर्किंग और एंडपॉइंट रूटिंग अब भी साझा करते हैं। लेआउट में मौजूद न होने वाली प्रोफ़ाइल का अनुरोध करने वाले कंपोनेंट को पूरा GPU देने के बजाय अस्वीकार कर दिया जाता है। चालू एंडपॉइंट का लेआउट बदलने के लिए नया एंडपॉइंट बनाना और ट्रैफ़िक माइग्रेट करना पड़ता है; किसी कंपोनेंट को दूसरी प्रोफ़ाइल पर ले जाने के लिए नया कंपोनेंट बनाना पड़ता है।

AWS ने H100 के एक विभाजन की तुलना पूरे A100 से की

AWS ने एक mig-3g.40gb H100 विभाजन की तुलना पूरे A100-40GB से की। इसके लिए प्रोडक्शन SageMaker रीयल-टाइम एंडपॉइंट पर Llama-3.1-8B-Instruct का उपयोग किया गया। दोनों पक्षों में एक मॉडल रेप्लिका, एक जैसे कंटेनर, टोकनाइज़र और क्लाइंट कॉन्फ़िगरेशन थे। genai-bench ने 2 से 512 तक की कॉन्करेंसी पर पाँच तरह के ट्रैफ़िक चलाए। NVIDIA की प्रोफ़ाइल मार्गदर्शिका के अनुसार, परीक्षण की गई H100 प्रोफ़ाइल में सात स्ट्रीमिंग मल्टीप्रोसेसर हिस्सों में से तीन और आठ मेमोरी इकाइयों में से चार आवंटित होते हैं। दोनों कॉन्फ़िगरेशन में मेमोरी क्षमता तुलनीय है, लेकिन कंप्यूट क्षमता का आवंटन अलग-अलग है।

परीक्षणों में AWS ने बताया कि जिस लोड पर हर परिदृश्य का लागत लाभ सबसे अधिक था, वहाँ H100 विभाजन से प्रति सेकंड आउटपुट टोकन की संख्या 53% से 89% अधिक रही। इंटर-टोकन विलंबता 8.9% से 42.1% कम थी, जबकि पहला टोकन मिलने का समय 5.6% से 47.5% कम था। 6,000-टोकन और 8,000-टोकन वाले वर्कलोड में सबसे अधिक कॉन्करेंसी पर, A100 एक-तिहाई से आधे अनुरोधों के लिए सर्विंग की समय-सीमा पूरी नहीं कर पाया, जबकि विभाजन एक भी अनुरोध में विफल नहीं हुआ।

AWS के लागत विश्लेषण में, जिसे सभी मामलों पर लागू होने वाले निष्कर्ष के बजाय हर मामले की अलग तुलना के रूप में पेश किया गया, पाया गया कि वर्कलोड के अनुसार तय ब्रेक-ईवन बिंदु पार होने पर प्रति 10 लाख आउटपुट टोकन की लागत 18% से 34% कम थी। यह बिंदु 100-टोकन प्रॉम्प्ट के लिए 64 की कॉन्करेंसी और 8,000-टोकन प्रॉम्प्ट के लिए 4 की कॉन्करेंसी पर आया। इससे कम पर पूरा A100 सस्ता रहा, इसलिए कम इनपुट वाले या कम कॉन्करेंसी वाले वर्कलोड के लिए पुराना, पूरा GPU बेहतर विकल्प हो सकता है। प्रति-इकाई लागत की तुलना में हर इंस्टेंस की ऑन-डिमांड कीमत को उस पर परीक्षण की गई इकाइयों की संख्या से विभाजित किया गया।

समर्थित हार्डवेयर और संचालन संबंधी सीमाएँ

शुरुआती लॉन्च में चार इंस्टेंस परिवार शामिल हैं; विभाजनों की संख्या और प्रोफ़ाइल एक्सेलरेटर के अनुसार तय होती हैं:

GPU विभाजन यूएस ईस्ट (उत्तरी वर्जीनिया), यूएस ईस्ट (ओहायो), यूएस वेस्ट (ओरेगन), एशिया पैसिफ़िक (सिंगापुर), एशिया पैसिफ़िक (टोक्यो), यूरोप (फ्रैंकफर्ट) और यूरोप (आयरलैंड) में उपलब्ध है; यह क्षेत्रीय इंस्टेंस की उपलब्धता और एंडपॉइंट कोटा पर निर्भर करता है। कोई भी विभाजन कई एक्सेलेरेटर तक नहीं फैलता, इसलिए पूरे GPU या कई GPU की ज़रूरत वाले मॉडल अब भी पूरे डिवाइस पर ही चलाने होंगे।

ग्राहक पूरे GPU इंस्टेंस का भुगतान करते रहेंगे; विभाजन से उपयोग योग्य क्षमता बढ़ सकती है, लेकिन इसका प्रति घंटा शुल्क कम नहीं होता। विभाजित एंडपॉइंट और उनके इन्फ़रेंस घटक, GPU, CPU या मेमोरी उपयोग के मेट्रिक्स भी CloudWatch पर प्रकाशित नहीं करते, हालांकि अनुरोध और लेटेंसी के मेट्रिक्स उपलब्ध रहते हैं। P4d पर, प्रोफ़ाइल mig-1g.10gb के लिए NVIDIA का R525 ड्राइवर या उससे नया संस्करण आवश्यक है, और AWS ग्राहकों को नए इन्फ़रेंस AMI का उपयोग करने का निर्देश देता है, क्योंकि डिफ़ॉल्ट इमेज में यह ड्राइवर उपलब्ध नहीं है।

क्षमता की योजना बनाने के लिहाज़ से, इस लॉन्च के तहत हर समर्थित एक्सेलेरेटर को कई निश्चित GPU आकारों में बाँटा जाता है; लेकिन अधिक सघन, हार्डवेयर-अलगाव वाले परिनियोजन के साथ पूरे इंस्टेंस का बिल, ऐसी व्यवस्थाएँ जिन्हें इंस्टेंस चालू रहते हुए बदला नहीं जा सकता, और उपयोग संबंधी टेलीमेट्री में कमी भी आती है। AWS के बेंचमार्क से पता चलता है कि वास्तविक ट्रैफ़िक को मापना कितना उपयोगी है: उन परीक्षणों में, लंबे कॉन्टेक्स्ट वाले अधिक भारी कार्यभार के तहत H100 विभाजन ने बेहतर प्रदर्शन और लागत के लाभ दिए, जबकि संतुलन-बिंदु के नतीजों में हल्के कार्यभार के लिए पूरा A100 सस्ता रहा।