बड़े भाषा मॉडल के लिए सर्वर रहित अनुमान का भविष्य

GPT-4, PaLM जैसे बड़े भाषा मॉडल (एलएलएम) में हालिया प्रगति ने प्राकृतिक भाषा कार्यों में परिवर्तनकारी क्षमताओं को जन्म दिया है। एलएलएम को चैटबॉट, सर्च इंजन और प्रोग्रामिंग असिस्टेंट जैसे विभिन्न अनुप्रयोगों में शामिल किया जा रहा है। हालाँकि, बड़े पैमाने पर एलएलएम की सेवा उनकी पर्याप्त जीपीयू और मेमोरी आवश्यकताओं के कारण चुनौतीपूर्ण बनी हुई है।

इस पर काबू पाने के दृष्टिकोण आम तौर पर दो मुख्य श्रेणियों में आते हैं:

1. मॉडल संपीड़न तकनीक

इन तकनीकों का लक्ष्य सटीकता बनाए रखते हुए मॉडल के आकार को कम करना है। सामान्य दृष्टिकोणों में शामिल हैं:

• छंटाई - मॉडल से अनावश्यक या कम महत्वपूर्ण मापदंडों को हटाना। यह कम पैरामीटर वाला एक विरल मॉडल बनाता है।
• परिमाणीकरण - fp8 या fp16 के बजाय वजन दर्शाने के लिए int32 या bfloat16 जैसी कम परिशुद्धता वाली संख्याओं का उपयोग करना। इससे मेमोरी फ़ुटप्रिंट कम हो जाता है.
• ज्ञान आसवन - एक बड़े "शिक्षक" मॉडल की नकल करने के लिए एक छोटे "छात्र" मॉडल को प्रशिक्षित करना। फिर अनुमान के लिए छोटे मॉडल का उपयोग किया जाता है।

2. चयनात्मक निष्पादन

संपीड़ित मॉडल के बजाय, ये तकनीकें अनुमान के अनुसार मॉडल के केवल कुछ हिस्सों को चुनिंदा रूप से निष्पादित करती हैं:

• विरल सक्रियता - शून्य सक्रियण पर गणना छोड़ना।
• सशर्त गणना - इनपुट पर वातानुकूलित केवल कुछ परतों को निष्पादित करना।

सॉफ़्टवेयर आर्किटेक्ट पक्ष के पूरक पक्ष पर; एलएलएम की तेजी से तैनाती को सक्षम करने के लिए शोधकर्ताओं ने सर्वर रहित अनुमान प्रणाली का प्रस्ताव दिया है। सर्वर रहित आर्किटेक्चर में, एलएलएम को साझा जीपीयू क्लस्टर पर होस्ट किया जाता है और मांग के आधार पर गतिशील रूप से आवंटित किया जाता है। यह GPU के कुशल उपयोग की अनुमति देता है और डेवलपर्स के लिए लागत कम करता है। प्रमुख कार्यान्वयनों में Amazon SageMaker, Microsoft Azure ML और KServe जैसे ओपन-सोर्स विकल्प शामिल हैं।

सर्वर रहित एलएलएम के वादे के बावजूद, मौजूदा सिस्टम उच्च विलंबता ओवरहेड्स प्रदर्शित करते हैं जो इंटरैक्टिव अनुप्रयोगों में उपयोगकर्ता अनुभव को ख़राब करते हैं:

1. महँगा चेकपॉइंट डाउनलोड: एलएलएम में बड़े मेमोरी फ़ुटप्रिंट होते हैं, जिनका आकार अक्सर गीगाबाइट से लेकर टेराबाइट्स तक होता है। रिमोट स्टोरेज से चेकप्वाइंट डाउनलोड करना समय लेने वाला है, अनुकूलित नेटवर्क के साथ भी इसमें 20 सेकंड से अधिक का समय लगता है।
2. अकुशल चेकपॉइंट लोडिंग: स्थानीय एसएसडी स्टोरेज के साथ भी, टेन्सर डिसेरिएलाइज़ेशन और आवंटन जैसे कारकों के कारण चेकप्वाइंट को जीपीयू मेमोरी में लोड करने में दसियों सेकंड लगते हैं। यह कंटेनर स्टार्टअप समय से परे महत्वपूर्ण देरी जोड़ता है।

इन मुद्दों के समाधान के लिए, MIT CSAIL के शोधकर्ताओं ने प्रस्ताव रखा सर्वर रहित एलएलएम, एक अभिनव प्रणाली जो एलएलएम के लिए कम-विलंबता सर्वर रहित अनुमान प्राप्त करती है। सर्वर रहित एलएलएम एलएलएम परिनियोजन के लिए मल्टी-टियर सर्वर स्टोरेज में प्रचुर लेकिन कम उपयोग की गई क्षमता और बैंडविड्थ का फायदा उठाकर स्थानीयता को बढ़ाता है।

एलएलएम सर्वर रहित अनुमान प्रणालियों का अवलोकन

सर्वर रहित एलएलएम में प्रमुख नवाचार सर्वर रहित एलएलएम में सर्वर रहित वातावरण में एलएलएम लोडिंग समय को कम करने के लिए कई नए डिज़ाइन शामिल हैं:

1. तेजी से चेकपॉइंट लोड हो रहा है

• लोडिंग-अनुकूलित चेकपॉइंट प्रारूप जो तेजी से अनुक्रमिक पढ़ने और कुशल इन-मेमोरी टेंसर एड्रेसिंग को सक्षम बनाता है।
• मल्टी-टियर चेकपॉइंट लोडिंग पाइपलाइन जो डायरेक्ट I/O, पिन्ड मेमोरी ट्रांसफर और पैरेललिज़्म जैसी तकनीकों के माध्यम से नेटवर्क, SSDs, DRAM और GPU मेमोरी में बैंडविड्थ उपयोग को अधिकतम करती है।

2. स्थानीयता-संचालित अनुमान के लिए लाइव प्रवासन

• टोकन-आधारित माइग्रेशन जो धीमे स्नैपशॉट स्थानांतरण से बचते हुए, नेटवर्क पर केवल आवश्यक त्वरित टोकन प्रसारित करता है।
• दो-चरण माइग्रेशन जो अंतिम टोकन स्थानांतरित करने से पहले गंतव्य सर्वर पर कैश स्थिति को अतुल्यकालिक रूप से पुन: गणना करके निर्बाध अनुमान की अनुमति देता है।

3. विलंबता-अनुकूलित सर्वर आवंटन

• प्रत्येक स्तर से चेकपॉइंट लोडिंग समय और सर्वर के लिए माइग्रेशन समय का अनुमान लगाने के लिए सटीक मॉडल।
• स्थानीयता-जागरूक शेड्यूलर जो उपरोक्त मॉडल का उपयोग करके अपेक्षित स्टार्टअप विलंबता को कम करने वाले सर्वर का चयन करता है।

ये अनुकूलन सर्वर रहित एलएलएम को PyTorch, TensorFlow और KServe जैसे मौजूदा सिस्टम की तुलना में LLM लोडिंग समय को 4-8X और एंड-टू-एंड स्टार्टअप समय को 25X से कम करने की अनुमति देते हैं।

आइए गहराई से जानें कि सर्वरलेसएलएलएम इन महत्वपूर्ण प्रदर्शन लाभों को कैसे प्राप्त करता है।

चेकप्वाइंट लोडिंग में तेजी लाना

सर्वरलेसएलएलएम द्वारा संबोधित पहली बड़ी बाधा एलएलएम चौकियों को स्टोरेज से जीपीयू मेमोरी में लोड करने की उच्च विलंबता है।

तीव्र चेकपॉइंट लोडिंग को सक्षम करने के लिए, सर्वरलेसएलएलएम प्रस्तुत करता है:

1. लोड हो रहा है-अनुकूलित चेकपॉइंट प्रारूप

PyTorch जैसे फ्रेमवर्क द्वारा उपयोग किए जाने वाले मानक चेकपॉइंट मॉडल प्रशिक्षण और डिबगिंग के लिए डिज़ाइन किए गए हैं। लेकिन सर्वर रहित अनुमान के लिए, चौकियों को केवल पढ़ने के लिए और बार-बार एक्सेस किया जाता है।

ऐसे पढ़ने-गहन उपयोग के लिए अनुकूलन करने के लिए, सर्वरलेसएलएलएम चेकपॉइंट्स को दो प्रमुख गुणों वाले प्रारूप में परिवर्तित करता है:

• अनुक्रमिक खंड-आधारित रीडिंग: टेन्सर्स को प्रति-जीपीयू बाइनरी फ़ाइलों में समूहीकृत किया जाता है, जिससे बड़े अनुक्रमिक रीडिंग की सुविधा मिलती है।
• कुशल टेंसर एड्रेसिंग: एक इंडेक्स टेंसर नामों को मेमोरी ऑफसेट पर मैप करता है, जिससे डीसेरिएलाइज़ेशन के बिना सीधे इन-मेमोरी बहाली की अनुमति मिलती है।

2. मल्टी-टियर चेकपॉइंट लोडिंग पाइपलाइन

सर्वरलेसएलएलएम जीपीयू सर्वर के स्तरीय आर्किटेक्चर का लाभ उठाता है, जिसमें एसएसडी जैसे स्टोरेज मीडिया और पीसीआईई, एनवीएमई इत्यादि के माध्यम से जीपीयू से कनेक्ट होने वाली नेटवर्किंग शामिल है।

सिस्टम सभी स्तरों पर बैंडविड्थ उपयोग को अधिकतम करने के लिए एक मल्टी-स्टेज पाइपलाइन को शामिल करता है:

• तेज़ जीपीयू स्थानांतरण के लिए पिन की गई मेमोरी का उपयोग करके इन-मेमोरी डेटा खंड आवंटित किए जाते हैं।
• डायरेक्ट I/O का उपयोग कैशिंग ओवरहेड्स के बिना कुशल SSD रीड के लिए किया जाता है।
• एकाधिक थ्रेड समानांतर में विभिन्न भंडारण खंडों को पढ़ते हैं।
• अंतर-चरणीय समन्वय अतुल्यकालिक कार्य कतारों के माध्यम से होता है।

साथ में, यह NVMe RAID जैसे सबसे तेज़ स्तरों की बैंडविड्थ क्षमता को संतृप्त करने में सक्षम बनाता है। प्रयोगों से पता चलता है कि सर्वरलेसएलएलएम PyTorch/TensorFlow की तुलना में 6-8X तेज लोडिंग प्राप्त करता है, जिससे बड़े LLM के लिए स्टार्टअप समय एक मिनट से कम होकर 10 सेकंड से कम हो जाता है।

लाइव माइग्रेशन के माध्यम से स्थानीयता-संचालित एलएलएम अनुमान

त्वरित लोडिंग के साथ, सर्वरलेसएलएलएम को एक नई चुनौती का सामना करना पड़ता है - व्यस्त सर्वर पर चल रहे अनुमानों को बाधित किए बिना इलाके के लिए प्री-लोडेड चेकपॉइंट्स का लाभ कैसे उठाया जाए?

सर्वरलेसएलएलएम एक नई तकनीक पेश करता है - जीपीयू सर्वरों में एलएलएम अनुमान का लाइव माइग्रेशन। यह स्थानीय चौकियों के साथ सर्वर पर निष्पादन को निर्बाध रूप से स्थानांतरित करने की अनुमति देता है।

लाइव एलएलएम माइग्रेशन के प्रमुख समर्थक:

1. टोकन-आधारित माइग्रेशन

संपूर्ण मॉडल स्थिति को स्नैपशॉट करने के बजाय, सर्वरलेसएलएलएम केवल नेटवर्क पर न्यूनतम प्रॉम्प्ट टोकन को माइग्रेट करता है। यह स्नैपशॉट की तुलना में कम परिमाण के डेटा का ऑर्डर स्थानांतरित करता है।

2. दो चरण का प्रवास

गंतव्य सर्वर एसिंक्रोनस रूप से प्रॉम्प्ट टोकन से कैश स्थिति की पूर्व-गणना करता है। एक बार तैयार होने पर, स्रोत सर्वर संसाधन जारी करने से पहले अंतिम टोकन स्थानांतरित करता है। यह अनुमान को रुकने से रोकता है।

प्रयोगों से पता चलता है कि टोकन-आधारित माइग्रेशन लंबे अनुक्रमों के लिए भी माइग्रेशन समय को दसियों सेकंड से घटाकर एक सेकंड से भी कम कर देता है। स्थानीयता-संचालित आवंटन प्राप्त करते समय कतार में देरी को रोकने के लिए लाइव माइग्रेशन महत्वपूर्ण है।

विलंबता-अनुकूलित मॉडल शेड्यूलिंग

एंड-टू-एंड विलंबता को कम करने के लिए, सर्वरलेसएलएलएम इलाके को ध्यान में रखते हुए सर्वर चयन को अनुकूलित करने के लिए शेड्यूलर को बढ़ाता है। इसमें शामिल है:

1. सुक्ष्म लोडिंग समय अनुमानक

मॉडल कतार विलंब, मॉडल आकार और मापी गई बैंडविड्थ जैसे मेट्रिक्स का उपयोग करके प्रत्येक सर्वर के लिए नेटवर्क, एसएसडी कैश और मेमोरी से लोडिंग समय की भविष्यवाणी करते हैं।

2. सटीक प्रवासन समय भविष्यवक्ता

शेड्यूलर प्रॉम्प्ट और आउटपुट टोकन की संख्या का उपयोग करके सर्वर के लिए माइग्रेशन समय का अनुमान लगाता है। यह ओवरहेड से बचने के लिए अनुमान की प्रगति को अतुल्यकालिक रूप से ट्रैक करता है।

3. स्थानीयता-जागरूक आवंटन

प्रत्येक अनुमान अनुरोध के लिए, शेड्यूलर सर्वर पर अनुमानित लोडिंग और माइग्रेशन समय का मूल्यांकन करता है। यह अपेक्षित स्टार्टअप विलंबता को न्यूनतम करने वाले सर्वर का चयन करता है।

शेड्यूलर सर्वर कार्य कतारों को भी बनाए रखता है और दोष सहनशीलता के लिए दृढ़ता से सुसंगत स्टोर का लाभ उठाता है। साथ में, ये नवाचार स्थानीय लाभों को अधिकतम करते हुए शेड्यूलिंग ओवरहेड्स को कम करते हैं।

सर्वर रहित एलएलएम प्रदर्शन का मूल्यांकन

व्यापक प्रयोग ओपीटी-175बी जैसे वास्तविक दुनिया के मॉडल और एज़्योर ट्रेस के बाद तैयार किए गए वर्कलोड का उपयोग करके मौजूदा सिस्टम के खिलाफ सर्वरलेस एलएलएम की एंड-टू-एंड प्रभावशीलता को बेंचमार्क करते हैं।

मुख्य परिणाम:

• माइक्रोबेंचमार्क: सर्वर रहित एलएलएम, PyTorch/TensorFlow की तुलना में चेकपॉइंट लोडिंग को 3.6-8.2X तक तेज कर देता है। यह अत्याधुनिक NVMe RAID के लिए भी स्टोरेज बैंडविड्थ को पूरी तरह से संतृप्त करता है।
• निर्धारण: सर्वर रहित एलएलएम स्थानीयता-जागरूकता के लाभों को उजागर करते हुए, यादृच्छिक शेड्यूलिंग की तुलना में आवंटन विलंबता को 4-12X तक कम कर देता है। लाइव माइग्रेशन कतार में देरी को रोकता है।
• शुरू से अंत तक सेवा: ओपीटी-30बी जैसे बड़े मॉडलों के लिए, सर्वरलेसएलएलएम केसर्व और रे सर्व जैसे सिस्टम की तुलना में 99वीं प्रतिशतक विलंबता को 28-200X तक सुधारता है। यह संसाधन दक्षता को भी बढ़ाता है।

ये पर्याप्त उपलब्धियां सर्वरलेसएलएलएम की मौजूदा सर्वरलेस कार्यान्वयन में आने वाली बाधाओं को दूर करने तथा इंटरैक्टिव सेवाओं के लिए एलएलएम की शक्ति को अनलॉक करने की क्षमता को प्रदर्शित करती हैं।

सर्वरलेसएलएलएम में पेश किए गए अनुकूलन, जैसे मल्टी-टियर लोडिंग, लाइव माइग्रेशन और लेटेंसी-ड्रिवन शेड्यूलिंग, भविष्य के सर्वरलेस आर्किटेक्चर के डिज़ाइन को आकार देने में मदद कर सकते हैं। लोडिंग और स्टार्टअप समय को कम करने की सिस्टम की क्षमता व्यावहारिक अनुप्रयोगों के लिए बड़े भाषा मॉडल के स्केलेबल परिनियोजन को सुगम बनाती है।

आगे की ओर देखना: चल रही चुनौतियाँ

एक महत्वपूर्ण छलांग के साथ, सर्वर रहित एलएलएम बड़े पैमाने पर एलएलएम के लिए सर्वर रहित अनुमान को अनुकूलित करने में केवल पहला कदम दर्शाता है। कई खुली समस्याएं बनी हुई हैं, जिनमें शामिल हैं:

• प्रावधान और प्री-लोडिंग का मार्गदर्शन करने के लिए वास्तविक समय मॉडल की मांग की भविष्यवाणी करना
• कैश हिट को अधिकतम करने के लिए सर्वरों पर बुद्धिमानी से चेकपॉइंट लगाना
• बड़े समूहों को संभालने के लिए शेड्यूलिंग एल्गोरिदम को कुशलतापूर्वक स्केल करना
• मॉडलों और डेवलपर्स के बीच संसाधन आवंटन में निष्पक्षता सुनिश्चित करना
• अन्य सर्वर रहित वर्कलोड में लाइव माइग्रेशन जैसे नवाचारों को सामान्य बनाना

इन क्षेत्रों को संबोधित करने से सर्वर रहित एलएलएम के वादे को पूरा करने और उनकी क्षमताओं को और भी अधिक सुलभ बनाने में मदद मिल सकती है। सिस्टम-स्तरीय अनुकूलन के अलावा, गंभीर कार्बन पदचिह्न और बड़े मॉडलों के संभावित नुकसान को कम करना भी एक तत्काल प्राथमिकता बनी हुई है।

सर्वरलेसएलएलएम दर्शाता है कि एआई वर्कलोड के लिए अगली पीढ़ी के सर्वरलेस आर्किटेक्चर में नवाचार के लिए जबरदस्त गुंजाइश मौजूद है। जैसे-जैसे एलएलएम का आकार और लोकप्रियता बढ़ती जा रही है, सर्वरलेसएलएलएम जैसे समाधान जो उनकी स्केलेबिलिटी को अनलॉक करते हैं, और भी अधिक प्रभावशाली हो जाएंगे। सिस्टम और मशीन लर्निंग रिसर्च का संगम एआई मॉडल को सुरक्षित और स्थायी रूप से पेश करने, साझा करने और स्केल करने में नए प्रतिमान पेश कर सकता है।