पावरइन्फर: उपभोक्ता-ग्रेड जीपीयू के साथ फास्ट लार्ज लैंग्वेज मॉडल सर्विंग

अपनी असाधारण सामग्री निर्माण क्षमताओं के कारण, जनरेटिव लार्ज लैंग्वेज मॉडल अब एआई क्रांति में सबसे आगे हैं, उनकी जनरेटिव क्षमताओं को बढ़ाने के निरंतर प्रयास चल रहे हैं। हालाँकि, तेजी से प्रगति के बावजूद, इन मॉडलों को पर्याप्त कम्प्यूटेशनल शक्ति और संसाधनों की आवश्यकता होती है। इसका मुख्य कारण यह है कि इनमें सैकड़ों अरब पैरामीटर शामिल हैं। इसके अलावा, सुचारू रूप से संचालित करने के लिए, जेनेरिक एआई मॉडल हजारों जीपीयू पर निर्भर होते हैं, जिससे महत्वपूर्ण परिचालन लागत आती है। उच्च परिचालन मांगें एक प्रमुख कारण है कि जेनेरिक एआई मॉडल अभी तक व्यक्तिगत-ग्रेड उपकरणों पर प्रभावी ढंग से तैनात नहीं किए गए हैं।

इस लेख में, हम पॉवरइन्फर पर चर्चा करेंगे, जो एकल उपभोक्ता-ग्रेड जीपीयू द्वारा संचालित मानक कंप्यूटरों के लिए डिज़ाइन किया गया एक उच्च गति एलएलएम अनुमान इंजन है। पावरइन्फर फ्रेमवर्क एलएलएम अनुमान में निहित उच्च स्थानीयता का उपयोग करना चाहता है, जो न्यूरॉन सक्रियणों में पावर-लॉ वितरण द्वारा विशेषता है। इसका मतलब यह है कि किसी भी समय, 'हॉट' न्यूरॉन्स का एक छोटा उपसमूह सभी इनपुट में लगातार सक्रिय रहता है, जबकि बाकी, जिन्हें 'ठंडा' न्यूरॉन्स कहा जाता है, विशिष्ट इनपुट या आवश्यकताओं के आधार पर सक्रिय होते हैं। यह दृष्टिकोण वांछित आउटपुट उत्पन्न करने के लिए जेनेरिक एआई के लिए आवश्यक कंप्यूटिंग शक्ति को कम करने के लिए पावरइन्फर फ्रेमवर्क को सक्षम बनाता है।

हम पॉवरइन्फर फ्रेमवर्क के बारे में विस्तार से जानेंगे, इसकी कार्यप्रणाली, पाइपलाइन और व्यावहारिक अनुप्रयोग परिणामों की खोज करेंगे। चलो शुरू करें।

पावरइन्फर: उपभोक्ता-ग्रेड जीपीयू के साथ फास्ट लार्ज लैंग्वेज मॉडल

जेनरेटिव लार्ज लैंग्वेज मॉडल, जैसे चैटजीपीटी और डीएएलएल-ई, परिष्कृत जेनरेटिव और प्राकृतिक भाषा प्रसंस्करण कार्यों के लिए जाने जाते हैं। उनकी उच्च कम्प्यूटेशनल आवश्यकताओं के कारण, ये मॉडल आमतौर पर उन्नत जीपीयू वाले डेटा केंद्रों में तैनात किए जाते हैं। ऐसी उच्च कम्प्यूटेशनल शक्ति की आवश्यकता डेटा केंद्रों पर उनकी तैनाती को सीमित करती है, जो व्यक्तिगत कंप्यूटर जैसे अधिक सुलभ स्थानीय प्लेटफार्मों पर बड़े भाषा मॉडल को तैनात करने की आवश्यकता पर प्रकाश डालती है।

बड़े भाषा मॉडल की पहुंच बढ़ाने से अनुमान और सामग्री निर्माण लागत कम हो सकती है, डेटा गोपनीयता बढ़ सकती है और मॉडल अनुकूलन की अनुमति मिल सकती है। इसके अलावा, जबकि डेटा सेंटर परिनियोजन उच्च थ्रूपुट को प्राथमिकता देता है, स्थानीय एलएलएम तैनाती छोटे बैच आकार के कारण कम विलंबता पर ध्यान केंद्रित किया जा सकता है।

हालाँकि, इन मॉडलों को स्थानीय उपकरणों पर तैनात करना उनकी पर्याप्त मेमोरी आवश्यकताओं के कारण महत्वपूर्ण चुनौतियाँ पेश करता है। बड़े भाषा मॉडल, ऑटोरेग्रेसिव ट्रांसफार्मर के रूप में कार्य करते हुए, टोकन-दर-टोकन टेक्स्ट उत्पन्न करते हैं, प्रत्येक टोकन के लिए पूरे मॉडल तक पहुंच की आवश्यकता होती है, जिसमें सैकड़ों अरब पैरामीटर शामिल होते हैं। इसके लिए कम-विलंबता आउटपुट पीढ़ी के लिए कई उच्च-स्तरीय जीपीयू की आवश्यकता होती है। इसके अतिरिक्त, स्थानीय परिनियोजन आमतौर पर व्यक्तिगत अनुरोधों को क्रमिक रूप से संसाधित करते हैं, जिससे समानांतर प्रसंस्करण की संभावना सीमित हो जाती है।

जेनरेटिव एआई फ्रेमवर्क की जटिल मेमोरी आवश्यकताओं को संबोधित करने के लिए, मौजूदा समाधान मॉडल ऑफलोडिंग और कम्प्रेशन जैसे तरीकों को नियोजित करते हैं। आसवन, छंटाई और परिमाणीकरण जैसी तकनीकें मॉडल के आकार को कम करती हैं लेकिन पर्सनल कंप्यूटर में मानक-ग्रेड जीपीयू के लिए अभी भी बहुत बड़ी हैं। मॉडल ऑफलोडिंग, जो सीपीयू और जीपीयू के बीच ट्रांसफार्मर परत पर मॉडल को विभाजित करता है, सीपीयू और जीपीयू यादों में वितरित परत प्रसंस्करण की अनुमति देता है। हालाँकि, यह विधि धीमी PCIe इंटरकनेक्शन और CPU की सीमित कम्प्यूटेशनल क्षमताओं द्वारा सीमित है, जिससे उच्च अनुमान विलंबता होती है।

पावरइंफरेंस फ्रेमवर्क का मानना ​​है कि एलएलएम अनुमान विशेषताओं और हार्डवेयर संरचना के बीच बेमेल एलएलएम अनुमान में मेमोरी समस्याओं का प्राथमिक कारण है। आदर्श रूप से, बार-बार एक्सेस किए गए डेटा को उच्च-बैंडविड्थ, सीमित क्षमता वाले जीपीयू में संग्रहीत किया जाना चाहिए, जबकि कम बार एक्सेस किए गए डेटा को कम-बैंडविड्थ, उच्च-क्षमता वाले सीपीयू में संग्रहीत किया जाना चाहिए। हालाँकि, प्रत्येक एलएलएम अनुमान पुनरावृत्ति का बड़ा पैरामीटर वॉल्यूम एकल जीपीयू के लिए कार्य सेट को बहुत बड़ा बना देता है, जिसके परिणामस्वरूप स्थानीयता का अकुशल शोषण होता है।

बड़े भाषा मॉडल में अनुमान प्रक्रिया उच्च स्थानीयता को प्रदर्शित करती है, प्रत्येक पुनरावृत्ति सीमित संख्या में न्यूरॉन्स को सक्रिय करती है। पावरइंफरेंस फ्रेमवर्क का लक्ष्य जीपीयू के साथ गर्म न्यूरॉन्स की एक छोटी संख्या को प्रबंधित करके इस इलाके का फायदा उठाना है, जबकि सीपीयू ठंडे न्यूरॉन्स को संभालता है। यह GPU में हॉट न्यूरॉन्स को प्रीसेलेक्ट और प्रीलोड करता है और रनटाइम के दौरान सक्रिय न्यूरॉन्स की पहचान करता है। यह दृष्टिकोण महंगे PCIe डेटा ट्रांसफर को कम करता है, जिससे GPU और CPU को अपने निर्दिष्ट न्यूरॉन्स को स्वतंत्र रूप से संसाधित करने की अनुमति मिलती है।

हालाँकि, एलएलएम को स्थानीय उपकरणों पर तैनात करने में बाधाओं का सामना करना पड़ता है। सक्रिय न्यूरॉन्स की पहचान के लिए महत्वपूर्ण ऑनलाइन भविष्यवक्ता, काफी जीपीयू मेमोरी का उपभोग करते हैं। पॉवरइन्फर फ्रेमवर्क उच्च सक्रियण तिरछापन और विरलता के साथ परतों के लिए छोटे भविष्यवक्ताओं के निर्माण के लिए एक अनुकूली विधि का उपयोग करता है, आकार को कम करते हुए सटीकता बनाए रखता है। इसके अतिरिक्त, एलएलएम रूपरेखा विशेष विरल ऑपरेटरों की आवश्यकता है। पॉवरइन्फर फ्रेमवर्क न्यूरॉन-जागरूक विरल ऑपरेटरों को नियोजित करता है जो सीधे न्यूरॉन्स के साथ संवाद करते हैं, जिससे विशिष्ट विरल प्रारूप रूपांतरणों की आवश्यकता समाप्त हो जाती है।

अंत में, सीपीयू और जीपीयू के बीच सक्रिय न्यूरॉन्स को इष्टतम रूप से रखना चुनौतीपूर्ण है। पॉवरइन्फर फ्रेमवर्क न्यूरॉन प्लेसमेंट नीति बनाने के लिए एक ऑफ़लाइन चरण का उपयोग करता है, एलएलएम अनुमान परिणामों पर प्रत्येक न्यूरॉन के प्रभाव को मापता है और इसे पूर्णांक रैखिक समस्या के रूप में तैयार करता है।

वास्तुकला और कार्यप्रणाली

निम्नलिखित आंकड़ा पाइपलाइन में ऑफ़लाइन और ऑनलाइन घटकों से युक्त पावरइन्फर ढांचे की वास्तुकला को विस्तृत करता है। 

विभिन्न स्थानों के बीच स्थानीय संपत्तियों में देखी गई भिन्नता के लिए धन्यवाद बड़े भाषा मॉडलऑफ़लाइन घटक एलएलएम ढांचे की सक्रियण स्पार्सिटी को प्रोफाइल करता है जो इसे गर्म और ठंडे न्यूरॉन्स के बीच अंतर करने की अनुमति देता है। दूसरी ओर, ऑफ़लाइन चरण में, दो प्रकार के न्यूरॉन्स को अनुमान इंजन द्वारा सीपीयू और जीपीयू दोनों में लोड किया जाता है, इस प्रकार कम विलंबता के साथ रनटाइम के दौरान एलएलएम अनुरोधों को पूरा किया जाता है। 

ऑफ़लाइन चरण: पॉलिसी सॉल्वर और एलएलएम प्रोफाइलर

ऑफ़लाइन चरण में, एलएलएम प्रोफाइलर घटक अनुमान प्रक्रिया से सक्रियण डेटा एकत्र करने के लिए सामान्य डेटासेट से प्राप्त अनुरोधों का उपयोग करता है। पहले चरण में, यह ढांचे में सभी परतों में न्यूरॉन्स की सक्रियता की निगरानी करता है, और न्यूरॉन्स को गर्म या ठंडे के रूप में वर्गीकृत करने के लिए एक नीति सॉल्वर घटक का उपयोग करने के लिए आगे बढ़ता है। पॉलिसी सॉल्वर का प्राथमिक उद्देश्य सक्रिय न्यूरॉन्स को जीपीयू परतों में अधिक बार आवंटित करना है जबकि शेष को सीपीयू परतों में आवंटित करना है। दूसरे चरण में, पॉलिसी सॉल्वर घटक परतों के बीच कार्यभार को संतुलित करने के लिए न्यूरॉन प्रभाव मेट्रिक्स और हार्डवेयर विनिर्देशों का उपयोग करता है, और पूर्णांक रैखिक प्रोग्रामिंग का उपयोग करके न्यूरॉन्स के लिए जीपीयू के प्रभाव मीट्रिक को अधिकतम करता है। 

ऑनलाइन चरण: न्यूरॉन अवेयर एलएलएम इंट्रेंस इंजन

एक बार जब ऑफ़लाइन चरण सफलतापूर्वक निष्पादित हो जाता है, तो फ़्रेमवर्क ऑनलाइन चरण को निष्पादित करने के लिए आगे बढ़ता है। प्रक्रिया के तीसरे चरण में, ऑनलाइन इंजन ऑफ़लाइन नीति सॉल्वर के आउटपुट के आधार पर, उपयोगकर्ता के अनुरोधों को संसाधित करने से पहले अपने संबंधित प्रसंस्करण इकाइयों को गर्म और ठंडे न्यूरॉन्स प्रदान करता है। रनटाइम के दौरान, और चरण 4 में, ऑनलाइन इंजन सीपीयू और जीपीयू निष्पादक बनाकर जीपीयू-सीपीयू गणनाओं का प्रबंधन करता है जो सीपीयू पक्ष पर चलने वाले थ्रेड हैं। इंजन तब सक्रिय न्यूरॉन्स की भविष्यवाणी करता है और गैर-सक्रिय न्यूरॉन्स को छोड़ने के लिए आगे बढ़ता है। फिर सक्रिय न्यूरॉन्स को प्रसंस्करण के लिए जीपीयू में प्रीलोड किया जाता है। इस बीच, सीपीयू अपने न्यूरॉन्स को जीपीयू के साथ एकीकृत करने के लिए परिणामों की गणना और हस्तांतरण करता है। ऑनलाइन इंजन मैट्रिसेस के भीतर व्यक्तिगत न्यूरॉन्स पंक्तियों और स्तंभों पर ध्यान केंद्रित करने में सक्षम है क्योंकि यह सीपीयू के साथ-साथ जीपीयू पर विरल न्यूरॉन जागरूक ऑपरेटरों का उपयोग करता है। 

अनुकूली स्पार्सिटी भविष्यवक्ता

पॉवरइन्फर फ्रेमवर्क में ऑनलाइन अनुमान इंजन द्वारा कम्प्यूटेशनल भार को कम करने के पीछे प्राथमिक अवधारणा यह है कि यह केवल उन न्यूरॉन्स को संसाधित करता है जिनके सक्रिय होने की भविष्यवाणी की जाती है। परंपरागत रूप से, प्रत्येक ट्रांसफार्मर परत के भीतर, एक ढांचा एमएलपी और आत्म-ध्यान ब्लॉक में न्यूरॉन्स की सक्रियता की भविष्यवाणी करने के लिए दो अलग-अलग भविष्यवक्ताओं का उपयोग करता है, जिसके परिणामस्वरूप अनुमान गणना सक्रिय होने की भविष्यवाणी की गई न्यूरॉन्स तक सीमित होती है। हालाँकि, स्थानीय तैनाती के लिए प्रभावी भविष्यवक्ताओं को डिजाइन करना मुश्किल है क्योंकि सीमित मात्रा में संसाधनों के कारण मॉडल आकार और भविष्यवाणी सटीकता को संतुलित करना मुश्किल हो जाता है। चूंकि इन भविष्यवक्ताओं को सक्रिय न्यूरॉन्स की भविष्यवाणी करने के लिए अक्सर फ्रेमवर्क द्वारा तैनात किया जाता है, इसलिए तेज पहुंच को सक्षम करने के लिए उन्हें जीपीयू में संग्रहीत करने की आवश्यकता होती है। हालाँकि, फ्रेमवर्क आम तौर पर बड़ी संख्या में भविष्यवक्ताओं को तैनात करते हैं जो काफी मेमोरी पर कब्जा कर लेते हैं, यहां तक ​​कि एलएलएम मापदंडों को संग्रहीत करने के लिए आवश्यक मेमोरी भी। 

इसके अलावा, भविष्यवक्ताओं का आकार आम तौर पर दो कारकों द्वारा निर्धारित होता है: एलएलएम परतों की आंतरिक तिरछापन और विरलता। 

इन कारकों को अनुकूलित करने के लिए, पॉवरइन्फर फ्रेमवर्क एक निश्चित आकार के बिना ट्रांसफार्मर परत में प्रत्येक भविष्यवक्ता के लिए एक पुनरावृत्त प्रशिक्षण पद्धति का उपयोग करता है। इस प्रशिक्षण पद्धति के पहले चरण में, बेसलाइन मॉडल का आकार मॉडल की विरलता प्रोफ़ाइल के आधार पर स्थापित किया जाता है, और सटीकता बनाए रखने के लिए आंतरिक सक्रियण विषमता को ध्यान में रखते हुए मॉडल के आकार को पुनरावृत्त रूप से समायोजित किया जाता है। 

न्यूरॉन प्लेसमेंट और प्रबंधन

जैसा कि पहले उल्लेख किया गया है, जबकि ऑफ़लाइन नीति सॉल्वर घटक न्यूरॉन प्लेसमेंट नीति का निर्धारण कर रहा है, ऑनलाइन अनुमान इंजन घटक उत्पन्न नीति के अनुसार मॉडल को जीपीयू और सीपीयू मेमोरी में लोड करता है। प्रत्येक परत के लिए जिसमें कई वेट मैट्रिसेस हो भी सकते हैं और नहीं भी, पावरइन्फर फ्रेमवर्क प्रत्येक न्यूरॉन को या तो सीपीयू या जीपीयू को इस आधार पर असाइन करता है कि न्यूरॉन हॉट-एक्टिवेटेड है या नहीं। सटीक परिणामों के लिए निर्धारित अनुक्रम में खंडित न्यूरॉन्स की सटीक गणना सुनिश्चित करना आवश्यक है। इससे निपटने के लिए, पावरइन्फर फ्रेमवर्क दो न्यूरॉन टेबल उत्पन्न करता है: एक जीपीयू में स्थित है, और एक सीपीयू मेमोरी में स्थित है, प्रत्येक टेबल मैट्रिक्स में अपनी मूल स्थिति में व्यक्तिगत न्यूरॉन्स को सहसंबंधित करती है। 

न्यूरॉन अवेयर ऑपरेटर

बड़े भाषा मॉडल में देखी गई सक्रियण विरलता को देखते हुए, निष्क्रिय न्यूरॉन्स और उनके वजन को मैट्रिक्स गुणन संचालन द्वारा बायपास किया जा सकता है, इस प्रकार विरल ऑपरेटरों के उपयोग की आवश्यकता पैदा होती है। कई सीमाओं वाले विरल ऑपरेटरों को नियोजित करने के बजाय, पावरइन्फर फ्रेमवर्क न्यूरॉन-जागरूक ऑपरेटरों को नियोजित करता है जो रनटाइम के दौरान घने प्रारूप में रूपांतरण की आवश्यकता के बिना सक्रिय न्यूरॉन्स और उनके वजन की गणना सीधे जीपीयू और सीपीयू पर करते हैं। न्यूरॉन जागरूक ऑपरेटर पारंपरिक विरल ऑपरेटरों से भिन्न होते हैं क्योंकि वे संपूर्ण मैट्रिक्स पर ध्यान केंद्रित करने के बजाय एकल मैट्रिक्स के भीतर व्यक्तिगत पंक्ति और स्तंभ वैक्टर पर ध्यान केंद्रित करते हैं। 

न्यूरॉन प्लेसमेंट नीति

सीपीयू और जीपीयू की कम्प्यूटेशनल क्षमताओं का फायदा उठाने के लिए, पावरइन्फर फ्रेमवर्क में ऑफ़लाइन घटक एक प्लेसमेंट नीति उत्पन्न करता है जो सीपीयू या जीपीयू परतों में न्यूरॉन्स आवंटित करते समय फ्रेमवर्क का मार्गदर्शन करता है। पॉलिसी सॉल्वर इस पॉलिसी को तैयार करता है, और प्रत्येक परत के भीतर न्यूरॉन प्लेसमेंट को नियंत्रित करता है, जो व्यक्तिगत प्रसंस्करण इकाइयों के लिए कम्प्यूटेशनल कार्यभार निर्धारित करने में मदद करता है। प्लेसमेंट नीति तैयार करते समय, पॉलिसी सॉल्वर घटक प्रत्येक न्यूरॉन के लिए सक्रियण आवृत्ति, संचार ओवरहेड और प्रत्येक प्रसंस्करण इकाई की बैंडविड्थ और मेमोरी आकार जैसी कम्प्यूटेशनल क्षमताओं सहित विभिन्न कारकों पर विचार करता है। 

परिणाम और कार्यान्वयन

विभिन्न हार्डवेयर कॉन्फ़िगरेशन वाले उपकरणों में पावरइन्फर फ्रेमवर्क की सामान्यीकरण क्षमताओं को प्रदर्शित करने के लिए, प्रयोग दो अलग-अलग व्यक्तिगत कंप्यूटरों पर किए जाते हैं: एक इंटेल i9-13900K प्रोसेसर, NVIDIA RTX 4090 GPU और 192 जीबी होस्ट मेमोरी से लैस है जबकि दूसरा इंटेल पर काम करता है। i7-12700K प्रोसेसर, NVIDIA RTX 2080Ti GPU और 64 जीबी होस्ट मेमोरी। 

PowerInfer फ्रेमवर्क के अंतिम प्रदर्शन की तुलना 1 के बैच आकार और डिफ़ॉल्ट परिनियोजन सेटिंग्स के साथ llama.cpp से की जाती है। वास्तविक दुनिया संवाद इनपुट और आउटपुट में देखी गई लंबाई परिवर्तनशीलता को देखते हुए फ्रेमवर्क चैटजीपीटी और अल्पाका डेटासेट से संकेत का नमूना लेता है। निम्नलिखित आंकड़ा विभिन्न मॉडलों के लिए पीढ़ी की गति को दर्शाता है। 

जैसा कि देखा जा सकता है, पॉवरइन्फर फ्रेमवर्क प्रति सेकंड 8.32 टोकन उत्पन्न करता है, और प्रति सेकंड 16 टोकन उत्पन्न करता है, इस प्रकार यह एक महत्वपूर्ण अंतर से llama.cpp फ्रेमवर्क से बेहतर प्रदर्शन करता है। इसके अलावा, जैसे-जैसे आउटपुट टोकन की संख्या बढ़ती है, पावरइन्फर फ्रेमवर्क के प्रदर्शन में भी सुधार होता है क्योंकि जेनरेशन चरण समग्र अनुमान समय को महत्वपूर्ण रूप से प्रभावित करता है। 

इसके अलावा, जैसा कि उपरोक्त छवि में देखा जा सकता है, पॉवरइन्फर फ्रेमवर्क 7 टोकन प्रति सेकंड की अधिकतम उत्पादन दर और 5 टोकन प्रति सेकंड की औसत टोकन उत्पादन गति के साथ निम्न-अंत पीसी पर llama.cpp फ्रेमवर्क से बेहतर प्रदर्शन करता है। 

उपरोक्त छवि दो ढाँचों के लिए GPU और CPU के बीच न्यूरॉन लोड के वितरण को दर्शाती है। जैसा कि देखा जा सकता है, पॉवरइन्फर फ्रेमवर्क न्यूरॉन लोड में GPU की हिस्सेदारी को 20 से 70% तक काफी बढ़ा देता है। 

उपरोक्त छवि अलग-अलग विशिष्टताओं वाले दो पीसी पर दो फ्रेमवर्क के प्रदर्शन की तुलना करती है। जैसा कि देखा जा सकता है, llama.cpp फ्रेमवर्क की तुलना में PowerInfer फ्रेमवर्क लगातार उच्च आउटपुट टोकन जेनरेशन स्पीड प्रदान करता है। 

निष्कर्ष

इस लेख में, हमने पावरइन्फर के बारे में बात की है, जो एकल उपभोक्ता-ग्रेड जीपी द्वारा संचालित एक मानक कंप्यूटर के लिए एक उच्च गति एलएलएम अनुमान इंजन है। इसके मूल में, पॉवरइन्फर फ्रेमवर्क एलएलएम में उच्च स्थानीयता के अंतर्निहित अनुमान का फायदा उठाने का प्रयास करता है, जो न्यूरॉन सक्रियण के पावर-लॉ वितरण की विशेषता वाली एक विधि है। पॉवरइन्फर फ्रेमवर्क एक तेज़ हस्तक्षेप प्रणाली है जिसे बड़े भाषा मॉडल के लिए डिज़ाइन किया गया है जो न्यूरॉन्स और कम्प्यूटेशनल स्पार्सिटी को सक्रिय करने के लिए अनुकूली भविष्यवक्ताओं और न्यूरॉन-जागरूक ऑपरेटरों का उपयोग करता है।