भाषा मॉडल और जेनरेटिव एआई, जो अपनी क्षमताओं के लिए प्रसिद्ध हैं, एआई उद्योग में एक गर्म विषय हैं। वैश्विक शोधकर्ता अपनी प्रभावशीलता और क्षमता में सुधार कर रहे हैं। ये सिस्टम, आमतौर पर डीप लर्निंग मॉडल, व्यापक लेबल वाले डेटा पर पूर्व-प्रशिक्षित होते हैं, और स्व-ध्यान के लिए तंत्रिका नेटवर्क को शामिल करते हैं। वे इनपुट पाठ को संसाधित करने और प्रासंगिक आउटपुट उत्पन्न करने के लिए विभिन्न परतों – फीडफॉरवर्ड, रिकरेंट, एम्बेडेड और ध्यान – का उपयोग करते हैं।

आमतौर पर, बड़े भाषा मॉडलों की फीडफॉरवर्ड परतें सबसे अधिक पैरामीटर रखती हैं। अध्ययनों से पता चलता है कि ये मॉडल इन्फरेंस के दौरान आउटपुट की गणना के लिए केवल उपलब्ध न्यूरॉन्स का एक अंश ही उपयोग करते हैं।

इस लेख में, हम अल्ट्राफास्टबेर्ट की शुरुआत करेंगे, जो एक बेर्ट-आधारित फ्रेमवर्क है जो अग्रणी बेर्ट मॉडल की प्रभावशीलता का मिलान करता है, लेकिन केवल 0.3% न्यूरॉन्स का उपयोग करता है, विशेष रूप से इन्फरेंस के दौरान प्रत्येक परत में उपलब्ध 4095 न्यूरॉन्स में से केवल 12 का उपयोग करता है। हम अल्ट्राफास्टबेर्ट की वास्तुकला, कार्यक्षमता और परिणामों का अन्वेषण करेंगे। आइए शुरू करें।

UltraFastBERT: घातीय रूप से अधिक तेज़ भाषा मॉडलिंग का परिचय

पारंपरिक रूप से, एक भाषा मॉडल विभिन्न घटकों का उपयोग करके स्वयं को सामग्री उत्पन्न करने की क्षमताओं से लैस करता है, जिनमें फीडफॉरवर्ड परतें, रिकरेंट परतें, एम्बेडेड परतें और ध्यान परतें शामिल हैं। ये घटक प्रशिक्षण के दौरान पैटर्न को पहचानने के लिए जिम्मेदार होते हैं और अंततः इनपुट पाठ के आधार पर सटीक आउटपुट उत्पन्न करते हैं। इनमें से प्रत्येक घटक में कुछ पैरामीटर होते हैं, और भाषा मॉडल में इन पैरामीटरों का एक बड़ा हिस्सा फीडफॉरवर्ड परतों द्वारा धारण किया जाता है। हालांकि, ये फीडफॉरवर्ड परतें प्रत्येक इनपुट के लिए आउटपुट उत्पन्न करने के लिए उपलब्ध न्यूरॉन्स का 100% उपयोग नहीं करती हैं, जिससे संसाधनों की बर्बादी होती है, जटिलता बढ़ती है, गणना समय बढ़ता है और गणना लागत बढ़ती है।

अल्ट्राफास्टबेर्ट फ्रेमवर्क का केंद्र एक बेर्ट फ्रेमवर्क का एक संस्करण है, जो इस अवधारणा पर बनाया गया है और फीडफॉरवर्ड परतों को अपनी वास्तुकला में तेज़ फीडफॉरवर्ड नेटवर्क से बदल देता है, जिससे अल्ट्राफास्टबेर्ट फ्रेमवर्क केवल 0.3% उपलब्ध न्यूरॉन्स का उपयोग करता है, जबकि समान आकार और प्रशिक्षण प्रक्रिया वाले बेर्ट मॉडल के साथ तुलनीय परिणाम प्रदान करता है, विशेष रूप से डाउनस्ट्रीम कार्यों पर।

मान लें कि एक तेज़ फीडफॉरवर्ड (FFF) नेटवर्क और एक फीडफॉरवर्ड (FF) नेटवर्क में प्रत्येक के पास n न्यूरॉन्स हैं, एक फीडफॉरवर्ड नेटवर्क में एक फॉरवर्ड पास का समय जटिलता O(n) है, जबकि एक तेज़ फीडफॉरवर्ड नेटवर्क के लिए समय जटिलता O(log2n) है, और समय जटिलता में अंतर मुख्य रूप से इस तथ्य के कारण है कि एक तेज़ फीडफॉरवर्ड नेटवर्क में न्यूरॉन्स एक संतुलित द्विआधारी पेड़ में संगठित होते हैं, और जब इनपुट प्रदान किया जाता है, तो नेटवर्क केवल पेड़ की एक शाखा को सशर्त रूप से निष्पादित करता है। इसके अलावा, एक तेज़ फीडफॉरवर्ड नेटवर्क पर इन्फरेंस करने से सीएमएम या सशर्त मैट्रिक्स गुणा होता है, जिसमें इनपुट पंक्तियाँ प्राकृतिक वजन स्तंभों के साथ बिंदु-उत्पाद करती हैं, और पिछले डॉट-प्रोडक्ट का परिणाम तय करता है कि आगे किन भार-स्तंभों को संसाधित करना है। परिणामस्वरूप, नेटवर्क केवल कुछ इनपुट के लिए सभी न्यूरॉन्स का उपयोग करता है, और किसी भी इनपुट को संसाधित करने के लिए केवल कुछ न्यूरॉन्स की आवश्यकता होती है। सीएमएम डॉट उत्पाद डीएमएम या घने मैट्रिक्स गुणा के विपरीत है, जो सभी इनपुट के साथ सभी वजन स्तंभों का डॉट उत्पाद गणना करता है।

संक्षेप में, UltraFastBERT एक BERT-आधारित फ्रेमवर्क है जो अग्रणी BERT भाषा मॉडलों के तुलनीय परिणाम देता है:

1. इन्फरेंस के दौरान यह उपलब्ध न्यूरॉन्स के केवल 0.3% का उपयोग करता है और प्रत्येक परत में 4095 में से केवल 12 न्यूरॉन्स सक्रिय करता है।
2. डाउनस्ट्रीम कार्यों पर फाइन-ट्यूनिंग की रणनीतियों के माध्यम से यह अग्रणी BERT मॉडलों के तुलनीय मजबूत प्रदर्शन देता है।
3. यह तेज़ फीडफॉरवर्ड नेटवर्क के आधार, सशर्त मैट्रिक्स गुणा (CMM), का नेटिव कार्यान्वयन प्रदान करता है। अनुकूलित नेटिव डेंस मैट्रिक्स गुणा (DMM) की तुलना में इससे 78 गुना गति प्राप्त होती है।

फीड फॉरवर्ड न्यूरल नेटवर्क

एक फीडफॉरवर्ड न्यूरल नेटवर्क सबसे सरल कृत्रिम न्यूरल नेटवर्क में से एक है जो केवल आगे की दिशा में जानकारी ले जाता है, इनपुट नोड्स से आउटपुट नोड्स तक, छुपी हुई नोड्स के माध्यम से। एक फीडफॉरवर्ड न्यूरल नेटवर्क की एक मुख्य विशेषता यह है कि इसमें कोई लूप या चक्र नहीं होते हैं, और वे आरएनएन या पुनरावृत्ति न्यूरल नेटवर्क और सीएनएन या पारंपरिक न्यूरल नेटवर्क की तुलना में निर्माण में सरल होते हैं। एक फीडफॉरवर्ड न्यूरल नेटवर्क की वास्तुकला तीन घटकों से बनी होती है: इनपुट परतें, छुपी हुई परतें और आउटपुट परतें, और प्रत्येक परत में न्यूरॉन्स नामक इकाइयाँ होती हैं, और प्रत्येक परत वजन के साथ दूसरे के साथ जुड़ी होती है।

इनपुट परत में मौजूद न्यूरॉन्स इनपुट प्राप्त करते हैं और उन्हें अगली परत में आगे बढ़ाते हैं। प्रत्येक इनपुट परत में न्यूरॉन्स की संख्या इनपुट डेटा के आयाम द्वारा निर्धारित की जाती है। अगला, हमारे पास छुपी हुई परतें हैं जो इनपुट या आउटपुट के संपर्क में नहीं हैं, और वे आवश्यक गणना के लिए जिम्मेदार हैं। प्रत्येक छुपी हुई परत में न्यूरॉन्स पिछली परत द्वारा दिए गए आउटपुट का भारित योग लेते हैं, एक सक्रियण कार्य लागू करते हैं, और परिणाम को अगली परत में पास करते हैं, और यह प्रक्रिया दोहराई जाती है। अंत में, हमारे पास आउटपुट परत है जो दिए गए इनपुट के लिए आउटपुट उत्पन्न करती है। एक तेज़ फीडफॉरवर्ड नेटवर्क की प्रत्येक परत में प्रत्येक न्यूरॉन दूसरी परत में प्रत्येक न्यूरॉन से जुड़ा होता है, जिससे एफएफएफ न्यूरल नेटवर्क पूरी तरह से जुड़ा हुआ नेटवर्क बन जाता है। वजन न्यूरॉन्स के बीच संबंध की ताकत का प्रतिनिधित्व करते हैं, और नेटवर्क इन वजनों को अद्यतन करके पैटर्न सीखता है, जो त्रुटि के आधार पर वजनों को अद्यतन करता है।

आगे बढ़ते हुए, एक तेज़ फीडफॉरवर्ड न्यूरल नेटवर्क के काम में दो मुख्य चरण होते हैं: फीडफॉरवर्ड चरण और बैकप्रोपेगेशन चरण।

फीडफॉरवर्ड चरण

फीडफॉरवर्ड चरण में, इनपुट नेटवर्क में डाला जाता है और आगे बढ़ता है। छुपी हुई परतें इनपुट का भारित योग गणना करती हैं और मॉडल में गैर-रेखीयता को पेश करने के लिए योग को सक्रियण कार्य के माध्यम से पास करती हैं, जैसे कि रीलू, सिग्मॉइड और टैनएच। यह प्रक्रिया दोहराई जाती है जब तक कि वजन आउटपुट परत तक नहीं पहुंच जाते और मॉडल एक भविष्यवाणी करता है।

बैकप्रोपेगेशन चरण

एक बार मॉडल एक भविष्यवाणी करता है, तो यह उत्पन्न आउटपुट और अपेक्षित आउटपुट के बीच त्रुटि की गणना करता है। त्रुटि को तब नेटवर्क के माध्यम से पीछे की ओर प्रसारित किया जाता है, और नेटवर्क त्रुटि को कम करने के प्रयास में वजनों को समायोजित करने के लिए एक ग्रेडिएंट डिसेंट ऑप्टिमाइजेशन एल्गोरिदम का उपयोग करता है।

अल्ट्राफास्टबेर्ट: मॉडल आर्किटेक्चर और वर्किंग

अल्ट्राफास्टबेर्ट फ्रेमवर्क क्रैम्डबेर्ट आर्किटेक्चर पर बनाया गया है, और अल्ट्राफास्टबेर्ट फ्रेमवर्क क्रैम्डबेर्ट फ्रेमवर्क के सभी घटकों का उपयोग करता है, सिवाय मध्यवर्ती परतों की प्रकृति के। इसके बजाय, अल्ट्राफास्टबेर्ट फ्रेमवर्क मध्यवर्ती परतों के फीडफॉरवर्ड नेटवर्क को तेज़ फीडफॉरवर्ड नेटवर्क से बदल देता है। अल्ट्राफास्टबेर्ट फ्रेमवर्क मूल फीडफॉरवर्ड नेटवर्क में निम्नलिखित परिवर्तन करता है:

1. फ्रेमवर्क सभी नोड्स पर GeLU सक्रियण फलन का उपयोग करके पत्ती और गैर-पत्ती नोड्स के बीच के अंतर को दूर करता है, और इन नोड्स को आउटपुट वजन के साथ सुसज्जित करता है और आउटपुट पूर्वाग्रह को हटा देता है। इसके बाद, फ्रेमवर्क लीफ का आकार 1 निर्धारित करता है।
2. अंत में, फ्रेमवर्क मध्यवर्ती आउटपुट परतों की गणना के लिए तेज़ फीडफॉरवर्ड नेटवर्क के कई पेड़ों को समानांतर चलाकर संयुक्त रूप से मध्यवर्ती आउटपुट की गणना करने देता है। फ्रेमवर्क यह गणना व्यक्तिगत पेड़ों का योग लेकर और योग को मध्यवर्ती आउटपुट परत के रूप में प्रस्तुत करके करता है।

इसके अलावा, प्रशिक्षण में, अल्ट्राफास्टबेर्ट फ्रेमवर्क क्रैम्डबेर्ट फ्रेमवर्क द्वारा उपयोग की जाने वाली प्रशिक्षण प्रक्रिया का पालन करता है, जिसमें पूर्व-प्रशिक्षण में ड्रॉपआउट को अक्षम करना और 1-चक्र त्रिकोणीय शिक्षण दर अनुसूची का उपयोग करना शामिल है। मॉडल को तब 5 युगों के लिए जीएलयूई बेंचमार्क के विभिन्न कार्यों पर अपने प्रदर्शन को अधिकतम करने के लिए सूक्ष्म रूप से ट्यून किया जाता है।

इन्फरेंस

इन्फरेंस एक तेज़ फीडफॉरवर्ड नेटवर्क के लिए एक महत्वपूर्ण हिस्सा है, और ये तेज़ फीडफॉरवर्ड नेटवर्क स्वयं बड़े भाषा मॉडल का एक बड़ा हिस्सा हैं, और वे अपनी असाधारण त्वरण क्षमता के लिए जाने जाते हैं। इस त्वरण क्षमता को समझने के लिए, आइए एक उदाहरण लेते हैं जो सबसे उन्नत भाषा मॉडल में से एक है, जीपीटी -3, जिसमें प्रत्येक ट्रांसफॉर्मर परत में फीडफॉरवर्ड नेटवर्क में 49,100 से अधिक न्यूरॉन्स होते हैं। यदि प्रशिक्षित किया जा सकता है, तो एक तेज़ फीडफॉरवर्ड नेटवर्क (अधिकतम गहराई 15) मूल फीडफॉरवर्ड नेटवर्क को बदल सकता है। पेश किया गया तेज़ फीडफॉरवर्ड नेटवर्क में 65,000 से अधिक न्यूरॉन्स होंगे, लेकिन यह केवल 16 न्यूरॉन्स का उपयोग करेगा, जो जीपीटी -3 के लिए उपलब्ध न्यूरॉन्स का लगभग 0.03% है।

एल्गोरिदम और संगतता

अल्ट्राफास्टबेर्ट फ्रेमवर्क तेज़ फीडफॉरवर्ड इन्फरेंस के लिए एक पुनरावर्ती स्यूडोकोड एल्गोरिदम का उपयोग करता है, और एल्गोरिदम नीचे दी गई छवि में दिखाया गया है।

यहाँ, बी बैच आकार का प्रतिनिधित्व करता है, एच इनपुट परतों की चौड़ाई का प्रतिनिधित्व करता है, और एम स्तंभों का प्रतिनिधित्व करता है। तेज़ फीडफॉरवर्ड नेटवर्क के साथ सशर्त मैट्रिक्स गुणा (CMM) दृष्टिकोण का उपयोग करने के साथ एक और बड़ा चिंता का विषय यह है कि क्या यह घने मैट्रिक्स गुणा और मौजूदा डीप लर्निंग फ्रेमवर्क के लिए प्रक्रिया के साथ संगतता को प्रभावित करता है। सौभाग्य से, सीएमएम का उपयोग प्रदर्शन को प्रभावित नहीं करता है या असंगतता को पेश नहीं करता है, हालांकि यह कैशिंग जटिलता को बढ़ाता है।

यह महत्वपूर्ण है कि तेज़ फीडफॉरवर्ड नेटवर्क के हिस्से के रूप में, एकल-थ्रेडेड घने मैट्रिक्स गुणा एमएसी या गुणा और संचय निर्देशों को निष्पादित करने पर निर्भर करता है, और परिणामस्वरूप, डीएमएम को सीएमएम दृष्टिकोण से बदलने से सीपीयू को लाभ होगा क्योंकि प्रत्येक तत्व के लिए परत आउटपुट की गणना करने के लिए कम एमएसी निर्देशों की आवश्यकता होती है। इसलिए, शाखा से जुड़ी सशर्तता के बावजूद, “न्यूरल शाखा” संबंधित पॉइंटर्स में मेमोरी ऑफसेट में एक अतिरिक्त के रूप में कार्य करती है। इसलिए, अल्ट्राफास्टबेर्ट फ्रेमवर्क में, सीएमएम की सशर्तता को सुविधाजनक बनाने के लिए निर्देश शाखा भविष्यवाणी पूरी तरह से शामिल नहीं है, और यह केवल वजन मैट्रिक्स के प्रासंगिक स्तंभों को व्यक्तिगत रूप से लोड करता है। इसके अलावा, क्योंकि फ्रेमवर्क पंक्ति-स्तंभ डॉट उत्पादों को निष्पादित करता है, विशिष्ट उपकरणों के लिए इन्फरेंस कार्यान्वयन को तेज़ करने के लिए एसआईएमडी या एकल निर्देश बहुसंख्यक डेटा वेक्टर समांतर प्रसंस्करण अभी भी एक अच्छा विकल्प है।

अल्ट्राफास्टबेर्ट: प्रदर्शन और परिणाम

हम फाइन-ट्यूनिंग तथा इन्फरेंस कार्यों पर अल्ट्राफास्टबेर्ट फ्रेमवर्क के प्रदर्शन की चर्चा करेंगे, ताकि यह देखा जा सके कि फ्रेमवर्क अत्याधुनिक भाषा मॉडलों की तुलना में कैसा प्रदर्शन करता है।

फाइन-ट्यूनिंग परिणाम

निम्नलिखित आंकड़ा विभिन्न मॉडलों के जीएलयूई-डेव टेस्ट डेटासेट पर प्रदर्शन को दर्शाता है। यहाँ, एन न्यूरॉन्स की संख्या को दर्शाता है जो फ्रेमवर्क को प्रशिक्षण के लिए उपलब्ध है, “एवज” सभी कार्यों के औसत स्कोर का प्रतिनिधित्व करता है।

जैसा कि स्पष्ट रूप से देखा जा सकता है, अल्ट्राफास्टबेर्ट फ्रेमवर्क, जिसे ए6000 जीपीयू पर 24 घंटे से अधिक समय तक प्रशिक्षित किया गया है, जीएलयूई डाउनस्ट्रीम कार्यों पर मूल बेर्ट फ्रेमवर्क के साथ तुलनीय प्रदर्शन को बनाए रखने में सक्षम है, लगभग 96% की भविष्यवाणी प्रदर्शन। इसके अलावा, यह देखा जा सकता है कि तेज़ फीडफॉरवर्ड नेटवर्क की गहराई में वृद्धि के साथ, फ्रेमवर्क का प्रदर्शन गिरता है, हालांकि अधिकांश प्रदर्शन हानि कोला कार्य के लिए होती है। यदि कोला कार्य को अस्थायी रूप से नजरअंदाज किया जाए, तो अल्ट्राफास्टबेर्ट फ्रेमवर्क लगभग 98.6% का भविष्यवाणी प्रदर्शन स्कोर देता है।

इन्फरेंस परिणाम

इस खंड में, हम इन्फरेंस कार्यान्वयन पर विभिन्न फीडफॉरवर्ड और तेज़ फीडफॉरवर्ड नेटवर्क के प्रदर्शन की तुलना करेंगे, और ये कार्यान्वयन तीन स्तरों पर फैले हुए हैं।

1. स्तर 1 कार्यान्वयन में, कार्यान्वयन ब्लास स्तर 1 दिनचर्या का उपयोग करके निर्मित किया जाता है, अर्थात स्केलर-वेक्टर उत्पाद और वेक्टर-वेक्टर डॉट उत्पाद।
2. स्तर 2 में, कार्यान्वयन ब्लास स्तर 2 दिनचर्या का उपयोग करते हैं, अर्थात बैच्ड स्केलर-वेक्टर उत्पाद और बैच्ड मैट्रिक्स-वेक्टर डॉट उत्पाद।
3. स्तर 3 में, कार्यान्वयन गैर-बैच्ड ब्लास स्तर 3 मैट्रिक्स-मैट्रिक्स गुणा दृष्टिकोण का उपयोग करते हैं, और हालांकि यह फीडफॉरवर्ड नेटवर्क के लिए उपलब्ध सबसे तेज़ कार्यान्वयन है, ऐसे कार्यान्वयन तेज़ फीडफॉरवर्ड नेटवर्क के लिए उपलब्ध नहीं हैं क्योंकि लाइब्रेरी सशर्त मैट्रिक्स गुणा के वेक्टर-स्तर के स्पार्सिटी का समर्थन नहीं करती है।

इसके अलावा, अल्ट्राफास्टबेर्ट फ्रेमवर्क जीपीयू कार्यान्वयन को कस्टम सीउडीए या पाइटोर्च केर्नल का उपयोग करके तैनात करता है।

उपरोक्त तालिका अल्ट्राफास्टबेर्ट फ्रेमवर्क के प्रदर्शन की तुलना अपने पूर्ववर्तियों, बेर्ट-आधारित फ्रेमवर्क के साथ फीडफॉरवर्ड और तेज़ फीडफॉरवर्ड परतों के संदर्भ में करती है, जहां प्रत्येक कॉलम में फीडफॉरवर्ड के साथ तुलना में तेज़ फीडफॉरवर्ड कार्यान्वयन की सापेक्ष इन्फरेंस गति बढ़ जाती है, जब वे समान रैखिक बीजगणित दिनचर्या प्रिमिटिव ऑपरेशन का उपयोग करते हैं।

हालांकि, यह ध्यान रखना महत्वपूर्ण है कि ऊपर दी गई तालिका में रिपोर्ट की गई गति वृद्धि “न्यायसंगत तुलना” के लिए है, अर्थात दोनों तेज़ फीडफॉरवर्ड और फीडफॉरवर्ड कार्यान्वयन समान रैखिक बीजगणित दिनचर्या प्रिमिटिव ऑपरेशन का उपयोग करते हैं। इसके अलावा, स्तर 1 और स्तर 2 पर, तेज़ फीडफॉरवर्ड नेटवर्क के कार्यान्वयन फीडफॉरवर्ड की तुलना में क्रमशः 48 गुना और 78 गुना तेजी से इन्फरेंस कर सकते हैं।

अंतिम विचार

इस लेख में, हमने अल्ट्राफास्टबेर्ट के बारे में बात की है, जो एक बेर्ट-आधारित फ्रेमवर्क है जो इस अवधारणा पर बनाया गया है कि फीडफॉरवर्ड परतें प्रत्येक इनपुट के लिए आउटपुट उत्पन्न करने के लिए उपलब्ध न्यूरॉन्स का 100% उपयोग नहीं करती हैं, जिससे संसाधनों की बर्बादी होती है, जटिलता बढ़ती है, गणना समय बढ़ता है और गणना लागत बढ़ती है, और अपनी वास्तुकला में फीडफॉरवर्ड परतों को तेज़ फीडफॉरवर्ड नेटवर्क से बदल देता है, जिससे अल्ट्राफास्टबेर्ट फ्रेमवर्क केवल 0.3% उपलब्ध न्यूरॉन्स का उपयोग करता है, जबकि समान आकार और प्रशिक्षण प्रक्रिया वाले बेर्ट मॉडल के साथ तुलनीय परिणाम प्रदान करता है, विशेष रूप से डाउनस्ट्रीम कार्यों पर।

अल्ट्राफास्टबेर्ट फ्रेमवर्क द्वारा प्रदान किए गए मजबूत प्रदर्शन यह प्रमाण है कि एलएलएम तेज़ फीडफॉरवर्ड नेटवर्क का उपयोग करके व्यक्तिगत इन्फरेंस के लिए अपने पैरामीटर का केवल एक अंश का उपयोग करके मजबूत प्रदर्शन प्रदान कर सकते हैं, क्योंकि अल्ट्राफास्टबेर्ट फ्रेमवर्क केवल 0.3% उपलब्ध न्यूरॉन्स का उपयोग करता है और फिर भी इन्फरेंस समय पर 78 गुना त्वरण प्राप्त करता है।