शोधकर्ताओं ने डीप लर्निंग न्यूरल नेटवर्क के भीतर अत्यधिक कुशल सबनेटवर्क की खोज की

डीप लर्निंग न्यूरल नेटवर्क अक्सर बड़े पैमाने पर होते हैं और उन्हें भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता होती है, लेकिन एक नई खोज दर्शाती है कि कार्यों को अधिक कुशलता से पूरा करने के लिए इसे कैसे कम किया जा सकता है। एमआईटी के जोनाथन फ्रैंकल और उनकी टीम "लॉटरी टिकट परिकल्पना" लेकर आई है, जो दिखाती है कि बड़े तंत्रिका नेटवर्क के भीतर कैसे पतले सबनेटवर्क हैं। ये सबनेटवर्क कम आवश्यक कंप्यूटिंग शक्ति के साथ कार्य को अधिक कुशलता से पूरा कर सकते हैं, सबसे बड़ी चुनौतियों में से एक उन सबनेटवर्क को ढूंढना, या लॉटरी टिकट जीतना है जैसा कि टीम उन्हें संदर्भित करती है।

टीम ने प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के लिए शीर्ष मशीन सीखने की तकनीक, बीईआरटी के भीतर इन सबनेटवर्क की खोज की। एनएलपी, जो कृत्रिम बुद्धिमत्ता (एआई) का एक उपक्षेत्र है, मानव भाषा को समझने और उसका विश्लेषण करने के लिए जिम्मेदार है, और इसका उपयोग पूर्वानुमानित पाठ पीढ़ी और चैटबॉट जैसे अनुप्रयोगों के लिए किया जाता है।

हालाँकि, BERT बड़ा है और इसके लिए सुपरकंप्यूटिंग पावर की आवश्यकता होती है, जो अधिकांश उपयोगकर्ताओं के लिए दुर्गम है। इन सबनेटवर्कों की नई खोज के साथ, यह उस पहुंच को खोल सकता है, जिससे अधिक उपयोगकर्ता एनएलपी टूल विकसित करने के लिए प्रौद्योगिकी का उपयोग कर सकेंगे।

फ्रेंकल कहते हैं, "हम उस बिंदु पर पहुंच रहे हैं जहां हमें इन मॉडलों को अधिक दुबला और अधिक कुशल बनाना होगा।"

उनके अनुसार, यह विकास एनएलपी के लिए "प्रवेश की बाधाओं को कम कर सकता है"।

बर्ट - "अश्लील रूप से महँगा"  

BERT Google के खोज इंजन जैसी चीजों के लिए मौलिक है और Google द्वारा 2018 में इसे जारी करने के बाद से इस पर बहुत ध्यान दिया गया है। यह तंत्रिका नेटवर्क बनाने की एक विधि है और लेखन के टुकड़ों के रिक्त मार्ग को भरने के लिए कई बार प्रयास करके प्रशिक्षित किया जाता है। BERT की सबसे प्रभावशाली विशेषताओं में से एक इसका विशाल प्रारंभिक प्रशिक्षण डेटासेट है।

इसके बाद इसे उपयोगकर्ताओं द्वारा ग्राहक-सेवा चैटबॉट जैसे विशिष्ट कार्यों के लिए ट्यून किया जा सकता है, लेकिन एक बार फिर, इसके लिए भारी मात्रा में प्रसंस्करण शक्ति की आवश्यकता होती है, जिसमें पैरामीटर 1 बिलियन तक पहुंचने की संभावना होती है।

फ्रेंकल कहते हैं, "इन दिनों एक मानक BERT मॉडल - उद्यान किस्म - में 340 मिलियन पैरामीटर हैं।" “यह बहुत ही महंगा है। यह आपकी या मेरी कंप्यूटिंग क्षमता से बहुत परे है।”

ऑस्टिन में टेक्सास विश्वविद्यालय के प्रमुख लेखक तियानलोंग चेन के अनुसार, BERT जैसे मॉडल "विशाल नेटवर्क आकार से पीड़ित हैं", लेकिन नए शोध के लिए धन्यवाद, "लॉटरी टिकट परिकल्पना एक समाधान प्रतीत होती है।"

कुशल सबनेटवर्क 

चेन और टीम ने BERT के भीतर स्थित एक छोटे मॉडल की तलाश की, और उन्होंने खोजे गए सबनेटवर्क के प्रदर्शन की तुलना मूल BERT मॉडल से की। इसका परीक्षण विभिन्न एनएलपी कार्यों पर किया गया, जिसमें प्रश्नों का उत्तर देना और एक वाक्य में रिक्त शब्दों को भरना शामिल था।

टीम ने सफल सबनेटवर्क की खोज की जो मूल बीईआरटी मॉडल की तुलना में प्रभावशाली 40 से 90 प्रतिशत पतले थे, वास्तविक प्रतिशत कार्य पर निर्भर करता था। इसके अलावा, वे कार्य-विशिष्ट फ़ाइन-ट्यूनिंग से पहले उन्हें पहचान सकते हैं, जिसके परिणामस्वरूप कंप्यूटिंग लागत और भी कम हो जाती है। एक अन्य लाभ यह था कि किसी विशिष्ट कार्य के लिए चुने गए कुछ उप-नेटवर्कों को दूसरे के लिए पुन: उपयोग किया जा सकता था।

फ्रेंकल कहते हैं, "मैं थोड़ा हैरान था कि यह काम भी कर गया।" “यह ऐसा कुछ नहीं है जिसे मैंने हल्के में लिया हो। मुझे जो परिणाम मिला उससे कहीं अधिक खराब परिणाम की उम्मीद थी।''

फेसबुक एआई रिसर्च के वैज्ञानिक अरी मोरकोस के अनुसार, यह खोज "पुष्टि करने वाली" है और "ये मॉडल तेजी से व्यापक होते जा रहे हैं। इसलिए यह समझना महत्वपूर्ण है कि लॉटरी टिकट की परिकल्पना सही है या नहीं।”

मोरकोस का यह भी कहना है कि अगर ये सबनेटवर्क बेहद कम कंप्यूटिंग शक्ति का उपयोग करके चल सकते हैं, तो यह "बहुत प्रभावशाली होगा क्योंकि इन बेहद बड़े मॉडलों को चलाना वर्तमान में बहुत महंगा है।"

फ्रेंकल कहते हैं, "मुझे नहीं पता कि इन सुपरकंप्यूटर-शैली की गणनाओं का उपयोग करके हम कितना बड़ा हो सकते हैं।" "हमें प्रवेश की बाधा को कम करना होगा।"

"उम्मीद यह है कि इससे लागत कम हो जाएगी, इससे यह सभी के लिए और अधिक सुलभ हो जाएगा... उन छोटे लोगों के लिए जिनके पास लैपटॉप है," उन्होंने निष्कर्ष निकाला।

शोध को यहां प्रस्तुत किया जाना तय है तंत्रिका सूचना प्रसंस्करण प्रणालियों पर सम्मेलन.