शोधकर्ताओं ने गहरे शिक्षण न्यूरल नेटवर्क के भीतर अत्यधिक कुशल उप-नेटवर्क की खोज की

गहरे शिक्षण न्यूरल नेटवर्क अक्सर विशाल होते हैं और बड़ी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता होती है, लेकिन एक नए खोज से पता चलता है कि यह कैसे कार्यों को अधिक कुशलता से पूरा करने के लिए कम किया जा सकता है। जोनाथन फ्रैंकले और उनकी टीम ने एमआईटी से “लॉटरी टिकट हाइपोथीसिस” के साथ आया है, जो दिखाता है कि बड़े न्यूरल नेटवर्क के भीतर पतले उप-नेटवर्क होते हैं। ये उप-नेटवर्क कम आवश्यक कंप्यूटिंग शक्ति के साथ कार्य को अधिक कुशलता से पूरा कर सकते हैं, लेकिन सबसे बड़ी चुनौती इन उप-नेटवर्क को खोजना है, जिन्हें टीम जीतने वाले लॉटरी टिकट के रूप में संदर्भित करती है।

टीम ने बीईआरटी के भीतर इन उप-नेटवर्क की खोज की, जो प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के लिए शीर्ष-स्तरीय मशीन लर्निंग तकनीक है। एनएलपी, जो कृत्रिम बुद्धिमत्ता (एआई) का एक उपक्षेत्र है, मानव भाषा को समझने और विश्लेषण करने के लिए जिम्मेदार है, और इसका उपयोग अनुप्रयोगों जैसे कि पूर्वानुमानिक पाठ जनरेशन और चैटबॉट्स के लिए किया जाता है।

हालांकि, बीईआरटी बड़ा है और सुपरकंप्यूटिंग शक्ति की आवश्यकता होती है, जो अधिकांश उपयोगकर्ताओं के लिए असुलभ है। इन उप-नेटवर्क की नई खोज के साथ, यह पहुंच को खोल सकता है, जिससे अधिक उपयोगकर्ता एनएलपी टूल विकसित करने के लिए प्रौद्योगिकी का उपयोग कर सकते हैं।

“हम उस बिंदु पर पहुंच रहे हैं जहां हमें इन मॉडलों को पतला और अधिक कुशल बनाना होगा,” फ्रैंकले कहते हैं।

उनके अनुसार, यह विकास एनएलपी के लिए “प्रवेश बाधा” को कम कर सकता है।

बीईआरटी – “अत्यधिक महंगा”

बीईआरटी गूगल के सर्च इंजन जैसी चीजों के लिए मौलिक है और 2018 में गूगल द्वारा इसके जारी होने के बाद से बहुत ध्यान मिला है। यह न्यूरल नेटवर्क बनाने के लिए एक तरीका है और लेखन के टुकड़ों में खाली पासेज भरने के कई प्रयासों द्वारा प्रशिक्षित किया जाता है। बीईआरटी की सबसे प्रभावशाली विशेषताओं में से एक इसका विशाल प्रारंभिक प्रशिक्षण डेटासेट है।

इसके बाद यह विशिष्ट कार्यों के लिए उपयोगकर्ताओं द्वारा समायोजित किया जा सकता है, जैसे कि ग्राहक-सेवा चैटबॉट, लेकिन एक बार फिर, इसके लिए बड़ी मात्रा में प्रसंस्करण शक्ति की आवश्यकता होती है, जिसमें 1 अरब तक पहुंचने की संभावना है।

“एक मानक बीईआरटी मॉडल – वर्तमान में – 340 मिलियन पैरामीटर है,” फ्रैंकले कहते हैं। “यह बहुत ही महंगा है। यह आप या मेरे लिए कंप्यूटिंग क्षमता से बहुत आगे है।”

टेक्सास विश्वविद्यालय के प्रमुख लेखक तियानलोंग चेन के अनुसार, बीईआरटी जैसे मॉडल “विशाल नेटवर्क आकार” से पीड़ित हैं, लेकिन नई अनुसंधान के लिए “लॉटरी टिकट हाइपोथीसिस एक समाधान की तरह लगता है।”

कुशल उप-नेटवर्क

चेन और टीम ने बीईआरटी के भीतर एक छोटे मॉडल की तलाश की और खोजे गए उप-नेटवर्क के प्रदर्शन की तुलना मूल बीईआरटी मॉडल से की। यह विभिन्न एनएलपी कार्यों पर परीक्षण किया गया था, जिसमें प्रश्नों के उत्तर देना और वाक्य में खाली शब्द भरना शामिल था।

टीम ने सफल उप-नेटवर्क की खोज की जो मूल बीईआरटी मॉडल की तुलना में 40 से 90 प्रतिशत पतले थे, वास्तविक प्रतिशत कार्य पर निर्भर करता है। इसके अलावा, वे कार्य-विशिष्ट फाइन-ट्यूनिंग से पहले उन्हें पहचान सकते थे, जिससे कंप्यूटिंग लागत और कम हो जाती है। एक और लाभ यह था कि कुछ उप-नेटवर्क एक विशिष्ट कार्य के लिए चुने जा सकते थे और फिर दूसरे के लिए पुन: उपयोग किए जा सकते थे।

“मुझे लगता था कि यह काम करेगा, लेकिन मैं इसके लिए तैयार नहीं था,” फ्रैंकले कहते हैं। “मुझे उम्मीद थी कि परिणाम अधिक जटिल होगा।”

फेसबुक एआई रिसर्च के वैज्ञानिक एरी मोरकोस के अनुसार, यह खोज “आकर्षक” है, और “इन मॉडलों का उपयोग बढ़ता जा रहा है। इसलिए, यह महत्वपूर्ण है कि लॉटरी टिकट हाइपोथीसिस क्या पकड़ता है।”

मोरकोस यह भी कहते हैं कि यदि ये उप-नेटवर्क बहुत कम कंप्यूटिंग शक्ति का उपयोग करके चल सकते हैं, तो यह “बहुत प्रभावशाली” होगा, क्योंकि “वर्तमान में ये बहुत बड़े मॉडल बहुत महंगे हैं।”

“मुझे नहीं पता कि हम इन सुपरकंप्यूटर-शैली के गणना का उपयोग करके कितना बड़ा हो सकते हैं,” फ्रैंकले जोड़ते हैं। “हमें प्रवेश बाधा को कम करना होगा।”

“उम्मीद है कि यह लागत को कम करेगा, यह सभी के लिए अधिक सुलभ बनाएगा … जो केवल एक लैपटॉप के साथ छोटे लोग हैं,” वह निष्कर्ष निकालते हैं।

अनुसंधान न्यूरल इंफॉर्मेशन प्रोसेसिंग सिस्टम्स कॉन्फ्रेंस में प्रस्तुत किया जाने वाला है।