इंजीनियरों ने ऊर्जा-कुशल “अर्ली बर्ड” विधि विकसित की है जो गहरे न्यूरल नेटवर्क को प्रशिक्षित करने के लिए है

राइस विश्वविद्यालय के इंजीनियरों ने गहरे न्यूरल नेटवर्क (DNNs) को प्रशिक्षित करने के लिए एक नई विधि विकसित की है, जिसमें सामान्य रूप से आवश्यक ऊर्जा का केवल एक अंश है। DNNs वह रूप है जो कृत्रिम बुद्धिमत्ता (AI) का एक प्रमुख भूमिका निभाता है, जो स्व-ड्राइविंग कारों, बुद्धिमान सहायकों, चेहरे की पहचान, और अन्य अनुप्रयोगों के विकास में महत्वपूर्ण है।

अर्ली बर्ड को 29 अप्रैल को राइस और टेक्सास एएंडएम विश्वविद्यालय के शोधकर्ताओं द्वारा एक पेपर में विस्तार से बताया गया था। यह इंटरनेशनल कॉन्फ्रेंस ऑन लर्निंग रिप्रेजेंटेशन्स (ICLR 2020) में हुआ था।

अध्ययन के प्रमुख लेखक हाओरान यू और चाओजियन ली थे, जो राइस के एफिसिएंट एंड इंटेलिजेंट कंप्यूटिंग (EIC) लैब से थे। एक अध्ययन में, उन्होंने दिखाया कि यह विधि एक DNN को उसी स्तर और सटीकता के साथ प्रशिक्षित कर सकती है जैसा कि आज की विधियों में, लेकिन 10.7 गुना कम ऊर्जा का उपयोग करके।

इस शोध का नेतृत्व EIC लैब के निदेशक यिंगयान लिन, राइस के रिचर्ड बारानюк, और टेक्सास एएंडएम के झांगयांग वांग ने किया था। अन्य सह-लेखकों में पेंगफEI xu, योंगगन फू, यू वांग, और शियाओहान चेन शामिल हैं।

“हाल के AI प्रगति में एक प्रमुख ड्राइविंग फोर्स बड़े और अधिक महंगे DNNs की शुरुआत है,” लिन ने कहा। “लेकिन इन DNNs को प्रशिक्षित करने में काफी ऊर्जा लगती है। और अधिक नवाचारों को प्रकट करने के लिए, यह आवश्यक है कि हम ‘ग्रीनर’ प्रशिक्षण विधियों को खोजें जो पर्यावरण संबंधी चिंताओं को संबोधित करती हैं और AI शोध के वित्तीय बाधाओं को कम करती हैं।”

DNNs को प्रशिक्षित करना महंगा है

विश्व के सर्वश्रेष्ठ DNNs को प्रशिक्षित करना बहुत महंगा हो सकता है, और इसकी कीमत लगातार बढ़ रही है। 2019 में, सिएटल में एलन इंस्टीट्यूट फॉर AI द्वारा एक अध्ययन में पाया गया कि एक शीर्ष-स्तरीय गहरे न्यूरल नेटवर्क को प्रशिक्षित करने के लिए, 2012-2018 की तुलना में 300,000 गुना अधिक गणना की आवश्यकता होती है। एक अन्य 2019 के अध्ययन में, मैसाचुसेट्स अम्हर्स्ट विश्वविद्यालय के शोधकर्ताओं ने पाया कि एक एकल, शीर्ष-स्तरीय DNN को प्रशिक्षित करने से लगभग पांच अमेरिकी वाहनों के बराबर कार्बन डाइऑक्साइड उत्सर्जन होता है।

DNNs अपने उच्च विशिष्ट कार्यों को करने के लिए, कम से कम लाखों कृत्रिम न्यूरॉन्स से बने होते हैं। वे बड़ी संख्या में उदाहरणों को देखकर निर्णय लेने के तरीके सीखने में सक्षम होते हैं, कभी-कभी मानवों से बेहतर प्रदर्शन करते हैं। वे स्पष्ट प्रोग्रामिंग की आवश्यकता के बिना ऐसा कर सकते हैं।

प्रून और प्रशिक्षित करें

लिन राइस के ब्राउन स्कूल ऑफ इंजीनियरिंग में इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग के सहायक प्रोफेसर हैं।

“DNN प्रशिक्षण करने का राज्य-ऑफ-द-आर्ट तरीका प्रगतिशील प्रून और प्रशिक्षित है,” लिन ने कहा। “सबसे पहले, आप एक घने और विशाल नेटवर्क को प्रशिक्षित करते हैं, फिर जो महत्वपूर्ण नहीं लगते हैं उन्हें हटा देते हैं – जैसे कि एक पेड़ को प्रून करना। फिर आप प्रून किए गए नेटवर्क को फिर से प्रशिक्षित करते हैं ताकि प्रदर्शन को बहाल किया जा सके क्योंकि प्रूनिंग के बाद प्रदर्शन खराब हो जाता है। और व्यवहार में आपको अच्छे प्रदर्शन को प्राप्त करने के लिए कई बार प्रून और प्रशिक्षित करने की आवश्यकता होती है।”

यह विधि तब उपयोग की जाती है जब सभी कृत्रिम न्यूरॉन्स विशिष्ट कार्य को पूरा करने के लिए आवश्यक नहीं होते हैं। न्यूरॉन्स के बीच के कनेक्शन प्रशिक्षण के कारण मजबूत हो जाते हैं और अन्य को हटाया जा सकता है। यह प्रूनिंग विधि गणनात्मक लागत को कम करती है और मॉडल के आकार को कम करती है, जिससे पूरी तरह से प्रशिक्षित DNNs अधिक किफायती हो जाते हैं।

“पहला चरण, घने और विशाल नेटवर्क को प्रशिक्षित करना, सबसे महंगा है,” लिन ने कहा। “हमारा विचार इस काम में यह है कि हम अंतिम, पूरी तरह से कार्यात्मक प्रून नेटवर्क की पहचान करें, जिसे हम ‘अर्ली बर्ड टिकट’ कहते हैं, इस महंगे पहले चरण की शुरुआत में।”

शोधकर्ता नेटवर्क कनेक्टिविटी पैटर्न की तलाश करके ऐसा करते हैं, और वे इन अर्ली बर्ड टिकटों का पता लगाने में सक्षम थे। इससे उन्हें DNN प्रशिक्षण तेज करने में मदद मिली।

प्रशिक्षण के प्रारंभिक चरण में अर्ली बर्ड

लिन और अन्य शोधकर्ताओं ने पाया कि अर्ली बर्ड प्रशिक्षण के प्रारंभिक चरण में एक-दसवें या उससे कम हिस्से में दिखाई दे सकता है।

“हमारी विधि घने और विशाल नेटवर्क के प्रशिक्षण के पहले 10% या उससे कम में अर्ली बर्ड टिकटों की स्वचालित रूप से पहचान कर सकती है,” लिन ने कहा। “इसका मतलब है कि आप एक DNN को प्रशिक्षित कर सकते हैं ताकि वह एक ही या बेहतर सटीकता के साथ एक दिए गए कार्य को पूरा कर सके, जो पारंपरिक प्रशिक्षण के लिए आवश्यक समय का 10% या उससे कम है, जो गणना और ऊर्जा दोनों में एक से अधिक क्रम की बचत का परिणाम हो सकता है।”

तेजी से और अधिक ऊर्जा-कुशल होने के अलावा, शोधकर्ताओं का पर्यावरणीय प्रभाव पर एक मजबूत ध्यान केंद्रित है।

“हमारा लक्ष्य AI को अधिक पर्यावरण अनुकूल और अधिक समावेशी बनाना है,” उन्होंने कहा। “जटिल AI समस्याओं का आकार छोटे खिलाड़ियों को बाहर रखा है। ग्रीन AI दरवाजा खोल सकती है जो शोधकर्ताओं को एक लैपटॉप या सीमित गणनात्मक संसाधनों के साथ AI नवाचारों का अन्वेषण करने में सक्षम बनाती है।”

इस शोध को नेशनल साइंस फाउंडेशन से समर्थन मिला है।