एआई मॉडल और प्लेटफ़ॉर्म
एआई रणनीति में वृद्धि और छंटनी करने से एआई ऊर्जा की खपत कम होती है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मानव मस्तिष्क एक “वृद्धि और छंटनी” रणनीति के साथ काम करता है, जिसमें शुरुआत में तंत्रिका कनेक्शनों की एक बड़ी मात्रा होती है और फिर समय के साथ अनुपयोगी कनेक्शनों को काट दिया जाता है। हाल ही में, एआई अनुसंधान करने वाली एक टीम ने इस दृष्टिकोण को एआई प्रणालियों पर लागू किया है और पाया है कि यह एआई को प्रशिक्षित करने के लिए आवश्यक ऊर्जा की मात्रा को काफी कम कर सकता है।
प्रिंसटन विश्वविद्यालय के एक शोधकर्ता दल ने हाल ही में एक नई विधि विकसित की है जिसका उपयोग कृत्रिम बुद्धिमत्ता प्रणालियों को प्रशिक्षित करने के लिए किया जा सकता है। यह नई प्रशिक्षण विधि उद्योग मानकों के लिए सटीकता में मिलने या उनसे बेहतर प्रदर्शन करने में सक्षम लगती है, लेकिन यह पारंपरिक मशीन लर्निंग मॉडल की तुलना में बहुत कम गणनात्मक शक्ति का उपयोग करती है, और इसलिए कम ऊर्जा की खपत करती है। दो अलग-अलग पत्रों के दौरान, प्रिंसटन शोधकर्ताओं ने दिखाया कि कैसे एक नेटवर्क को न्यूरॉन और कनेक्शन जोड़कर बढ़ाया जा सकता है। बाद में समय के साथ अनुपयोगी कनेक्शनों को काट दिया जाता है, जिससे केवल सबसे प्रभावी और कुशल हिस्से ही शेष रहते हैं।
निरज झा, प्रिंसटन में इलेक्ट्रिकल इंजीनियरिंग के प्रोफेसर, ने प्रिंसटन समाचार को बताया कि शोधकर्ताओं द्वारा विकसित मॉडल “वृद्धि और छंटनी” सिद्धांत पर काम करता है। झा ने समझाया कि एक मानव मस्तिष्क तीन साल की आयु में सबसे जटिल होता है, और इसके बाद मस्तिष्क अनुपयोगी सिनैप्टिक कनेक्शनों को काटना शुरू कर देता है। परिणामस्वरूप, पूरी तरह से विकसित मस्तिष्क हमारे दैनिक जीवन में असाधारण रूप से जटिल कार्यों को करने में सक्षम है, लेकिन यह अपने शिखर पर मौजूद सभी सिनैप्स का लगभग आधा हिस्सा ही उपयोग करता है। झा और अन्य शोधकर्ताओं ने इस रणनीति को एआई प्रशिक्षण में सुधार करने के लिए अपनाया है।
“हमारा दृष्टिकोण ‘वृद्धि और छंटनी’ सिद्धांत है। यह एक मस्तिष्क की तरह है जब हम शिशु से लेकर बच्चे तक होते हैं। तीसरे वर्ष में, मानव मस्तिष्क तंत्रिका कोशिकाओं के बीच कनेक्शन को काटना शुरू कर देता है। यह प्रक्रिया वयस्कता में जारी रहती है, ताकि पूरी तरह से विकसित मस्तिष्क लगभग आधी सिनैप्टिक चोटी पर काम करता है। वयस्क मस्तिष्क हमारे द्वारा प्रदान किए गए प्रशिक्षण के लिए विशेषज्ञ होता है। यह सामान्य उद्देश्य सीखने के लिए एक शिशु मस्तिष्क के रूप में अच्छा नहीं है।”
वृद्धि और छंटनी तकनीक के कारण, डेटा में पैटर्न के बारे में समान रूप से अच्छी भविष्यवाणी पहले की तुलना में बहुत कम गणनात्मक शक्ति का उपयोग करके की जा सकती है। शोधकर्ता ऊर्जा की खपत और गणनात्मक लागत को कम करने के तरीकों की तलाश में हैं, क्योंकि यह छोटे उपकरणों जैसे फोन और स्मार्टवॉच पर मशीन लर्निंग लाने के लिए महत्वपूर्ण है। मशीन लर्निंग अल्गोरिदम द्वारा उपयोग की जाने वाली ऊर्जा को कम करने से उद्योग को अपने कार्बन फुटप्रिंट को कम करने में मदद मिल सकती है। पेपर के पहले लेखक जियाओलियांग दाई ने समझाया कि मॉडलों को स्थानीय रूप से प्रशिक्षित किया जाना चाहिए क्योंकि क्लाउड में स्थानांतरण के लिए बहुत अधिक ऊर्जा की आवश्यकता होती है।
पहले अध्ययन के दौरान, शोधकर्ताओं ने एक न्यूरल नेटवर्क निर्माण उपकरण विकसित करने का प्रयास किया जिसका उपयोग वे न्यूरल नेटवर्क को इंजीनियर करने और स्क्रैच से उच्चतम प्रदर्शन वाले नेटवर्क को पुनः बनाने के लिए कर सकते थे। उपकरण को नेस्ट (न्यूरल नेटवर्क सिंथेसिस टूल) कहा जाता था, और जब इसे कुछ न्यूरॉन और कनेक्शन दिए जाते हैं, तो यह तेजी से जटिलता में वृद्धि करता है और नेटवर्क में अधिक न्यूरॉन जोड़ता है। एक बार जब नेटवर्क एक चुने हुए बेंचमार्क को पूरा करता है, तो यह समय के साथ खुद को काटना शुरू कर देता है। जबकि पिछले नेटवर्क मॉडलों ने छंटनी तकनीकों का उपयोग किया है, प्रिंसटन शोधकर्ताओं द्वारा विकसित तरीका पहला था जिसने एक नेटवर्क लिया और विकास के चरणों का अनुकरण किया, “शिशु” से “बच्चे” और अंत में “वयस्क मस्तिष्क” तक।
दूसरे पत्र के दौरान, शोधकर्ताओं ने कैलिफोर्निया विश्वविद्यालय-बеркले और फेसबुक की एक टीम के साथ मिलकर एक उपकरण का उपयोग करके अपनी तकनीक में सुधार किया जिसे चमेलियन कहा जाता है। चमेलियन इच्छित परिणाम, वांछित परिणामों के साथ शुरू हो सकता है और पीछे की ओर काम करके सही प्रकार के न्यूरल नेटवर्क का निर्माण कर सकता है। यह मैनुअल रूप से नेटवर्क को समायोजित करने में शामिल अनुमान को बहुत कम कर देता है, जिससे इंजीनियरों को तुरंत उपयोगी स्टार्टिंग पॉइंट मिलते हैं। चमेलियन विभिन्न वास्तुकलाओं के प्रदर्शन की भविष्यवाणी करता है विभिन्न परिस्थितियों में। चमेलियन और नेस्ट फ्रेमवर्क को मिलाने से उन शोध संगठनों को लाभ हो सकता है जिनके पास भारी गणनात्मक संसाधन नहीं हैं, जो न्यूरल नेटवर्क की शक्ति का लाभ उठा सकते हैं।
(META )
