लाइफलॉन्ग ऑन-डिवाइस लर्निंग नई ट्रेनिंग तकनीक के साथ करीब

एमआईटी और एमआईटी-आईबीएम वॉटसन एआई लैब के शोधकर्ताओं की एक टीम ने एक नई तकनीक विकसित की है जो कम से कम एक चौथाई मेगाबाइट मेमोरी का उपयोग करके डिवाइस पर प्रशिक्षण को सक्षम बनाती है। यह नई तकनीक एक उल्लेखनीय उपलब्धि है, क्योंकि अन्य प्रशिक्षण समाधान आमतौर पर 500 मेगाबाइट से अधिक मेमोरी की आवश्यकता होती है, जो अधिकांश माइक्रोकंट्रोलर की 256-किलोबाइट क्षमता से अधिक है।

एक इंटेलिजेंट एज डिवाइस पर एक मशीन-लर्निंग मॉडल को प्रशिक्षित करके, यह नए डेटा के अनुकूल हो सकता है और बेहतर भविष्यवाणी कर सकता है। हालांकि, प्रशिक्षण प्रक्रिया में आमतौर पर बहुत अधिक मेमोरी की आवश्यकता होती है, इसलिए यह अक्सर डेटा सेंटर में कंप्यूटर के साथ किया जाता है trước कि मॉडल को डिवाइस पर तैनात किया जाए। यह प्रक्रिया नई तकनीक द्वारा विकसित की गई तुलना में अधिक महंगी है और गोपनीयता के मुद्दों को उठाती है।

शोधकर्ताओं ने एल्गोरिदम और फ्रेमवर्क को इस तरह से विकसित किया है कि प्रशिक्षण के लिए आवश्यक गणना की मात्रा कम हो जाती है, जिससे प्रक्रिया तेज और अधिक मेमोरी-कुशल हो जाती है। यह तकनीक एक माइक्रोकंट्रोलर पर एक मशीन-लर्निंग मॉडल को केवल कुछ मिनटों में प्रशिक्षित करने में मदद कर सकती है।

नई तकनीक गोपनीयता में भी मदद करती है क्योंकि यह डिवाइस पर डेटा रखती है, जो संवेदनशील डेटा के मामले में महत्वपूर्ण है। साथ ही, फ्रेमवर्क अन्य दृष्टिकोणों की तुलना में मॉडल की सटीकता में सुधार करता है।

सॉन्ग हान इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर साइंस (ईईसीएस) विभाग में एक एसोसिएट प्रोफेसर हैं, एमआईटी-आईबीएम वॉटसन एआई लैब के सदस्य हैं, और शोध पत्र के वरिष्ठ लेखक हैं।

“हमारा अध्ययन आईओटी डिवाइसों को न केवल अनुमान लगाने में सक्षम बनाता है, बल्कि लगातार नए एकत्रित डेटा के लिए एआई मॉडल को अपडेट करने में भी सक्षम बनाता है, जो ऑन-डिवाइस लर्निंग के लिए मार्ग प्रशस्त करता है,” हान ने कहा। “कम संसाधन उपयोग गहरे शिक्षण को अधिक सुलभ बनाता है और विशेष रूप से कम शक्ति वाले एज डिवाइसों के लिए इसकी पहुंच अधिक हो सकती है।”

शोध पत्र में सह-लीड लेखक और ईईसीएस पीएचडी छात्र जी लिन और लिगेंग जू, और एमआईटी पोस्टडॉक्स वेई-मिंग चेन और वेई-चेन वांग शामिल हैं। इसमें चुआंग गान, एमआईटी-आईबीएम वॉटसन एआई लैब में एक प्रिंसिपल रिसर्च स्टाफ सदस्य भी शामिल हैं।

प्रशिक्षण प्रक्रिया को अधिक कुशल बनाना

प्रशिक्षण प्रक्रिया को अधिक कुशल और कम मेमोरी-गहन बनाने के लिए, टीम ने दो एल्गोरिदमिक समाधानों पर भरोसा किया। पहला स्पार्स अपडेट के रूप में जाना जाता है, जो एक एल्गोरिदम का उपयोग करता है जो प्रत्येक प्रशिक्षण दौर के दौरान अपडेट करने के लिए सबसे महत्वपूर्ण वजन की पहचान करता है। एल्गोरिदम एक-एक करके वजन को जमानत देता है जब तक कि सटीकता एक निश्चित सीमा तक नहीं गिर जाती, जिस बिंदु पर यह रुक जाता है। शेष वजन को अपडेट किया जाता है और जमे हुए वजन से संबंधित सक्रियण को मेमोरी में संग्रहीत करने की आवश्यकता नहीं होती है।

“पूरे मॉडल को अपडेट करना बहुत महंगा है क्योंकि इसमें बहुत सारी सक्रियण होती है, इसलिए लोग आमतौर पर केवल अंतिम परत को अपडेट करते हैं, लेकिन जैसा कि आप कल्पना कर सकते हैं, यह सटीकता को प्रभावित करता है,” हान ने कहा। “हमारे तरीके से, हम उन महत्वपूर्ण वजन को चुनिंदा रूप से अपडेट करते हैं और सुनिश्चित करते हैं कि सटीकता पूरी तरह से संरक्षित है।”

टीम द्वारा विकसित दूसरा समाधान क्वांटाइज्ड प्रशिक्षण और वजन को सरल बनाने से संबंधित है। एक एल्गोरिदम पहले वजन को केवल आठ बिट्स तक गोल करता है, जो एक क्वांटाइजेशन प्रक्रिया के माध्यम से भी प्रशिक्षण और अनुमान के लिए मेमोरी की मात्रा को कम करता है, अनुमान एक मॉडल को एक डेटासेट पर लागू करने और एक भविष्यवाणी उत्पन्न करने की प्रक्रिया है। एल्गोरिदम तब वजन और ग्रेडिएंट के बीच के अनुपात को समायोजित करने के लिए एक तकनीक का उपयोग करता है जिसे क्वांटाइजेशन-एवेयर स्केलिंग (क्यूएएस) कहा जाता है, जो एक गुणक की तरह कार्य करता है। यह क्वांटाइज्ड प्रशिक्षण से उत्पन्न होने वाली किसी भी सटीकता में गिरावट से बचने में मदद करता है।

शोधकर्ताओं ने एक प्रणाली विकसित की है जिसे टिनी ट्रेनिंग इंजन कहा जाता है, जो एक सरल माइक्रोकंट्रोलर पर एल्गोरिदमिक नवाचारों को चलाता है जिसमें ऑपरेटिंग सिस्टम नहीं है। मॉडल को एज डिवाइस पर तैनात करने से पहले संकलन चरण में अधिक काम पूरा करने के लिए, प्रणाली प्रशिक्षण प्रक्रिया में चरणों का क्रम बदल देती है।

“हम संकलन समय पर, ऑटो-डिफरेंशिएशन और ग्राफ ऑप्टिमाइजेशन जैसी बहुत सारी गणना को धकेलते हैं। हम स्पार्स अपडेट का समर्थन करने के लिए अतिरिक्त ऑपरेटरों को भी आक्रामक रूप से काटते हैं। एक बार रनटाइम पर, हमारे पास डिवाइस पर करने के लिए बहुत कम कार्यभार होता है,” हान कहते हैं।

अत्यधिक कुशल तकनीक

जबकि हल्के प्रशिक्षण के लिए डिज़ाइन की गई पारंपरिक तकनीकों को आमतौर पर 300 से 600 मेगाबाइट मेमोरी की आवश्यकता होती है, टीम के ऑप्टिमाइजेशन को केवल 157 किलोबाइट की आवश्यकता होती है एक माइक्रोकंट्रोलर पर एक मशीन-लर्निंग मॉडल को प्रशिक्षित करने के लिए।

फ्रेमवर्क का परीक्षण एक कंप्यूटर विजन मॉडल को प्रशिक्षित करके किया गया था जो छवियों में लोगों का पता लगा सकता है, और यह केवल 10 मिनट में इस कार्य को सीखने में सक्षम था। विधि अन्य विधियों की तुलना में एक मॉडल को 20 गुना तेजी से प्रशिक्षित करने में भी सक्षम थी।

शोधकर्ता अब तकनीकों को भाषा मॉडल और विभिन्न प्रकार के डेटा पर लागू करने का लक्ष्य रखते हैं। वे इस प्राप्त ज्ञान का उपयोग बड़े मॉडल को सटीकता में कमी के बिना कम करने के लिए भी करना चाहते हैं, जो बड़े पैमाने पर मशीन-लर्निंग मॉडल को प्रशिक्षित करने के कार्बन फुटप्रिंट को कम करने में भी मदद कर सकता है।