एआई मॉडल और प्लेटफ़ॉर्म
शोधकर्ताओं ने जीपीयू का विकल्प बनाया
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
राइस यूनिवर्सिटी के कंप्यूटर वैज्ञानिकों ने इंटेल के सहयोग से जीपीयू का एक अधिक लागत-कुशल विकल्प विकसित किया है। इस नए एल्गोरिदम को “सब-लीनियर डीप लर्निंग इंजन” (एसएलआईडीई) कहा जाता है, और यह विशेष त्वरण हार्डवेयर के बिना सामान्य-उद्देश्य केंद्रीय प्रसंस्करण इकाइयों (सीपीयू) का उपयोग करता है।
(INTC )परिणाम ऑस्टिन कन्वेंशन सेंटर में प्रस्तुत किए गए, जो मशीन लर्निंग सिस्टम्स कॉन्फ्रेंस एमएलएसYS आयोजित करता है।
कृत्रिम बुद्धिमत्ता (एआई) के भीतर सबसे बड़ी चुनौतियों में से एक विशेष त्वरण हार्डवेयर जैसे ग्राफिक्स प्रोसेसिंग यूनिट (जीपीयू) है। नए विकास से पहले, यह माना जाता था कि गहरे शिक्षण प्रौद्योगिकी को तेज करने के लिए इस विशेष त्वरण हार्डवेयर का उपयोग करना आवश्यक था।
कई कंपनियों ने जीपीयू और गहरे शिक्षण के लिए विशेष हार्डवेयर में निवेश करने पर बहुत महत्व दिया है, जो डिजिटल सहायक, चेहरे की पहचान, और उत्पाद सिफारिश प्रणालियों जैसी तकनीक के लिए जिम्मेदार है। ऐसी एक कंपनी एनवीडिया है, जो टेस्ला वी100 टेंसर कोर जीपीयू बनाती है। एनवीडिया ने हाल ही में पिछले साल की तुलना में अपनी चौथी तिमाही की आय में 41% की वृद्धि की सूचना दी।
एसएलआईडीई का विकास नए अवसरों को खोलता है।
अन्शुमाली श्रीवास्तव राइस के ब्राउन स्कूल ऑफ इंजीनियरिंग में एक सहायक प्रोफेसर हैं और उन्होंने स्नातक छात्रों बीडी चेन और थरुन मेदिनी के साथ एसएलआईडीई का आविष्कार किया।
“हमारे परीक्षणों से पता चलता है कि एसएलआईडीई सीपीयू पर गहरे शिक्षण का पहला स्मार्ट एल्गोरिदमिक कार्यान्वयन है जो उद्योग-स्तरीय सिफारिश डेटासेट पर जीपीयू हार्डवेयर त्वरण को पार कर सकता है,” श्रीवास्तव ने कहा।
एसएलआईडीई जीपीयू की चुनौती को पार करता है क्योंकि यह गहरे शिक्षण के लिए एक完全 अलग दृष्टिकोण है। वर्तमान में, गहरे तंत्रिका नेटवर्क के लिए मानक प्रशिक्षण तकनीक “बैक प्रोपेगेशन” है, और यह मैट्रिक्स गुणा की आवश्यकता है। इस कार्यभार के लिए जीपीयू का उपयोग आवश्यक है, इसलिए शोधकर्ताओं ने तंत्रिका नेटवर्क प्रशिक्षण को इस तरह से बदल दिया कि इसे हैश तालिकाओं के साथ हल किया जा सकता है।
यह नया दृष्टिकोण एसएलआईडीई के लिए गणना ओवरहेड को बहुत कम कर देता है। वर्तमान में सबसे अच्छा जीपीयू प्लेटफ़ॉर्म जिसका उपयोग कंपनियों जैसे अमेज़ॅन और गूगल द्वारा क्लाउड-आधारित गहरे शिक्षण के लिए किया जाता है, में आठ टेस्ला वी100 हैं, और इसकी कीमत लगभग $100,000 है।
“हमारे पास एक प्रयोगशाला में है, और हमने एक कार्यभार लिया जो वी100 के लिए उपयुक्त है, जिसमें बड़े, पूरी तरह से जुड़े नेटवर्क में 100 मिलियन से अधिक पैरामीटर हैं जो जीपीयू मेमोरी में फिट होते हैं,” श्रीवास्तव ने कहा। “हमने इसे गूगल के टेंसोरफ्लो जैसे सर्वोत्तम (सॉफ्टवेयर) पैकेज के साथ प्रशिक्षित किया, और यह 3 1/2 घंटे में प्रशिक्षित हो गया।
“हमने तब दिखाया कि हमारा नया एल्गोरिदम प्रशिक्षण एक घंटे में कर सकता है, न कि जीपीयू पर, बल्कि 44-कोर एक्सeon-श्रेणी के सीपीयू पर,” उन्होंने जारी रखा।
हैशिंग एक प्रकार की डेटा-सूचक विधि है जो 1990 के दशक में इंटरनेट खोज के लिए आविष्कार की गई थी। संख्यात्मक विधियों का उपयोग बड़ी मात्रा में जानकारी को एक संख्या की स्ट्रिंग के रूप में एनकोड करने के लिए किया जाता है, जिसे हैश कहा जाता है। हैश को तालिकाओं को बनाने के लिए सूचीबद्ध किया जाता है जो जल्दी से खोजी जा सकती हैं।
“यह हमारे एल्गोरिदम को टेंसोरफ्लो या पायटोर्च पर लागू करने का कोई अर्थ नहीं होगा क्योंकि वे जो पहली चीज़ करना चाहते हैं वह यह है कि वे जो कुछ भी कर रहे हैं उसे मैट्रिक्स गुणा समस्या में परिवर्तित करें,” चेन ने कहा। “यह ठीक वही है जिसे हम से दूर जाना चाहते थे। इसलिए हमने स्क्रैच से अपना सी++ कोड लिखा।”
श्रीवास्तव के अनुसार, एसएलआईडीई का सबसे बड़ा लाभ यह है कि यह डेटा समानांतर है।
“मैं डेटा समानांतर का अर्थ है कि यदि मेरे पास दो डेटा उदाहरण हैं जिन पर मैं प्रशिक्षित करना चाहता हूं, तो कहें कि एक बिल्ली की तस्वीर और दूसरा बस की तस्वीर, वे अलग-अलग न्यूरॉन्स को सक्रिय करेंगे, और एसएलआईडीई उन्हें स्वतंत्र रूप से अपडेट या प्रशिक्षित कर सकता है,” उन्होंने कहा। “यह सीपीयू के लिए समानांतर का एक बहुत बेहतर उपयोग है।”
“इसका दूसरा पहलू, जीपीयू की तुलना में, यह है कि हमें बड़ी मेमोरी की आवश्यकता है,” उन्होंने कहा। “मुख्य मेमोरी में एक कैश हायरार्की है, और यदि आप इसके साथ सावधान नहीं हैं तो आप कैश थ्रैशिंग नामक एक समस्या में चले जाते हैं, जहां आपको बहुत सारे कैश मिस होते हैं।”
एसएलआईडीई ने गहरे शिक्षण को लागू करने के नए तरीकों के लिए दरवाजा खोल दिया है, और श्रीवास्तव का मानना है कि यह अभी शुरुआत है।
“हमने अभी तक केवल सतह को खरोंचा है,” उन्होंने कहा। “हमें अभी भी अनुकूलित करने के लिए बहुत कुछ करना है। हमने वेक्टरीकरण का उपयोग नहीं किया है, या सीपीयू में निर्मित त्वरणकारी, जैसे इंटेल डीप लर्निंग बूस्ट। इसके अलावा कई अन्य तरकीबें हैं जिनका उपयोग हम इसे और तेज बनाने के लिए कर सकते हैं।”
