कृत्रिम बुद्धिमत्ता
शोधकर्ता जीपीयू के लिए विकल्प बनाते हैं
राइस विश्वविद्यालय के कंप्यूटर वैज्ञानिकों ने इंटेल के सहयोग से जीपीयू के लिए अधिक लागत-कुशल विकल्प विकसित किया है। इस नए एल्गोरिदम को “सब-लीनियर डीप लर्निंग इंजन” (एसएलआईडीई) कहा जाता है, और यह विशेष त्वरक हार्डवेयर के बिना सामान्य-उद्देश्य केंद्रीय प्रसंस्करण इकाइयों (सीपीयू) का उपयोग करता है।
परिणाम ऑस्टिन कन्वेंशन सेंटर में प्रस्तुत किए गए, जो मशीन लर्निंग सिस्टम सम्मेलन एमएलएसएस का आयोजन करता है।
कृत्रिम बुद्धिमत्ता (एआई) के भीतर सबसे बड़ी चुनौतियों में से एक विशेष त्वरक हार्डवेयर जैसे ग्राफिक्स प्रोसेसिंग यूनिट (जीपीयू) है। नए विकास से पहले, यह माना जाता था कि गहरे शिक्षण प्रौद्योगिकी को तेज करने के लिए इस विशेष त्वरक हार्डवेयर का उपयोग करना आवश्यक था।
कई कंपनियों ने जीपीयू और गहरे शिक्षण के लिए विशेष हार्डवेयर में निवेश करने पर बहुत जोर दिया है, जो डिजिटल सहायक, चेहरे की पहचान, और उत्पाद अनुशंसा प्रणालियों जैसी तकनीक के लिए जिम्मेदार है। ऐसी ही एक कंपनी एनवीडिया है, जो टेस्ला वी100 टेंसर कोर जीपीयू बनाती है। एनवीडिया ने हाल ही में पिछले साल की तुलना में अपनी चौथी तिमाही की आय में 41% की वृद्धि की सूचना दी।
एसएलआईडीई के विकास ने पूरी तरह से नए अवसर खोल दिए हैं।
अंशुमाली श्रीवास्तव राइस के ब्राउन स्कूल ऑफ इंजीनियरिंग में एक सहायक प्रोफेसर हैं और उन्होंने स्नातक छात्रों बीडी चेन और थरुन मेदिनी के साथ मिलकर एसएलआईडीई का आविष्कार किया है।
“हमारे परीक्षण यह दिखाते हैं कि एसएलआईडीई सीपीयू पर गहरे शिक्षण का पहला स्मार्ट एल्गोरिदमिक कार्यान्वयन है जो उद्योग-स्तरीय अनुशंसा डेटासेट पर जीपीयू हार्डवेयर त्वरण को पार कर सकता है,” श्रीवास्तव ने कहा।
एसएलआईडीई जीपीयू की चुनौती को पार करता है क्योंकि इसका गहरे शिक्षण के लिए एक पूरी तरह से अलग दृष्टिकोण है। वर्तमान में, गहरे तंत्रिका नेटवर्क के लिए मानक प्रशिक्षण तकनीक “बैक प्रोपेगेशन” है, और इसके लिए मैट्रिक्स गुणा की आवश्यकता होती है। यह कार्यभार जीपीयू का उपयोग करने की आवश्यकता है, इसलिए शोधकर्ताओं ने तंत्रिका नेटवर्क प्रशिक्षण को इस तरह से बदल दिया कि इसे हैश टेबल के साथ हल किया जा सकता है।
इस नए दृष्टिकोण से एसएलआईडीई के लिए गणनात्मक ओवरहेड में काफी कमी आती है। वर्तमान में सर्वश्रेष्ठ जीपीयू प्लेटफ़ॉर्म जिसका उपयोग कंपनियां जैसे अमेज़ॅन और गूगल क्लाउड-आधारित गहरे शिक्षण के लिए करती हैं, में आठ टेस्ला वी100 हैं, और इसकी कीमत लगभग $100,000 है।
“हमारे पास प्रयोगशाला में एक है, और हमने अपने परीक्षण मामले में एक कार्यभार लिया जो वी100 के लिए उपयुक्त है, जिसमें बड़े, पूरी तरह से जुड़े नेटवर्क में 100 मिलियन से अधिक पैरामीटर हैं जो जीपीयू मेमोरी में फिट होते हैं,” श्रीवास्तव ने कहा। “हमने इसे गूगल के टेंसोरफ्लो के साथ प्रशिक्षित किया, जो बाहर के सर्वश्रेष्ठ (सॉफ्टवेयर) पैकेज है, और इसके प्रशिक्षण में 3 1/2 घंटे लगे।
“हमने तब दिखाया कि हमारा नया एल्गोरिदम 44-कोर एक्सeon-क्लास सीपीयू पर, जीपीयू पर नहीं, एक घंटे में प्रशिक्षण कर सकता है,” उन्होंने जारी रखा।
हैशिंग एक प्रकार की डेटा-इंडेक्सिंग विधि है जिसे 1990 के दशक में इंटरनेट खोज के लिए आविष्कार किया गया था। संख्यात्मक विधियों का उपयोग बड़ी मात्रा में जानकारी को एक अंकों की स्ट्रिंग के रूप में एन्कोड करने के लिए किया जाता है, जिसे हैश कहा जाता है। हैश को सूचियों में सूचीबद्ध किया जाता है जो जल्दी से खोजी जा सकती हैं।
“यह हमारे एल्गोरिदम को टेंसोरफ्लो या पायटॉर्च पर लागू करने का कोई अर्थ नहीं होगा क्योंकि वे जो कुछ भी करते हैं उसे मैट्रिक्स गुणा समस्या में परिवर्तित करना चाहते हैं,” चेन ने कहा। “यह ठीक वही है जिससे हम दूर जाना चाहते थे। इसलिए हमने स्क्रैच से अपना सी++ कोड लिखा।”
श्रीवास्तव के अनुसार, एसएलआईडीई का सबसे बड़ा लाभ यह है कि यह डेटा समानांतर है।
“डेटा समानांतर का अर्थ है कि यदि मेरे पास दो डेटा उदाहरण हैं जिन पर मैं प्रशिक्षण करना चाहता हूं, कहते हैं एक बिल्ली की तस्वीर और दूसरा बस की, वे संभवतः अलग-अलग न्यूरॉन्स को सक्रिय करेंगे, और एसएलआईडीई उन पर स्वतंत्र रूप से प्रशिक्षित कर सकता है,” उन्होंने कहा। “यह सीपीयू के लिए समानांतरवाद का बहुत बेहतर उपयोग है।”
“इसका दूसरा पहलू, जीपीयू की तुलना में, यह है कि हमें बड़ी मेमोरी की आवश्यकता है,” उन्होंने कहा। “मुख्य मेमोरी में एक कैश हायरार्की है, और यदि आप इसके साथ सावधान नहीं हैं तो आप कैश थ्रैशिंग नामक समस्या में चले जाते हैं, जहां आपको बहुत सारे कैश मिस होते हैं।”
एसएलआईडीई ने गहरे शिक्षण को लागू करने के लिए नए तरीके खोल दिए हैं, और श्रीवास्तव का मानना है कि यह केवल शुरुआत है।
“हमने केवल सतह को खरोंचा है,” उन्होंने कहा। “हमें अभी भी अनुकूलित करने के लिए बहुत कुछ है। हमने वेक्टरीकरण का उपयोग नहीं किया है, या सीपीयू में निर्मित त्वरक, जैसे इंटेल डीप लर्निंग बूस्ट। हमारे पास अभी भी इसको और तेज़ बनाने के लिए कई अन्य तरकीबें हैं।”
