जीपीयू मachine लर्निंग में बेहतर और तेज़ दोनों हो सकते हैं

पोलैंड और जापान के शोधकर्ताओं ने सोनी के साथ मिलकर यह पाया है कि जीपीयू पर प्रशिक्षित मशीन लर्निंग सिस्टम में त्रुटियाँ कम होती हैं और परिणाम बेहतर होते हैं, जो कि जीपीयू की गति के बजाय इसकी गुणवत्ता को दर्शाता है।

इस शोध का नाम जीपीयू अनिश्चितता का प्रभाव गहरे न्यूरल नेटवर्क के प्रशिक्षण पर है, जो एडम मिकीविज़ यूनिवर्सिटी के मनोविज्ञान और संज्ञानात्मक विज्ञान संकाय और दो जापानी विश्वविद्यालयों के साथ-साथ सोनी कंप्यूटर साइंस लेबोरेटरीज़ से आया है।

इस अध्ययन में पाया गया है कि ‘अनिश्चितता’ जो गहरे न्यूरल नेटवर्क विभिन्न हार्डवेयर और सॉफ्टवेयर कॉन्फ़िगरेशन में प्रदर्शित करते हैं, अधिक महंगे (और कम उपलब्ध) ग्राफिक्स प्रोसेसिंग यूनिट को पसंद करते हैं, और पाया गया कि एक गहरा न्यूरल नेटवर्क जो केवल सीपीयू पर प्रशिक्षित किया गया था, उसी संख्या में एपोक्स (प्रशिक्षण डेटा को पुनः प्रोसेस करने की संख्या) के लिए अधिक त्रुटि दर उत्पन्न करता है।

इस पेपर के पूरक उदाहरण में, हम देखते हैं (नीचे की दो पंक्तियों में), विभिन्न जीपीयू से मिली समान परिणाम गुणवत्ता, और (पहली पंक्ति में), विभिन्न सीपीयू से मिली कमजोर परिणाम। स्रोत: https://arxiv.org/pdf/2109.01451.pdf

अजीब घटनाएं

इन प्रारंभिक निष्कर्षों का लोकप्रिय मशीन लर्निंग अल्गोरिदम पर समान रूप से लागू नहीं होना पाया गया, और साधारण ऑटोएनकोडर आर्किटेक्चर के मामले में, यह घटना दिखाई नहीं दी।

फिर भी, यह काम जटिल न्यूरल नेटवर्क में प्रशिक्षण की प्रभावशीलता के लिए एक संभावित ‘ब्रेकआउट’ की ओर संकेत करता है, जहां एक ही ऑपरेशन को कम गति और अधिक प्रशिक्षण समय में करने से अपेक्षित गुणवत्ता प्राप्त नहीं होती है।

शोधकर्ताओं का सुझाव है कि यह प्रदर्शन असमानता विशिष्ट प्रकार के न्यूरल नेटवर्क के लिए विशिष्ट हो सकती है, और जीपीयू-विशिष्ट प्रोसेसिंग के अनिश्चित पहलू, जो अक्सर एक बाधा के रूप में देखे जाते हैं, न केवल उल्लेखनीय लाभ प्रदान कर सकते हैं, बल्कि भविष्य की प्रणालियों में जानबूझकर शामिल किए जा सकते हैं। यह पेपर यह भी सुझाव देता है कि निष्कर्ष मस्तिष्क से संबंधित गणनात्मक प्रोसेसिंग में गहरी अंतर्दृष्टि प्रदान कर सकते हैं।

इस प्रकार की कुशलता और परिणामों की गुणवत्ता में वृद्धि के लिए जिम्मेदार विशिष्टताओं की पहचान करना ‘ब्लैक बॉक्स’ एआई आर्किटेक्चर में गहरी अंतर्दृष्टि प्राप्त करने और यहां तक कि सीपीयू प्रदर्शन में सुधार करने की क्षमता रखता है – हालांकि वर्तमान में, अंतर्निहित कारण अभी भी अस्पष्ट हैं।

ऑटोएनकोडर बनाम प्रेडनेट

अनियमितताओं का अध्ययन करते समय, शोधकर्ताओं ने एक मूल ऑटोएनकोडर और हार्वर्ड विश्वविद्यालय के प्रेडिक्टिव न्यूरल नेटवर्क प्रेडनेट का उपयोग किया, जो 2016 में मानव मस्तिष्क के व्यवहार को अनुकरण और जानने के लिए डिज़ाइन किया गया था।

दोनों प्रणालियां गहरे न्यूरल नेटवर्क हैं जो अनुप्रशिक्षित शिक्षा (डेटा से जिसमें लेबल छोड़ दिए गए हैं) के माध्यम से उपयुक्त छवियों को संश्लेषित करने के लिए डिज़ाइन की गई हैं, हालांकि ऑटोएनकोडर एक छवि प्रति बैच के साथ रेखीय रूप से काम करता है, जो तब एक आउटपुट के रूप में अगली छवि के रूप में एक पुनरावृत्ति पाइपलाइन में उत्पन्न होता है। ऑटोएनकोडर को एमएनआईएसटी हस्तलेखन डेटाबेस पर प्रशिक्षित किया गया था।

शोधकर्ताओं के परीक्षण में ऑटोएनकोडर को एमएनआईएसटी डेटाबेस पर प्रशिक्षित किया गया था, जिसमें 60,000 प्रशिक्षण छवियां 28×28 पिक्सल पर, ग्रेस्केल इंडक्शन के लिए एंटी-एलियासिंग के साथ, साथ ही 10,000 परीक्षण छवियां शामिल हैं।

इसके विपरीत, प्रेडनेट जटिल वीडियो इनपुट का मूल्यांकन करता है, और इस शोध में, इसे एफपीएसआई डेटासेट पर प्रशिक्षित किया गया था, जिसमें फ्लोरिडा के ऑरलैंडो में डिज़नी वर्ल्ड में एक दिन की विस्तृत बॉडी-वॉर्न वीडियो फुटेज शामिल है (डिज़नी 2012 के शोध पत्र में एक शोध साथी था)।

एफपीएसआई से पहले-पहले दृश्यों की छवियां, जो डिज़नी वर्ल्ड में एक दिन को दिखाती हैं।

दोनों आर्किटेक्चर जटिलता के मामले में बहुत अलग हैं। ऑटोएनकोडर छवियों को पुनर्निर्माण करने के लिए डिज़ाइन किया गया है, न कि लक्ष्य मानों की भविष्यवाणी करने के लिए। इसके विपरीत, प्रेडनेट में चार परतें हैं, प्रत्येक में प्रतिनिधित्व न्यूरॉन्स का उपयोग करते हुए कॉनवोल्यूशनल लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम) है।

परतें संदर्भ भविष्यवाणियों का उत्पादन करती हैं जो तब एक लक्ष्य की तुलना में की जाती हैं ताकि एक त्रुटि शब्द उत्पन्न किया जा सके जो पूरे नेटवर्क में प्रसारित होता है। दोनों मॉडल अनुप्रशिक्षित शिक्षा का उपयोग करते हैं।

ऑटोएनकोडर की सरल, रेखीय आर्किटेक्चर, और प्रेडनेट का अधिक जटिल और पुनरावृत्ति नेटवर्क।

दोनों प्रणालियों का विभिन्न हार्डवेयर और सॉफ्टवेयर कॉन्फ़िगरेशन पर परीक्षण किया गया, जिसमें सीपीयू (इंटेल आई5-4590, आई7-6800के, आई5-7600के, या एएमडी राइज़न-5-3600) और सीपीयू के साथ जीपीयू (इंटेल आई5-7600के + एनवीडिया जीटीएक्स-750टीआई, आई5-7600के + जीटीएक्स-970, आई7-6700के + जीटीएक्स-1080, आई7-7700के + जीटीएक्स-1080टीआई, आई7-9700 + आरटीएक्स-2080टीआई, आई5-7600के + आरटीएक्स-2060 सुपर, एएमडी राइज़न-5-3600 + आरटीएक्स-2070 सुपर, या आई5-9400 + टाइटन-आरटीएक्स) शामिल हैं।

इंटरएक्टिव प्रोसेस व्यूअर एचटॉप का उपयोग यह सुनिश्चित करने के लिए किया गया था कि सभी प्रशिक्षण एकल थ्रेड (इंटेल आई7-6800के पर), चार थ्रेड (इंटेल आई5-4590 और आई5-7600के पर), या छह थ्रेड (एएमडी राइज़न-5-3600 पर) पर हुआ।

सैडल पॉइंट

ऑटोएनकोडर पर, सभी कॉन्फ़िगरेशन में औसत अंतर, सुडीएनएन के साथ या उसके बिना, महत्वपूर्ण नहीं था। प्रेडनेट के लिए, परिणाम अधिक चौंकाने वाले थे, जिसमें सीपीयू और जीपीयू प्रशिक्षण के बीच नुकसान मूल्यांकन और गुणवत्ता में उल्लेखनीय अंतर थे।

प्रेडनेट प्रशिक्षण के लिए चार सीपीयू और आठ जीपीयू पर औसत नुकसान परिणाम, नेटवर्क 5000 वीडियो फ्रेम पर 250 बैच में प्रशिक्षित, अंतिम 1000 फ्रेम (50 बैच) के लिए औसत नुकसान दिखाया गया। सुडीएनएन बंद था।

शोधकर्ताओं का निष्कर्ष है कि ‘हालांकि तंत्र अस्पष्ट है, जीपीयू हार्डवेयर को गहरे न्यूरल नेटवर्क के प्रशिक्षण को आगे बढ़ाने की क्षमता लगती है।’

परिणाम यह दर्शाते हैं कि जीपीयू सैडल पॉइंट्स से बचने में बेहतर हो सकते हैं – ग्रेडिएंट डिसेंट में ढलान के तल का वर्णन करने वाले क्षेत्र।

ग्रेडिएंट डिसेंट में ढलान का तल ‘सैडल पॉइंट’ है, जो स्पष्ट कारणों से इसका नाम है। स्रोत: https://www.pinterest.com.au/pin/436849232581124086/

सैडल पॉइंट, हालांकि एक बाधा, को हाल के विचार में स्टोकास्टिक ग्रेडिएंट डिसेंट (एसजीडी) के अनुकूलन में आसानी से काम किया जा सकता है, लेकिन नया पेपर सुझाव देता है कि न केवल जीपीयू उन्हें避ाने के लिए अनोखे तरीके से तैयार हो सकते हैं, बल्कि सैडल पॉइंट्स के प्रभाव को फिर से देखना चाहिए।