गूगल रिसर्च ने एआई में हाइपरस्केल अप्रोच में एक बोतलनेक की पहचान की

गूगल रिसर्च के एक नए शोध पत्र से पता चलता है कि बहुत अधिक मात्रा में डेटा सेट की देखभाल करने की वर्तमान प्रवृत्ति कृत्रिम बुद्धिमत्ता प्रणालियों के विकास के लिए प्रतिकूल हो सकती है। वास्तव में, शोध से पता चलता है कि बेहतर मशीन लर्निंग उत्पाद कम सटीक (यानी, तकनीकी रूप से ‘खराब’) डेटा सेट पर प्रशिक्षित होने से उत्पन्न हो सकते हैं।

यदि शोधकर्ताओं द्वारा प्राप्त सिद्धांत मान्य हैं, तो इसका अर्थ है कि ‘हाइपरस्केल’ डेटा सेट जैसे कि हाल ही में जारी किए गए LAION-400M (जिसमें 400 मिलियन टेक्स्ट/इमेज जोड़े हैं), और जीपीटी-3 न्यूरल भाषा इंजन के पीछे डेटा (जिसमें 175 बिलियन पैरामीटर हैं), पारंपरिक और लोकप्रिय मशीन लर्निंग आर्किटेक्चर और विधियों में एक प्रकार की ‘थर्मल सीमा’ के अधीन हो सकते हैं, जहां डेटा की भारी मात्रा डाउनस्ट्रीम अनुप्रयोगों को संतृप्त करती है और उन्हें उपयोगी तरीके से सामान्य बनाने से रोकती है।

शोधकर्ता हाइपरस्केल डेटा सेट आर्किटेक्चर को पुनः सोचने के लिए वैकल्पिक तरीके भी प्रस्तावित करते हैं ताकि असंतुलन को दूर किया जा सके।

शोध पत्र में कहा गया है:

‘इन घटनाओं के कारणों को समझने के लिए गहराई से जाने पर, हम दिखाते हैं कि हमारे द्वारा देखी गई संतृप्ति व्यवहार मॉडल की परतों में प्रतिनिधित्व के विकास से जुड़ा हुआ है। हम एक और अधिक चरम दृश्य प्रस्तुत करते हैं जहां अपस्ट्रीम और डाउनस्ट्रीम प्रदर्शन एक दूसरे के विपरीत हैं। अर्थात्, डाउनस्ट्रीम प्रदर्शन में सुधार करने के लिए, हमें अपस्ट्रीम सटीकता को नुकसान पहुंचाने की आवश्यकता है।’

अध्ययन शीर्षक है एक्सप्लोरिंग द लिमिट्स ऑफ लार्ज स्केल प्री-ट्रेनिंग, और गूगल रिसर्च के चार लेखकों से आता है।

संतृप्ति की जांच

लेखक हाइपरस्केल डेटा युग में मशीन लर्निंग>डेटा संबंधों के बारे में प्रचलित धारणाओं को चुनौती देते हैं: कि मॉडल और डेटा आकार में वृद्धि काफी हद तक प्रदर्शन में सुधार करती है (एक विश्वास जो जीपीटी-3 के लॉन्च के बाद से हाइप में जमा हो गया है); और यह बेहतर प्रदर्शन डाउनस्ट्रीम कार्यों में रेखीय (यानी, वांछनीय) तरीके से गुजरता है, ताकि बाजार में लॉन्च किए जाने वाले ऑन-डिवाइस अल्गोरिदम, जो अन्यथा अव्यवस्थित डेटा सेट और अप्रशिक्षित मॉडल से व्युत्पन्न होते हैं, पूर्ण आकार के अपस्ट्रीम आर्किटेक्चर के अंतर्दृष्टि से पूरी तरह से लाभान्वित हों।

‘इन दृष्टिकोणों का सुझाव है,’ शोधकर्ता नोट करते हैं ‘कि एक विशाल निगम पर प्रदर्शन में सुधार के लिए कम्प्यूट और शोध प्रयासों को खर्च करने से लाभ होगा क्योंकि इससे हमें कई डाउनस्ट्रीम कार्यों को लगभग मुफ्त में हल करने में सक्षम बनाया जा सकेगा।’

लेकिन शोध पत्र यह तर्क देता है कि कम्प्यूटिंग संसाधनों की कमी और मॉडल मूल्यांकन के ‘आर्थिक’ तरीकों के कारण डेटा आयतन और उपयोगी एआई प्रणालियों के बीच संबंध गतिविधियों के बारे में एक झूठी धारणा हो रही है। लेखक इस प्रवृत्ति की पहचान एक प्रमुख कमजोरी के रूप में करते हैं, क्योंकि शोध समुदाय आमतौर पर मानता है कि स्थानीय (सकारात्मक) परिणाम बाद के कार्यान्वयन में उपयोगी होंगे:

‘[कम्प्यूटिंग सीमाओं के कारण], विभिन्न हाइपर-पैरामीटर मानों के लिए प्रदर्शन नहीं दिखाया गया है। स्केलिंग प्लॉट तब अधिक अनुकूल लगते हैं जब प्रत्येक स्केल के लिए हाइपर-पैरामीटर निर्धारित किया जाता है या एक सरल स्केलिंग फ़ंक्शन द्वारा निर्धारित किया जाता है।’

शोधकर्ता आगे कहते हैं कि कई स्केलिंग अध्ययनों को निरपेक्ष स्केल के खिलाफ नहीं मापा जाता है, बल्कि राज्य-ऑफ-द-आर्ट (सोटा) के खिलाफ सुधार के रूप में मापा जाता है, यह देखते हुए कि ‘कोई कारण नहीं है, एक प्राथमिक, स्केलिंग के लिए बाहर की जांच की सीमा से बाहर रखने के लिए’।

प्री-ट्रेनिंग

शोध पत्र ‘प्री-ट्रेनिंग’ की प्रथा को संबोधित करता है, जो कम्प्यूटिंग संसाधनों को बचाने और बड़े पैमाने पर डेटा से शून्य से एक मॉडल को प्रशिक्षित करने के लिए अक्सर भयानक समयसीमा को कम करने के लिए डिज़ाइन की गई एक उपाय है। प्री-ट्रेनिंग स्नैपशॉट एक डोमेन के भीतर डेटा के सामान्य होने के तरीके के ‘एबीसी’ को संभालते हैं और अक्सर प्राकृतिक भाषा प्रसंस्करण (एनएलपी) से लेकर गहरे नकली तक विभिन्न मशीन लर्निंग क्षेत्रों और विशेषज्ञता में उपयोग किए जाते हैं।

पिछले शैक्षणिक शोध में पाया गया है कि प्री-ट्रेनिंग मॉडल की मजबूती और सटीकता में काफी सुधार कर सकती है, लेकिन नए शोध पत्र से सुझाव मिलता है कि प्री-ट्रेनिंग टेम्पलेट्स में विशेषताओं की जटिलता, यहां तक कि अपेक्षाकृत कम प्रशिक्षित प्री-ट्रेनिंग टेम्पलेट्स में, अधिक लाभकारी हो सकती है अगर इसे पाइपलाइन में बाद की प्रक्रियाओं में आगे बढ़ाया जाए।

हालांकि, यह तब तक नहीं हो सकता जब तक शोधकर्ता वर्तमान सर्वोत्तम अभ्यास का उपयोग करने वाले प्री-प्रशिक्षित मॉडल पर निर्भर रहते हैं, जो शोध के अनुसार, अंतिम अनुप्रयोगों की अंतिम सटीकता पर显著 प्रभाव डाल सकते हैं। इस संबंध में, लेखक नोट करते हैं कि ‘एक प्री-प्रशिक्षित चेकपॉइंट की आशा नहीं की जा सकती है जो सभी संभावित डाउनस्ट्रीम कार्यों पर अच्छा प्रदर्शन करता है।’

अध्ययन

संतृप्ति प्रभाव को स्थापित करने के लिए, लेखकों ने विजन ट्रांसफॉर्मर, रेसनेट और एमएलपी-मिक्सर पर 4800 प्रयोग किए, प्रत्येक में 10 मिलियन से 10 बिलियन पैरामीटर तक भिन्न संख्या में पैरामीटर थे, सभी को उनके संबंधित क्षेत्रों में उच्चतम-मात्रा डेटा सेट पर प्रशिक्षित किया गया था, जिनमें इमेजनेट21के और गूगल के अपने जेएफटी-300एम शामिल हैं।

परिणाम, शोध पत्र का दावा है, यह दिखाते हैं कि डेटा विविधता को डेटा, मॉडल पैरामीटर और कम्प्यूट समय को ‘स्केल अप’ करने का प्रयास करते समय एक अतिरिक्त अक्ष के रूप में माना जाना चाहिए। जैसा कि यह खड़ा है, एआई पाइपलाइन के अपस्ट्रीम खंड में प्रशिक्षण संसाधनों (और शोधकर्ता ध्यान) की भारी एकाग्रता वास्तव में डाउनस्ट्रीम अनुप्रयोगों को पैरामीटर के साथ बमबारी कर रही है एक बिंदु पर ‘संतृप्ति’, तैनात अल्गोरिदम की क्षमता को कम कर रही है विशेषताओं के माध्यम से नेविगेट करने और अनुमान लगाने या परिवर्तनों को प्रभावित करने के लिए।

शोध पत्र निष्कर्ष निकालता है:

‘एक व्यापक अध्ययन के माध्यम से, हम यह स्थापित करते हैं कि जैसे ही हम अपस्ट्रीम कार्य के प्रदर्शन में सुधार करते हैं या तो स्केल अप या हाइपर-पैरामीटर और आर्किटेक्चर चुनाव द्वारा, डाउनस्ट्रीम कार्यों का प्रदर्शन संतृप्ति व्यवहार दिखाता है। इसके अलावा, हम दिखाते हैं कि सामान्य कथा के विपरीत, स्केलिंग एक-मॉडल-फिट-ऑल समाधान की ओर नहीं ले जाती है।’