मेटा-लर्निंग क्या है?

मेटा-लर्निंग क्या है?

मशीन लर्निंग में शोध के सबसे तेजी से बढ़ते क्षेत्रों में से एक मेटा-लर्निंग का क्षेत्र है। मेटा-लर्निंग, मशीन लर्निंग संदर्भ में, अन्य मशीन लर्निंग मॉडलों के प्रशिक्षण और अनुकूलन में सहायता के लिए मशीन लर्निंग एल्गोरिदम का उपयोग है। जैसे ही मेटा-लर्निंग अधिक से अधिक लोकप्रिय हो रही है और अधिक मेटा-लर्निंग तकनीकें विकसित की जा रही हैं, मेटा-लर्निंग क्या है और इसके विभिन्न तरीकों से इसका उपयोग कैसे किया जा सकता है, इसकी समझ रखना फायदेमंद है। आइए मेटा-लर्निंग के पीछे के विचारों, मेटा-लर्निंग के प्रकार, साथ ही मेटा-लर्निंग का उपयोग करने के कुछ तरीकों पर गौर करें।

मेटा-लर्निंग शब्द को डोनाल्ड मौड्सले ने एक ऐसी प्रक्रिया का वर्णन करने के लिए गढ़ा था जिसमें लोग जो सीखते हैं उसे आकार देना शुरू करते हैं, “अधिक से अधिक अपने习वाले धारणा, प्रश्न, सीखने और विकास के तरीकों पर नियंत्रण प्राप्त करते हैं जिन्हें उन्होंने आंतरिक बना लिया है”। बाद में, संज्ञानात्मक वैज्ञानिकों और मनोवैज्ञानिकों ने मेटा-लर्निंग को “सीखने का तरीका सीखना” के रूप में वर्णित किया।

मशीन लर्निंग के लिए मेटा-लर्निंग के संस्करण में, “सीखने का तरीका सीखने” का सामान्य विचार कृत्रिम बुद्धिमत्ता प्रणालियों पर लागू किया जाता है। एआई अर्थ में, मेटा-लर्निंग एक कृत्रिम रूप से बुद्धिमान मशीन की क्षमता है जो विभिन्न जटिल कार्यों को सीखने का तरीका सीखती है, एक कार्य सीखने के लिए उपयोग किए गए सिद्धांतों को लेती है और उन्हें अन्य कार्यों पर लागू करती है। एआई प्रणालियों को आमतौर पर कई छोटे उप-कार्यों को सीखने के माध्यम से एक कार्य को पूरा करने के लिए प्रशिक्षित किया जाना चाहिए। यह प्रशिक्षण लंबा समय ले सकता है और एआई एजेंट आसानी से एक कार्य के दौरान सीखे गए ज्ञान को दूसरे कार्य में स्थानांतरित नहीं करते हैं। मेटा-लर्निंग मॉडल और तकनीक बनाने से एआई को सीखने के तरीकों को सामान्य बनाने और नए कौशलों को तेजी से हासिल करने में मदद मिल सकती है।

मेटा-लर्निंग के प्रकार

ऑप्टिमाइज़र मेटा-लर्निंग

मेटा-लर्निंग का अक्सर एक मौजूदा न्यूरल नेटवर्क के प्रदर्शन को अनुकूलित करने के लिए उपयोग किया जाता है। ऑप्टिमाइज़र मेटा-लर्निंग विधियां आमतौर पर एक अलग न्यूरल नेटवर्क के हाइपरपैरामीटर को समायोजित करके काम करती हैं ताकि बेस न्यूरल नेटवर्क के प्रदर्शन में सुधार हो सके। परिणाम यह है कि लक्ष्य नेटवर्क को उस कार्य में बेहतर होना चाहिए जिस पर यह प्रशिक्षित किया जा रहा है। मेटा-लर्निंग ऑप्टिमाइज़र का एक उदाहरण ग्रेडिएंट डिसेंट परिणामों में सुधार के लिए एक नेटवर्क का उपयोग है।

फ्यू-शॉट मेटा-लर्निंग

फ्यू-शॉट मेटा-लर्निंग दृष्टिकोण एक ऐसा है जिसमें एक गहरा न्यूरल नेटवर्क बनाया जाता है जो प्रशिक्षण डेटासेट से अनदेखे डेटासेट तक सामान्यीकरण करने में सक्षम होता है। फ्यू-शॉट वर्गीकरण का एक उदाहरण एक सामान्य वर्गीकरण कार्य के समान है, लेकिन इसके बजाय डेटा नमूने पूरे डेटासेट होते हैं। मॉडल को कई अलग-अलग सीखने के कार्यों/डेटासेट पर प्रशिक्षित किया जाता है और फिर इसे कई प्रशिक्षण कार्यों और अनदेखे डेटा पर शीर्ष प्रदर्शन के लिए अनुकूलित किया जाता है। इस दृष्टिकोण में, एकल प्रशिक्षण नमूने को कई वर्गों में विभाजित किया जाता है। इसका मतलब है कि प्रत्येक प्रशिक्षण नमूने/डेटासेट में संभावित रूप से दो वर्ग हो सकते हैं, कुल 4-शॉट के लिए। इस मामले में, कुल प्रशिक्षण कार्य को 4-शॉट 2-वर्ग वर्गीकरण कार्य के रूप में वर्णित किया जा सकता है।

फ्यू-शॉट लर्निंग में, विचार यह है कि व्यक्तिगत प्रशिक्षण नमूने न्यूनतम हैं और नेटवर्क कुछ चित्रों को देखने के बाद वस्तुओं की पहचान करना सीख सकता है। यह लगभग एक बच्चे की तरह है जो कुछ चित्रों को देखने के बाद वस्तुओं को पहचानना सीखता है। इस दृष्टिकोण का उपयोग एक-शॉट जनरेटिव मॉडल और मेमोरी ऑगमेंटेड न्यूरल नेटवर्क जैसी तकनीकों को बनाने के लिए किया गया है।

मेट्रिक मेटा-लर्निंग

मेट्रिक आधारित मेटा-लर्निंग न्यूरल नेटवर्क का उपयोग यह निर्धारित करने के लिए किया जाता है कि क्या एक मेट्रिक का प्रभावी ढंग से उपयोग किया जा रहा है और क्या नेटवर्क या नेटवर्क लक्ष्य मेट्रिक को मार रहे हैं। मेट्रिक मेटा-लर्निंग फ्यू-शॉट लर्निंग के समान है कि केवल कुछ उदाहरणों का उपयोग नेटवर्क को प्रशिक्षित करने और मेट्रिक स्पेस सीखने के लिए किया जाता है। विविध डोमेन में एक ही मेट्रिक का उपयोग किया जाता है और यदि नेटवर्क मेट्रिक से विचलित होते हैं तो उन्हें विफल माना जाता है।

रिकरेंट मॉडल मेटा-लर्निंग

रिकरेंट मॉडल मेटा-लर्निंग रिकरेंट न्यूरल नेटवर्क और लॉन्ग शॉर्ट-टर्म मेमोरी नेटवर्क पर मेटा-लर्निंग तकनीकों को लागू करने की प्रक्रिया है। यह तकनीक एक आरएनएन/एलएसटीएम मॉडल को एक डेटासेट सीखने के लिए प्रशिक्षित करके काम करती है और फिर इस प्रशिक्षित मॉडल को दूसरे शिक्षार्थी के लिए आधार के रूप में उपयोग किया जाता है। मेटा-शिक्षार्थी विशिष्ट अनुकूलन एल्गोरिदम को अपनाता है जिसका उपयोग मूल मॉडल को प्रशिक्षित करने के लिए किया गया था। मेटा-शिक्षार्थी के पैरामीटर का विरासत में मिला सेट इसे तेजी से प्रारंभिक और अभिसरण करने में सक्षम बनाता है, लेकिन अभी भी नए परिदृश्यों के लिए अद्यतन करने में सक्षम है।

मेटा-लर्निंग कैसे काम करती है?

मेटा-लर्निंग का सटीक तरीका मॉडल और कार्य की प्रकृति पर निर्भर करता है। हालांकि, सामान्य तौर पर, मेटा-लर्निंग कार्य पहले नेटवर्क के पैरामीटर को दूसरे नेटवर्क/ऑप्टिमाइज़र में कॉपी करना शामिल करता है।

मेटा-लर्निंग में दो प्रशिक्षण प्रक्रियाएं होती हैं। मेटा-लर्निंग मॉडल को आमतौर पर बेस मॉडल पर कई चरणों के प्रशिक्षण के बाद प्रशिक्षित किया जाता है। बेस मॉडल को प्रशिक्षित करने वाले फॉरवर्ड, बैकवर्ड और ऑप्टिमाइजेशन चरणों के बाद, ऑप्टिमाइजेशन मॉडल के लिए फॉरवर्ड प्रशिक्षण पास किया जाता है। उदाहरण के लिए, बेस मॉडल पर तीन या चार चरणों के प्रशिक्षण के बाद, एक मेटा-हानि की गणना की जाती है। मेटा-हानि की गणना के बाद, प्रत्येक मेटा-पैरामीटर के लिए ग्रेडिएंट की गणना की जाती है। इसके बाद, ऑप्टिमाइज़र में मेटा-पैरामीटर को अपडेट किया जाता है।

मेटा-हानि की गणना करने का एक संभावित तरीका है कि मूल मॉडल के फॉरवर्ड प्रशिक्षण पास को पूरा किया जाए और फिर पहले से ही गणना की गई हानियों को जोड़ दिया जाए। मेटा-ऑप्टिमाइज़र एक अन्य मेटा-शिक्षार्थी भी हो सकता है, हालांकि एक निश्चित बिंदु पर एक विवेकपूर्ण ऑप्टिमाइज़र जैसे एडम या एसजीडी का उपयोग किया जाना चाहिए。

कई गहरे शिक्षण मॉडल में लाखों या甚至 मिलियन पैरामीटर हो सकते हैं। एक मेटा-शिक्षार्थी बनाना जिसमें पूरी तरह से नए पैरामीटर सेट होते हैं, कम्प्यूटेशनल रूप से महंगा होगा, और इस कारण से, एक रणनीति जिसे कोऑर्डिनेट-शेयरिंग कहा जाता है, आमतौर पर उपयोग किया जाता है। कोऑर्डिनेट-शेयरिंग मेटा-शिक्षार्थी/ऑप्टिमाइज़र को इस तरह से डिज़ाइन करना शामिल करता है कि यह बेस मॉडल से एक पैरामीटर सीखता है और फिर इसे अन्य सभी पैरामीटर के स्थान पर क्लोन करता है। परिणाम यह है कि ऑप्टिमाइज़र के पास मौजूद पैरामीटर मॉडल के पैरामीटर पर निर्भर नहीं करते हैं।