आरएनएन और एलएसटीएम क्या हैं डीप लर्निंग में?

प्राकृतिक भाषा प्रसंस्करण और एआई चैटबॉट्स में कई प्रभावशाली प्रगति रिकरंट न्यूरल नेटवर्क (आरएनएन) और लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम) नेटवर्क्स द्वारा संचालित होती है। आरएनएन और एलएसटीएम विशेष न्यूरल नेटवर्क आर्किटेक्चर हैं जो क्रमिक डेटा को संसाधित करने में सक्षम हैं, जहां कालानुक्रमिक क्रम मायने रखता है। एलएसटीएम मूल रूप से आरएनएन के सुधारित संस्करण हैं, जो लंबे समय तक डेटा अनुक्रमों की व्याख्या करने में सक्षम हैं। आइए देखें कि आरएनएन और एलएसटीएम कैसे संरचित हैं और कैसे वे जटिल प्राकृतिक भाषा प्रसंस्करण प्रणालियों का निर्माण संभव बनाते हैं।

फीड-फॉरवर्ड न्यूरल नेटवर्क क्या हैं?

आरएनएन और एलएसटीएम के कार्यों के बारे में बात करने से पहले, हमें एक न्यूरल नेटवर्क के सामान्य प्रारूप पर चर्चा करनी चाहिए।

एक न्यूरल नेटवर्क डेटा की जांच करने और प्रासंगिक पैटर्न सीखने के लिए डिज़ाइन किया गया है, ताकि इन पैटर्न को अन्य डेटा पर लागू किया जा सके और नए डेटा को वर्गीकृत किया जा सके। न्यूरल नेटवर्क तीन भागों में विभाजित होते हैं: एक इनपुट लेयर, एक हिडन लेयर (या कई हिडन लेयर), और एक आउटपुट लेयर।

इनपुट लेयर नेटवर्क में डेटा को लेती है, जबकि हिडन लेयर डेटा में पैटर्न सीखती है। हिडन लेयर डेटासेट में इनपुट और आउटपुट लेयर से “वजन” और “पूर्वाग्रह” द्वारा जुड़ी होती है, जो डेटा बिंदुओं के बीच संबंधों के बारे में धारणाएं हैं। ये वजन प्रशिक्षण के दौरान समायोजित किए जाते हैं। जैसे ही नेटवर्क प्रशिक्षित होता है, मॉडल के अनुमान (आउटपुट मान) प्रशिक्षण डेटा (वास्तविक प्रशिक्षण लेबल) के साथ तुलना की जाती है। प्रशिक्षण के दौरान, नेटवर्क को डेटा बिंदुओं के बीच संबंधों का अनुमान लगाने में अधिक सटीक होना चाहिए, ताकि यह नए डेटा बिंदुओं को सटीक रूप से वर्गीकृत कर सके। गहरे न्यूरल नेटवर्क वे नेटवर्क हैं जिनके मध्य में अधिक परतें होती हैं/अधिक हिडन लेयर होती हैं। मॉडल में जितनी अधिक हिडन लेयर और न्यूरॉन/नोड होते हैं, मॉडल डेटा में पैटर्न को पहचानने में उतना ही बेहतर होता है।

नियमित, फीड-फॉरवर्ड न्यूरल नेटवर्क, जैसा कि मैंने ऊपर वर्णित है, अक्सर “घने न्यूरल नेटवर्क” कहा जाता है। ये घने न्यूरल नेटवर्क विभिन्न नेटवर्क आर्किटेक्चर के साथ जुड़े होते हैं जो विभिन्न प्रकार के डेटा की व्याख्या में विशेषज्ञता रखते हैं।

आरएनएन (रिकरंट न्यूरल नेटवर्क) क्या हैं?

रिकरंट न्यूरल नेटवर्क फीड-फॉरवर्ड न्यूरल नेटवर्क के सामान्य सिद्धांत को लेते हैं और उन्हें क्रमिक डेटा को संसाधित करने में सक्षम बनाने के लिए एक आंतरिक मेमोरी प्रदान करते हैं। “रिकरंट” नाम का “रिकरंट” भाग इस तथ्य से आता है कि इनपुट और आउटपुट लूप होते हैं। एक बार नेटवर्क का आउटपुट उत्पन्न हो जाने के बाद, आउटपुट को कॉपी किया जाता है और नेटवर्क को इनपुट के रूप में वापस दिया जाता है। जब निर्णय लिया जाता है, तो केवल वर्तमान इनपुट और आउटपुट का विश्लेषण नहीं किया जाता है, बल्कि पिछला इनपुट भी考虑ा जाता है। दूसरे शब्दों में, यदि नेटवर्क के लिए प्रारंभिक इनपुट X है और आउटपुट H है, तो H और X1 (डेटा अनुक्रम में अगला इनपुट) दोनों को नेटवर्क में अगले प्रशिक्षण चक्र के लिए इनपुट के रूप में दिया जाता है। इस प्रकार, नेटवर्क प्रशिक्षित होते समय डेटा के संदर्भ (पिछले इनपुट) को बनाए रखा जाता है।

इस आर्किटेक्चर का परिणाम यह है कि आरएनएन क्रमिक डेटा को संसाधित करने में सक्षम हैं। हालांकि, आरएनएन को कुछ समस्याओं का सामना करना पड़ता है। आरएनएन वैनिशिंग ग्रेडिएंट और एक्सप्लोडिंग ग्रेडिएंट समस्याओं से पीड़ित होते हैं।

आरएनएन द्वारा व्याख्या की जाने वाली अनुक्रमों की लंबाई सीमित है, खासकर एलएसटीएम की तुलना में।

एलएसटीएम (लॉन्ग शॉर्ट-टर्म मेमोरी नेटवर्क) क्या हैं?

लॉन्ग शॉर्ट-टर्म मेमोरी नेटवर्क आरएनएन के विस्तार माने जा सकते हैं, जो एक बार फिर से इनपुट के संदर्भ को बनाए रखने की अवधारणा को लागू करते हैं। हालांकि, एलएसटीएम को कई महत्वपूर्ण तरीकों से संशोधित किया गया है जो उन्हें अतीत के डेटा की व्याख्या करने में अधिक कुशल तरीके से सक्षम बनाते हैं। एलएसटीएम में किए गए संशोधन वैनिशिंग ग्रेडिएंट समस्या से निपटते हैं और एलएसटीएम को बहुत लंबे इनपुट अनुक्रमों पर विचार करने में सक्षम बनाते हैं।

एलएसटीएम मॉडल तीन अलग-अलग घटकों या गेट्स से बने होते हैं। एक इनपुट गेट, एक आउटपुट गेट, और एक भूलने वाला गेट होता है। आरएनएन की तरह, एलएसटीएम पिछले समय के चरण से इनपुट लेते हैं जब मॉडल की मेमोरी और इनपुट वजन को संशोधित करते हैं। इनपुट गेट यह तय करता है कि कौन से मान महत्वपूर्ण हैं और मॉडल के माध्यम से गुजरने देने चाहिए। इनपुट गेट में एक सिग्मॉइड फंक्शन का उपयोग किया जाता है, जो यह निर्धारित करता है कि कौन से मान पारित किए जाने चाहिए। शून्य मान को गिरा देता है, जबकि 1 इसे बनाए रखता है। यहां एक टैन्ह फंक्शन भी उपयोग किया जाता है, जो यह तय करता है कि इनपुट मान मॉडल के लिए कितने महत्वपूर्ण हैं, -1 से 1 के बीच।

वर्तमान इनपुट और मेमोरी स्टेट के लिए खाते के बाद, आउटपुट गेट यह तय करता है कि कौन से मान अगले समय चरण में धक्का देने हैं। आउटपुट गेट में, मानों का विश्लेषण किया जाता है और -1 से 1 के बीच महत्व दिया जाता है। यह डेटा को अगले समय चरण की गणना से पहले विनियमित करता है। अंत में, भूलने वाले गेट का काम यह तय करना है कि कौन सी जानकारी मॉडल द्वारा अनावश्यक मानी जाती है और हटा दी जानी चाहिए। भूलने वाला गेट मानों पर एक सिग्मॉइड फंक्शन का उपयोग करता है, जो 0 (भूलना) और 1 (बनाए रखना) के बीच संख्याएं उत्पन्न करता है।

एक एलएसटीएम न्यूरल नेटवर्क विशेष एलएसटीएम परतों से बना होता है जो क्रमिक शब्द डेटा की व्याख्या कर सकते हैं और घने जुड़े हुए परतें जैसा कि ऊपर वर्णित है। एक बार डेटा एलएसटीएम परतों से गुजर जाने के बाद, यह घने जुड़े हुए परतों में जाता है।