मांबा: क्रम अनुक्रम मॉडलिंग और ट्रांसफॉर्मर आर्किटेक्चर को फिर से परिभाषित करना

मांबा की मुख्य विशेषताएं हैं:

1. चयनात्मक एसएसएम: ये मांबा को अप्रासंगिक जानकारी को फिल्टर करने और प्रासंगिक डेटा पर ध्यान केंद्रित करने में सक्षम बनाते हैं, जो इसकी क्रम संभालने की क्षमता को बढ़ाता है। यह चयनात्मकता कुशल सामग्री-आधारित तर्कसंगतता के लिए महत्वपूर्ण है।
2. हार्डवेयर-अनुकूल एल्गोरिदम: मांबा एक समांतर एल्गोरिदम का उपयोग करता है जो आधुनिक हार्डवेयर, विशेष रूप से जीपीयू के लिए अनुकूलित है। यह डिज़ाइन तेजी से गणना और पारंपरिक मॉडलों की तुलना में कम मेमोरी आवश्यकताओं की अनुमति देता है।
3. सरलीकृत वास्तुकला: चयनात्मक एसएसएम और ध्यान और एमएलपी ब्लॉक्स को एकीकृत करके, मांबा एक सरल, अधिक होमोजेनियस संरचना प्रदान करता है। यह बेहतर स्केलेबिलिटी और प्रदर्शन की ओर ले जाता है।

मांबा ने विभिन्न डोमेन में उत्कृष्ट प्रदर्शन प्रदर्शित किया है, जिनमें भाषा, ऑडियो और जीनोमिक्स शामिल हैं, और प्री-प्रशिक्षण और डोमेन-विशिष्ट कार्यों दोनों में उत्कृष्टता प्राप्त की है।

मांबा का कोड और पूर्व-प्रशिक्षित मॉडल गिटहब पर सामुदायिक उपयोग के लिए खुले तौर पर उपलब्ध हैं।

मानक प्रतिलिपि कार्य सरल मॉडल के लिए हैं। चयनात्मक प्रतिलिपि और प्रेरणा सिर लंबे मॉडल के लिए गतिशील, सामग्री-जागरूक मेमोरी की आवश्यकता होती है।

संरचित राज्य स्थान (एस४) मॉडल हाल ही में एक वादा करने वाली श्रेणी के अनुक्रम मॉडल के रूप में उभरे हैं, जो आरएनएन, सीएनएन और पारंपरिक राज्य स्थान मॉडल से विशेषताओं को शामिल करते हैं। एस४ मॉडल निरंतर प्रणालियों से, विशेष रूप से एक प्रकार की प्रणाली से प्रेरित होते हैं जो एक-आयामी कार्यों या अनुक्रमों को एक अंतर्निहित लेटेंट राज्य के माध्यम से मैप करते हैं। गहरे शिक्षण के संदर्भ में, वे अनुक्रम मॉडल को डिज़ाइन करने के लिए एक नई विधि प्रदान करते हैं जो कुशल और अत्यधिक अनुकूलनीय हैं।

एस४ मॉडल की गतिविधि

एसएसएम (एस४) यह मूल संरचित राज्य स्थान मॉडल है। यह एक अनुक्रम x लेता है और सीखे हुए पैरामीटर A, B, C, और एक देरी पैरामीटर Δ का उपयोग करके एक आउटपुट y उत्पन्न करता है। परिवर्तन में पैरामीटरों को विवेकित करना (निरंतर कार्यों को विच्छिन्न में बदलना) और एसएसएम ऑपरेशन को लागू करना शामिल है, जो समय-निरंतर है – इसका अर्थ है कि यह विभिन्न समय चरणों में नहीं बदलता है।

विच्छिन्नता का महत्व

विच्छिन्नता एक प्रक्रिया है जो निरंतर पैरामीटरों को विच्छिन्न में बदल देती है, जो एस४ मॉडल को निरंतर समय प्रणालियों के साथ जुड़ने में सक्षम बनाती है। यह मॉडल को अतिरिक्त गुणों के साथ संपन्न करता है, जैसे कि संकल्प-निरंतरता, और सामान्यीकरण को सुनिश्चित करता है, जो मॉडल की स्थिरता और प्रदर्शन में सुधार करता है। विच्छिन्नता आरएनएन में गेटिंग तंत्र के समान है, जो नेटवर्क के माध्यम से जानकारी के प्रवाह को प्रबंधित करने के लिए महत्वपूर्ण है।

रैखिक समय-निरंतरता (एलटीआई)

एस४ मॉडल की एक मुख्य विशेषता इसकी रैखिक समय-निरंतरता है। इसका अर्थ है कि मॉडल की गतिविधि समय के साथ स्थिर रहती है, सभी समय चरणों में पैरामीटर निर्धारित होते हैं। एलटीआई पुनरावृत्ति और संवolution का एक मूलभूत सिद्धांत है, जो अनुक्रम मॉडलिंग के लिए एक सरलीकृत लेकिन शक्तिशाली फ्रेमवर्क प्रदान करता है।

मौलिक सीमाओं को पार करना

एस४ फ्रेमवर्क को पारंपरिक रूप से इसकी एलटीआई प्रकृति द्वारा सीमित किया गया है, जो अनुक्रमों को मॉडल करने में चुनौतियां प्रस्तुत करता है जिन्हें अनुकूलनीय गतिविधि की आवश्यकता होती है। हाल के शोध पत्र में एक दृष्टिकोण प्रस्तुत किया गया है जो समय-निरंतर पैरामीटरों को पेश करके इन सीमाओं को दूर करता है, एलटीआई की सीमा को हटा देता है। यह एस४ मॉडल को विविध अनुक्रमों और कार्यों को संभालने में सक्षम बनाता है, जो उनकी उपयोगिता को काफी बढ़ाता है।

राज्य स्थान मॉडल का शब्द व्यापक रूप से किसी भी पुनरावृत्ति प्रक्रिया को संदर्भित करता है जिसमें एक लेटेंट राज्य शामिल होता है और विभिन्न अनुशासनों में विभिन्न अवधारणाओं का वर्णन करने के लिए उपयोग किया जाता है। गहरे शिक्षण के संदर्भ में, एस४ मॉडल, या संरचित एसएसएम, उन मॉडलों की एक विशिष्ट श्रेणी को संदर्भित करते हैं जिन्हें कुशल गणना के लिए अनुकूलित किया गया है जबकि जटिल अनुक्रमों को मॉडल करने की क्षमता को बनाए रखा गया है।

एस४ मॉडल को एंड-टू-एंड न्यूरल नेटवर्क आर्किटेक्चर में एक स्टैंडअलोन अनुक्रम परिवर्तन के रूप में एकीकृत किया जा सकता है। उन्हें सीएनएन में संवolution परतों के समान देखा जा सकता है, जो विभिन्न न्यूरल नेटवर्क आर्किटेक्चर में अनुक्रम मॉडलिंग के लिए आधार प्रदान करते हैं।

एसएसएम बनाम एसएसएम + चयन

अनुक्रम मॉडलिंग में चयनात्मकता के लिए प्रेरणा

संरचित एसएसएम

पेपर का तर्क है कि अनुक्रम मॉडलिंग का एक मूलभूत पहलू संदर्भ को एक प्रबंधनीय राज्य में संपीड़ित करना है। मॉडल जो सामग्री को चुनिंदा रूप से ध्यान केंद्रित करने या फिल्टर करने में सक्षम हैं, वे संपीड़ित राज्य को बनाए रखने के लिए एक अधिक प्रभावी साधन प्रदान करते हैं, जो अधिक कुशल और शक्तिशाली अनुक्रम मॉडल की ओर ले जाता है। यह चयनात्मकता भाषा मॉडलिंग और उससे परे जटिल कार्यों को संभालने के लिए मॉडल को अनुक्रम आयाम के साथ जानकारी के प्रवाह को नियंत्रित करने की क्षमता प्रदान करने के लिए महत्वपूर्ण है।

चयनात्मक एसएसएम पारंपरिक एसएसएम को बेहतर बनाते हैं क्योंकि वे अपने पैरामीटरों को इनपुट-निर्भर बनाने की अनुमति देते हैं, जो पहले समय-निरंतर मॉडल के साथ प्राप्त नहीं किया जा सकता था। यह समय-निरंतर पैरामीटरों को पेश करता है, जो कि समय-निरंतर मॉडल के विपरीत है, जो कि समय-निरंतर नहीं है। यह परिवर्तन पारंपरिक मॉडलों से एक महत्वपूर्ण विचलन है।