ट्रांसफॉर्मर न्यूरल नेटवर्क क्या हैं?

ट्रांसफॉर्मर न्यूरल नेटवर्क का वर्णन

ट्रांसफॉर्मर एक प्रकार का मशीन लर्निंग मॉडल है जो अनुक्रमिक डेटा को संसाधित और व्याख्या करने में विशेषज्ञता रखता है, जिससे यह प्राकृतिक भाषा प्रसंस्करण कार्यों के लिए उपयुक्त होता है। एक मशीन लर्निंग ट्रांसफॉर्मर क्या है और यह कैसे काम करता है, इसको बेहतर ढंग से समझने के लिए, आइए ट्रांसफॉर्मर मॉडल और उन्हें चलाने वाले तंत्रों पर एक नज़दीकी नज़र डालें।

इस लेख में शामिल हैं:

• अनुक्रम-से-अनुक्रम मॉडल
• ट्रांसफॉर्मर न्यूरल नेटवर्क आर्किटेक्चर
• ध्यान तंत्र
• ट्रांसफॉर्मर और आरएनएन/एलएसटीएम के बीच अंतर

अनुक्रम-से-अनुक्रम मॉडल

अनुक्रम-से-अनुक्रम मॉडल एक प्रकार का एनएलपी मॉडल है जो एक प्रकार के अनुक्रम को दूसरे प्रकार के अनुक्रम में परिवर्तित करने के लिए उपयोग किया जाता है। अनुक्रम-से-अनुक्रम मॉडल के विभिन्न प्रकार हैं, जैसे कि रिकरेंट न्यूरल नेटवर्क मॉडल और लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम) मॉडल।

पारंपरिक अनुक्रम-से-अनुक्रम मॉडल जैसे कि आरएनएन और एलएसटीएम इस लेख के केंद्र में नहीं हैं, लेकिन उनकी समझ ट्रांसफॉर्मर मॉडल के काम करने और पारंपरिक अनुक्रम-से-अनुक्रम मॉडल से उनकी श्रेष्ठता को समझने के लिए आवश्यक है।

संक्षेप में, आरएनएन मॉडल और एलएसटीएम मॉडल एनकोडर और डिकोडर नेटवर्क से बने होते हैं जो इनपुट डेटा को विभिन्न समय चरणों पर विश्लेषण करते हैं। एनकोडर मॉडल इनपुट डेटा में शब्दों का एक एन्कोडेड प्रतिनिधित्व बनाने के लिए जिम्मेदार होता है। प्रत्येक समय चरण में, एनकोडर नेटवर्क एक इनपुट अनुक्रम और पिछले समय चरण से एक छिपा हुआ राज्य लेता है। छिपे हुए राज्य के मान को नेटवर्क के माध्यम से डेटा की प्रगति के रूप में अद्यतन किया जाता है, जब तक कि अंतिम समय चरण में, जहां एक “संदर्भ वेक्टर” उत्पन्न होता है। संदर्भ वेक्टर को तब डिकोडर नेटवर्क में पास किया जाता है, जो आउटपुट अनुक्रम को उत्पन्न करने के लिए उपयोग किया जाता है जो इनपुट शब्द के साथ जोड़ा जाने वाला सबसे संभावित शब्द है।

इन मॉडलों को “ध्यान तंत्र” के माध्यम से बढ़ाया जा सकता है। एक ध्यान तंत्र यह परिभाषित करता है कि नेटवर्क को आउटपुट को उत्पन्न करने के लिए इनपुट वेक्टर के किन हिस्सों पर ध्यान केंद्रित करना चाहिए। दूसरे शब्दों में, एक ध्यान तंत्र ट्रांसफॉर्मर मॉडल को एक इनपुट शब्द को संसाधित करने की अनुमति देता है जबकि अन्य इनपुट शब्दों द्वारा निहित प्रासंगिक जानकारी पर भी ध्यान केंद्रित करता है। ध्यान तंत्र उन शब्दों को भी मास्क आउट करता है जिनमें प्रासंगिक जानकारी नहीं होती है।

ट्रांसफॉर्मर न्यूरल नेटवर्क आर्किटेक्चर

हम बाद में ध्यान तंत्र पर अधिक विस्तार से जाएंगे, लेकिन अभी एक ट्रांसफॉर्मर न्यूरल नेटवर्क आर्किटेक्चर की उच्च स्तरीय संरचना पर एक नज़र डालें।

सामान्य तौर पर, एक ट्रांसफॉर्मर न्यूरल नेटवर्क की संरचना इस प्रकार होती है:

जबकि यह सामान्य संरचना नेटवर्क के बीच बदल सकती है, मुख्य घटक समान रहते हैं: स्थानिक एन्कोडिंग, शब्द वेक्टर, ध्यान तंत्र, और फीड-फॉरवर्ड न्यूरल नेटवर्क।

स्थानिक एन्कोडिंग और शब्द वेक्टर

एक ट्रांसफॉर्मर न्यूरल नेटवर्क इनपुट अनुक्रम लेता है और उन्हें दो अन्य अनुक्रमों में परिवर्तित करता है। ट्रांसफॉर्मर शब्द वेक्टर एम्बेडिंग और स्थानिक एन्कोडिंग के अनुक्रम का उत्पादन करता है।

शब्द वेक्टर एम्बेडिंग केवल एक संख्यात्मक प्रारूप है जिसमें पाठ को न्यूरल नेटवर्क द्वारा संसाधित किया जा सकता है। जबकि स्थानिक एन्कोडिंग वेक्टरीकृत प्रतिनिधित्व हैं जो वर्तमान शब्द की स्थिति के बारे में जानकारी रखते हैं, जो इनपुट वाक्य में अन्य शब्दों के संबंध में है।

अन्य पाठ-आधारित न्यूरल नेटवर्क मॉडल जैसे कि आरएनएन और एलएसटीएम इनपुट डेटा में शब्दों का प्रतिनिधित्व करने के लिए वेक्टर का उपयोग करते हैं। ये वेक्टर एम्बेडिंग शब्दों को निरंतर मानों में मैप करते हैं, लेकिन यह सीमित है क्योंकि शब्द विभिन्न संदर्भों में उपयोग किए जा सकते हैं। एक ट्रांसफॉर्मर नेटवर्क इस समस्या का समाधान करता है bằng शब्द मूल्यों को अधिक लचीला बनाने के लिए साइनसॉइडल फंक्शन का उपयोग करके, जो शब्द की स्थिति के आधार पर विभिन्न मान ले सकते हैं।

यह न्यूरल नेटवर्क मॉडल को इनपुट शब्दों के सापेक्ष स्थिति के बारे में जानकारी को संरक्षित करने की अनुमति देता है, यहां तक कि वेक्टर ट्रांसफॉर्मर नेटवर्क की परतों के माध्यम से चलते हैं।

स्थानिक एन्कोडिंग और शब्द वेक्टर एम्बेडिंग को जोड़कर एनकोडर और डिकोडर नेटवर्क दोनों में पास किया जाता है। जबकि ट्रांसफॉर्मर न्यूरल नेटवर्क आरएनएन और एलएसटीएम की तरह एनकोडर/डिकोडर स्कीमा का उपयोग करते हैं, उनमें एक बड़ा अंतर यह है कि सभी इनपुट डेटा एक ही समय में नेटवर्क में फीड किया जाता है, जबकि आरएनएन/एलएसटीएम में डेटा क्रमिक रूप से पास किया जाता है।

एनकोडर नेटवर्क इनपुट को नेटवर्क द्वारा सीखने योग्य प्रतिनिधित्व में परिवर्तित करने के लिए जिम्मेदार होते हैं, जबकि डिकोडर नेटवर्क एन्कोडिंग को आउटपुट अनुक्रम में परिवर्तित करने के लिए उपयोग किया जाता है। दोनों एनकोडर और डिकोडर नेटवर्क में एक ध्यान तंत्र होता है।

जीपीयू की समानांतर प्रसंस्करण क्षमता के कारण, एक से अधिक ध्यान तंत्र समानांतर में उपयोग किए जाते हैं, जो सभी इनपुट शब्दों के लिए प्रासंगिक जानकारी की गणना करते हैं। इसे “मल्टी-हेड” ध्यान कहा जाता है, जो न्यूरल नेटवर्क को एक शब्द के संदर्भ में संदर्भ को सीखने में मदद करता है, और यह ट्रांसफॉर्मर नेटवर्क के लिए आरएनएन और एलएसटीएम पर एक प्रमुख लाभ है।

ध्यान तंत्र

ध्यान तंत्र ट्रांसफॉर्मर नेटवर्क का सबसे महत्वपूर्ण हिस्सा है। ध्यान तंत्र यह है जो ट्रांसफॉर्मर मॉडल को एक सामान्य आरएनएन या एलएसटीएम मॉडल की ध्यान सीमा से परे जाने की अनुमति देता है। पारंपरिक अनुक्रम-से-अनुक्रम मॉडल मध्यवर्ती राज्यों को त्याग देते हैं और केवल अंतिम राज्य/संदर्भ वेक्टर का उपयोग डिकोडर नेटवर्क को आरंभ करने के लिए करते हैं ताकि इनपुट अनुक्रम के बारे में भविष्यवाणियां की जा सकें।

यह विधि तब काम करती है जब इनपुट अनुक्रम अपेक्षाकृत छोटे होते हैं। हालांकि, जैसे ही इनपुट अनुक्रम की लंबाई बढ़ती है, मॉडल का प्रदर्शन इस विधि का उपयोग करते हुए खराब हो जाता है। यह इसलिए है क्योंकि एक लंबे इनपुट अनुक्रम को एकल वेक्टर के रूप में सारांशित करना मुश्किल हो जाता है। समाधान यह है कि मॉडल का “ध्यान” बढ़ाना और मध्यवर्ती एनकोडर राज्यों का उपयोग डिकोडर के लिए संदर्भ वेक्टर का निर्माण करने के लिए करना।

ध्यान तंत्र यह परिभाषित करता है कि जब किसी दिए गए टोकन के लिए एन्कोडिंग बनाई जाती है, तो अन्य इनपुट टोकन कितने महत्वपूर्ण हैं। उदाहरण के लिए, “यह” एक सामान्य सर्वनाम है जो अक्सर जानवरों के लिए उपयोग किया जाता है जब उनका लिंग ज्ञात नहीं होता है। एक ध्यान तंत्र ट्रांसफॉर्मर मॉडल को यह निर्धारित करने की अनुमति देगा कि वर्तमान संदर्भ में “यह” एक गिलहरी से संबंधित है, क्योंकि यह इनपुट वाक्य में सभी प्रासंगिक शब्दों की जांच कर सकता है।

एक ध्यान तंत्र का उपयोग तीन अलग-अलग तरीकों से किया जा सकता है: एनकोडर-से-डिकोडर, एनकोडर-ओनली, डिकोडर-ओनली।

एनकोडर-डिकोडर ध्यान डिकोडर को आउटपुट उत्पन्न करते समय इनपुट अनुक्रम पर विचार करने की अनुमति देता है, जबकि एनकोडर-ओनली और डिकोडर-ओनली ध्यान तंत्र नेटवर्क को क्रमशः पिछले और वर्तमान अनुक्रम के सभी हिस्सों पर विचार करने की अनुमति देते हैं।

ध्यान तंत्र का निर्माण पांच चरणों में विभाजित किया जा सकता है:

1. सभी एनकोडर राज्यों के लिए स्कोर की गणना करना।
2. ध्यान भार की गणना
3. संदर्भ वेक्टर की गणना
4. पिछले समय चरण के आउटपुट के साथ संदर्भ वेक्टर को अद्यतन करना
5. डिकोडर के साथ आउटपुट का उत्पादन

पहला चरण डिकोडर द्वारा सभी एनकोडर राज्यों के लिए स्कोर की गणना करना है। यह एक मूल फीड-फॉरवर्ड न्यूरल नेटवर्क द्वारा किया जाता है जो प्रशिक्षित होता है। जब डिकोडर पहले शब्द पर प्रशिक्षित होता है, तो कोई आंतरिक/छिपा हुआ राज्य अभी तक बनाया नहीं गया है, इसलिए एनकोडर की अंतिम स्थिति का उपयोग आमतौर पर डिकोडर की पिछली स्थिति के रूप में किया जाता है।

ध्यान भार की गणना करने के लिए, एक सॉफ्टमैक्स फंक्शन का उपयोग ध्यान भार के लिए एक संभाव्य वितरण उत्पन्न करने के लिए किया जाता है।

एक बार ध्यान भार की गणना हो जाने के बाद, संदर्भ वेक्टर की गणना करने की आवश्यकता है। यह ध्यान भार और छिपे हुए राज्य को एक साथ गुणा करके प्रत्येक समय चरण के लिए किया जाता है।

संदर्भ वेक्टर की गणना के बाद, इसका उपयोग पिछले समय चरण में उत्पन्न शब्द के साथ मिलकर आउटपुट अनुक्रम में अगले शब्द को उत्पन्न करने के लिए किया जाता है। चूंकि डिकोडर के पास पहले समय चरण में कोई पिछला आउटपुट नहीं है, इसलिए अक्सर एक विशेष “प्रारंभ” टोकन का उपयोग किया जाता है।

ट्रांसफॉर्मर और आरएनएन/एलएसटीएम के बीच अंतर

आइए आरएनएन और एलएसटीएम के बीच कुछ अंतरों पर जल्दी से नज़र डालें।

आरएनएन इनपुट को क्रमिक रूप से संसाधित करते हैं, जबकि एक छिपा हुआ राज्य वेक्टर बनाए रखा जाता है और इनपुट शब्दों द्वारा नेटवर्क के माध्यम से जाने पर अद्यतन किया जाता है। आरएनएन के छिपे हुए राज्य में आमतौर पर पहले के इनपुट के बारे में बहुत कम प्रासंगिक जानकारी होती है। नए इनपुट अक्सर वर्तमान राज्य को ओवरराइट कर देते हैं, जिससे जानकारी की हानि होती है और समय के साथ प्रदर्शन खराब हो जाता है।

इसके विपरीत, ट्रांसफॉर्मर मॉडल पूरे इनपुट अनुक्रम को एक ही समय में संसाधित करते हैं। ध्यान तंत्र यह सुनिश्चित करता है कि प्रत्येक आउटपुट शब्द प्रत्येक इनपुट और छिपे हुए राज्य से सूचित हो, जिससे नेटवर्क अधिक विश्वसनीय हो जाता है लंबे पाठ के लिए।

एलएसटीएम आरएनएन का एक संशोधित संस्करण है जो लंबे इनपुट अनुक्रमों को संभालने के लिए डिज़ाइन किया गया है। एलएसटीएम आर्किटेक्चर में “गेट” नामक एक संरचना का उपयोग किया जाता है, जिसमें “इनपुट गेट”, “आउटपुट गेट” और “भूल गेट” होते हैं। गेटेड डिज़ाइन आरएनएन मॉडल में सामान्य जानकारी हानि से निपटता है। डेटा अभी भी क्रमिक रूप से संसाधित किया जाता है, और आर्किटेक्चर का पुनरावृत्ति डिज़ाइन एलएसटीएम मॉडल को समानांतर प्रसंस्करण का उपयोग करके प्रशिक्षित करना मुश्किल बना देता है, जिससे प्रशिक्षण समय कुल मिलाकर लंबा हो जाता है।

एलएसटीएम इंजीनियर अक्सर नेटवर्क में ध्यान तंत्र जोड़ते थे, जो मॉडल के प्रदर्शन में सुधार के लिए जाना जाता था। हालांकि, बाद में यह पता चला कि ध्यान तंत्र अकेले सटीकता में सुधार करता है। यह खोज जीपीयू के लिए धन्यवाद समानांतर प्रसंस्करण का उपयोग करके ध्यान तंत्र का उपयोग करने वाले ट्रांसफॉर्मर नेटवर्क के निर्माण की ओर ले जाती है।