data2vec: स्व-पर्यवेक्षित शिक्षण में एक मील का पत्थर

मशीन लर्निंग मॉडल ने प्रशिक्षण के लिए लेबल किए गए डेटा पर बहुत अधिक भरोसा किया है, और पारंपरिक रूप से कहें तो, लेबल किए गए डेटा पर प्रशिक्षण मॉडल सटीक परिणाम देते हैं। हालाँकि, लेबल किए गए डेटा का उपयोग करने का मुख्य नुकसान उच्च एनोटेशन लागत है जो प्रशिक्षण डेटा के आकार में वृद्धि के साथ बढ़ती है। उच्च एनोटेशन लागत डेवलपर्स के लिए एक बड़ी बाधा है, खासकर जब पर्याप्त मात्रा में प्रशिक्षण डेटा वाले बड़े प्रोजेक्ट पर काम कर रहे हों।

एनोटेशन समस्या से निपटने के लिए, डेवलपर्स की अवधारणा लेकर आए एसएसएल या स्व-पर्यवेक्षित शिक्षण. सेल्फ सुपरवाइज्ड लर्निंग एक मशीन लर्निंग प्रक्रिया है जिसमें मॉडल इनपुट के एक हिस्से को इनपुट के दूसरे हिस्से से सीखने के लिए खुद को प्रशिक्षित करता है. स्व-पर्यवेक्षित शिक्षण मॉडल का लक्ष्य लेबल किए गए डेटा के पर्यवेक्षित संकेतों का उपयोग करने के बजाय डेटा के बीच संबंधों का फायदा उठाना है। 

स्व-पर्यवेक्षित शिक्षण के अलावा, लेबल किए गए डेटा के उपयोग के बिना मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए कई अन्य तरीके और मॉडल हैं। हालाँकि, इनमें से अधिकांश तरीकों में दो प्रमुख मुद्दे हैं

1. वे अक्सर छवि या पाठ जैसी एकल पद्धति के लिए विशिष्ट होते हैं। 
2. उन्हें उच्च मात्रा में कम्प्यूटेशनल शक्ति की आवश्यकता होती है। 

ये सीमाएँ एक प्रमुख मुद्दा हैं कि क्यों एक औसत मानव दिमाग एक एआई मॉडल की तुलना में एक ही प्रकार के डेटा से अधिक प्रभावी ढंग से सीखने में सक्षम होता है जो एक छवि, पाठ और भाषण के बीच अंतर करने के लिए अलग-अलग मॉडल और प्रशिक्षण डेटा पर निर्भर करता है। 

एकल पद्धति के मुद्दे से निपटने के लिए, मेटा एआई ने जारी किया data2vec, अपनी तरह का पहला, स्व-पर्यवेक्षित उच्च-प्रदर्शन एल्गोरिदम तीन अलग-अलग तौर-तरीकों से पैटर्न की जानकारी सीखना: छवि, पाठ और भाषण। Data2vec एल्गोरिदम के कार्यान्वयन के साथ, पाठ समझ को छवि विभाजन समस्या पर लागू किया जा सकता है, या इसे वाक् पहचान कार्य में भी तैनात किया जा सकता है। 

इस लेख में, हम data2vec मॉडल के बारे में गहराई से बात करेंगे। हम विधि अवलोकन, संबंधित कार्य, वास्तुकला और मॉडल के परिणामों पर अधिक गहराई से चर्चा करेंगे ताकि आपको data2vec एल्गोरिदम की स्पष्ट समझ हो। 

Data2vec परिचय: मूल विचार

यद्यपि स्व-पर्यवेक्षित शिक्षण की मौलिक अवधारणा सभी तौर-तरीकों पर लागू होती है, वास्तविक उद्देश्य और एल्गोरिदम एक-दूसरे से भिन्न होते हैं क्योंकि वे एक ही तौर-तरीके के संबंध में डिजाइन किए गए थे। एकल पद्धति के लिए एक मॉडल डिज़ाइन करना यही कारण है कि एक ही स्व-पर्यवेक्षित शिक्षण एल्गोरिदम विभिन्न प्रकार के प्रशिक्षण डेटा पर प्रभावी ढंग से काम नहीं कर सकता है। 

एकल मोडैलिटी मॉडल और एल्गोरिदम द्वारा प्रस्तुत चुनौती को दूर करने के लिए, मेटा एआई ने डेटा2वेक जारी किया, एक एल्गोरिदम जो कंप्यूटर विज़न के लिए समान सीखने की पद्धति का उपयोग करता है, एनएलपी या भाषण.  

Data2vec एल्गोरिथ्म के पीछे मुख्य विचार इनपुट के नकाबपोश दृश्य का उपयोग करना है की सहायता से स्व-आसवन सेटअप में पूर्ण इनपुट डेटा के अव्यक्त प्रतिनिधित्व की भविष्यवाणी करें मानक ट्रांसफार्मर वास्तुकला. इसलिए, छवियों, पाठ या आवाज जैसी मोडेलिटी-विशिष्ट वस्तुओं के बजाय जो प्रकृति में स्थानीय हैं, डेटा2वेक एल्गोरिदम संपूर्ण प्रशिक्षण या इनपुट डेटा से जानकारी के साथ अव्यक्त अभ्यावेदन की भविष्यवाणी करता है। 

AI उद्योग को Data2Vec एल्गोरिथम की आवश्यकता क्यों है?

स्व-पर्यवेक्षित शिक्षण मॉडल मानव एनोटेटेड लेबल का उपयोग करके प्रशिक्षण डेटा का प्रतिनिधित्व करते हैं, और यह एनएलपी या प्राकृतिक भाषा प्रसंस्करण और कंप्यूटर विज़न तकनीक की प्रगति के पीछे प्रमुख कारणों में से एक है। ये स्व-पर्यवेक्षित शिक्षण अभ्यावेदन ही कारण हैं कि वाक् पहचान और मशीन लर्निंग जैसे कार्य अपने मॉडलों में बिना पर्यवेक्षित शिक्षण को तैनात करते हैं। 

अब तक, ये स्व-पर्यवेक्षित शिक्षण एल्गोरिदम व्यक्तिगत तौर-तरीकों पर ध्यान केंद्रित करते हैं जिसके परिणामस्वरूप सीखने में पूर्वाग्रह और मॉडल में विशिष्ट डिज़ाइन होते हैं। स्व-पर्यवेक्षित शिक्षण एल्गोरिदम की व्यक्तिगत पद्धति कंप्यूटर विज़न और एनएलपी सहित विभिन्न एआई अनुप्रयोगों में चुनौतियां पैदा करती है। 

उदाहरण के लिए, वाक् प्रसंस्करण में वाक् इकाइयों की शब्दावली होती है जो एनएलपी में स्व-पर्यवेक्षित शिक्षण कार्य को परिभाषित कर सकती है। इसी प्रकार, में कंप्यूटर दृष्टि, डेवलपर्स या तो इनपुट को पुनः प्राप्त कर सकते हैं, अलग-अलग दृश्य टोकन सीख सकते हैं, या डेटा वृद्धि के लिए अपरिवर्तनीय प्रतिनिधित्व सीख सकते हैं। हालाँकि ये सीखने के पूर्वाग्रह उपयोगी हैं, लेकिन यह पुष्टि करना मुश्किल है कि क्या ये पूर्वाग्रह अन्य तौर-तरीकों के लिए सामान्यीकृत होंगे। 

डेटा2वेक एल्गोरिदम स्व-पर्यवेक्षित शिक्षण उद्योग में एक प्रमुख मील का पत्थर है क्योंकि इसका उद्देश्य केवल एक के बजाय कई तौर-तरीकों में सुधार करना है। इसके अलावा, data2vec एल्गोरिदम इनपुट या कंट्रास्टिव लर्निंग के पुनर्निर्माण पर निर्भर नहीं है। 

तो दुनिया को data2vec की आवश्यकता इसलिए है क्योंकि data2vec एल्गोरिदम में AI में प्रगति को तेज करने की क्षमता है, और AI मॉडल विकसित करने में योगदान देता है जो अपने परिवेश के विभिन्न पहलुओं के बारे में सहजता से जान सकता है। वैज्ञानिकों को उम्मीद है कि data2vec एल्गोरिदम उन्हें अधिक अनुकूलनीय एआई और एमएल मॉडल विकसित करने की अनुमति देगा जो आज के एआई मॉडल से कहीं अधिक उन्नत कार्य करने में सक्षम हैं।

Data2Vec एल्गोरिथम क्या है?

डेटा2वेक एक एकीकृत ढांचा है जिसका उद्देश्य छवियों, भाषण और पाठ सहित विभिन्न डेटा तौर-तरीकों में स्व-पर्यवेक्षित मशीन लर्निंग को लागू करना है। 

डेटा2वेक एल्गोरिदम का उद्देश्य एमएल मॉडल विकसित करना है जो विभिन्न तौर-तरीकों में सीखने के उद्देश्य को एक समान रखकर पर्यावरण में सामान्य पैटर्न को बेहतर ढंग से सीख सकता है। Data2vec मॉडल सीखने के एल्गोरिदम को एकीकृत करता है, लेकिन यह अभी भी प्रत्येक तौर-तरीके के लिए व्यक्तिगत रूप से अभ्यावेदन सीखता है। 

डेटा2वेक एल्गोरिदम की शुरुआत के साथ, मेटा एआई को उम्मीद है कि यह मल्टीमॉडल लर्निंग को प्रभावी और अधिक सरल बना देगा। 

Data2Vec एल्गोरिथम कैसे काम करता है?

डेटा2वेक एल्गोरिथ्म गुप्त लक्ष्य अभ्यावेदन की सीख को छिपी हुई भविष्यवाणी के साथ जोड़ता है, हालांकि यह अव्यक्त अभ्यावेदन को सामान्य बनाने के लिए लक्ष्य के रूप में कई नेटवर्क परतों का उपयोग करता है। मॉडल विशेष रूप से ऑफ-द-शेल्फ प्रशिक्षित करता है ट्रांसफार्मर नेटवर्क फिर इसका उपयोग या तो किया जाता है शिक्षक या छात्र मोड। 

शिक्षक मोड में, मॉडल सबसे पहले का प्रतिनिधित्व बनाता है इनपुट डेटा जो सीखने के कार्य में लक्ष्य के रूप में कार्य करता है. छात्र मोड में, मॉडल इनपुट डेटा के एक छिपे हुए संस्करण को एन्कोड करता है जिसका उपयोग पूर्ण डेटा प्रतिनिधित्व पर भविष्यवाणियां करने के लिए किया जाता है। 

उपरोक्त चित्र दर्शाता है कि कैसे data2vec मॉडल विभिन्न तौर-तरीकों के लिए समान सीखने की प्रक्रिया का उपयोग करता है। पहले चरण में, मॉडल इनपुट डेटा का प्रतिनिधित्व तैयार करता है (शिक्षक मोड). फिर मॉडल इनपुट के एक छिपे हुए संस्करण के आधार पर इन अभ्यावेदनों को पुनः प्राप्त करता है। 

इसके अलावा, चूँकि data2vec एल्गोरिथ्म इनपुट डेटा के अव्यक्त अभ्यावेदन का उपयोग करता है, इसे मॉडेलिटी-विशिष्ट डिज़ाइन के सरलीकृत संस्करण के रूप में देखा जा सकता है जैसे इनपुट को सामान्यीकृत करके उपयुक्त लक्ष्य बनाना or विज़ुअल टोकन का एक निश्चित सेट सीखना। लेकिन data2vec और अन्य एल्गोरिदम के बीच महत्वपूर्ण अंतर बिंदु यह है कि data2vec एल्गोरिदम अपने लक्ष्य प्रतिनिधित्व को बनाने के लिए आत्म-ध्यान का उपयोग करता है प्रासंगिक और निरंतर. दूसरी ओर, अन्य स्व-पर्यवेक्षित शिक्षण मॉडल लक्ष्यों के एक निश्चित सेट का उपयोग करते हैं जो स्थानीय संदर्भ पर आधारित होते हैं। 

Data2vec: मॉडल विधि

डेटा2वेक मॉडल को इनपुट के आंशिक दृश्य को देखते हुए इनपुट डेटा के मॉडल प्रतिनिधित्व की भविष्यवाणी करके प्रशिक्षित किया जाता है। जैसा कि आप दिए गए चित्र में देख सकते हैं, कुत्ते का चेहरा ढका हुआ है, वॉयस नोट का एक विशेष भाग ढका हुआ है, और शब्द "साथ में”पाठ में छिपा हुआ है। 

मॉडल पहले प्रशिक्षण नमूने के एक नकाबपोश संस्करण को एन्कोड करता है(छात्र मोड), और फिर उसी मॉडल के साथ प्रशिक्षण लक्ष्य बनाने के लिए इनपुट के अनमास्क संस्करण को एनकोड करता है, लेकिन केवल तभी जब इसे मॉडल भार के घातीय औसत के रूप में पैरामीटर किया जाता है (शिक्षक मोड). इसके अलावा, लक्ष्य अभ्यावेदन प्रशिक्षण नमूने में मौजूद जानकारी को एनकोड करता है, और छात्र मोड में, इनपुट का आंशिक दृश्य दिए जाने पर इन अभ्यावेदन की भविष्यवाणी करने के लिए सीखने के कार्य का उपयोग किया जाता है। 

मॉडल वास्तुकला

Data2vec मॉडल एक मानक का उपयोग करता है ट्रांसफार्मर वास्तुकला इनपुट डेटा के तौर-तरीके-विशिष्ट एन्कोडिंग के साथ। कंप्यूटर विज़न से संबंधित कार्यों के लिए, मॉडल एक छवि को पैच के अनुक्रम के रूप में एन्कोड करने के लिए ViT रणनीति का उपयोग करता है, जहां प्रत्येक छवि 16×16 पिक्सेल से अधिक तक फैली होती है, और एक रैखिक परिवर्तन के रूप में फ़ीड की जाती है। 

इसके अलावा, वाक् पहचान के लिए डेटा, मॉडल एक मल्टी-लेयर 1-डी कनवल्शनल न्यूरल नेटवर्क का उपयोग करके डेटा को एन्कोड करता है जो 16 kHz तरंगों को 50 हर्ट्ज अभ्यावेदन में मैप करता है। टेक्स्ट डेटा को संसाधित करने के लिए, मॉडल उप-शब्द इकाइयों को निकालने के लिए डेटा को प्रीप्रोसेस करता है, और फिर एम्बेडिंग वैक्टर के माध्यम से डेटा को वितरण स्थान में एम्बेड करता है। 

मास्किंग

एक बार जब मॉडल इनपुट डेटा को टोकन के अनुक्रम के रूप में एम्बेड करता है, तो मॉडल इन इकाइयों के हिस्सों को एम्बेडिंग टोकन के साथ बदलकर मास्क करता है, और फिर अनुक्रम को फीड करता है ट्रांसफार्मर नेटवर्क। कंप्यूटर विज़न के लिए, मॉडल ब्लॉक-वार अंकन रणनीति का अभ्यास करता है। अव्यक्त भाषण अभ्यावेदन का उपयोग भाषण डेटा के विस्तार को छुपाने के लिए किया जाता है, और भाषा से संबंधित कार्यों के लिए, टोकन को छुपाया जाता है। 

प्रशिक्षण लक्ष्य

डेटा2वेक मॉडल का उद्देश्य मूल रूप से मॉडल को खिलाए गए मास्क्ड नमूने के एन्कोडिंग के आधार पर अनमास्क्ड प्रशिक्षण नमूने के मॉडल प्रतिनिधित्व की भविष्यवाणी करना है। मॉडल केवल छिपे हुए समय-चरणों के लिए अभ्यावेदन की भविष्यवाणी करता है। 

मॉडल भविष्यवाणी करता है प्रासंगिक प्रतिनिधित्व यह न केवल विशेष समय-चरण को एन्कोड करता है, बल्कि यह नमूने से अन्य जानकारी को भी एनकोड करता है क्योंकि यह ट्रांसफार्मर नेटवर्क में स्व-ध्यान का उपयोग करता है। प्रासंगिक प्रतिनिधित्व और ट्रांसफार्मर नेटवर्क का उपयोग डेटा2वेक मॉडल को पहले से मौजूद मॉडल से अलग करता है BERT, wav2vec, BEiT, SimMIM, MAE, और मास्कफीट मॉडल जो प्रासंगिक जानकारी के बिना लक्ष्य की भविष्यवाणी करते हैं। 

यहां बताया गया है कि कैसे data2vec मॉडल नेटवर्क अभ्यावेदन की भविष्यवाणी करने के लिए शिक्षक मोड को पैरामीटराइज़ करता है जो तब लक्ष्य के रूप में कार्य करता है। 

शिक्षक पैरामीटरीकरण

data2vec मॉडल के उपयोग के साथ अनमास्क्ड प्रशिक्षण नमूने के एन्कोडिंग को पैरामीटराइज़ किया गया ईएमए या एक्सपोनेंशियल मूविंग एवरेज मॉडल पैरामीटर्स(θ) में जहां मॉडल का भार है लक्ष्य मोड(△) इस प्रकार हैं

                                           ∆ ← τ∆ + (1 − τ ) θ

इसके अलावा, मॉडल τ के लिए शेड्यूल करता है जो पैरामीटर को रैखिक रूप से बढ़ाता है  τ0 से τe (लक्ष्य मान) पहले τn अपडेट पर। इन अद्यतनों के बाद, प्रशिक्षण समाप्त होने तक मॉडल मूल्य को स्थिर रखता है। जब मॉडल यादृच्छिक होता है तो प्रशिक्षण शुरू होने पर ईएमए रणनीति का उपयोग शिक्षक को शुरुआत में अधिक बार अपडेट करता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है और अच्छे पैरामीटर सीखे जाते हैं, शिक्षक को कम बार अपडेट किया जाता है। 

नतीजे बताते हैं कि मॉडल तब अधिक कुशल और सटीक होता है जब यह छात्र और शिक्षक मोड के बीच फीचर एनकोडर और पोजिशनल एनकोडर के मापदंडों को साझा करता है। 

लक्ष्य

प्रशिक्षण लक्ष्यों का निर्माण शीर्ष के आउटपुट पर निर्भर है K समय-चरणों के लिए शिक्षक नेटवर्क के ब्लॉक जो छात्र मोड में छिपे हुए हैं। ब्लॉक का आउटपुट l किसी भी समय-चरण पर t a . के रूप में दर्शाया गया हैlt. फिर मॉडल â प्राप्त करने के लिए प्रत्येक ब्लॉक पर सामान्यीकरण लागू करता हैlt इससे पहले कि यह शीर्ष K ब्लॉक का औसत निकाले 

प्रशिक्षण लक्ष्य प्राप्त करने के लिए yt समय-चरण के लिए t एक नेटवर्क के लिए L कुल मिलाकर ब्लॉक. 

यह प्रशिक्षण लक्ष्य बनाता है जिन्हें मॉडल छात्र मोड में होने पर पुनः प्राप्त करता है। शुरुआती प्रयोगों में, data2vec मॉडल ने एक समर्पित प्रक्षेपण के साथ प्रत्येक ब्लॉक का अलग-अलग पूर्वानुमान लगाने में अच्छा प्रदर्शन किया, और साथ ही यह कहीं अधिक कुशल भी रहा। 

इसके अलावा, लक्ष्यों को सामान्य करने से डेटा2वेक मॉडल को समय-चरणों के लिए निरंतर अभ्यावेदन में ढहने से भी रोका जा सकता है, और लक्ष्य डेटासेट में सुविधाओं पर हावी होने के लिए उच्च सामान्यीकरण वाली परतों को रोका जा सकता है। वाक् पहचान के लिए, मॉडल बिना किसी सीखे गए पैरामीटर के वर्तमान इनपुट नमूने पर इंस्टेंस सामान्यीकरण का उपयोग करता है। इसका मुख्य कारण यह है कि चूंकि इनपुट डेटा पर स्ट्राइड छोटा है, पड़ोसी प्रतिनिधित्व अत्यधिक सहसंबद्ध हैं। 

इसके अतिरिक्त, शोधकर्ताओं ने पाया कि कंप्यूटर विज़न और एनएलपी के साथ काम करते समय, पैरामीटर-रहित सामान्यीकरण पर्याप्त रूप से काम करता है। से भी समस्या का समाधान किया जा सकता है प्रसरण-अपरिवर्तनीय-सहप्रसरण नियमितीकरण लेकिन ऊपर उल्लिखित रणनीति पर्याप्त रूप से अच्छा प्रदर्शन करती है, और इसके लिए किसी अतिरिक्त पैरामीटर की आवश्यकता नहीं होती है। 

उद्देश्य

प्रासंगिक प्रशिक्षण लक्ष्यों के लिए yt, मॉडल एक का उपयोग करता है सहज L1 हानि नीचे उल्लिखित लक्ष्यों को पुनः प्राप्त करने के लिए

यहां, β एक वर्ग हानि से एल1 हानि में संक्रमण के नियंत्रण में है, और यह मॉडल भविष्यवाणी एफ के बीच के अंतर के आकार पर काफी हद तक निर्भर करता है।t(x) समय-चरण पर t. इस नुकसान का फायदा यह है कि β की सेटिंग को ट्यून करने की आवश्यकता के साथ, आउटलेर्स के प्रति तुलनात्मक रूप से कम संवेदनशील. 

प्रयोगिक व्यवस्था

Data2vec मॉडल का प्रयोग दो मॉडल आकारों के साथ किया गया है: data2vec बड़ा और data2vec बेस. संख्यात्मक स्थिरता के लिए, ईएमए अपडेट एफपी32 में किए जाते हैं, और मॉडल में एल = 12 या एल = 24 ट्रांसफॉर्मर ब्लॉक होते हैं जिनमें छिपे हुए आयाम (एच) = 768 या एच = 1024 होते हैं। आइए विभिन्न तौर-तरीकों के लिए प्रयोगात्मक सेटअप पर एक विस्तृत नज़र डालें , और उद्देश्य। 

Computer Vision

Data2vec मॉडल 224×224 पिक्सेल की छवियों को 16×16 पिक्सेल के पैच के रूप में एम्बेड करता है। इनमें से प्रत्येक पैच को रैखिक रूप से रूपांतरित किया जाता है, और 196 अभ्यावेदन वाला एक अनुक्रम मानक ट्रांसफार्मर को खिलाया जाता है। 

मॉडल इस प्रकार है बीट प्रत्येक ब्लॉक में यादृच्छिक पहलू अनुपात के साथ न्यूनतम 16 पैच होने के साथ आसन्न पैच के साथ ब्लॉक को मुखौटा करना। हालाँकि, मूल रूप से BEiT मॉडल में पैच के 40% को मास्क करने के बजाय, डेटा2vec मॉडल बेहतर सटीकता के लिए पैच के 60% को मास्क करता है। 

इसके अलावा, मॉडल बेतरतीब ढंग से छवि क्रॉप, क्षैतिज फ़्लिप और रंग घबराहट का आकार बदलता है। अंत में, data2vec मॉडल शिक्षक और छात्र दोनों मोड में समान संशोधित छवि का उपयोग करता है। 

ViT-B मॉडल 800 युगों के लिए पूर्व-प्रशिक्षित हैं, और data2vec मॉडल ViT-L मॉडल के लिए 8,192 और ViT-B मॉडल के लिए 2,048 के बैच आकार का उपयोग करता है। डेटा2वेक मॉडल वीआईटी-एल के लिए 80 युगों के लिए सीखने की दर को 0.001 तक और वीआईटी-बी के लिए 40 युगों के लिए 0.001 तक बढ़ाने के लिए एकल चक्र के साथ कोसाइन और एडम शेड्यूल का भी उपयोग करता है। 

ViT-B और ViT-L दोनों के लिए, data2vec मॉडल बिना किसी शेड्यूल के स्थिरांक के रूप में β = 2, K = 6 और τ = 0.9998 का ​​उपयोग करता है। मॉडल आगे स्टोकेस्टिक गहराई दर 0.2 का उपयोग करता है। 

इसके अलावा, वीआईटी-एल के लिए, मॉडल 1,600 युगों के लिए प्रशिक्षित होता है जहां पहले 800 युगों में सीखने की दर 0.9998 होती है, और फिर मॉडल सीखने की दर अनुसूची को रीसेट करता है, और अंतिम 800 युगों के लिए सीखने की दर 0.9999 के साथ जारी रहता है। 

छवि वर्गीकरण के लिए, मॉडल अंतिम ट्रांसफार्मर ब्लॉक के आउटपुट के माध्य-पूल का उपयोग करता है, और इसे सॉफ्टमैक्स-सामान्यीकृत क्लासिफायरियर को फ़ीड करता है। फिर मॉडल 50 युगों के लिए वीआईटी-एल, और कोसाइन का उपयोग करके 100 युगों के लिए वीआईटी-बी और सीखने की दर को गर्म करने के लिए एडम को ठीक करता है। 

भाषण प्रसंस्करण

वाक् प्रसंस्करण के लिए, data2vec मॉडल का उपयोग करता है फेयरसेक, एक अनुक्रम-मॉडलिंग किट जिसका उपयोग सारांश, अनुवाद और पाठ निर्माण के लिए ग्राहक मॉडल को प्रशिक्षित करने के लिए किया जाता है। मॉडल इनपुट के रूप में 16 kHz तरंगरूप लेता है जिसे एक फीचर एनकोडर का उपयोग करके संसाधित किया जाता है, और इसमें 512 चैनल, कर्नेल चौड़ाई (10,3,3,3,3,2,2), और स्ट्राइड्स (5,2,2,2,2,2,2) के साथ अस्थायी कनवल्शन शामिल हैं। ,XNUMX). 

उपरोक्त के परिणामस्वरूप एनकोडर की आउटपुट आवृत्ति 50 हर्ट्ज है, और इसमें प्रत्येक नमूने के बीच 20 एमएस की स्ट्राइड है। ग्रहणशील क्षेत्र में 400 इनपुट नमूने या 25 एमएस ऑडियो शामिल हैं। एन्कोडर को खिलाई गई कच्ची तरंग को इकाई विचरण और शून्य माध्य के लिए सामान्यीकृत किया जाता है. 

बेस मॉडल के लिए data2vec द्वारा उपयोग की जाने वाली मास्किंग रणनीति वाक् पहचान में स्व-पर्यवेक्षित सीखने के लिए बैवस्की ढांचे से मिलती जुलती है। मॉडल के नमूने p = 0.065 सभी समय-चरणों के लिए सूचकांक आरंभ करने के लिए, और निम्नलिखित दस समय-चरणों को चिह्नित करने के लिए आगे बढ़ता है। एक विशिष्ट प्रशिक्षण अनुक्रम के लिए, प्रक्रिया कुल समय-चरणों का लगभग 49% छिपाने की अनुमति देती है। 

प्रशिक्षण के दौरान, data2vec मॉडल τ का उपयोग करके रैखिक रूप से τ की घोषणा करता हैo = 0.999, τe = 0.9999, और τn = 30,000. डेटा2वेक मॉडल एडम ऑप्टिमाइज़र का उपयोग करता है जिसकी अधिकतम सीखने की दर 5×10 है-4 बेस मॉडल के लिए. इसके अलावा, बेस मॉडल एक त्रि-चरण अनुसूचक का उपयोग करता है जो पहले 3% अपडेट के लिए सीखने की दर को रैखिक रूप से बढ़ाता है, इसे अगले 90% तक बनाए रखता है, और फिर शेष 7% के लिए इसे रैखिक रूप से कम करने के लिए आगे बढ़ता है। 

प्राकृतिक भाषा संसाधन

डेटा2वेक मॉडल इनपुट को टोकनाइज़ करने के लिए 50K प्रकार के बाइट-जोड़ी एन्कोडिंग का उपयोग करता है, और फिर मॉडल प्रत्येक प्रकार के लिए एक एम्बेडिंग सीखता है। डेटा एनकोड होने के बाद, मॉडल समान रूप से चयनित टोकन के 15% पर BERT मास्किंग रणनीति लागू करता है जिसमें 80% को सीखे गए मास्क टोकन द्वारा प्रतिस्थापित किया जाता है, 10% को यादृच्छिक शब्दावली टोकन द्वारा प्रतिस्थापित किया जाता है, और शेष 10% अपरिवर्तित होते हैं। 

पूर्व-प्रशिक्षण के दौरान मॉडल τ का उपयोग करता हैo = 0.999, τe = 0.9999, और τn = 100,000, के = 10, और β = 4। मॉडल एक त्रि-चरण सीखने की दर अनुसूची के साथ एडम ऑप्टिमाइज़र का उपयोग करता है जो पहले 5% अपडेट के लिए सीखने की दर को रैखिक रूप से बढ़ाता है, इसे अगले 80% के लिए बनाए रखता है, और फिर शेष 15% के लिए इसे रैखिक रूप से क्षय करने के लिए आगे बढ़ता है, जिसमें सीखने की चरम दर 2×10 होती है-4. 

इसके अलावा, मॉडल 16 को प्रशिक्षित करता है GPUs 256 अनुक्रमों के बैच आकार के साथ, और प्रत्येक अनुक्रम में लगभग 512 टोकन हैं। डाउनस्ट्रीमिंग के लिए, मॉडल को चार अलग-अलग सीखने की दरों में पूर्व-प्रशिक्षित किया गया है: 1×10-4, 2 × 10-4, 3 × 10-4, 4 × 10-4, और जो सबसे अच्छा प्रदर्शन करता है उसे आगे के एनएलपी डाउनस्ट्रीमिंग कार्यों के लिए चुना जाता है। 

परिणाम

आइए देखें कि data2vec मॉडल विभिन्न तौर-तरीकों के लिए ऊपर चर्चा की गई रणनीतियों को लागू करते समय कैसा प्रदर्शन करता है। 

Computer Vision

कंप्यूटर विज़न के परिणामों का मूल्यांकन करने के लिए, data2vec मॉडल को प्राप्त छवियों पर पूर्व-प्रशिक्षित किया जाता है इमेजनेट-1K डेटासेट परिणामी मॉडल को उसी बेंचमार्क के लेबल किए गए डेटा का उपयोग करके ठीक किया जाता है। मानक अभ्यास के अनुसार, मॉडल का मूल्यांकन इसके संदर्भ में किया जाता है शीर्ष-1 सटीकता सत्यापन डेटा पर. 

फिर परिणामों को एकल स्व-पर्यवेक्षित मॉडल के आधार पर अलग किया जाता है, और अतिरिक्त डेटा, या अन्य स्व-पर्यवेक्षित शिक्षण मॉडल पर एक अलग विज़ुअल टोकनाइज़र का प्रशिक्षण दिया जाता है। 

नीचे दी गई तालिका कंप्यूटर विज़न के लिए data2vec मॉडल और अन्य मौजूदा मॉडलों के प्रदर्शन की तुलना करती है: ViT-L, और ViT-B। 

उपरोक्त तालिका के परिणामों को निम्नानुसार संक्षेपित किया जा सकता है। 

• डेटा2वेक मॉडल एकल मॉडल सेटिंग में वीआईटी-एल और वीआईटी-बी दोनों मॉडलों के साथ पिछले काम से बेहतर प्रदर्शन करता है। 
• प्रासंगिक अव्यक्त अभ्यावेदन की भविष्यवाणी करने के लिए data2vec एल्गोरिथ्म में उपयोग किया जाने वाला मुखौटा भविष्यवाणी सेटअप उन तरीकों की तुलना में बेहतर प्रदर्शन करता है जो इंजीनियरिंग छवि सुविधाओं, इनपुट पिक्सल या विज़ुअल टोकन जैसे स्थानीय लक्ष्यों की भविष्यवाणी करते हैं। 
• डेटा2वेक मॉडल स्व-आसवन विधियों से भी बेहतर प्रदर्शन करता है जो एक छवि के दो अलग-अलग संवर्धित संस्करणों को इनपुट के रूप में लेते हुए छात्र नेटवर्क की अंतिम परत को पुनः प्राप्त करता है। 

ऑडियो एवं वाक् प्रसंस्करण

भाषण और ऑडियो प्रसंस्करण के लिए, डेटा2वेक मॉडल को प्राप्त लगभग 960 घंटे के ऑडियो डेटा पर प्रशिक्षित किया जाता है लाइब्रिस्पीच(एलएस-960) डेटासेट डेटासेट में अंग्रेजी में ऑडियोबुक से साफ भाषण ऑडियो शामिल है, और इसे भाषण और ऑडियो प्रसंस्करण उद्योग में एक मानक बेंचमार्क के रूप में माना जाता है। 

विभिन्न संसाधन सेटिंग्स में मॉडल के प्रदर्शन का विश्लेषण करने के लिए, शोधकर्ताओं ने स्वचालित वाक् पहचान के लिए अलग-अलग मात्रा में लेबल किए गए डेटा (कुछ मिनटों से लेकर कई घंटों तक) का उपयोग करने के लिए डेटा 2vec मॉडल को ठीक किया है। मॉडल के प्रदर्शन का विश्लेषण करने के लिए, data2vec की तुलना की जाती है ह्यूबर्ट & wav2vec 2.0, भाषण और ऑडियो प्रतिनिधित्व सीखने के लिए दो सबसे लोकप्रिय एल्गोरिदम जो अलग-अलग भाषण इकाइयों पर भरोसा करते हैं। 

उपरोक्त तालिका अन्य मौजूदा मॉडलों के साथ वाक् पहचान के लिए शब्द दर के संदर्भ में data2vec के प्रदर्शन की तुलना करती है। LM डिकोडिंग के लिए प्रयुक्त भाषा मॉडल का प्रतिनिधित्व करता है। परिणाम निम्नलिखित रूप में संक्षेपित किया जा सकता है। 

• डेटा2वेक मॉडल बेस मॉडल के लिए लेबल किए गए डेटा के 10 मिनट के सबसे बड़े लाभ के साथ अधिकांश लेबल किए गए डेटा सेटअप के लिए सुधार दिखाता है। 
• जब बड़े मॉडल की बात आती है, तो मॉडल छोटे लेबल वाले डेटासेट पर काफी बेहतर प्रदर्शन करता है, और प्रदर्शन 100 और 960 घंटे से अधिक लेबल वाले डेटा के साथ संसाधन-समृद्ध डेटासेट पर तुलनीय है। ऐसा इसलिए है क्योंकि प्रदर्शन आम तौर पर अधिकांश मॉडलों के लिए संसाधन-समृद्ध लेबल वाले डेटासेट पर आधारित होता है। 
• प्रदर्शन का विश्लेषण करने के बाद, यह निष्कर्ष निकाला जा सकता है कि जब मॉडल समृद्ध प्रासंगिक लक्ष्यों का उपयोग करता है, तो अलग-अलग इकाइयों को सीखना आवश्यक नहीं है। 
• प्रशिक्षण के दौरान प्रासंगिक लक्ष्य सीखने से समग्र प्रदर्शन में उल्लेखनीय सुधार लाने में मदद मिलती है। 

इसके अलावा, वाक् पहचान के लिए data2vec के दृष्टिकोण को मान्य करने के लिए, मॉडल को भी प्रशिक्षित किया गया है ऑडियोसेट बेंचमार्क। हालाँकि ऑडियोसेट के लिए प्री-ट्रेनिंग सेटअप लाइब्रिस्पीच के समान है, मॉडल को K = 12 और 200K से अधिक अपडेट के लिए प्रशिक्षित किया जाता है, जहां प्रत्येक बैच का आकार 94.5 मिनट है। 

मॉडल तब लागू होता है डीपनॉर्म ढांचा, और परत सामान्यीकरण प्रशिक्षण को स्थिर करने में मदद करने के लिए लक्ष्य। इसके अतिरिक्त, मॉडल को 21.3k अपडेट पर 13 मिनट के बैच आकार के साथ संतुलित सबसेट पर भी ठीक किया गया है। मॉडल का भी उपयोग करता है रैखिक सॉफ्टमैक्स पूलिंग और 0.7 के संभाव्यता स्कोर के साथ मिश्रण। फिर मॉडल एक जोड़ता है एकल रैखिक प्रक्षेपण ऑडियो की 527 अद्वितीय कक्षाओं में, और सेट करता है प्रक्षेपण सीखने की दर 2e-4 तक. 

इसके अलावा, पूर्व-प्रशिक्षित मापदंडों की सीखने की दर 3e-5 है, और मॉडल डेटासेट को ठीक करने के लिए मास्किंग तकनीकों का उपयोग करता है। नीचे दी गई तालिका परिणामों को सारांशित करती है, और यह देखा जा सकता है कि data2vec मॉडल समान फाइन-ट्यूनिंग और पूर्व-प्रशिक्षण डेटा के साथ तुलनीय सेटअप से बेहतर प्रदर्शन करने में सक्षम है। 

प्राकृतिक भाषा संसाधन

टेक्स्ट पर data2vec के प्रदर्शन का विश्लेषण करने के लिए, मॉडल उसी प्रशिक्षण सेटअप का अनुसरण करता है बर्ट और 1M से अधिक अपडेट और बैच आकार 256 अनुक्रमों के साथ अंग्रेजी विकिपीडिया डेटासेट पर मॉडल को पूर्व-प्रशिक्षित करना। मॉडल का मूल्यांकन किया जाता है GLUE या सामान्य भाषा समझ मूल्यांकन बेंचमार्क जिसमें प्राकृतिक भाषा हस्तक्षेप कार्य शामिल हैं(एमएनएलआई या बहु-शैली प्राकृतिक भाषा अनुमान), वाक्य समानता (QQP या Quora प्रश्न युग्म बेंचमार्क, MRPC या Microsoft रिसर्च पैराग्राफ कॉर्पस, और STS-B या सिमेंटिक टेक्स्टुअल समानता बेंचमार्क), भावनाओं का विश्लेषण(एसएसटी-2 या स्टैनफोर्ड सेंटीमेंट ट्रीबैंक), और व्याकरणिक रूप से(कोला). 

इसके अलावा, data2vec मॉडल को फाइन ट्यून करने के लिए, प्रत्येक कार्य द्वारा लेबल किया गया डेटा प्रदान किया जाता है, और 5 फाइन-ट्यूनिंग रन के साथ विकास सेट पर औसत सटीकता की सूचना दी जाती है। निम्न तालिका प्राकृतिक भाषा प्रसंस्करण कार्यों के लिए data2vec मॉडल के प्रदर्शन का सारांश प्रस्तुत करती है, और इसकी तुलना अन्य मॉडलों से करती है। 

• उपरोक्त डेटा से पता चलता है कि data2vec मॉडल बेसलाइन RoBERTa मॉडल से बेहतर प्रदर्शन करता है क्योंकि data2vec मॉडल में रणनीति यादृच्छिक लक्ष्यों का उपयोग नहीं करती है। 
• डेटा2वेक मॉडल पहला सफल पूर्व-प्रशिक्षित एनएलपी मॉडल है जो प्रशिक्षण लक्ष्य के रूप में वर्ण, शब्द या उप-शब्द जैसी असतत इकाइयों का उपयोग नहीं करता है। इसके बजाय, data2vec ढाँचा संपूर्ण अप्रकाशित पाठ अनुक्रम पर प्रासंगिक अव्यक्त प्रतिनिधित्व की भविष्यवाणी करता है। 
• यह एक सीखने का कार्य बनाने में मदद करता है जिसमें मॉडल को विशेष विवेक के साथ प्रत्येक पाठ इकाई के लिए सामान्य प्रतिनिधित्व की भविष्यवाणी करने के बजाय वर्तमान अनुक्रम से विशिष्ट गुणों के साथ लक्ष्य की भविष्यवाणी करने की आवश्यकता होती है। 
• इसके अलावा, प्रशिक्षण लक्ष्य निर्धारित नहीं है, और मॉडल नए लक्ष्यों को परिभाषित करने के लिए स्वतंत्र है, और यह शब्दावली सेटिंग्स के लिए खुला है। 

Data2Vec: एब्लेशन अध्ययन

एब्लेशन एक शब्द है जिसका उपयोग एआई और एमएल सिस्टम में एक घटक को हटाने को परिभाषित करने के लिए किया जाता है। मॉडल से कुछ प्रमुख घटकों को हटाकर एआई या एमएल मॉडल के प्रदर्शन की जांच या विश्लेषण करने के लिए एक एब्लेशन अध्ययन का उपयोग किया जाता है जो शोधकर्ताओं को समग्र प्रणाली में उस घटक के योगदान को समझने की अनुमति देता है। 

परत औसत लक्ष्य

डेटा2वेक और अन्य स्व-पर्यवेक्षित शिक्षण मॉडल के बीच एक बड़ा अंतर यह है कि डेटा2वेक मॉडल उन लक्ष्यों का उपयोग करता है जो शिक्षक नेटवर्क से कई परतों के औसत पर आधारित होते हैं। यह विचार इस तथ्य से आता है कि मॉडल की मध्य परतों की तुलना में wav2vec 2.0 मॉडल की ऊपरी परत डाउनस्ट्रीम कार्यों के लिए अच्छा प्रदर्शन नहीं करती है। 

निम्नलिखित प्रयोग में, तीनों तौर-तरीकों का प्रदर्शन K= 1, 2,…, 12 परतों के औसत से मापा जाता है जहां K= 1 केवल शीर्ष परत की भविष्यवाणी करता है। हालाँकि, तेजी से टर्नअराउंड समय निकालने के लिए, data2vec बेस मॉडल को कुल 12 परतों के साथ प्रशिक्षित करता है। वाक् पहचान के लिए, मॉडल को लिब्रिस्पीच पर दो लाख से अधिक अपडेट पर पूर्व-प्रशिक्षित किया जाता है, और फिर लिबरी-लाइट के 10 घंटे के लेबल वाले विभाजन पर ठीक से ट्यून किया जाता है। प्राकृतिक भाषा प्रसंस्करण के लिए, मॉडल सत्यापन सेट के लिए औसत GLUE स्कोर की रिपोर्ट करता है, और कंप्यूटर विज़न के लिए मॉडल को 300 युगों के लिए पूर्व-प्रशिक्षित करता है और फिर इमेजनेट डेटासेट पर प्राप्त शीर्ष -1 सटीकता की रिपोर्ट करता है। 

उपरोक्त आंकड़े से पता चलता है कि कई परतों पर आधारित लक्ष्य आम तौर पर तब बेहतर होते हैं जब सभी तौर-तरीकों के लिए केवल शीर्ष परत K=1 का उपयोग किया जाता है। उपलब्ध सभी परतों का उपयोग करना एक अच्छा अभ्यास है क्योंकि तंत्रिका नेटवर्क विभिन्न प्रकार की सुविधाओं और कई परतों पर सुविधाओं का निर्माण करते हैं जिन्हें फिर फीचर परतों के रूप में निकाला जाता है। 

कई परतों की सुविधाओं का उपयोग करने से सटीकता बढ़ाने में मदद मिलती है, और स्व-पर्यवेक्षित सीखने की प्रक्रिया समृद्ध होती है। 

लक्ष्य सुविधा प्रकार

Data2vec मॉडल में ट्रांसफार्मर ब्लॉक में कई परतें होती हैं जो सभी लक्ष्य के रूप में काम कर सकती हैं। यह विश्लेषण करने के लिए कि विभिन्न परतें प्रदर्शन को कैसे प्रभावित करती हैं, मॉडल को लाइब्रिस्पीच के भाषण मॉडल पर पूर्व-प्रशिक्षित किया जाता है जो लक्ष्य सुविधाओं के रूप में विभिन्न परतों का उपयोग करते हैं। 

नीचे दिया गया आंकड़ा स्पष्ट रूप से इंगित करता है कि फ़ीड फॉरवर्ड नेटवर्क या एफएफएन का आउटपुट आदर्श रूप से काम करता है जबकि स्व-ध्यान ब्लॉक के आउटपुट का उपयोग करने योग्य मॉडल नहीं होता है। 

लक्ष्य संदर्भीकरण

डेटा2वेक मॉडल में शिक्षक प्रतिनिधित्व प्रासंगिक लक्ष्य तैयार करने के लिए संपूर्ण इनपुट पर आत्म-ध्यान का उपयोग करते हैं। यह data2vec को अन्य स्व-पर्यवेक्षित शिक्षण मॉडल से अलग करता है जो इनपुट के स्थानीय भागों का पुनर्निर्माण या भविष्यवाणी करके सीखने के कार्य का निर्माण करता है। यह स्पष्ट रूप से प्रश्न खड़ा करता है: क्या data2vec मॉडल को अच्छी तरह से काम करने के लिए प्रासंगिक लक्ष्यों की आवश्यकता होती है? 

प्रश्न का उत्तर देने के लिए, शोधकर्ता लक्ष्य अभ्यावेदन का निर्माण करते हैं जिनकी संपूर्ण इनपुट डेटासेट तक पहुंच नहीं होती है, लेकिन इसका केवल एक अंश पूर्व निर्धारित होता है। मॉडल तब शिक्षक के आत्म-ध्यान तंत्र को प्रतिबंधित करता है जो उसे आसपास के पर्यावरण इनपुट के केवल एक हिस्से तक पहुंचने की अनुमति देता है। मॉडल को प्रशिक्षित करने के बाद, इसे पूर्ण संदर्भ आकार तक पहुंचने के लिए ठीक किया गया है। 

नीचे दिया गया चित्र इंगित करता है कि बड़े संदर्भ आकार अक्सर बेहतर प्रदर्शन की ओर ले जाते हैं, और जब संपूर्ण इनपुट नमूना दिखाई देता है, तो यह सर्वोत्तम सटीकता प्राप्त करता है। यह इसे और भी सिद्ध करता है समृद्ध लक्ष्य प्रतिनिधित्व बेहतर प्रदर्शन प्रदान कर सकते हैं। 

मॉडेलिटी विशिष्ट फ़ीचर एक्सट्रैक्टर्स और मास्किंग

डेटा2वेक का प्राथमिक उद्देश्य एक सरल शिक्षण तंत्र डिजाइन करना है जो विभिन्न तौर-तरीकों के साथ काम कर सके। ऐसा इसलिए है, क्योंकि वर्तमान मॉडल और फ्रेमवर्क में एक एकीकृत शिक्षण व्यवस्था है, फिर भी वे मोडैलिटी विशिष्ट मास्किंग और फीचर एक्सट्रैक्टर्स का उपयोग करते हैं। 

यह समझ में आता है कि फ्रेमवर्क ज्यादातर एक ही मोडैलिटी के साथ काम करते हैं, क्योंकि इनपुट डेटा की प्रकृति एक दूसरे से काफी भिन्न होती है। उदाहरण के लिए, वाक् पहचान मॉडल एक उच्च रिज़ॉल्यूशन इनपुट (जैसे 10 किलोहर्ट्ज़ तरंग) का उपयोग करते हैं जिसमें आमतौर पर हजारों नमूने होते हैं। फिर तरंगरूप को 50 हर्ट्ज के फीचर अनुक्रम प्राप्त करने के लिए एक बहुपरत कन्वेन्शनल न्यूरल नेटवर्क का उपयोग करके फ्रेमवर्क द्वारा संसाधित किया जाता है। 

संरचित और प्रासंगिक लक्ष्य

डेटा2वेक और अन्य नकाबपोश भविष्यवाणी मॉडल के बीच मुख्य अंतर बिंदु यह है कि डेटा2वेक मॉडल में, प्रशिक्षण लक्ष्यों की विशेषताओं को प्रासंगिक बनाया गया है। ये सुविधाएँ शिक्षक मोड में संपूर्ण नकाबपोश इनपुट के आत्म-ध्यान का उपयोग करके बनाई गई हैं। 

कुछ अन्य फ्रेमवर्क जैसे BYOL (बूटस्ट्रैप योर ओन लेटेंट) या DINO भी data2vec जैसे अव्यक्त अभ्यावेदन का उपयोग करते हैं, लेकिन उनका प्राथमिक फोकस परिवर्तन अपरिवर्तनीय अभ्यावेदन सीखना है। 

निष्कर्ष

एआई और एमएल उद्योग में हाल के काम ने संकेत दिया है कि समान मॉडल आर्किटेक्चर कई तौर-तरीकों से निपटने के लिए एक प्रभावी दृष्टिकोण हो सकता है। डेटा2वेक मॉडल तीन तौर-तरीकों के साथ काम करने के लिए स्व-पर्यवेक्षित शिक्षण दृष्टिकोण का उपयोग करता है: भाषण, चित्र और भाषा। 

Data2vec मॉडल के पीछे मुख्य अवधारणा प्रासंगिक जानकारी या इनपुट डेटा को पुनः प्राप्त करने के लिए आंशिक इनपुट दृश्य का उपयोग करना है। डेटा2वेक फ्रेमवर्क द्वारा उपयोग किया जाने वाला दृष्टिकोण प्रभावी है क्योंकि मॉडल वीआईटी-बी और वीआईटी-एल एकल मॉडल दोनों के लिए इमेजनेट-1K डेटासेट पर पूर्व स्व-पर्यवेक्षित शिक्षण मॉडल से बेहतर प्रदर्शन करता है। 

Data2vec वास्तव में स्व-पर्यवेक्षित शिक्षण उद्योग में एक मील का पत्थर है क्योंकि यह कई तौर-तरीकों को सीखने के लिए एक एकल शिक्षण पद्धति को प्रदर्शित करता है जो वास्तव में मॉडलों के लिए सभी तौर-तरीकों को सीखना आसान बना सकता है।