मल्टीमॉडल लार्ज लैंग्वेज मॉडल या एमएलएलएम की वास्तुकला और प्रदर्शन में हालिया प्रगति ने प्रदर्शन को बढ़ाने के लिए स्केलेबल डेटा और मॉडल के महत्व पर प्रकाश डाला है। यद्यपि यह दृष्टिकोण प्रदर्शन को बढ़ाता है, लेकिन इसमें पर्याप्त कम्प्यूटेशनल लागत आती है जो ऐसे दृष्टिकोणों की व्यावहारिकता और उपयोगिता को सीमित करती है। पिछले कुछ वर्षों में, मिक्सचर ऑफ एक्सपर्ट या एमओई मॉडल छवि-पाठ और बड़े भाषा मॉडल को कुशलतापूर्वक स्केल करने के लिए एक सफल वैकल्पिक दृष्टिकोण के रूप में उभरे हैं क्योंकि मिक्सचर ऑफ एक्सपर्ट मॉडल में काफी कम कम्प्यूटेशनल लागत और मजबूत प्रदर्शन है। हालाँकि, अपने फायदों के बावजूद, मॉडलों का मिश्रण बड़े भाषा मॉडल को स्केल करने के लिए आदर्श दृष्टिकोण नहीं है क्योंकि उनमें अक्सर कम विशेषज्ञ शामिल होते हैं, और सीमित तौर-तरीके होते हैं, इस प्रकार अनुप्रयोगों को सीमित किया जाता है। 

वर्तमान दृष्टिकोण में आने वाली बाधाओं का मुकाबला करने के लिए, और बड़े भाषा मॉडल को कुशलतापूर्वक स्केल करने के लिए, इस लेख में, हम यूनी-एमओई के बारे में बात करेंगे, जो एमओई या विशेषज्ञ वास्तुकला के मिश्रण के साथ एक एकीकृत मल्टीमॉडल बड़ा भाषा मॉडल है जो व्यापक रूप से संभालने में सक्षम है। तौर-तरीकों और विशेषज्ञों की श्रृंखला। यूनी-एमओई ढांचा विशेषज्ञ-स्तरीय मॉडल समानता और डेटा समानता को नियोजित करके प्रशिक्षण और अनुमान प्रक्रिया को और अधिक कुशल बनाने के प्रयास में बड़े भाषा मॉडल के भीतर विशेषज्ञ वास्तुकला का एक विरल मिश्रण लागू करता है। इसके अलावा, सामान्यीकरण और बहु-विशेषज्ञ सहयोग को बढ़ाने के लिए, यूनी-एमओई ढांचा एक प्रगतिशील प्रशिक्षण रणनीति प्रस्तुत करता है जो तीन अलग-अलग प्रक्रियाओं का संयोजन है। पहले में, यूनी-एमओई फ्रेमवर्क विभिन्न क्रॉस मॉडेलिटी डेटा के साथ विभिन्न कनेक्टर्स का उपयोग करके क्रॉस-मोडेलिटी संरेखण प्राप्त करता है। दूसरा, यूनी-एमओई ढांचा क्रॉस मॉडेलिटी इंस्ट्रक्शन डेटा के साथ तौर-तरीके-विशिष्ट विशेषज्ञों को प्रशिक्षित करके विशेषज्ञ घटकों की प्राथमिकता को सक्रिय करता है। अंत में, यूनी-एमओई मॉडल मॉडल को ट्यून करने के लिए मिश्रित मल्टीमॉडल इंस्ट्रक्शन डेटा पर लोरा या लो-रैंक अनुकूलन सीखने की तकनीक को लागू करता है। जब निर्देश-ट्यून किए गए यूनी-एमओई ढांचे का मूल्यांकन मल्टीमॉडल डेटासेट के एक व्यापक सेट पर किया गया था, तो व्यापक प्रयोगात्मक परिणामों ने मिश्रित मल्टीमॉडल डेटासेट को संभालने में प्रदर्शन पूर्वाग्रह को कम करने में यूनी-एमओई ढांचे के प्रमुख लाभ पर प्रकाश डाला। परिणामों ने बहु-विशेषज्ञ सहयोग और सामान्यीकरण में महत्वपूर्ण सुधार का भी संकेत दिया। 

इस लेख का उद्देश्य यूनी-एमओई ढांचे को गहराई से कवर करना है, और हम अत्याधुनिक ढांचे के साथ इसकी तुलना के साथ तंत्र, कार्यप्रणाली, ढांचे की वास्तुकला का पता लगाते हैं। तो चलो शुरू हो जाओ। 

यूनी-एमओई: एकीकृत मल्टीमॉडल एलएलएम को स्केल करना

LLama और InstantBlip सहित ओपन-सोर्स मल्टीमॉडल बड़े भाषा मॉडल के आगमन ने पिछले कुछ वर्षों में छवि-पाठ समझ से जुड़े कार्यों में उल्लेखनीय सफलता और प्रगति को रेखांकित किया है। इसके अलावा, एआई समुदाय एक एकीकृत मल्टीमॉडल बड़े भाषा मॉडल के निर्माण की दिशा में सक्रिय रूप से काम कर रहा है जो पारंपरिक छवि-पाठ प्रतिमान से आगे बढ़ते हुए छवि, पाठ, ऑडियो, वीडियो और अधिक सहित कई प्रकार के तौर-तरीकों को समायोजित कर सकता है। मल्टीमॉडल बड़े भाषा मॉडल की क्षमताओं को बढ़ावा देने के लिए ओपन सोर्स समुदाय द्वारा अपनाया जाने वाला एक सामान्य दृष्टिकोण विज़न फाउंडेशन मॉडल के आकार को बढ़ाना और इसे अरबों मापदंडों के साथ बड़े भाषा मॉडल के साथ एकीकृत करना और निर्देश ट्यूनिंग को बढ़ाने के लिए विविध मल्टीमॉडल डेटासेट का उपयोग करना है। इन विकासों ने मल्टीमॉडल बड़े भाषा मॉडल की कई तौर-तरीकों को तर्क करने और संसाधित करने की बढ़ती क्षमता पर प्रकाश डाला है, जो मल्टीमॉडल निर्देशात्मक डेटा और मॉडल स्केलेबिलिटी के विस्तार के महत्व को प्रदर्शित करता है। 

हालाँकि किसी मॉडल को स्केल करना एक आजमाया हुआ और परखा हुआ दृष्टिकोण है जो पर्याप्त परिणाम देता है, एक मॉडल को स्केल करना प्रशिक्षण और अनुमान दोनों प्रक्रियाओं के लिए एक कम्प्यूटेशनल रूप से महंगी प्रक्रिया है। 

उच्च ओवरहेड कम्प्यूटेशनल लागत के मुद्दे का मुकाबला करने के लिए, ओपन सोर्स समुदाय एकीकृत करने की दिशा में आगे बढ़ रहा है MoE या विशेषज्ञ का मिश्रण प्रशिक्षण और अनुमान दक्षता दोनों को बढ़ाने के लिए बड़े भाषा मॉडल में मॉडल वास्तुकला। मल्टीमॉडल बड़ी भाषा और बड़े भाषा मॉडल के विपरीत, जो प्रत्येक इनपुट को संसाधित करने के लिए सभी उपलब्ध मापदंडों को नियोजित करते हैं, जिसके परिणामस्वरूप सघन कम्प्यूटेशनल दृष्टिकोण होता है, विशेषज्ञ आर्किटेक्चर के मिश्रण के लिए उपयोगकर्ताओं को केवल प्रत्येक इनपुट के लिए विशेषज्ञ मापदंडों के एक सबसेट को सक्रिय करने की आवश्यकता होती है। परिणामस्वरूप, व्यापक पैरामीटर सक्रियण और उच्च ओवरहेड कम्प्यूटेशनल लागत के बिना बड़े मॉडलों की दक्षता बढ़ाने के लिए विशेषज्ञ दृष्टिकोण का मिश्रण एक व्यवहार्य मार्ग के रूप में उभरता है। यद्यपि मौजूदा कार्यों ने टेक्स्ट-ओनली और टेक्स्ट-इमेज बड़े मॉडल के निर्माण में विशेषज्ञ मॉडल के मिश्रण के सफल कार्यान्वयन और एकीकरण पर प्रकाश डाला है, शोधकर्ताओं को अभी भी शक्तिशाली एकीकृत मल्टीमॉडल बड़े मॉडल के निर्माण के लिए विशेषज्ञ वास्तुकला के मिश्रण को विकसित करने की क्षमता का पूरी तरह से पता लगाना बाकी है। भाषा मॉडल. 

यूनी-एमओई एक मल्टीमॉडल बड़ा भाषा मॉडल है जो एमओई आर्किटेक्चर के साथ एकीकृत मल्टीमॉडल बड़े भाषा मॉडल को स्केल करने का पता लगाने के प्रयास में कई तौर-तरीकों की व्याख्या और प्रबंधन करने के लिए विशेषज्ञ मॉडल के विरल मिश्रण का लाभ उठाता है। जैसा कि निम्नलिखित छवि में दिखाया गया है, यूनी-एमओई फ्रेमवर्क पहले मॉडेलिटी-विशिष्ट एनकोडर का उपयोग करके विभिन्न तौर-तरीकों की एन्कोडिंग प्राप्त करता है, और फिर विभिन्न डिज़ाइन किए गए कनेक्टर्स का उपयोग करके इन एन्कोडिंग को बड़े भाषा मॉडल के भाषा प्रतिनिधित्व स्थान में मैप करता है। इन कनेक्टरों में जमे हुए एनकोडर के आउटपुट अभ्यावेदन को डिस्टिल और प्रोजेक्ट करने के लिए बाद के रैखिक अनुमानों के साथ एक प्रशिक्षित ट्रांसफार्मर मॉडल होता है। यूनी-एमओई ढांचा घने बड़े भाषा मॉडल के आंतरिक ब्लॉक के भीतर विशेषज्ञ परतों का एक विरल मिश्रण पेश करता है। परिणामस्वरूप, विशेषज्ञ आधारित ब्लॉक के प्रत्येक मिश्रण में सभी तौर-तरीकों पर लागू एक साझा आत्म-ध्यान परत, टोकन स्तर पर विशेषज्ञता आवंटित करने के लिए एक विरल राउटर और फीडफॉरवर्ड नेटवर्क पर आधारित विविध विशेषज्ञ शामिल हैं। इस दृष्टिकोण के कारण, यूनी-एमओई ढांचा भाषण, ऑडियो, पाठ, वीडियो, छवि सहित कई तौर-तरीकों को समझने में सक्षम है, और अनुमान के दौरान केवल आंशिक मापदंडों को सक्रिय करने की आवश्यकता होती है। 

इसके अलावा, बहु-विशेषज्ञ सहयोग और सामान्यीकरण को बढ़ाने के लिए, यूनी-एमओई ढांचा तीन चरण की प्रशिक्षण रणनीति लागू करता है। पहले चरण में, फ्रेमवर्क बड़े भाषा मॉडल के भाषा स्थान में एकीकृत तौर-तरीके प्रतिनिधित्व के कारण संबंधित कनेक्टर को प्रशिक्षित करने के लिए भाषा जोड़े में व्यापक छवि/ऑडियो/भाषण का उपयोग करता है। दूसरा, यूनी-एमओई मॉडल अपने संबंधित डोमेन के भीतर प्रत्येक विशेषज्ञ की दक्षता को परिष्कृत करने के प्रयास में अलग-अलग क्रॉस-मोडेलिटी डेटासेट का उपयोग करके मोडैलिटी-विशिष्ट विशेषज्ञों को प्रशिक्षित करता है। तीसरे चरण में, यूनी-एमओई ढांचा इन प्रशिक्षित विशेषज्ञों को बड़े भाषा मॉडल की विशेषज्ञ परत के मिश्रण में एकीकृत करता है, और मिश्रित मल्टीमॉडल निर्देश डेटा के साथ पूरे यूनी-एमओई ढांचे को प्रशिक्षित करता है। प्रशिक्षण लागत को और कम करने के लिए, यूनी-एमओई ढांचा इन आत्म-ध्यान परतों और पूर्व-ट्यून किए गए विशेषज्ञों को ठीक करने के लिए लोरा सीखने के दृष्टिकोण को नियोजित करता है। 

यूनी-एमओई: कार्यप्रणाली और वास्तुकला

यूनी-एमओई ढांचे के पीछे मूल प्रेरणा विशेषज्ञ मॉडलों के मिश्रण की दक्षता के साथ-साथ मल्टीमॉडल बड़े भाषा मॉडल को स्केल करने की उच्च प्रशिक्षण और अनुमान लागत है, और एक कुशल, शक्तिशाली और एकीकृत मल्टीमॉडल बड़े भाषा मॉडल का उपयोग करने की संभावना का पता लगाना है। एमओई वास्तुकला. निम्नलिखित आंकड़ा यूनी-एमओई ढांचे में कार्यान्वित वास्तुकला का एक प्रतिनिधित्व प्रस्तुत करता है जिसमें डिज़ाइन का प्रदर्शन किया गया है जिसमें विभिन्न तौर-तरीकों के लिए अलग-अलग एनकोडर शामिल हैं यानी ऑडियो, भाषण और दृश्य उनके संबंधित मोडैलिटी कनेक्टर के साथ। 

यूनी-एमओई ढांचा तब मुख्य बड़े भाषा मॉडल ब्लॉकों के साथ विशेषज्ञ वास्तुकला के मिश्रण को एकीकृत करता है, जो प्रशिक्षण और अनुमान प्रक्रिया दोनों की समग्र दक्षता को बढ़ाने के लिए महत्वपूर्ण प्रक्रिया है। यूनी-एमओई ढांचा एक विरल रूटिंग तंत्र को लागू करके इसे प्राप्त करता है। यूनी-एमओई ढांचे की समग्र प्रशिक्षण प्रक्रिया को तीन चरणों में विभाजित किया जा सकता है: क्रॉस-मॉडैलिटी संरेखण, प्रशिक्षण मोडैलिटी-विशिष्ट विशेषज्ञ, और मल्टीमॉडल निर्देश डेटासेट के विविध सेट का उपयोग करके यूनी-एमओई को ट्यूनिंग करना। विविध मोडल इनपुट को भाषाई प्रारूप में कुशलतापूर्वक बदलने के लिए, यूनी-एमओई ढांचा एलएलएवीए के शीर्ष पर बनाया गया है, जो एक पूर्व-प्रशिक्षित दृश्य भाषा ढांचा है। एलएलएवीए बेस मॉडल सीएलआईपी को एक रैखिक प्रक्षेपण परत के साथ अपने दृश्य एनकोडर के रूप में एकीकृत करता है जो छवि सुविधाओं को उनके संबंधित नरम छवि टोकन में परिवर्तित करता है। इसके अलावा, वीडियो सामग्री को संसाधित करने के लिए, यूनी-एमओई ढांचा प्रत्येक वीडियो से आठ प्रतिनिधि फ्रेम का चयन करता है, और उनकी छवि या फ्रेम-आधारित प्रतिनिधित्व को एकत्रित करने के लिए औसत पूलिंग द्वारा उन्हें वीडियो टोकन में बदल देता है। ऑडियो कार्यों के लिए, Uni-MoE फ्रेमवर्क फीचर निष्कर्षण को बढ़ाने के लिए दो एनकोडर, BEATs और व्हिस्पर एनकोडर को तैनात करता है। फिर मॉडल ऑडियो सुविधाओं को वेक्टर और निश्चित-लंबाई भाषण को डिस्टिल करता है, और उन्हें एक रैखिक प्रक्षेपण परत के माध्यम से क्रमशः भाषण टोकन और सॉफ्ट ऑडियो में मैप करता है। 

प्रशिक्षण रणनीति

यूनी-एमओई ढांचा मॉडल के वृद्धिशील विकास के लिए एक प्रगतिशील प्रशिक्षण रणनीति पेश करता है। प्रगतिशील प्रशिक्षण रणनीति ने विभिन्न विशेषज्ञों की विशिष्ट क्षमताओं का उपयोग करने, बहु-विशेषज्ञ सहयोग दक्षता बढ़ाने और ढांचे की समग्र सामान्यीकरण को बढ़ावा देने के प्रयासों की शुरुआत की। प्रशिक्षण प्रक्रिया को वास्तविक रूप देने के प्रयास के साथ तीन चरणों में विभाजित किया गया है MLLM विशेषज्ञों के एकीकृत मिश्रण के शीर्ष पर निर्मित संरचना। 

चरण 1: क्रॉस मॉडेलिटी संरेखण

पहले चरण में, यूनी-एमओई ढांचा विभिन्न भाषाविज्ञान और तौर-तरीकों के बीच कनेक्टिविटी स्थापित करने का प्रयास करता है। Uni-MoE फ्रेमवर्क कनेक्टर्स का निर्माण करके मोडल डेटा को सॉफ्ट टोकन में अनुवाद करके इसे प्राप्त करता है। पहले प्रशिक्षण चरण का प्राथमिक उद्देश्य जनरेटिव एन्ट्रापी हानि को कम करना है।  यूनी-एमओई ढांचे के भीतर, एलएलएम को विभिन्न तौर-तरीकों में इनपुट के लिए विवरण उत्पन्न करने के लिए अनुकूलित किया गया है, और मॉडल केवल कनेक्टर्स को प्रशिक्षण के अधीन करता है, एक रणनीति जो यूनी-एमओई ढांचे को एक एकीकृत भाषा ढांचे के भीतर विभिन्न तौर-तरीकों को एकीकृत करने में सक्षम बनाती है। 

चरण 2: प्रशिक्षण पद्धति विशिष्ट विशेषज्ञ

दूसरे चरण में, यूनी-एमओई ढांचा विशिष्ट क्रॉस मॉडेलिटी डेटा पर मॉडल को समर्पित रूप से प्रशिक्षित करके एकल मॉडेलिटी विशेषज्ञों को विकसित करने पर केंद्रित है। प्राथमिक उद्देश्य अपने संबंधित डोमेन के भीतर प्रत्येक विशेषज्ञ की दक्षता को परिष्कृत करना है, इस प्रकार मल्टीमॉडल डेटा की एक विस्तृत श्रृंखला पर विशेषज्ञ प्रणाली के मिश्रण के समग्र प्रदर्शन को बढ़ाना है। इसके अलावा, यूनी-एमओई ढांचा फोकल मीट्रिक प्रशिक्षण के रूप में जेनरेटिव एन्ट्रापी हानि को बनाए रखते हुए फीडफॉरवर्ड नेटवर्क को मोडेलिटी की विशेषताओं के साथ अधिक निकटता से संरेखित करने के लिए तैयार करता है। 

स्टेज 3: ट्यूनिंग यूनी-एमओई

तीसरे और अंतिम चरण में, यूनी-एमओई ढांचा चरण 2 के दौरान विशेषज्ञों द्वारा तय किए गए वजन को विशेषज्ञ परतों के मिश्रण में एकीकृत करता है। यूनी-एमओई ढांचा संयुक्त रूप से मिश्रित मल्टीमॉडल निर्देश डेटा का उपयोग करके एमएलएलएम को ठीक करता है। निम्नलिखित छवि में हानि वक्र प्रशिक्षण प्रक्रिया की प्रगति को दर्शाते हैं। 

विशेषज्ञ के मिश्रण के विन्यास के बीच तुलनात्मक विश्लेषण से पता चला कि विशेषज्ञों ने दूसरे प्रशिक्षण चरण के दौरान परिष्कृत मॉडल में बढ़ी हुई स्थिरता प्रदर्शित की और मिश्रित-मोडल डेटासेट पर त्वरित अभिसरण हासिल किया। इसके अलावा, उन कार्यों पर जिनमें पाठ, चित्र, ऑडियो, वीडियो सहित जटिल मल्टी-मोडल डेटा शामिल था, यूनी-एमओई फ्रेमवर्क ने दो विशेषज्ञों को नियोजित करने की तुलना में चार विशेषज्ञों को नियोजित करने पर अधिक सुसंगत प्रशिक्षण प्रदर्शन और हानि परिवर्तनशीलता को कम किया। 

यूनी-एमओई: प्रयोग और परिणाम

निम्नलिखित तालिका यूनी-एमओई ढांचे की वास्तुशिल्प विशिष्टताओं का सारांश प्रस्तुत करती है। LLaMA-7B आर्किटेक्चर पर निर्मित यूनी-एमओई ढांचे का प्राथमिक लक्ष्य मॉडल आकार को मापना है। 

निम्नलिखित तालिका विशेष प्रशिक्षण कार्यों द्वारा निर्देशित यूनी-एमओई ढांचे के डिजाइन और अनुकूलन का सारांश प्रस्तुत करती है। ये कार्य एमएलपी परतों की क्षमताओं को परिष्कृत करने में सहायक हैं, जिससे बेहतर मॉडल प्रदर्शन के लिए उनके विशेष ज्ञान का लाभ उठाया जा सकता है। यूनी-एमओई ढांचा विभिन्न प्रशिक्षण पद्धतियों के विभेदक प्रभावों को स्पष्ट करने के लिए आठ एकल-मोडैलिटी विशेषज्ञ कार्य करता है। 

मॉडल विभिन्न प्रकार के बेंचमार्क के सेट पर विभिन्न मॉडल वेरिएंट के प्रदर्शन का मूल्यांकन करता है जिसमें दो वीडियो-समझ, तीन ऑडियो-समझ, और पांच भाषण-संबंधित कार्य शामिल हैं। सबसे पहले, मॉडल का परीक्षण भाषण-छवि और भाषण-पाठ कार्यों को समझने की क्षमता पर किया जाता है, और परिणाम निम्नलिखित तालिका में शामिल होते हैं। 

जैसा कि देखा जा सकता है, पिछले बेसलाइन मॉडल भाषण समझ कार्यों में घटिया परिणाम देते हैं जो छवि-भाषण तर्क कार्यों पर प्रदर्शन को और प्रभावित करता है। नतीजे बताते हैं कि विशेषज्ञ आर्किटेक्चर के मिश्रण को पेश करने से अनदेखे ऑडी-इमेज रीजनिंग कार्यों पर एमएलएलएम की सामान्यीकरण क्षमता में वृद्धि हो सकती है। निम्न तालिका छवि-पाठ समझ कार्यों पर प्रयोगात्मक परिणाम प्रस्तुत करती है। जैसा कि देखा जा सकता है, यूनी-एमओई मॉडल के सर्वोत्तम परिणाम बेसलाइन से बेहतर प्रदर्शन करते हैं, और 4 अंकों के औसत अंतर से फाइन-ट्यूनिंग कार्य को पार कर जाते हैं। 

निष्कर्ष

इस लेख में हमने यूनी-एमओई के बारे में बात की है, जो एमओई या विशेषज्ञ वास्तुकला के मिश्रण के साथ एक एकीकृत मल्टीमॉडल बड़ा भाषा मॉडल है जो तौर-तरीकों और विशेषज्ञों की एक विस्तृत श्रृंखला को संभालने में सक्षम है। यूनी-एमओई ढांचा विशेषज्ञ-स्तरीय मॉडल समानता और डेटा समानता को नियोजित करके प्रशिक्षण और अनुमान प्रक्रिया को और अधिक कुशल बनाने के प्रयास में बड़े भाषा मॉडल के भीतर विशेषज्ञ वास्तुकला का एक विरल मिश्रण लागू करता है। इसके अलावा, सामान्यीकरण और बहु-विशेषज्ञ सहयोग को बढ़ाने के लिए, यूनी-एमओई ढांचा एक प्रगतिशील प्रशिक्षण रणनीति प्रस्तुत करता है जो तीन अलग-अलग प्रक्रियाओं का संयोजन है। पहले में, यूनी-एमओई फ्रेमवर्क विभिन्न क्रॉस मॉडेलिटी डेटा के साथ विभिन्न कनेक्टर्स का उपयोग करके क्रॉस-मोडेलिटी संरेखण प्राप्त करता है। दूसरा, यूनी-एमओई ढांचा क्रॉस मॉडेलिटी इंस्ट्रक्शन डेटा के साथ तौर-तरीके-विशिष्ट विशेषज्ञों को प्रशिक्षित करके विशेषज्ञ घटकों की प्राथमिकता को सक्रिय करता है। अंत में, यूनी-एमओई मॉडल मॉडल को ट्यून करने के लिए मिश्रित मल्टीमॉडल इंस्ट्रक्शन डेटा पर लोरा या लो-रैंक अनुकूलन सीखने की तकनीक को लागू करता है।