बड़े भाषा मॉडलों में प्रगति ने प्राकृतिक भाषा प्रसंस्करण, या एनएलपी के विकास को काफी तेज कर दिया है। ट्रांसफॉर्मर फ्रेमवर्क की शुरुआत एक मील का पत्थर साबित हुई, जिससे नई पीढ़ी के भाषा मॉडलों का विकास संभव हुआ, जिनमें ओपीटी और बीईआरटी शामिल हैं, जो गहरी भाषाई समझ प्रदर्शित करते हैं। इसके अलावा, जीपीटी, या जेनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर मॉडल्स की शुरुआत ने एक नया परिप्रेक्ष्य पेश किया, जिसमें ऑटोरेग्रेसिव मॉडलिंग और भाषा भविष्यवाणी और पीढ़ी के लिए एक मजबूत विधि स्थापित की गई। जीपीटी-4, चैटजीपीटी, मिक्स्ट्रल, एलएलएएमए और अन्य जैसे भाषा मॉडलों का आगमन ने तेजी से विकास को और बढ़ावा दिया है, जिसमें प्रत्येक मॉडल जटिल भाषा प्रसंस्करण कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है। मौजूदा तरीकों में, निर्देश ट्यूनिंग पूर्व-प्रशिक्षित बड़े भाषा मॉडलों के आउटपुट को परिष्कृत करने के लिए एक प्रमुख तकनीक के रूप में उभरी है, और इन मॉडलों को विशिष्ट उपकरणों के साथ दृश्य कार्यों के लिए एकीकृत करने से उनकी अनुकूलन क्षमता और भविष्य के अनुप्रयोगों के लिए दरवाजे खुल गए हैं। ये पारंपरिक पाठ-आधारित प्रसंस्करण से परे हैं और दृश्य बातचीत को शामिल करते हैं।

इसके अलावा, प्राकृतिक भाषा प्रसंस्करण और कंप्यूटर विजन मॉडलों के संयोजन ने विज़न लैंग्वेज मॉडल्स, या वीएलएम्स को जन्म दिया है, जो भाषाई और दृश्य मॉडलों को एक साथ लाते हैं ताकि क्रॉस-मॉडल समझ और तर्क क्षमताएं प्राप्त की जा सकें। दृश्य और भाषाई मॉडलों के एकीकरण और आगमन ने दृश्य और भाषा मॉडलों के बीच की खाई को पाटने में महत्वपूर्ण भूमिका निभाई है। सीएलआईपी जैसे क्रांतिकारी मॉडलों का आगमन दृश्य कार्यों और भाषा मॉडलों के बीच की खाई को पाटने में मदद करता है, जो क्रॉस-मॉडल अनुप्रयोगों की व्यावहारिकता और संभावना को प्रदर्शित करता है। हाल के फ्रेमवर्क जैसे एलएलएएमए और बीएलआईपी विशिष्ट निर्देश डेटा का उपयोग करके कुशल रणनीतियों को विकसित करने का प्रयास करते हैं जो मॉडल की क्षमताओं को प्रदर्शित करते हैं। इसके अलावा, बड़े भाषा मॉडलों को छवि आउटपुट के साथ जोड़ना हाल के बहु-मोडल शोध का ध्यान केंद्रित है, जिसमें हाल के तरीकों में सीधे पीढ़ी को बायपास करने के लिए छवि पुनर्प्राप्ति दृष्टिकोण का उपयोग करके छवि आउटपुट और इंटरलीव्ड पाठ उत्पन्न करने में सक्षम हैं।

यह कहा जा रहा है, और इसके बावजूद कि दृश्य भाषा मॉडलों में तेजी से प्रगति हुई है जो मूल तर्क और दृश्य संवाद को सुविधाजनक बनाती है, अभी भी उन्नत मॉडलों जैसे जीपीटी-4 और दृश्य भाषा मॉडलों के बीच एक महत्वपूर्ण प्रदर्शन अंतर है। मिनी-जेमिनी उन्नत मॉडलों और दृश्य भाषा मॉडलों के बीच मौजूद अंतर को कम करने का प्रयास है जो तीन पहलुओं से वीएलएम्स की क्षमता का दोहन करता है: वीएलएम-निर्देशित पीढ़ी, उच्च-गुणवत्ता वाले डेटा, और उच्च-रिज़ॉल्यूशन दृश्य टोकन। दृश्य टोकन को बढ़ाने के लिए, मिनी-जेमिनी फ्रेमवर्क उच्च-रिज़ॉल्यूशन सुधार के लिए एक अतिरिक्त दृश्य एनकोडर का प्रस्ताव करता है जो दृश्य टोकन की संख्या को बढ़ाए बिना। मिनी-जेमिनी फ्रेमवर्क एक उच्च-गुणवत्ता वाले डेटासेट का निर्माण करने का प्रयास करता है ताकि छवियों की सटीक समझ और तर्क-आधारित पीढ़ी को बढ़ावा मिल सके। समग्र रूप से, मिनी-जेमिनी फ्रेमवर्क दृश्य भाषा मॉडलों की क्षमता का दोहन करने का प्रयास करता है और छवि तर्क, समझ, और पीढ़ी क्षमताओं के साथ मौजूदा फ्रेमवर्क को सशक्त बनाने का लक्ष्य रखता है। यह लेख मिनी-जेमिनी फ्रेमवर्क को गहराई से कवर करने का उद्देश्य रखता है, और हम फ्रेमवर्क की तंत्र, विधि, वास्तुकला के साथ-साथ राज्य के कला फ्रेमवर्क के साथ इसकी तुलना करते हैं। तो आइए शुरू करें।

मिनी-जेमिनी: मल्टी-मॉडलिटी वीएलएम्स को तेज करना

वर्षों से, बड़े भाषा मॉडल विकसित हुए हैं और अब उनमें उल्लेखनीय बहु-मोडल क्षमताएं हैं, और वे वर्तमान दृश्य भाषा मॉडलों का एक आवश्यक हिस्सा बन गए हैं। हालांकि, बड़े भाषा मॉडलों और दृश्य भाषा मॉडलों के बीच एक अंतर है, और हाल के शोध ने दृश्य भाषा मॉडलों को बड़े भाषा मॉडलों के साथ छवियों और वीडियो का उपयोग करके जोड़ने के तरीकों की तलाश की है। दृश्य कार्यों के लिए, छवि रिज़ॉल्यूशन एक महत्वपूर्ण तत्व है जो आसपास के वातावरण को कम से कम दृश्य हॉल्यूसिनेशन के साथ स्पष्ट रूप से प्रकट करता है। इस अंतर को पाटने के लिए, शोधकर्ता दृश्य भाषा मॉडलों में दृश्य समझ में सुधार करने के लिए मॉडल विकसित कर रहे हैं, और दो सबसे सामान्य दृष्टिकोण हैं: रिज़ॉल्यूशन बढ़ाना और दृश्य टोकन की संख्या बढ़ाना। हालांकि उच्च-रिज़ॉल्यूशन छवियों के साथ दृश्य टोकन की संख्या बढ़ाने से दृश्य समझ में सुधार होता है, यह अक्सर बढ़े हुए गणनात्मक आवश्यकताओं और संबंधित लागतों के साथ होता है, विशेष रूप से जब कई छवियों को संसाधित किया जाता है। इसके अलावा, मौजूदा मॉडलों की क्षमताएं, मौजूदा डेटा की गुणवत्ता, और अनुप्रयोग अभी भी तेजी से विकास प्रक्रिया के लिए अपर्याप्त हैं, जिससे शोधकर्ताओं को यह प्रश्न मिलता है, “दृश्य भाषा मॉडलों को स्वीकार्य लागत के साथ कैसे तेज किया जाए?”

मिनी-जेमिनी फ्रेमवर्क इस प्रश्न का उत्तर देने का प्रयास है क्योंकि यह दृश्य भाषा मॉडलों की क्षमता का दोहन करने का प्रयास करता है: वीएलएम-निर्देशित पीढ़ी, उच्च-गुणवत्ता वाले डेटा, और उच्च-रिज़ॉल्यूशन दृश्य टोकन। सबसे पहले, मिनी-जेमिनी फ्रेमवर्क एक कॉन्वनेट आर्किटेक्चर को लागू करता है ताकि उच्च-रिज़ॉल्यूशन उम्मीदवारों को कुशलता से उत्पन्न किया जा सके, जो दृश्य विवरण को बढ़ाता है और बड़े भाषा मॉडल के लिए दृश्य टोकन की संख्या को बनाए रखता है। मिनी-जेमिनी फ्रेमवर्क सार्वजनिक रूप से उपलब्ध उच्च-गुणवत्ता वाले डेटासेट को एकत्रित करता है और उन्हें राज्य के कला उत्पन्न और बड़े भाषा मॉडलों के साथ एकीकृत करने का प्रयास करता है ताकि वीएलएम्स के प्रदर्शन में सुधार किया जा सके और उपयोगकर्ता अनुभव में सुधार किया जा सके। मिनी-जेमिनी फ्रेमवर्क द्वारा लागू की गई बहु-दृष्टिकोणीय रणनीति इसे दृश्य भाषा मॉडलों की छिपी हुई क्षमताओं का अन्वेषण करने में सक्षम बनाती है और स्पष्ट संसाधन प्रतिबंधों के साथ महत्वपूर्ण प्रगति प्राप्त करती है।

सामान्य तौर पर, मिनी-जेमिनी फ्रेमवर्क एक किसी से किसी दृष्टिकोण का पालन करता है क्योंकि यह पाठ और छवियों दोनों को इनपुट और आउटपुट के रूप में संभाल सकता है। विशेष रूप से, मिनी-जेमिनी फ्रेमवर्क एक कुशल पाइपलाइन की शुरुआत करता है जो इनपुट छवियों के लिए दृश्य टोकन को बढ़ाने के लिए है, और इसमें एक दो-एनकोडर प्रणाली शामिल है जिसमें दो एनकोडर होते हैं: पहला एनकोडर उच्च-रिज़ॉल्यूशन छवियों के लिए है, जबकि दूसरा एनकोडर निम्न-गुणवत्ता वाले दृश्य एम्बेडिंग के लिए है। अनुमान के दौरान, एनकोडर ध्यान तंत्र में काम करते हैं, जहां निम्न-रिज़ॉल्यूशन एनकोडर दृश्य प्रश्नों का उत्पादन करता है, जबकि उच्च-रिज़ॉल्यूशन एनकोडर कुंजी और मूल्य के लिए संदर्भ प्रदान करता है। डेटा की गुणवत्ता में सुधार करने के लिए, मिनी-जेमिनी फ्रेमवर्क सार्वजनिक संसाधनों पर आधारित अधिक डेटा एकत्रित करता है और उत्पन्न करता है, जिसमें कार्य-उन्मुख निर्देश, पीढ़ी से संबंधित डेटा, और उच्च-रिज़ॉल्यूशन प्रतिक्रियाएं शामिल हैं, जो मॉडल के प्रदर्शन और क्षमताओं में सुधार करता है। इसके अलावा, मिनी-जेमिनी फ्रेमवर्क दृश्य भाषा मॉडल को उन्नत पीढ़ी मॉडलों के साथ एकीकृत करने के परिणामस्वरूप समांतर पाठ और छवि पीढ़ी का समर्थन करता है।

मिनी-जेमिनी: विधि और वास्तुकला

मिनी-जेमिनी फ्रेमवर्क का मूल विचार सरल है, और इसमें तीन घटक होते हैं।

1. फ्रेमवर्क दो दृश्य एनकोडरों का उपयोग करता है जो निम्न-रिज़ॉल्यूशन दृश्य एम्बेडिंग और उच्च-रिज़ॉल्यूशन उम्मीदवारों प्रदान करते हैं।
2. फ्रेमवर्क पैच स्तर पर निम्न-रिज़ॉल्यूशन दृश्य प्रश्नों और उच्च-रिज़ォल्यूशन क्षेत्रों के बीच खनन करने के लिए पैच जानकारी खनन को लागू करने का प्रस्ताव करता है।
3. मिनी-जेमिनी फ्रेमवर्क एक बड़े भाषा मॉडल का उपयोग करता है जो पाठ और छवियों को एक साथ मिलाता है जो पीढ़ी और समझ दोनों के लिए है।

दो-दृश्य एनकोडर

मिनी-जेमिनी फ्रेमवर्क पाठ और छवि इनपुट दोनों को संभाल सकता है, और उन्हें व्यक्तिगत रूप से या संयोजन में संभाल सकता है। जैसा कि निम्नलिखित छवि में दिखाया गया है, मिनी-जेमिनी फ्रेमवर्क प्रक्रिया को अपने संबंधित उच्च-रिज़ॉल्यूशन छवि से निम्न-रिज़ॉल्यूशन छवि का उत्पादन करने के लिए द्वि-रेखीय इंटरपोलेशन का उपयोग करके शुरू करता है।

फिर फ्रेमवर्क इन छवियों को संसाधित करता है और उन्हें एक बहु-ग्रिड दृश्य एम्बेडिंग में एनकोड करता है जो दो समांतर छवि प्रवाह में होता है। विशेष रूप से, मिनी-जेमिनी फ्रेमवर्क निम्न-रिज़ॉल्यूशन प्रवाह के लिए पारंपरिक पाइपलाइन को बनाए रखता है और दृश्य एम्बेडिंग को एनकोड करने के लिए एक सीएलआईपी-पूर्व-प्रशिक्षित दृश्य ट्रांसफॉर्मर का उपयोग करता है, जो मॉडल को बड़े भाषा मॉडलों में बाद की बातचीत के लिए दृश्य पैच के बीच दूरस्थ संबंधों को बनाए रखने में मदद करता है। उच्च-रिज़ॉल्यूशन प्रवाह के लिए, मिनी-जेमिनी फ्रेमवर्क उच्च-रिज़ॉल्यूशन छवि प्रसंस्करण के लिए सीएनएन या कन्वोल्यूशनल न्यूरल नेटवर्क आधारित एनकोडर को अपनाता है।

पैच जानकारी खनन

दो-दृश्य एनकोडर द्वारा एलआर एम्बेडिंग और एचआर विशेषताओं का उत्पादन करने के साथ, मिनी-जेमिनी फ्रेमवर्क पैच जानकारी खनन को लागू करने का प्रस्ताव करता है जो दृश्य भाषा मॉडलों की क्षमता को बढ़ाने के लिए दृश्य टोकन को बढ़ाता है। बड़े भाषा मॉडलों में कुशलता के लिए दृश्य टोकन की संख्या को बनाए रखने के लिए, मिनी-जेमिनी फ्रेमवर्क निम्न-रिज़ॉल्यूशन दृश्य एम्बेडिंग को प्रश्न के रूप में लेता है और एचआर विशेषता उम्मीदवारों से प्रासंगिक दृश्य संकेतों को पुनर्प्राप्त करने का प्रयास करता है, जिसमें फ्रेमवर्क एचआर विशेषता मानचित्र को कुंजी और मूल्य के रूप में लेता है।

जैसा कि ऊपर दी गई छवि में दिखाया गया है, सूत्र दृश्य संकेतों को परिष्कृत और संश्लेषित करने की प्रक्रिया को दर्शाता है, जो आगे के बड़े भाषा मॉडल प्रसंस्करण के लिए उन्नत दृश्य टोकन का उत्पादन करता है। यह प्रक्रिया सुनिश्चित करती है कि फ्रेमवर्क प्रत्येक प्रश्न के लिए अपने संबंधित उप-क्षेत्र में एचआर विशेषता मानचित्र में खनन को सीमित कर सकता है, जो पिक्सेल-वार विशेषता गणना के साथ किया जाता है, जिससे कुशलता में सुधार होता है। इस डिज़ाइन के कारण, मिनी-जेमिनी फ्रेमवर्क दृश्य टोकन की संख्या को बढ़ाए बिना एचआर विशेषता विवरण को निकाल सकता है और गणनात्मक व्यवहार्यता और विवरण की समृद्धि के बीच संतुलन बनाए रखता है।

पाठ और छवि पीढ़ी

मिनी-जेमिनी फ्रेमवर्क दृश्य टोकन और इनपुट पाठ टोकन को बड़े भाषा मॉडलों के लिए इनपुट के रूप में जोड़ता है जो स्व-रिग्रेसिव पीढ़ी के लिए है। पारंपरिक दृश्य भाषा मॉडलों के विपरीत, मिनी-जेमिनी फ्रेमवर्क पाठ-केवल और पाठ-छवि पीढ़ी का समर्थन करता है, अर्थात् किसी से किसी अनुमान, और यह इसकी उत्कृष्ट छवि-पाठ समझ और तर्क क्षमताओं के परिणामस्वरूप है जो मिनी-जेमिनी को उच्च-गुणवत्ता वाली छवियों का उत्पादन करने में सक्षम बनाता है। हाल के कार्यों के विपरीत जो पीढ़ी मॉडल और बड़े भाषा मॉडलों के बीच पाठ एम्बेडिंग के डोमेन अंतर पर केंद्रित हैं, मिनी-जेमिनी फ्रेमवर्क भाषा प्रोम्प्ट्स के डोमेन में अंतर को अनुकूलित करने का प्रयास करता है जो उपयोगकर्ता निर्देशों को उच्च-गुणवत्ता वाले प्रोम्प्ट्स में अनुवाद करता है जो लेटेंट डिफ्यूजन मॉडल में संदर्भ-संबंधित छवियों का उत्पादन करते हैं। इसके अलावा, निर्देश ट्यूनिंग और क्रॉस-मॉडल संरेखण की बेहतर समझ के लिए, मिनी-जेमिनी फ्रेमवर्क सार्वजनिक रूप से उपलब्ध उच्च-गुणवत्ता वाले डेटासेट से नमूने एकत्र करता है और जीपीटी-4 टर्बो फ्रेमवर्क का उपयोग करके 13के निर्देश अनुसरण डेटासेट का निर्माण करता है ताकि छवि पीढ़ी का समर्थन किया जा सके।

मिनी-जेमिनी: प्रयोग और परिणाम

इसके प्रदर्शन का मूल्यांकन करने के लिए, मिनी-जेमिनी फ्रेमवर्क को पूर्व-प्रशिक्षित कॉन्वनेक्स्ट-एल फ्रेमवर्क के साथ एचआर दृश्य एनकोडर के रूप में और सीएलआईपी-पूर्व-प्रशिक्षित दृश्य ट्रांसफॉर्मर के साथ एलआर दृश्य एनकोडर के रूप में संस्थापित किया जाता है। प्रशिक्षण की दक्षता सुनिश्चित करने के लिए, मिनी-जेमिनी फ्रेमवर्क दो दृश्य एनकोडरों को तय करता है और पैच जानकारी खनन के प्रोजेक्टरों को सभी चरणों में अनुकूलित करता है, और निर्देश ट्यूनिंग चरण में बड़े भाषा मॉडल को अनुकूलित करता है।

निम्नलिखित तालिका मिनी-जेमिनी फ्रेमवर्क के प्रदर्शन की तुलना राज्य के कला मॉडलों के साथ विभिन्न सेटिंग्स में करती है, और निजी मॉडलों पर भी विचार करती है। जैसा कि देखा जा सकता है, मिनी-जेमिनी मौजूदा फ्रेमवर्कों को विभिन्न बड़े भाषा मॉडलों में नियमित रिज़ॉल्यूशन पर लगातार बेहतर प्रदर्शन करता है, और जब जेमा-2बी के साथ कॉन्फ़िगर किया जाता है तो कुशल मॉडलों की श्रेणी में उत्कृष्ट प्रदर्शन प्रदर्शित करता है। इसके अलावा, जब बड़े बड़े भाषा मॉडलों का उपयोग किया जाता है, तो मिनी-जेमिनी फ्रेमवर्क की मापनीयता स्पष्ट है।

उच्च-रिज़ॉल्यूशन और विस्तारित दृश्य टोकन पर इसके प्रदर्शन का मूल्यांकन करने के लिए, प्रयोग एलआर दृश्य एनकोडर के लिए 672 के इनपुट आकार और दृश्य एनकोडर के लिए 1536 के साथ किए जाते हैं। जैसा कि पहले उल्लेख किया गया है, एचआर दृश्य एनकोडर का मुख्य उद्देश्य उच्च-रिज़ॉल्यूशन उम्मीदवार जानकारी प्रदान करना है। जैसा कि देखा जा सकता है, मिनी-जेमिनी फ्रेमवर्क राज्य के कला फ्रेमवर्क की तुलना में बेहतर प्रदर्शन प्रदान करता है।

इसके अलावा, मिनी-जेमिनी फ्रेमवर्क की दृश्य समझ क्षमता का मूल्यांकन करने के लिए वास्तविक दुनिया की सेटिंग में, डेवलपर्स मॉडल को विभिन्न तर्क और समझ कार्यों पर लागू करते हैं जैसा कि निम्नलिखित छवि में दिखाया गया है। जैसा कि देखा जा सकता है, मिनी-जेमिनी फ्रेमवर्क जटिल कार्यों का समाधान करने में सक्षम है जो पैच जानकारी खनन और उच्च-गुणवत्ता वाले डेटा के कार्यान्वयन के परिणामस्वरूप है। लेकिन जो अधिक प्रभावशाली है वह यह है कि मिनी-जेमिनी फ्रेमवर्क विस्तार से विवरण का एक तीव्र जोड़ प्रदर्शित करता है जो केवल पहचान क्षमता से परे है।

निम्नलिखित आकृति मिनी-जेमिनी फ्रेमवर्क की पीढ़ी क्षमताओं का एक व्यापक मूल्यांकन प्रदान करती है।

चैटइल्यूजन और एनी जीपीटी जैसे हाल के मॉडलों की तुलना में, मिनी-जेमिनी फ्रेमवर्क मजबूत बहु-मोडल समझ क्षमता प्रदर्शित करता है, जो इसे इनपुट निर्देशों के साथ संरेखित पाठ से छवि कैप्शन उत्पन्न करने और छवि से पाठ उत्तरों का परिणाम बनाता है जो संकल्पनात्मक समानता में मजबूत है। जो अधिक प्रभावशाली है वह यह है कि मिनी-जेमिनी फ्रेमवर्क केवल पाठ प्रशिक्षण डेटा का उपयोग करके बहु-मॉडल मानव निर्देशों का उपयोग करके उच्च-गुणवत्ता वाली सामग्री उत्पन्न करने में उल्लेखनीय कौशल प्रदर्शित करता है, जो मिनी-जेमिनी की मजबूत सेमांटिक व्याख्या और छवि-पाठ संरेखण क्षमताओं को प्रदर्शित करता है।

अंतिम विचार

इस लेख में, हमने मिनी-जेमिनी पर चर्चा की है, जो बहु-मोडलिटी दृश्य भाषा मॉडलों के लिए एक शक्तिशाली और सुव्यवस्थित फ्रेमवर्क है। मिनी-जेमिनी फ्रेमवर्क का प्राथमिक उद्देश्य उच्च-गुणवत्ता वाले डेटा, रणनीतिक डिज़ाइन, और विस्तारित कार्यात्मक दृष्टिकोण का उपयोग करके दृश्य भाषा मॉडलों की छिपी हुई क्षमताओं का दोहन करना है। मिनी-जेमिनी दृश्य भाषा मॉडलों और अधिक उन्नत मॉडलों के बीच मौजूद अंतर को कम करने का प्रयास है जो तीन पहलुओं से वीएलएम्स की क्षमता का दोहन करता है: वीएलएम-निर्देशित पीढ़ी, उच्च-गुणवत्ता वाले डेटा, और उच्च-रिज़ॉल्यूशन दृश्य टोकन। दृश्य टोकन को बढ़ाने के लिए, मिनी-जेमिनी फ्रेमवर्क उच्च-रिज़ॉल्यूशन सुधार के लिए एक अतिरिक्त दृश्य एनकोडर का प्रस्ताव करता है जो दृश्य टोकन की संख्या को बढ़ाए बिना। मिनी-जेमिनी फ्रेमवर्क एक उच्च-गुणवत्ता वाले डेटासेट का निर्माण करने का प्रयास करता है ताकि छवियों की सटीक समझ और तर्क-आधारित पीढ़ी को बढ़ावा मिल सके। समग्र रूप से, मिनी-जेमिनी फ्रेमवर्क दृश्य भाषा मॉडलों की क्षमता का दोहन करने का प्रयास करता है और छवि तर्क, समझ, और पीढ़ी क्षमताओं के साथ मौजूदा फ्रेमवर्क को सशक्त बनाने का लक्ष्य रखता है।