जटिल दृश्य जानकारी को सटीक रूप से समझने की क्षमता मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) का एक महत्वपूर्ण केंद्र है। हाल के शोध से पता चलता है कि बढ़ी हुई दृश्य धारणा मतिभ्रम को काफी हद तक कम करती है और ऑप्टिकल कैरेक्टर पहचान और दस्तावेज़ विश्लेषण जैसे रिज़ॉल्यूशन-संवेदनशील कार्यों पर प्रदर्शन में सुधार करती है। कई हालिया MLLM विज़न एनकोडर के मिश्रण का उपयोग करके इसे प्राप्त करते हैं। उनकी सफलता के बावजूद, विशेषज्ञ चयन और कई विज़न विशेषज्ञों के एकीकरण जैसे महत्वपूर्ण पहलुओं को संबोधित करने वाले व्यवस्थित तुलना और विस्तृत पृथक्करण अध्ययनों की कमी है। यह लेख विज़न एनकोडर और रिज़ॉल्यूशन के मिश्रण का उपयोग करके MLLM के लिए डिज़ाइन स्पेस का व्यापक अन्वेषण प्रदान करता है, ईगल फ्रेमवर्क जो एनकोडर के मिश्रण के साथ मल्टीमॉडल लार्ज लैंग्वेज मॉडल के लिए डिज़ाइन स्पेस का पता लगाने का प्रयास करता है। निष्कर्ष विभिन्न मौजूदा रणनीतियों के लिए सामान्य कई अंतर्निहित सिद्धांतों को प्रकट करते हैं, जो एक सुव्यवस्थित लेकिन प्रभावी डिज़ाइन दृष्टिकोण की ओर ले जाते हैं। ईगल ने पाया कि पूरक विज़न एनकोडर के एक सेट से विज़ुअल टोकन को जोड़ना अधिक जटिल मिक्सिंग आर्किटेक्चर या रणनीतियों जितना ही प्रभावी है। इसके अतिरिक्त, ईगल विज़न-केंद्रित एनकोडर और भाषा टोकन के बीच अंतर को पाटने के लिए प्री-एलाइनमेंट पेश करता है, जिससे मॉडल की सुसंगतता बढ़ती है। MLLMs का परिणामी परिवार, ईगल, प्रमुख MLLM बेंचमार्क पर अन्य अग्रणी ओपन-सोर्स मॉडल से आगे निकल जाता है। 

ईगल का काम मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) के सामान्य आर्किटेक्चर डिज़ाइन से संबंधित है। पहले बताए गए प्रतिनिधि ओपन-सोर्स शोध की लाइन के अलावा, MLLM के अन्य उल्लेखनीय परिवारों में मिनीजीपीटी-4, लिंक्स, ओटर, क्वेनवीएल, कॉगवीएलएम, वीआईएलए, जीपीटी-4वी, जेमिनी और लामा 3.1 शामिल हैं, लेकिन इन्हीं तक सीमित नहीं हैं। विज़न सिग्नल को भाषा मॉडल में कैसे एकीकृत किया जाता है, इस पर निर्भर करते हुए, MLLM को मोटे तौर पर "क्रॉस-मोडल अटेंशन" मॉडल और "प्रीफ़िक्स-ट्यूनिंग" मॉडल में वर्गीकृत किया जा सकता है। पहला क्रॉस-मोडल अटेंशन का उपयोग करके LLM की विभिन्न परतों में विज़ुअल जानकारी इंजेक्ट करता है, जबकि दूसरा विज़ुअल टोकन को भाषा टोकन अनुक्रम के हिस्से के रूप में मानता है और उन्हें सीधे टेक्स्ट एम्बेडिंग के साथ जोड़ता है। ईगल का मॉडल LLaVA-स्टाइल मल्टीमॉडल आर्किटेक्चर का अनुसरण करके प्रीफ़िक्स-ट्यूनिंग परिवार से संबंधित है। यह देखते हुए कि MLLM एक तेज़ी से बढ़ने वाला क्षेत्र है, ईगल आगे की जानकारी के लिए अधिक विस्तृत अध्ययनों और सर्वेक्षणों का संदर्भ लेने की सलाह देते हैं।

ईगल का काम MLLM के लिए विज़न एनकोडर डिज़ाइन को बेहतर बनाने पर केंद्रित शोध से निकटता से जुड़ा हुआ है। शुरुआती कार्यों में आमतौर पर CLIP और EVA-CLIP जैसे विज़न-लैंग्वेज अलाइनमेंट कार्यों पर पहले से प्रशिक्षित विज़न एनकोडर को अपनाया जाता था। बेहतर डिज़ाइन, बड़े मॉडल आकार और अधिक प्रभावी प्रशिक्षण व्यंजनों के साथ विज़न-लैंग्वेज कार्यों को बढ़ाने के लिए SigLIP और InternVL जैसे मजबूत विज़न एनकोडर प्रस्तावित किए गए हैं। चूँकि मॉडल अक्सर कम-रिज़ॉल्यूशन वाली छवियों पर पहले से प्रशिक्षित होते हैं और उनमें बारीक विवरणों को एनकोड करने की क्षमता की कमी हो सकती है, इसलिए MLLM इनपुट रिज़ॉल्यूशन को बढ़ाने के लिए अक्सर उच्च रिज़ॉल्यूशन अनुकूलन किया जाता है। उच्च रिज़ॉल्यूशन अनुकूलन के अलावा, LLaVA-NeXT, LLaVA-UHD, Monkey, InternLM-XComposer और InternVL जैसे मॉडल उच्च-रिज़ॉल्यूशन इनपुट को संभालने के लिए टाइलिंग या अनुकूली टाइलिंग का उपयोग करते हैं, जहाँ छवियों को कम-रिज़ॉल्यूशन वाले पैच में विभाजित किया जाता है और अलग से संसाधित किया जाता है। यद्यपि उच्च रिज़ोल्यूशन को संभालने की क्षमता अतिरिक्त दृष्टि विशेषज्ञों को शामिल करके संभव की गई है, यह दृष्टिकोण टाइलिंग तकनीकों से थोड़ा भिन्न है, हालांकि दोनों संगत हैं और इन्हें संयुक्त किया जा सकता है।

ईगल: मल्टीमॉडल एलएलएम के लिए डिज़ाइन स्पेस का पता लगाने के लिए एनकोडर्स के मिश्रण का उपयोग करना

बड़े भाषा मॉडल (एलएलएम) की सफलता ने उनकी दृश्य धारणा क्षमताओं को सक्षम करने में महत्वपूर्ण रुचि पैदा की है, जिससे उन्हें वास्तविक दुनिया में देखने, समझने और तर्क करने में मदद मिलती है। बहुविधीय बड़ी भाषा मॉडल (एमएलएलएम) एक विशिष्ट डिजाइन है, जहां छवियों को विज़न एनकोडर द्वारा विज़ुअल टोकन की एक श्रृंखला में परिवर्तित किया जाता है और टेक्स्ट एम्बेडिंग के साथ जोड़ा जाता है। CLIP को अक्सर विज़न एनकोडर के रूप में चुना जाता है क्योंकि इसका विज़ुअल प्रतिनिधित्व छवि-टेक्स्ट जोड़ों पर प्री-ट्रेनिंग द्वारा टेक्स्ट स्पेस के साथ संरेखित होता है। आर्किटेक्चर, प्रशिक्षण व्यंजनों और भाषा मॉडल में विज़न टोकन को इंजेक्ट करने के तरीके के आधार पर, MLLM के उल्लेखनीय परिवारों में फ्लेमिंगो, BLIP, PaLI, PaLM-E और LLaVA शामिल हैं। इनमें से अधिकांश मॉडल प्री-ट्रेन्ड विज़न एनकोडर और LLM अनुक्रम लंबाई में सीमाओं के कारण अपेक्षाकृत कम इनपुट रिज़ॉल्यूशन बनाए रखते हैं। ईगल का काम उन मॉडलों के साथ निकटता से जुड़ा हुआ है जो बेहतर धारणा के लिए कई विज़न एनकोडर का उपयोग करते हैं। मिनी-जेमिनी और LLaVA-HR उच्च-रिज़ॉल्यूशन विज़ुअल विशेषताओं को कम-रिज़ॉल्यूशन विज़ुअल टोकन में फ़्यूज़ करने का प्रस्ताव देते हैं। रिज़ॉल्यूशन के मुद्दों से परे, इन प्री-ट्रेन्ड विज़न एनकोडर में टेक्स्ट पढ़ने या ऑब्जेक्ट्स को स्थानीयकृत करने जैसी विशिष्ट क्षमताओं की कमी हो सकती है। इस समस्या के समाधान के लिए, विभिन्न मॉडल विज़न एनकोडर की क्षमताओं को बढ़ाने के लिए विभिन्न विज़न कार्यों पर पूर्व-प्रशिक्षित विज़न एनकोडर को एकीकृत करते हैं।

उदाहरण के लिए, मौसी और ब्रेव जैसे मॉडल चैनल या टोकन दिशा के साथ संयोजन करके विभिन्न विज़न एनकोडर से विज़ुअल टोकन को जोड़ते हैं। रेडियो विभिन्न विज़न एनकोडर की क्षमताओं को एक मॉडल में एकीकृत करने के लिए एक बहु-शिक्षक आसवन विधि पेश करता है। MoAI, IVE और Prismer MLLMs के लिए उत्तर उत्पन्न करने के लिए अतिरिक्त जानकारी को पूरक करने के लिए OCR, डिटेक्शन या डेप्थ एस्टीमेशन जैसे विज़न विशेषज्ञों के आउटपुट का उपयोग करते हैं। MoVA दिए गए चित्र और निर्देशों के आधार पर एक इष्टतम विज़न मॉडल असाइन करने के लिए एक रूटिंग नेटवर्क तैयार करता है। 

हाल के अध्ययनों से पता चला है कि मजबूत विज़न एनकोडर डिज़ाइन, दृष्टि संबंधी जटिलताओं को कम करने के लिए महत्वपूर्ण हैं। एमएलएलएम मतिभ्रम और ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) जैसे रिज़ॉल्यूशन-सेंसिटिव कार्यों पर प्रदर्शन में सुधार करना। कई कार्य विज़न एनकोडर की क्षमता को बढ़ाने पर ध्यान केंद्रित करते हैं, या तो प्री-ट्रेनिंग डेटा और मापदंडों को बढ़ाकर या छवियों को कम-रिज़ॉल्यूशन पैच में विभाजित करके। हालाँकि, ये दृष्टिकोण अक्सर बड़े प्रशिक्षण संसाधन की माँग करते हैं। एक कुशल लेकिन शक्तिशाली रणनीति विभिन्न कार्यों और इनपुट रिज़ॉल्यूशन के साथ पूर्व-प्रशिक्षित विज़ुअल एनकोडर को मिलाना है, या तो CLIP एनकोडर के साथ उच्च रिज़ॉल्यूशन एनकोडर को फ़्यूज़ करके, विभिन्न एनकोडर से क्रमिक रूप से सुविधाएँ जोड़कर, या विभिन्न एनकोडर के लाभों को अधिकतम करने के लिए अधिक जटिल फ़्यूज़न और रूटिंग रणनीतियों को अपनाकर। यह "विज़न-एक्सपर्ट्स का मिश्रण" दृष्टिकोण प्रभावी साबित हुआ है, हालाँकि कठोर पृथक्करण के साथ इसके डिज़ाइन स्पेस का विस्तृत अध्ययन अभी भी अभाव है, जिसने ईगल को इस क्षेत्र पर फिर से विचार करने के लिए प्रेरित किया। मुख्य प्रश्न बने हुए हैं: कौन से विज़न एनकोडर संयोजनों को चुनना है, विभिन्न विशेषज्ञों को कैसे फ़्यूज़ करना है, और अधिक विज़न एनकोडर के साथ प्रशिक्षण रणनीतियों को कैसे समायोजित करना है।

इन सवालों को संबोधित करने के लिए, ईगल ने एमएलएलएम धारणा में सुधार के लिए दृष्टि-एनकोडर डिज़ाइन स्पेस के मिश्रण की व्यवस्थित रूप से जांच की। इस डिज़ाइन स्पेस की खोज में निम्नलिखित चरण शामिल हैं: 1) विभिन्न दृष्टि एनकोडर की बेंचमार्किंग और उच्च रिज़ॉल्यूशन अनुकूलन की खोज; 2) दृष्टि एनकोडर फ़्यूज़न रणनीतियों के बीच "सेब से सेब" तुलना करना; 3) कई दृष्टि एनकोडर के इष्टतम संयोजन की क्रमिक रूप से पहचान करना; 4) दृष्टि विशेषज्ञ पूर्व-संरेखण और डेटा मिश्रण में सुधार करना। अन्वेषण चरणों को निम्नलिखित छवि में चित्रित किया गया है। 

ईगल के अध्ययन में विभिन्न कार्यों और संकल्पों पर पूर्व-प्रशिक्षित विज़न एनकोडर के प्रदर्शन को शामिल किया गया है, जैसे कि विज़न-लैंग्वेज संरेखण, स्व-पर्यवेक्षित शिक्षण, पहचान, विभाजन और OCR। राउंड-रॉबिन दृष्टिकोण का उपयोग करते हुए, ईगल बुनियादी CLIP एनकोडर से शुरू करता है और एक बार में एक अतिरिक्त विशेषज्ञ जोड़ता है, प्रत्येक राउंड में सबसे अच्छा सुधार प्रदान करने वाले विशेषज्ञ का चयन करता है।

हालांकि ईगल का कार्य एमएलएलएम में बहु-दृष्टि एनकोडर का लाभ उठाने वाला पहला कार्य नहीं है, फिर भी व्यवस्थित अध्ययन से इस सेटिंग के अंतर्गत कई महत्वपूर्ण निष्कर्ष सामने आते हैं:

• एमएलएलएम प्रशिक्षण के दौरान विज़न एनकोडर्स को अनलॉक करना महत्वपूर्ण है। यह एलएलएवीए और अन्य मॉडलों के विपरीत है जो बहु-दृष्टि एनकोडर या शिक्षकों पर विचार करते हैं, जहां दृष्टि एनकोडर को स्थिर करना आम बात रही है।
• हाल ही में प्रस्तावित कुछ संलयन रणनीतियाँ महत्वपूर्ण लाभ नहीं दिखाती हैं। इसके बजाय, सीधा चैनल संयोजन एक सरल लेकिन प्रतिस्पर्धी संलयन रणनीति के रूप में उभरता है, जो सर्वोत्तम दक्षता और प्रदर्शन प्रदान करता है।
• अतिरिक्त दृष्टि विशेषज्ञों को शामिल करने से लगातार लाभ मिलता है। यह एकल एनकोडर को बढ़ाने के अलावा, एमएलएलएम धारणा को व्यवस्थित रूप से बढ़ाने के लिए एक आशाजनक मार्ग बनाता है। सुधार विशेष रूप से तब स्पष्ट होता है जब विज़न एनकोडर अनलॉक होते हैं।
• पूर्व-संरेखण चरण महत्वपूर्ण है। ईगल एक प्री-अलाइनमेंट चरण प्रस्तुत करता है, जहाँ गैर-टेक्स्ट-अलाइन्ड विज़न विशेषज्ञों को एक साथ प्रशिक्षित होने से पहले एक फ्रोजन एलएलएम के साथ व्यक्तिगत रूप से फ़ाइन-ट्यून किया जाता है। यह चरण मिक्सचर-ऑफ़-विज़न-एनकोडर डिज़ाइन के तहत एमएलएलएम प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।

ईगल: कार्यप्रणाली और वास्तुकला

विज़न एनकोडर के बीच नई फ़्यूज़न रणनीतियों या आर्किटेक्चर पर ध्यान केंद्रित करने वाले पिछले तरीकों के विपरीत, ईगल का लक्ष्य अलग-अलग विज़न एनकोडर को फ़्यूज़ करने के लिए एक न्यूनतम डिज़ाइन की पहचान करना है, जो विस्तृत एब्लेशन द्वारा समर्थित है और किसी भी अनावश्यक घटक को हटा रहा है। जैसा कि निम्नलिखित चित्र में दिखाया गया है, ईगल बुनियादी CLIP एनकोडर को विभिन्न आर्किटेक्चर, प्री-ट्रेनिंग कार्यों और रिज़ॉल्यूशन वाले विज़न विशेषज्ञों के एक समूह तक विस्तारित करके शुरू करता है। इन विशेषज्ञों के साथ, ईगल फिर विभिन्न फ़्यूज़न आर्किटेक्चर और विधियों की तुलना करता है और यह पता लगाता है कि कई एनकोडर के साथ प्री-ट्रेनिंग रणनीतियों को कैसे अनुकूलित किया जाए।

अंत में, ईगल सभी निष्कर्षों को जोड़ता है और अलग-अलग संकल्पों और डोमेन ज्ञान के साथ कई विशेषज्ञ दृष्टि एनकोडर के लिए दृष्टिकोण का विस्तार करता है। LLaVA-1.5 के समान पूर्व-प्रशिक्षण डेटा का उपयोग करते हुए, जिसमें 595k छवि-पाठ जोड़े होते हैं, ईगल कार्यों की एक श्रृंखला से डेटा एकत्र करके और उन्हें मल्टीमॉडल वार्तालापों में परिवर्तित करके पर्यवेक्षित फ़ाइन-ट्यूनिंग चरण में जाता है, जिसमें LLaVA-1.5, Laion-GPT4V, ShareGPT-4V, DocVQA, synDog-EN, ChartQA, DVQA और AI2D शामिल हैं, जिसके परिणामस्वरूप 934k नमूने प्राप्त होते हैं।

मॉडल को पहले 256 बैच आकार वाले एक युग के लिए छवि-पाठ युग्मों के साथ पूर्व-प्रशिक्षित किया जाता है, जहाँ पूरा मॉडल स्थिर होता है, और केवल प्रोजेक्टर परत को अपडेट किया जाता है। दूसरे चरण में, मॉडल को 128 बैच आकार वाले एक युग के लिए पर्यवेक्षित फ़ाइन-ट्यूनिंग डेटा पर फ़ाइन-ट्यून किया जाता है। इस अन्वेषण के लिए, ईगल अंतर्निहित भाषा मॉडल के रूप में विकुना-7बी का उपयोग करता है। सीखने की दरें पहले चरण के लिए 1e-3 और दूसरे चरण के लिए 2e-5 पर सेट की जाती हैं।

मजबूत क्लिप एनकोडर

ईगल ने CLIP मॉडल के साथ अन्वेषण शुरू किया, क्योंकि यह कई लोगों की प्राथमिक पसंद बन गया है एमएलएलएम. जबकि CLIP मॉडल मल्टीमॉडल कार्यों को बढ़ाने के लिए जाने जाते हैं, उनकी सीमाओं को भी अच्छी तरह से प्रलेखित किया गया है। उदाहरण के लिए, कई मौजूदा MLLM अपने इनपुट रिज़ॉल्यूशन के रूप में पूर्व-प्रशिक्षित CLIP रिज़ॉल्यूशन (जैसे 224 × 224 या 336 × 336) का उपयोग करते हैं। इन मामलों में, एनकोडर अक्सर OCR और दस्तावेज़ समझ जैसे रिज़ॉल्यूशन-संवेदनशील कार्यों के लिए महत्वपूर्ण बारीक-बारीक विवरणों को पकड़ने के लिए संघर्ष करते हैं।

बढ़े हुए इनपुट रिज़ॉल्यूशन को संभालने के लिए, एक सामान्य तरीका टाइलिंग है, जहाँ इनपुट छवियों को टाइल में विभाजित किया जाता है और अलग से एनकोड किया जाता है। एक और सरल तरीका इनपुट रिज़ॉल्यूशन को सीधे बढ़ाना और यदि आवश्यक हो तो विज़न ट्रांसफ़ॉर्मर मॉडल की स्थिति एम्बेडिंग को इंटरपोल करना है। ईगल इन दो तरीकों की तुलना अलग-अलग रिज़ॉल्यूशन में जमे हुए और बिना जमे हुए विज़न एनकोडर के साथ करता है, जिसके परिणाम ऊपर दी गई तालिका में दिए गए हैं। निष्कर्षों को इस प्रकार संक्षेपित किया जा सकता है:

• CLIP एनकोडर को अनफ्रीज करने से उच्च MLLM इनपुट रिज़ॉल्यूशन पर इंटरपोलेशन करते समय महत्वपूर्ण सुधार होता है, जो CLIP प्री-ट्रेनिंग रिज़ॉल्यूशन से भिन्न होता है, जबकि रिज़ॉल्यूशन समान रहने पर प्रदर्शन में गिरावट नहीं होती है।
• CLIP एनकोडर को स्थिर करना तथा उसे सीधे उच्च MLLM इनपुट रिज़ोल्यूशन के अनुकूल बनाना, प्रदर्शन को काफी नुकसान पहुंचाता है।
• तुलना की गई रणनीतियों में, अनफ्रोजेन CLIP एनकोडर के साथ 448 × 448 में सीधे इंटरपोलेशन करना, प्रदर्शन और लागत दोनों के संदर्भ में प्रभावी और कुशल साबित होता है।
• सर्वोत्तम CLIP एनकोडर, बहुत छोटा मॉडल (300M बनाम 6B) तथा कम पूर्व-प्रशिक्षण डेटा होने के बावजूद, InternVL के निकट प्रदर्शन प्राप्त करता है।

यह ध्यान देने योग्य है कि CLIP-448 ईगल को LLaVA-HR और InternVL के साथ सेटिंग का मिलान करने की अनुमति देता है, जहाँ CLIP एनकोडर 448 × 448 इनपुट लेने और 1024 पैच टोकन आउटपुट करने के लिए समान रूप से अनुकूलित हैं। आगे की जांच के लिए, ईगल इनपुट रिज़ॉल्यूशन को बढ़ाने और प्रशिक्षण के दौरान विज़न एनकोडर को अनलॉक करने की इस सरल रणनीति का पालन करता है।

ईगल का मानना ​​है कि मौजूदा लोकप्रिय संलयन रणनीतियों को, उनकी डिजाइन विविधताओं के बावजूद, मोटे तौर पर निम्नानुसार वर्गीकृत किया जा सकता है:

1. अनुक्रम जोड़ें: विभिन्न बैकबोन से दृश्य टोकन को सीधे एक लंबे अनुक्रम के रूप में जोड़ना।
2. चैनल संयोजनअनुक्रम लंबाई बढ़ाए बिना चैनल आयाम के साथ दृश्य टोकन को संयोजित करना।
3. एलएलएवीए-एचआर: मिक्स-ऑफ-रिजोल्यूशन एडाप्टर का उपयोग करके कम-रिजोल्यूशन विज़न एनकोडर में उच्च-रिजोल्यूशन सुविधाओं को इंजेक्ट करना।
4. मिनी-मिथुन: सह-स्थित स्थानीय विंडो में अन्य उच्च-रिज़ॉल्यूशन विज़न एनकोडर को क्रॉस-अटेंड करने के लिए कम-रिज़ॉल्यूशन क्वेरीज़ के रूप में CLIP टोकन का उपयोग करना।
5. विकृत ध्यानमिनी-जेमिनी के शीर्ष पर एक नई आधार रेखा प्रस्तुत की गई है, जहां वेनिला विंडो ध्यान को विकृत ध्यान से प्रतिस्थापित किया गया है।

LLaVA की मूल पूर्व-प्रशिक्षण रणनीति के अनुसार एक साथ कई दृष्टि विशेषज्ञों को संरेखित करने के लिए प्रोजेक्टर को प्रशिक्षित करने के बजाय, हम पहले प्रत्येक व्यक्तिगत विशेषज्ञ के प्रतिनिधित्व को अगले-टोकन-पूर्वानुमान पर्यवेक्षण का उपयोग करके एक छोटे भाषा मॉडल (व्यवहार में विकुना-7B) के साथ संरेखित करते हैं। जैसा कि नीचे दिए गए चित्र में दिखाया गया है, पूर्व-संरेखण के साथ, पूरी प्रशिक्षण प्रक्रिया में तीन चरण होते हैं: 1) भाषा मॉडल को स्थिर रखते हुए, प्रत्येक पूर्व-प्रशिक्षित दृष्टि विशेषज्ञ को SFT डेटा पर अपने स्वयं के प्रोजेक्टर के साथ प्रशिक्षित करना; 2) पहले चरण से सभी दृष्टि विशेषज्ञों को संयोजित करना और केवल प्रोजेक्टर को छवि-पाठ जोड़े डेटा के साथ प्रशिक्षित करना; 3) SFT डेटा पर पूरे मॉडल को प्रशिक्षित करना। 

ईगल: प्रयोग और परिणाम

अपनी रणनीतियों को सावधानीपूर्वक विकसित करने के बाद, ईगल ने मॉडल के लिए निम्नलिखित सिद्धांतों की स्थापना की है: (1) एक अनुकूलित प्रशिक्षण नुस्खा के साथ अधिक दृष्टि विशेषज्ञों को एकीकृत करना; (2) प्रत्यक्ष चैनल संयोजन के माध्यम से कई दृष्टि विशेषज्ञों को संयोजित करना; (3) पूर्व-संरेखण के माध्यम से दृष्टि विशेषज्ञों को अलग से पूर्व-प्रशिक्षण देना। इस खंड में, ईगल मॉडल के लाभों को और अधिक प्रदर्शित करने के लिए, अतिरिक्त प्रशिक्षण डेटा शामिल किया गया है, और ईगल की तुलना विभिन्न कार्यों में वर्तमान अत्याधुनिक एमएलएलएम के खिलाफ की गई है। ईगल भाषा मॉडल के रूप में विकुना-v1.5-7B, Llama3-8B और विकुना-v1.5-13B का उपयोग करता है। विज़न एनकोडर के लिए, अनुभाग 2.6 में परिणामों के आधार पर, ईगल मॉडल को ईगल-एक्स4 के रूप में दर्शाया गया है

दृश्य प्रश्न उत्तर कार्य

ईगल ने तीन विज़ुअल क्वेश्चन आंसरिंग (VQA) बेंचमार्क में मॉडल सीरीज़ की तुलना की है, जिसमें GQA, VQAv2 और VizWiz शामिल हैं। जैसा कि निम्न तालिका में दिखाया गया है, ईगल-X5 GQA और VQAv2 पर अत्याधुनिक प्रदर्शन प्राप्त करता है, जो अतिरिक्त विज़न विशेषज्ञों को शामिल करने के लाभों को उजागर करता है।

ओसीआर और चार्ट समझने के कार्य

ईगल की OCR, दस्तावेज़ और चार्ट समझने की क्षमताओं का मूल्यांकन करने के लिए, मॉडल को OCRBench, TextVQA और ChartQA पर बेंचमार्क किया गया है। जैसा कि ऊपर दी गई तालिका में दिखाया गया है, ईगल TextVQA पर प्रतिस्पर्धियों से काफी आगे निकल जाता है, जो इसके उच्च-रिज़ॉल्यूशन आर्किटेक्चर और विभिन्न विज़न एनकोडर के एकीकरण से लाभान्वित होता है। उल्लेखनीय रूप से, ईगल एक सीधा डिज़ाइन बनाए रखता है, जो छवियों के जटिल टाइल अपघटन की आवश्यकता के बिना 1024 टोकन तक का समर्थन करता है।

नीचे दिया गया चित्र OCR और दस्तावेज़ समझ के मामलों के उदाहरण प्रस्तुत करता है। उच्च-रिज़ॉल्यूशन अनुकूलन और अधिक दृष्टि विशेषज्ञों को शामिल करने के साथ, ईगल छवियों के भीतर छोटे पाठ की पहचान कर सकता है और उपयोगकर्ता के निर्देशों के आधार पर सटीक रूप से जानकारी निकाल सकता है। 

अन्य विज़न कार्यों पर पूर्व-प्रशिक्षित विशेषज्ञों को शामिल करने के लाभों को बेहतर ढंग से समझने के लिए, निम्न चित्र केवल ConvNeXt और CLIP विज़न एनकोडर वाले मॉडल से परिणामों को दर्शाता है, जिसकी तुलना Eagle-X5 के परिणामों से की गई है। विज़न एनकोडर के पूरे सेट के साथ, मॉडल सफलतापूर्वक गलतियों को सुधारता है, यह दर्शाता है कि विज़न-लैंग्वेज अलाइनमेंट पर पूर्व-प्रशिक्षित उच्च-रिज़ॉल्यूशन विज़न एनकोडर से लैस होने पर भी, ईगल की क्षमताओं को विभिन्न विज़न कार्यों पर पूर्व-प्रशिक्षित अतिरिक्त विज़न विशेषज्ञों को एकीकृत करके और बढ़ाया जाता है।

मल्टीमॉडल बेंचमार्क मूल्यांकन

MLLMs की क्षमताओं को विभिन्न दृष्टिकोणों से प्रदर्शित करने के लिए Eagle का मूल्यांकन सात बेंचमार्क पर किया जाता है, जिसमें MME, MMBench, SEED, MathVista, MMMU, ScienceQA और POPE शामिल हैं। विशेष रूप से, MME, MMBench और SEED तर्क, मान्यता, ज्ञान और OCR से जुड़े विभिन्न वास्तविक दुनिया के कार्यों पर समग्र प्रदर्शन का आकलन करते हैं। MMMU विभिन्न डोमेन से चुनौतीपूर्ण समस्याओं पर ध्यान केंद्रित करता है जिनके लिए कॉलेज स्तर के ज्ञान की आवश्यकता होती है। POPE MLLMs के दृश्य मतिभ्रम का मूल्यांकन करता है। इस मूल्यांकन में उपयोग किए गए मीट्रिक इन बेंचमार्क की डिफ़ॉल्ट सेटिंग्स का पालन करते हैं। Eagle MME के ​​लिए धारणा स्कोर, MMBench के लिए en_dev विभाजन, SEED का छवि विभाजन, MathVista का परीक्षण-मिनी विभाजन, MMMU का वैल विभाजन, POPE का F1-स्कोर और ScienceQA के लिए छवि स्कोर की रिपोर्ट करता है, जो अन्य मॉडलों से रिपोर्ट किए गए स्कोर के साथ संरेखण सुनिश्चित करता है।

निष्कर्ष

इस लेख में, हमने ईगल के बारे में बात की है, जो मल्टीमॉडल बड़े भाषा मॉडल में विज़न एनकोडर को एकीकृत करने के लिए डिज़ाइन स्पेस का गहन विश्लेषण है। पिछले कार्यों के विपरीत जो नए फ़्यूज़न प्रतिमानों को डिज़ाइन करने पर ध्यान केंद्रित करते हैं, ईगल पाता है कि व्यवस्थित डिज़ाइन विकल्प मायने रखते हैं और उपयोगी तकनीकों की एक श्रृंखला की खोज करते हैं। कदम दर कदम, ईगल व्यक्तिगत विज़न एनकोडर के प्रशिक्षण नुस्खा को अनुकूलित करता है, एक विस्तार योग्य और कुशल फ़्यूज़न विधि की पहचान करता है, और धीरे-धीरे विज़न एनकोडर को विभिन्न डोमेन ज्ञान के साथ जोड़ता है। परिणाम बुनियादी डिज़ाइन स्पेस विचारों के महत्वपूर्ण महत्व को उजागर करते हैं।