विज़ुअल डिज़ाइन टूल और विज़न भाषा मॉडल का मल्टीमीडिया उद्योग में व्यापक अनुप्रयोग है। हाल के वर्षों में महत्वपूर्ण प्रगति के बावजूद, इन उपकरणों की ठोस समझ उनके संचालन के लिए अभी भी आवश्यक है। पहुंच और नियंत्रण बढ़ाने के लिए, मल्टीमीडिया उद्योग तेजी से पाठ-निर्देशित या निर्देश-आधारित छवि संपादन तकनीकों को अपना रहा है। ये तकनीकें पारंपरिक क्षेत्रीय मुखौटों या विस्तृत विवरणों के बजाय प्राकृतिक भाषा आदेशों का उपयोग करती हैं, जिससे अधिक लचीली और नियंत्रित छवि हेरफेर की अनुमति मिलती है। हालाँकि, निर्देश-आधारित विधियाँ अक्सर संक्षिप्त दिशा-निर्देश प्रदान करती हैं जिन्हें मौजूदा मॉडलों के लिए पूरी तरह से पकड़ना और निष्पादित करना चुनौतीपूर्ण हो सकता है। इसके अतिरिक्त, प्रसार मॉडल, जो यथार्थवादी छवियां बनाने की क्षमता के लिए जाने जाते हैं, छवि संपादन क्षेत्र में उच्च मांग में हैं।

इसके अलावा, मल्टीमॉडल बड़े भाषा मॉडल (एमएलएलएम) ने दृश्य-जागरूक प्रतिक्रिया निर्माण और क्रॉस-मोडल समझ से जुड़े कार्यों में प्रभावशाली प्रदर्शन किया है। एमएलएलएम निर्देशित छवि संपादन (एमजीआईई) एमएलएलएम से प्रेरित एक अध्ययन है जो उनकी क्षमताओं का मूल्यांकन करता है और विश्लेषण करता है कि वे पाठ या निर्देशित निर्देशों के माध्यम से संपादन का समर्थन कैसे करते हैं। इस दृष्टिकोण में स्पष्ट मार्गदर्शन प्रदान करना और अभिव्यंजक निर्देश प्राप्त करना सीखना शामिल है। एमजीआईई संपादन मॉडल दृश्य जानकारी को समझता है और एंड-टू-एंड प्रशिक्षण के माध्यम से संपादन करता है। इस लेख में, हम एमजीआईई का गहन अध्ययन करेंगे और वैश्विक छवि अनुकूलन, फ़ोटोशॉप-शैली संशोधनों और स्थानीय संपादन पर इसके प्रभाव का आकलन करेंगे। हम अभिव्यंजक निर्देशों पर आधारित निर्देश-आधारित छवि संपादन कार्यों में एमजीआईई के महत्व पर भी चर्चा करेंगे। आइए अपनी खोज शुरू करें।

एमएलएलएम निर्देशित छवि संपादन या एमजीआईई: एक परिचय

मल्टीमॉडल लार्ज लैंग्वेज मॉडल और डिफ्यूजन मॉडल अपनी उल्लेखनीय जेनरेटिव क्षमताओं के कारण वर्तमान में सबसे व्यापक रूप से उपयोग किए जाने वाले एआई और एमएल फ्रेमवर्क में से दो हैं। एक ओर, आपके पास डिफ्यूज़न मॉडल हैं, जो अत्यधिक यथार्थवादी और दृश्य रूप से आकर्षक छवियां बनाने के लिए जाने जाते हैं, जबकि दूसरी ओर, आपके पास मल्टीमॉडल लार्ज लैंग्वेज मॉडल हैं, जो पाठ, भाषा सहित विभिन्न प्रकार की सामग्री तैयार करने में अपनी असाधारण क्षमता के लिए प्रसिद्ध हैं। भाषण, और चित्र/वीडियो। 

डिफ्यूजन मॉडल दृश्य हेरफेर करने के लिए अव्यक्त क्रॉस-मोडल मानचित्रों को स्वैप करते हैं जो इनपुट लक्ष्य कैप्शन के परिवर्तन को दर्शाते हैं, और वे छवि के एक विशिष्ट क्षेत्र को संपादित करने के लिए एक निर्देशित मास्क का भी उपयोग कर सकते हैं। लेकिन मल्टीमीडिया अनुप्रयोगों के लिए डिफ्यूजन मॉडल का व्यापक रूप से उपयोग करने का प्राथमिक कारण यह है कि विस्तृत विवरण या क्षेत्रीय मास्क पर भरोसा करने के बजाय, डिफ्यूजन मॉडल निर्देश-आधारित संपादन दृष्टिकोण को नियोजित करते हैं जो उपयोगकर्ताओं को टेक्स्ट निर्देशों या कमांड का उपयोग करके सीधे छवि को संपादित करने का तरीका व्यक्त करने की अनुमति देते हैं। . आगे बढ़ते हुए, बड़े भाषा मॉडल को किसी परिचय की आवश्यकता नहीं है क्योंकि उन्होंने पाठ सारांश, मशीनी अनुवाद, पाठ निर्माण और सवालों के जवाब देने सहित विविध भाषा कार्यों की एक श्रृंखला में महत्वपूर्ण प्रगति का प्रदर्शन किया है। एलएलएम को आमतौर पर बड़ी और विविध मात्रा में प्रशिक्षण डेटा पर प्रशिक्षित किया जाता है जो उन्हें दृश्य रचनात्मकता और ज्ञान से लैस करता है, जिससे उन्हें कई दृष्टि भाषा कार्य भी करने की अनुमति मिलती है। एलएलएम, एमएलएलएम या मल्टीमॉडल लार्ज लैंग्वेज मॉडल का निर्माण छवियों को प्राकृतिक इनपुट के रूप में उपयोग कर सकता है और उचित दृष्टि से जागरूक प्रतिक्रियाएं प्रदान कर सकता है। 

जैसा कि कहा जा रहा है, हालांकि छवि संपादन कार्यों के लिए डिफ्यूजन मॉडल और एमएलएलएम फ्रेमवर्क का व्यापक रूप से उपयोग किया जाता है, पाठ आधारित निर्देशों के साथ कुछ मार्गदर्शन मुद्दे मौजूद हैं जो समग्र प्रदर्शन में बाधा डालते हैं, जिसके परिणामस्वरूप एआई-संचालित एमजीआईई या एमएलएलएम गाइडेड इमेज एडिटिंग का विकास हुआ है। ढाँचा जिसमें एक प्रसार मॉडल और एक एमएलएलएम मॉडल शामिल है जैसा कि निम्नलिखित छवि में दिखाया गया है। 

एमजीआईई वास्तुकला के भीतर, प्रसार मॉडल को इच्छित लक्ष्य की अव्यक्त कल्पना के साथ छवि संपादन करने के लिए अंत-से-अंत तक प्रशिक्षित किया जाता है, जबकि एमएलएलएम ढांचा सटीक अभिव्यंजक निर्देशों की भविष्यवाणी करना सीखता है। साथ में, प्रसार मॉडल और एमएलएलएम ढांचा अंतर्निहित दृश्य व्युत्पत्ति का लाभ उठाता है जिससे यह अस्पष्ट मानव आदेशों को संबोधित करने की अनुमति देता है जिसके परिणामस्वरूप छवियों का यथार्थवादी संपादन होता है, जैसा कि निम्नलिखित छवि में दिखाया गया है। 

एमजीआईई ढांचा दो मौजूदा दृष्टिकोणों से भारी प्रेरणा लेता है: निर्देश-आधारित छवि संपादन और विज़न बड़े भाषा मॉडल. 

निर्देश-आधारित छवि संपादन मानव आदेशों का पालन करके दृश्य हेरफेर की पहुंच और नियंत्रणीयता में काफी सुधार कर सकता है। निर्देश आधारित छवि संपादन के लिए उपयोग की जाने वाली दो मुख्य रूपरेखाएँ हैं: GAN रूपरेखाएँ और प्रसार मॉडल। GAN या जनरेटिव एडवरसैरियल नेटवर्क छवियों को बदलने में सक्षम हैं लेकिन या तो विशिष्ट डोमेन तक सीमित हैं या अवास्तविक परिणाम उत्पन्न करते हैं। दूसरी ओर, बड़े पैमाने पर प्रशिक्षण के साथ प्रसार मॉडल छवि संपादन और परिवर्तन प्राप्त करने के लिए वैश्विक मानचित्रों के लिए क्रॉस-मोडल ध्यान मानचित्रों को नियंत्रित कर सकते हैं। निर्देश-आधारित संपादन इनपुट के रूप में सीधे कमांड प्राप्त करके काम करता है, जो अक्सर क्षेत्रीय मुखौटे और विस्तृत विवरण तक सीमित नहीं होता है। हालाँकि, ऐसी संभावना है कि दिए गए निर्देश या तो अस्पष्ट हैं या संपादन कार्यों के लिए निर्देशों का पालन करने के लिए पर्याप्त सटीक नहीं हैं। 

विज़न लार्ज लैंग्वेज मॉडल विभिन्न कार्यों में अपनी टेक्स्ट जेनरेटिव और सामान्यीकरण क्षमताओं के लिए प्रसिद्ध हैं, और उनके पास अक्सर एक मजबूत टेक्स्टुअल समझ होती है, और वे निष्पादन योग्य प्रोग्राम या छद्म कोड का उत्पादन कर सकते हैं। बड़े भाषा मॉडल की यह क्षमता एमएलएलएम को छवियों को समझने और निर्देश ट्यूनिंग के साथ दृश्य सुविधा संरेखण का उपयोग करके पर्याप्त प्रतिक्रियाएं प्रदान करने की अनुमति देती है, हाल के मॉडल चैट या इनपुट टेक्स्ट से संबंधित छवियां उत्पन्न करने के लिए एमएलएलएम को अपनाते हैं। हालाँकि, एमजीआईई को एमएलएलएम या वीएलएलएम से अलग करने वाला तथ्य यह है कि जहां उत्तरार्द्ध स्क्रैच से इनपुट से अलग छवियां उत्पन्न कर सकता है, वहीं एमजीआईई व्युत्पन्न निर्देशों के साथ छवि संपादन क्षमताओं को बढ़ाने के लिए एमएलएलएम की क्षमताओं का लाभ उठाता है। 

एमजीआईई: वास्तुकला और कार्यप्रणाली

परंपरागत रूप से, प्राकृतिक भाषा प्रसंस्करण जनरेटिव कार्यों के लिए बड़े भाषा मॉडल का उपयोग किया गया है। लेकिन जब से एमएलएलएम मुख्यधारा में आए, एलएलएम को छवियों के इनपुट को समझकर उचित प्रतिक्रिया प्रदान करने की क्षमता के साथ सशक्त बनाया गया। परंपरागत रूप से, एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल को पूर्व-प्रशिक्षित एलएलएम से आरंभ किया जाता है, और इसमें विज़ुअल सुविधाओं को निकालने के लिए एक विज़ुअल एनकोडर और एक एडाप्टर होता है, और विज़ुअल सुविधाओं को क्रमशः भाषा के तौर-तरीकों में प्रोजेक्ट किया जाता है। इसके कारण, एमएलएलएम ढांचा दृश्य इनपुट को समझने में सक्षम है, हालांकि आउटपुट अभी भी टेक्स्ट तक ही सीमित है। 

प्रस्तावित एमजीआईई ढांचे का उद्देश्य इस मुद्दे को हल करना है, और दिए गए पाठ्य निर्देश के आधार पर इनपुट छवि को आउटपुट छवि में संपादित करने के लिए एमएलएलएम की सुविधा प्रदान करना है। इसे प्राप्त करने के लिए, एमजीआईई ढांचे में एक एमएलएलएम होता है और संक्षिप्त और स्पष्ट अभिव्यंजक पाठ निर्देश प्राप्त करने के लिए प्रशिक्षित किया जाता है। इसके अलावा, एमजीआईई ढांचा दृष्टि और भाषा के तौर-तरीकों के बीच अंतर को पाटने के लिए अपने आर्किटेक्चर में विशेष छवि टोकन जोड़ता है, और तौर-तरीकों के परिवर्तन के लिए संपादन प्रमुख को अपनाता है। ये तौर-तरीके मल्टीमॉडल लार्ज लैंग्वेज मॉडल से अव्यक्त दृश्य कल्पना के रूप में काम करते हैं, और संपादन कार्यों को प्राप्त करने के लिए प्रसार मॉडल का मार्गदर्शन करते हैं। एमजीआईई ढांचा उचित छवि संपादन के लिए दृश्य धारणा कार्य करने में सक्षम है। 

संक्षिप्त अभिव्यंजक निर्देश

परंपरागत रूप से, मल्टीमॉडल लार्ज लैंग्वेज मॉडल निर्देश ट्यूनिंग और सुविधाओं के संरेखण के कारण अपनी क्रॉस-मोडल धारणा के साथ दृश्य-संबंधित प्रतिक्रियाएं प्रदान कर सकते हैं। छवियों को संपादित करने के लिए, एमजीआईई फ्रेमवर्क छवि के साथ प्राथमिक भाषा इनपुट के रूप में एक टेक्स्टुअल प्रॉम्प्ट का उपयोग करता है, और संपादन कमांड के लिए एक विस्तृत स्पष्टीकरण प्राप्त करता है। हालाँकि, ये स्पष्टीकरण अक्सर बहुत लंबे हो सकते हैं या इसमें दोहराव वाले विवरण शामिल हो सकते हैं जिसके परिणामस्वरूप गलत व्याख्या की जा सकती है, जिससे एमजीआईई को संक्षिप्त विवरण प्राप्त करने के लिए पूर्व-प्रशिक्षित सारांश लागू करने के लिए मजबूर होना पड़ता है, जिससे एमएलएलएम को सारांशित आउटपुट उत्पन्न करने की अनुमति मिलती है। फ्रेमवर्क संक्षिप्त लेकिन स्पष्ट मार्गदर्शन को एक अभिव्यंजक निर्देश के रूप में मानता है, और शिक्षक प्रवर्तन का उपयोग करके मल्टीमॉडल बड़े भाषा मॉडल को प्रशिक्षित करने के लिए क्रॉस-एन्ट्रॉपी हानि को लागू करता है।

पाठ निर्देश की तुलना में अभिव्यंजक निर्देश का उपयोग करना अधिक ठोस विचार प्रदान करता है क्योंकि यह उचित छवि संपादन के लिए अंतर को पाटता है, जिससे फ्रेमवर्क की दक्षता भी बढ़ती है। इसके अलावा, अनुमान अवधि के दौरान एमजीआईई ढांचा लंबे विवरण तैयार करने और बाहरी सारांश पर भरोसा करने के बजाय संक्षिप्त अभिव्यंजक निर्देश प्राप्त करता है। इसके कारण, एमजीआईई ढांचा संपादन इरादों की दृश्य कल्पना पर पकड़ बनाने में सक्षम है, लेकिन अभी भी भाषा के तौर-तरीकों तक ही सीमित है। इस बाधा को दूर करने के लिए, एमजीआईई मॉडल प्रशिक्षण योग्य शब्द एम्बेडिंग के साथ अभिव्यंजक निर्देश के बाद एक निश्चित संख्या में दृश्य टोकन जोड़ता है, जिससे एमएलएलएम को अपने एलएम या भाषा मॉडल हेड का उपयोग करके उन्हें उत्पन्न करने की अनुमति मिलती है। 

गुप्त कल्पना के साथ छवि संपादन

अगले चरण में, एमजीआईई फ्रेमवर्क छवि निर्देश को वास्तविक दृश्य मार्गदर्शन में बदलने के लिए संपादन प्रमुख को अपनाता है। एडिट हेड एक अनुक्रम से अनुक्रम मॉडल है जो अनुक्रमिक दृश्य टोकन को मैप करने में मदद करता है MLLM इसके संपादन मार्गदर्शन के रूप में अर्थपूर्ण अव्यक्त को शब्दार्थ की दृष्टि से। अधिक विशिष्ट होने के लिए, शब्द एम्बेडिंग पर परिवर्तन को दृश्य पद्धति में सामान्य प्रतिनिधित्व के रूप में व्याख्या किया जा सकता है, और संपादन इरादों के लिए एक उदाहरण जागरूक दृश्य कल्पना घटक का उपयोग करता है। इसके अलावा, दृश्य कल्पना के साथ छवि संपादन का मार्गदर्शन करने के लिए, एमजीआईई फ्रेमवर्क अपने आर्किटेक्चर में एक अव्यक्त प्रसार मॉडल को एम्बेड करता है जिसमें एक वैरिएबल ऑटोएनकोडर शामिल होता है और अव्यक्त स्थान में डीनोइज़िंग प्रसार को संबोधित करता है। अव्यक्त प्रसार मॉडल का प्राथमिक लक्ष्य अव्यक्त इनपुट को संरक्षित करके अव्यक्त लक्ष्य उत्पन्न करना और संपादन मार्गदर्शन का पालन करना है। प्रसार प्रक्रिया नियमित समय अंतराल पर अव्यक्त लक्ष्य में शोर जोड़ती है और हर समय कदम के साथ शोर का स्तर बढ़ता है। 

एमजीआईई सीखना

निम्नलिखित आंकड़ा प्रस्तावित एमजीआईई ढांचे की सीखने की प्रक्रिया के एल्गोरिदम का सारांश देता है। 

जैसा कि देखा जा सकता है, एमएलएलएम निर्देश हानि का उपयोग करके संक्षिप्त अभिव्यंजक निर्देश प्राप्त करना सीखता है। इनपुट छवि निर्देशों से अव्यक्त कल्पना का उपयोग करते हुए, फ्रेमवर्क संपादन प्रमुख के तौर-तरीकों को बदल देता है, और परिणामी छवि को संश्लेषित करने के लिए अव्यक्त प्रसार मॉडल का मार्गदर्शन करता है, और प्रसार प्रशिक्षण के लिए संपादन हानि को लागू करता है। अंत में, फ्रेमवर्क अधिकांश भार को फ़्रीज़ कर देता है जिसके परिणामस्वरूप पैरामीटर-कुशल अंत-से-अंत प्रशिक्षण प्राप्त होता है। 

एमजीआईई: परिणाम और मूल्यांकन

MGIE फ्रेमवर्क अपने प्राथमिक पूर्व-प्रशिक्षण डेटा के रूप में IPr2Pr डेटासेट का उपयोग करता है, और इसमें GPT-1 मॉडल से निकाले गए निर्देशों के साथ 3 मिलियन से अधिक CLIP-फ़िल्टर किया गया डेटा और छवियों को संश्लेषित करने के लिए एक प्रॉम्प्ट-टू-प्रॉम्प्ट मॉडल शामिल है। इसके अलावा, MGIE फ्रेमवर्क निर्देश-आधारित छवि संपादन कार्यों के लिए आधार रेखा के रूप में एक प्रसार मॉडल के साथ CLIP टेक्स्ट एनकोडर पर निर्मित InsPix2Pix फ्रेमवर्क को मानता है। इसके अलावा, एमजीआईई मॉडल एलएलएम-निर्देशित छवि संपादन मॉडल को भी ध्यान में रखता है, जिसे केवल निर्देश इनपुट से लेकिन दृश्य धारणा के बिना अभिव्यंजक निर्देशों के लिए अपनाया जाता है। 

मात्रात्मक विश्लेषण

निम्नलिखित आंकड़ा शून्य-शॉट सेटिंग में संपादन परिणामों को सारांशित करता है, जिसमें मॉडल को केवल IPr2Pr डेटासेट पर प्रशिक्षित किया जाता है। फ़ोटोशॉप-शैली संशोधनों से जुड़े जीआईईआर और ईवीआर डेटा के लिए, अभिव्यंजक निर्देश अस्पष्ट आदेशों के बजाय ठोस लक्ष्यों को प्रकट कर सकते हैं जो संपादन परिणामों को संपादन के इरादों से बेहतर ढंग से मेल खाने की अनुमति देता है। 

हालाँकि LGIE और MGIE दोनों को InsPix2Pix मॉडल के समान डेटा पर प्रशिक्षित किया गया है, वे बड़े भाषा मॉडल के साथ सीखकर विस्तृत स्पष्टीकरण दे सकते हैं, लेकिन फिर भी LGIE एक ही पद्धति तक सीमित है। इसके अलावा, एमजीआईई ढांचा महत्वपूर्ण प्रदर्शन को बढ़ावा दे सकता है क्योंकि इसमें छवियों तक पहुंच है, और स्पष्ट निर्देश प्राप्त करने के लिए इन छवियों का उपयोग कर सकता है। 

विशिष्ट उद्देश्यों के लिए निर्देश-आधारित छवि संपादन कार्यों पर प्रदर्शन का मूल्यांकन करने के लिए, डेवलपर्स प्रत्येक डेटासेट पर कई मॉडलों को ठीक करते हैं जैसा कि निम्नलिखित तालिका में संक्षेप में बताया गया है। 

जैसा कि देखा जा सकता है, ईवीआर और जीआईईआर के लिए फ़ोटोशॉप-शैली संपादन कार्यों को अपनाने के बाद, मॉडल प्रदर्शन में वृद्धि प्रदर्शित करते हैं। हालाँकि, यह ध्यान देने योग्य है कि चूंकि फाइन-ट्यूनिंग अभिव्यंजक निर्देशों को अधिक डोमेन-विशिष्ट बनाता है, एमजीआईई ढांचे में प्रदर्शन में भारी वृद्धि देखी जाती है क्योंकि यह डोमेन-संबंधित मार्गदर्शन भी सीखता है, जिससे प्रसार मॉडल को ठोस संपादित दृश्यों को प्रदर्शित करने की अनुमति मिलती है। सुव्यवस्थित बड़े भाषा मॉडल से स्थानीय संशोधन और स्थानीय अनुकूलन दोनों को लाभ मिलता है। इसके अलावा, चूंकि दृश्य-जागरूक मार्गदर्शन इच्छित संपादन लक्ष्यों के साथ अधिक संरेखित है, एमजीआईई ढांचा एलजीआईई की तुलना में लगातार बेहतर परिणाम देता है। 

निम्नलिखित आंकड़ा इनपुट या जमीनी सच्चाई लक्ष्य छवियों और अभिव्यंजक निर्देश में सीएलआईपी-एस स्कोर को दर्शाता है। एक उच्च सीएलआईपी स्कोर संपादन स्रोत के साथ निर्देशों की प्रासंगिकता को इंगित करता है, और जैसा कि देखा जा सकता है, इनपुट और आउटपुट छवियों दोनों में एलजीआईई मॉडल की तुलना में एमजीआईई का सीएलआईपी स्कोर अधिक है। 

गुणात्मक परिणाम

निम्नलिखित छवि एमजीआईई ढांचे के गुणात्मक विश्लेषण को पूरी तरह से सारांशित करती है। 

जैसा कि हम जानते हैं, एलजीआईई ढांचा एक एकल पद्धति तक सीमित है जिसके कारण इसमें एक ही भाषा-आधारित अंतर्दृष्टि है, और छवि को संपादित करने के लिए गलत या अप्रासंगिक स्पष्टीकरण प्राप्त करने की संभावना है। हालाँकि, एमजीआईई ढांचा मल्टीमॉडल है, और छवियों तक पहुंच के साथ, यह संपादन कार्यों को पूरा करता है, और स्पष्ट दृश्य कल्पना प्रदान करता है जो लक्ष्य के साथ वास्तव में अच्छी तरह से संरेखित होता है। 

निष्कर्ष

इस लेख में, हमने एमजीआईई या एमएलएलएम गाइडेड इमेज एडिटिंग के बारे में बात की है, जो एक एमएलएलएम-प्रेरित अध्ययन है जिसका उद्देश्य मल्टीमॉडल बड़े भाषा मॉडल का मूल्यांकन करना और विश्लेषण करना है कि वे कैसे अभिव्यंजक निर्देश प्राप्त करके स्पष्ट मार्गदर्शन प्रदान करना सीखते हुए पाठ या निर्देशित निर्देशों का उपयोग करके संपादन की सुविधा प्रदान करते हैं। इसके साथ ही। एमजीआईई संपादन मॉडल दृश्य जानकारी को कैप्चर करता है और एंड टू एंड प्रशिक्षण का उपयोग करके संपादन या हेरफेर करता है। अस्पष्ट और संक्षिप्त मार्गदर्शन के बजाय, एमजीआईई ढांचा स्पष्ट दृश्य-जागरूक निर्देश तैयार करता है जिसके परिणामस्वरूप उचित छवि संपादन होता है।