दृश्य डिज़ाइन टूल और दृष्टि भाषा मॉडल मीडिया उद्योग में व्यापक अनुप्रयोग हैं। हाल के वर्षों में महत्वपूर्ण प्रगति के बावजूद, इन टूल्स के संचालन के लिए एक ठोस समझ अभी भी आवश्यक है। सुलभता और नियंत्रण में सुधार करने के लिए, मीडिया उद्योग पाठ-निर्देशित या निर्देश-आधारित छवि संपादन तकनीकों को अपना रहा है। ये तकनीकें पारंपरिक क्षेत्रीय मास्क या विस्तृत विवरण के बजाय प्राकृतिक भाषा कमांड का उपयोग करती हैं, जो अधिक लचीले और नियंत्रित छवि हेरफेर की अनुमति देती हैं। हालांकि, निर्देश-आधारित विधियों में अक्सर संक्षिप्त दिशानिर्देश होते हैं जो मौजूदा मॉडल के लिए पूरी तरह से कैप्चर और निष्पादित करना चुनौतीपूर्ण हो सकता है। इसके अलावा, प्रसार मॉडल, जो वास्तविक छवियों को बनाने की उनकी क्षमता के लिए जाने जाते हैं, छवि संपादन क्षेत्र में बहुत मांग में हैं।

इसके अलावा, बहुमोडल बड़े भाषा मॉडल (MLLMs) ने दृश्य-संवेदनशील प्रतिक्रिया पीढ़ी और क्रॉस-मॉडल समझ जैसे कार्यों में प्रभावशाली प्रदर्शन दिखाया है। MLLM गाइडेड इमेज एडिटिंग (MGIE) एक अध्ययन है जो MLLMs से प्रेरित है जो उनकी क्षमताओं का मूल्यांकन करता है और विश्लेषण करता है कि वे पाठ या निर्देशित निर्देशों का उपयोग करके संपादन को कैसे सुविधा प्रदान करते हैं। इस दृष्टिकोण में स्पष्ट मार्गदर्शन प्रदान करने और व्यक्तिगत निर्देशों को व्युत्पन्न करने के लिए सीखना शामिल है। MGIE संपादन मॉडल दृश्य जानकारी को समझता है और अंत-से-अंत प्रशिक्षण के माध्यम से संपादन करता है। इस लेख में, हम MGIE की गहराई से जांच करेंगे, इसके वैश्विक छवि अनुकूलन, फोटोशॉप-शैली के संशोधनों और स्थानीय संपादन पर इसके प्रभाव का मूल्यांकन करेंगे। हम निर्देश-आधारित छवि संपादन कार्यों में MGIE के महत्व पर भी चर्चा करेंगे जो व्यक्तिगत निर्देशों पर भरोसा करते हैं। आइए इसकी खोज शुरू करें।

MGIE: एक परिचय

बहुमोडल बड़े भाषा मॉडल और प्रसार मॉडल दो सबसे व्यापक रूप से उपयोग किए जाने वाले एआई और एमएल फ्रेमवर्क हैं जो वर्तमान में उनकी उल्लेखनीय उत्पादक क्षमताओं के कारण हैं। एक ओर, आपके पास प्रसार मॉडल हैं, जो उच्च गुणवत्ता वाली और दृश्य रूप से आकर्षक छवियों को उत्पन्न करने के लिए जाने जाते हैं, जबकि दूसरी ओर, आपके पास बहुमोडल बड़े भाषा मॉडल हैं, जो विभिन्न प्रकार की सामग्री को उत्पन्न करने में उनकी असाधारण क्षमता के लिए प्रसिद्ध हैं, जिनमें पाठ, भाषा, भाषण और छवियों/वीडियो शामिल हैं।

प्रसार मॉडल लेटेंट क्रॉस-मॉडल मैप्स को स्वैप करके दृश्य हेरफेर करते हैं जो इनपुट लक्ष्य शीर्षक की改变 को प्रतिबिंबित करता है, और वे एक निर्देशित मास्क का उपयोग करके छवि के एक विशिष्ट क्षेत्र को संपादित करने के लिए भी उपयोग कर सकते हैं। लेकिन प्रसार मॉडल का उपयोग मीडिया अनुप्रयोगों के लिए क्यों किया जाता है, इसका मुख्य कारण यह है कि वे विस्तृत विवरण या क्षेत्रीय मास्क पर भरोसा करने के बजाय निर्देश-आधारित संपादन दृष्टिकोण का उपयोग करते हैं जो उपयोगकर्ताओं को पाठ निर्देशों या कमांड का उपयोग करके सीधे छवि को कैसे संपादित करना है, यह बताने की अनुमति देता है। आगे बढ़ते हुए, बड़े भाषा मॉडल को परिचय की आवश्यकता नहीं है क्योंकि उन्होंने विभिन्न भाषा कार्यों में महत्वपूर्ण प्रगति दिखाई है, जिनमें पाठ सारांश, मशीन अनुवाद, पाठ उत्पादन और प्रश्नों के उत्तर शामिल हैं। एलएलएम आमतौर पर एक बड़े और विविध प्रशिक्षण डेटा पर प्रशिक्षित होते हैं जो उन्हें दृश्य रचनात्मकता और ज्ञान से लैस करता है, जिससे वे कई दृश्य-भाषा कार्यों को भी कर सकते हैं। एलएलएम पर निर्माण करके, एमएलएलएम या बहुमोडल बड़े भाषा मॉडल छवियों को प्राकृतिक इनपुट के रूप में उपयोग कर सकते हैं और उपयुक्त दृश्य-संवेदनशील प्रतिक्रिया प्रदान कर सकते हैं।

यह कहा जा रहा है, हालांकि प्रसार मॉडल और एमएलएलएम फ्रेमवर्क छवि संपादन कार्यों के लिए व्यापक रूप से उपयोग किए जाते हैं, पाठ-आधारित निर्देशों के साथ कुछ मार्गदर्शन मुद्दे हैं जो समग्र प्रदर्शन को बाधित करते हैं, जिसके परिणामस्वरूप एमजीआईई या एमएलएलएम गाइडेड इमेज एडिटिंग का विकास होता है, जो एक एआई-संचालित फ्रेमवर्क है जिसमें एक प्रसार मॉडल और एक एमएलएलएम मॉडल शामिल है, जैसा कि निम्नलिखित छवि में दिखाया गया है।

एमजीआईई आर्किटेक्चर के भीतर, प्रसार मॉडल को अंत-से-अंत प्रशिक्षित किया जाता है ताकि लेटेंट कल्पना के साथ इमेज संपादन किया जा सके और एमएलएलएम फ्रेमवर्क सटीक व्यक्तिगत निर्देशों की भविष्यवाणी करने के लिए सीखता है। एक साथ, प्रसार मॉडल और एमएलएलएम फ्रेमवर्क दृश्य व्युत्पन्न का लाभ उठाते हैं ताकि यह अस्पष्ट मानव कमांड को संबोधित कर सके और वास्तविक छवि संपादन का परिणाम हो।

एमजीआईई फ्रेमवर्क दो मौजूदा दृष्टिकोणों से भारी प्रेरणा लेता है: निर्देश-आधारित इमेज एडिटिंग और विजन लार्ज लैंग्वेज मॉडल।

निर्देश-आधारित इमेज एडिटिंग दृश्य हेरफेर की सुलभता और नियंत्रणीयता को काफी हद तक बेहतर बना सकती है bằng मानव निर्देशों का पालन करना। निर्देश-आधारित इमेज एडिटिंग के लिए दो मुख्य फ्रेमवर्क उपयोग किए जाते हैं: जीएनएएन फ्रेमवर्क और प्रसार मॉडल। जीएन या जेनरेटिव एडवर्सेरियल नेटवर्क छवियों को बदलने में सक्षम हैं लेकिन या तो विशिष्ट डोमेन तक सीमित हैं या अवास्तविक परिणाम उत्पन्न करते हैं। दूसरी ओर, प्रसार मॉडल बड़े पैमाने पर प्रशिक्षण के साथ क्रॉस-मॉडल ध्यान मैप्स को नियंत्रित कर सकते हैं ताकि छवि संपादन और परिवर्तन हो सके। निर्देश-आधारित संपादन सीधे कमांड को इनपुट के रूप में प्राप्त करके काम करता है, अक्सर क्षेत्रीय मास्क और विस्तृत विवरण तक सीमित नहीं है। हालांकि, यह संभावना है कि प्रदान किए गए निर्देश अस्पष्ट या पर्याप्त सटीक नहीं हैं ताकि संपादन कार्यों के लिए निर्देशों का पालन किया जा सके।

विजन लार्ज लैंग्वेज मॉडल अपनी पाठ उत्पादन और सामान्यीकरण क्षमताओं के लिए विभिन्न कार्यों में प्रसिद्ध हैं, और अक्सर एक मजबूत पाठ समझ होती है, और वे कार्यक्रमों या प्सेव्डो कोड का उत्पादन भी कर सकते हैं। बड़े भाषा मॉडल की यह क्षमता एमएलएलएम को छवियों को समझने और दृश्य सुविधा संरेखण के साथ निर्देश ट्यूनिंग का उपयोग करके उपयुक्त दृश्य-संवेदनशील प्रतिक्रिया प्रदान करने की अनुमति देती है, हाल के मॉडल एमएलएलएम को छवियों को उत्पन्न करने के लिए अपनाते हैं जो चैट या इनपुट पाठ से संबंधित हैं। हालांकि, एमजीआईई को एमएलएलएम या वीएलएलएम से अलग करता है कि जबकि बाद वाले मूल से छवियों को उत्पन्न कर सकते हैं, एमजीआईई छवि संपादन क्षमताओं को बेहतर बनाने के लिए एमएलएलएम की क्षमताओं का लाभ उठाता है जो व्युत्पन्न निर्देशों के साथ है।

एमजीआईई: आर्किटेक्चर और विधि

पारंपरिक रूप से, बड़े भाषा मॉडल का उपयोग प्राकृतिक भाषा प्रसंस्करण उत्पादक कार्यों के लिए किया जाता है। लेकिन जबसे एमएलएलएम मुख्यधारा में आए, एलएलएम को छवि इनपुट को समझने और दृश्य-संवेदनशील प्रतिक्रिया प्रदान करने की क्षमता से लैस किया गया। परंपरागत रूप से, एक बहुमोडल बड़ा भाषा मॉडल एक पूर्व-प्रशिक्षित एलएलएम से आरंभ किया जाता है, और इसमें एक दृश्य एनकोडर और एक एडाप्टर शामिल होता है जो दृश्य सुविधाओं को निकालता है और दृश्य सुविधाओं को भाषा मॉडल में परियोजना करता है, क्रमशः। इसके कारण, एमएलएलएम फ्रेमवर्क दृश्य इनपुट को समझने में सक्षम है, हालांकि आउटपुट अभी भी पाठ तक सीमित है।

प्रस्तावित एमजीआईई फ्रेमवर्क इस समस्या को हल करने और एक एमएलएलएम को दिए गए पाठ निर्देशों के आधार पर इनपुट छवि को आउटपुट छवि में संपादित करने में सक्षम बनाने का लक्ष्य रखता है। इसे प्राप्त करने के लिए, एमजीआईई फ्रेमवर्क में एक एमएलएलएम और विशिष्ट व्यक्तिगत पाठ निर्देशों को व्युत्पन्न करने के लिए प्रशिक्षित किया जाता है। इसके अलावा, एमजीआईई फ्रेमवर्क अपनी आर्किटेक्चर में विशेष छवि टोकन जोड़ता है ताकि दृश्य और भाषा मॉडल के बीच की खाई को पुल कर सके, और मॉडलिटी के परिवर्तन के लिए संपादन हेड को अपनाता है। ये मॉडलिटी बहुमोडल बड़े भाषा मॉडल से लेटेंट दृश्य कल्पना के रूप में कार्य करते हैं और प्रसार मॉडल को संपादन कार्यों को प्राप्त करने के लिए मार्गदर्शन करते हैं। एमजीआईई फ्रेमवर्क तब दृश्य धारणा कार्यों के लिए युक्तियुक्त छवि संपादन करने में सक्षम है।

संक्षिप्त अभिव्यक्तिपूर्ण निर्देश

पारंपरिक रूप से, बहुमोडल बड़े भाषा मॉडल निर्देश ट्यूनिंग और सुविधा संरेखण के कारण दृश्य-संबंधित प्रतिक्रिया प्रदान कर सकते हैं। छवियों को संपादित करने के लिए, एमजीआईई फ्रेमवर्क एक पाठ प्रॉम्प्ट का उपयोग प्राथमिक भाषा इनपुट के रूप में छवि के साथ करता है, और संपादन कमांड के लिए एक विस्तृत विवरण व्युत्पन्न करता है। हालांकि, ये विवरण अक्सर बहुत लंबे या पुनरावृत्ति विवरण शामिल कर सकते हैं, जिससे गलत व्याख्या हो सकती है, जिससे एमजीआईई को एक पूर्व-प्रशिक्षित सारांशक को लागू करने के लिए मजबूर किया जाता है ताकि संक्षिप्त कथन प्राप्त किए जा सकें। फ्रेमवर्क संक्षिप्त लेकिन स्पष्ट मार्गदर्शन को अभिव्यक्तिपूर्ण निर्देश के रूप में मानता है, और शिक्षक प्रवर्तन का उपयोग करके बहुमोडल बड़े भाषा मॉडल को प्रशिक्षित करने के लिए क्रॉस-एंट्रोपी हानि को लागू करता है।

अभिव्यक्तिपूर्ण निर्देश का उपयोग पाठ निर्देश की तुलना में एक अधिक ठोस विचार प्रदान करता है, जो तर्कसंगत छवि संपादन के लिए खाई को पुल करता है, जिससे फ्रेमवर्क की कार्यक्षमता और भी बेहतर हो जाती है। इसके अलावा, एमजीआईई फ्रेमवर्क अनुमान अवधि के दौरान संक्षिप्त अभिव्यक्तिपूर्ण निर्देश व्युत्पन्न करता है, लंबी कथनों का उत्पादन करने और बाहरी सारांश पर निर्भर रहने के बजाय। इसके कारण, एमजीआईई फ्रेमवर्क संपादन इरादों की दृश्य कल्पना को पकड़ने में सक्षम है, लेकिन अभी भी भाषा मॉडल तक सीमित है। इस बाधा को पार करने के लिए, एमजीआईई मॉडल अभिव्यक्तिपूर्ण निर्देश के बाद कुछ दृश्य टोकन जोड़ता है, जो प्रशिक्षण योग्य शब्द एम्बेडिंग की अनुमति देता है, जिससे एमएलएलएम को अपने एलएम या भाषा मॉडल हेड का उपयोग करके उन्हें उत्पन्न करने की अनुमति मिलती है।

लेटेंट कल्पना के साथ छवि संपादन

अगले चरण में, एमजीआईई फ्रेमवर्क संपादन हेड को अपनाता है ताकि छवि निर्देश को वास्तविक दृश्य मार्गदर्शन में परिवर्तित किया जा सके। संपादन हेड एक अनुक्रम से अनुक्रम मॉडल है जो एमएलएलएम से अनुक्रमिक दृश्य टोकन को अर्थपूर्ण लेटेंट सेमैंटिक के रूप में संपादन मार्गदर्शन के रूप में मैप करने में मदद करता है। विशेष रूप से, शब्द एम्बेडिंग पर परिवर्तन को दृश्य मॉडल में सामान्य प्रतिनिधित्व के रूप में व्याख्या किया जा सकता है, और संपादन इरादों के लिए एक उदाहरण-जागरूक दृश्य कल्पना घटक का उपयोग करता है। इसके अलावा, दृश्य कल्पना के साथ छवि संपादन को मार्गदर्शन करने के लिए, एमजीआईई फ्रेमवर्क अपनी आर्किटेक्चर में एक लेटेंट प्रसार मॉडल एम्बेड करता है, जिसमें एक वेरिएशनल ऑटोएनकोडर और लेटेंट स्पेस में शोर मुक्ति प्रसार शामिल है। लेटेंट प्रसार मॉडल का प्राथमिक लक्ष्य लेटेंट इनपुट को संरक्षित करते हुए लेटेंट लक्ष्य को उत्पन्न करना और संपादन मार्गदर्शन का पालन करना है। प्रसार प्रक्रिया लेटेंट लक्ष्य में नियमित समय अंतराल पर शोर जोड़ती है और प्रत्येक टाइमस्टेप के साथ शोर स्तर बढ़ जाता है।

एमजीआईई का शिक्षण

निम्नलिखित आंकड़ा एमजीआईई फ्रेमवर्क की शिक्षण प्रक्रिया के एल्गोरिदम को सारांशित करता है।

जैसा कि देखा जा सकता है, एमएलएलएम निर्देश हानि का उपयोग करके संक्षिप्त अभिव्यक्तिपूर्ण निर्देश व्युत्पन्न करने के लिए सीखता है। इनपुट छवि निर्देशों से लेटेंट कल्पना का उपयोग करके, फ्रेमवर्क मॉडलिटी को संपादन हेड में परिवर्तित करता है, और लेटेंट प्रसार मॉडल को परिणामी छवि को संश्लेषित करने के लिए मार्गदर्शन करता है, और प्रसार प्रशिक्षण के लिए संपादन हानि लागू करता है। अंत में, फ्रेमवर्क अधिकांश वजन को जमानत देता है, जिससे पैरामीटर-कुशल अंत-से-अंत प्रशिक्षण होता है।

एमजीआईई: परिणाम और मूल्यांकन

एमजीआईई फ्रेमवर्क आईपीआर2पीआर डेटासेट का उपयोग अपने प्राथमिक प्री-प्रशिक्षण डेटा के रूप में करता है, जिसमें जीपीटी-3 मॉडल से निकाले गए निर्देशों के साथ 1 मिलियन से अधिक सीएलआईपी-फिल्टर्ड डेटा शामिल है, और छवियों को संश्लेषित करने के लिए एक प्रॉम्प्ट-टू-प्रॉम्प्ट मॉडल है। इसके अलावा, एमजीआईई फ्रेमवर्क निर्देश-आधारित छवि संपादन कार्यों के लिए एक बेसलाइन के रूप में सीएलआईपी टेक्स्ट एनकोडर के साथ एक प्रसार मॉडल पर निर्मित इन्सपिक्स2पिक्स फ्रेमवर्क को भी मानता है। इसके अलावा, एमजीआईई मॉडल निर्देश-मात्र इनपुट से व्यक्तिगत निर्देशों के लिए एक एलएलएम-गाइडेड इमेज एडिटिंग मॉडल को भी ध्यान में रखता है, लेकिन दृश्य धारणा के बिना।

मात्रात्मक विश्लेषण

निम्नलिखित आंकड़ा आईपीआर2पीआर डेटासेट पर प्रशिक्षित मॉडल के साथ शून्य-शॉट सेटिंग में संपादन परिणामों को सारांशित करता है। जीआईईआर और ईवीआर डेटा में फोटोशॉप-शैली के संशोधन के लिए, अभिव्यक्तिपूर्ण निर्देश अस्पष्ट कमांड के बजाय कंक्रीट लक्ष्यों को प्रकट कर सकते हैं, जिससे संपादन परिणाम संपादन इरादों के अनुरूप होते हैं।

हालांकि एलजीआईई और एमजीआईई दोनों मॉडल इन्सपिक्स2पिक्स मॉडल के रूप में समान डेटा पर प्रशिक्षित हैं, वे बड़े भाषा मॉडल के साथ सीखने के माध्यम से विस्तृत विवरण प्रदान कर सकते हैं, लेकिन एलजीआईई अभी भी एक ही मॉडल तक सीमित है। इसके अलावा, एमजीआईई फ्रेमवर्क छवियों तक पहुंच प्राप्त करने और उन्हें व्युत्पन्न निर्देशों के लिए उपयोग करने के कारण एक महत्वपूर्ण प्रदर्शन बढ़ावा प्रदान कर सकता है।

निर्देश-आधारित छवि संपादन कार्यों के लिए विशिष्ट उद्देश्यों पर प्रदर्शन का मूल्यांकन करने के लिए, डेवलपर्स प्रत्येक डेटासेट पर कई मॉडल को फाइन-ट्यून करते हैं, जैसा कि निम्नलिखित तालिका में सारांशित किया गया है।

जैसा कि देखा जा सकता है, ईवीआर और जीआईईआर के लिए फोटोशॉप-शैली के संपादन कार्यों को अनुकूलित करने के बाद, मॉडल प्रदर्शन में वृद्धि दिखाते हैं। हालांकि, यह ध्यान देने योग्य है कि फाइन-ट्यूनिंग अभिव्यक्तिपूर्ण निर्देशों को अधिक डोमेन-विशिष्ट बनाती है, एमजीआईई फ्रेमवर्क को डोमेन-संबंधित मार्गदर्शन सीखने की अनुमति देती है, जिससे प्रसार मॉडल को फाइन-ट्यून किए गए बड़े भाषा मॉडल से लाभान्वित होते हुए कंक्रीट संपादित दृश्य प्रदर्शित करने में मदद मिलती है, जो स्थानीय संशोधन और स्थानीय अनुकूलन दोनों को लाभान्वित करता है। इसके अलावा, दृश्य-संवेदनशील मार्गदर्शन इरादों के साथ अधिक संरेखित होने के कारण, एमजीआईई फ्रेमवर्क एलजीआईई मॉडल की तुलना में लगातार बेहतर परिणाम प्रदान करता है।

गुणात्मक परिणाम

निम्नलिखित छवि एमजीआईई फ्रेमवर्क के गुणात्मक विश्लेषण को पूरी तरह से सारांशित करती है।

जैसा कि हम जानते हैं, एलजीआईई फ्रेमवर्क एक ही मॉडल तक सीमित है क्योंकि इसका एक ही भाषा-आधारित अंतर्दृष्टि है, और यह छवि को संपादित करने के लिए गलत या अप्रासंगिक विवरण व्युत्पन्न करने के लिए प्रवण है। हालांकि, एमजीआईई फ्रेमवर्क बहुमोडल है, और छवियों तक पहुंच प्राप्त करने के साथ, यह संपादन कार्यों को पूरा करता है और स्पष्ट दृश्य कल्पना प्रदान करता है जो लक्ष्य के साथ बहुत अच्छी तरह से संरेखित है।

अंतिम विचार

इस लेख में, हमने एमजीआईई या एमएलएलएम गाइडेड इमेज एडिटिंग के बारे में बात की है, जो एमएलएलएम से प्रेरित एक अध्ययन है जो बहुमोडल बड़े भाषा मॉडल का मूल्यांकन करता है और विश्लेषण करता है कि वे पाठ या निर्देशित निर्देशों का उपयोग करके संपादन को कैसे सुविधा प्रदान करते हैं, साथ ही साथ स्पष्ट मार्गदर्शन प्रदान करने और व्यक्तिगत निर्देशों को व्युत्पन्न करने के लिए सीखने में सक्षम है। एमजीआईई संपादन मॉडल दृश्य जानकारी को समझता है और अंत-से-अंत प्रशिक्षण के माध्यम से संपादन करता है। इसके बजाय अस्पष्ट और संक्षिप्त मार्गदर्शन, एमजीआईई फ्रेमवर्क स्पष्ट दृश्य-संवेदनशील निर्देशों का उत्पादन करता है जो तर्कसंगत छवि संपादन का परिणाम है।