एआई इमेज-एडिटिंग की सटीकता में सुधार

हालांकि एडोब का फायरफ्लाई लेटेंट डिफ्यूजन मॉडल (एलडीएम) वास्तव में वर्तमान में उपलब्ध सबसे अच्छा है, फोटोशॉप उपयोगकर्ताओं ने इसकी व्युत्पन्न सुविधाओं का प्रयास किया होगा और यह देखा होगा कि यह आसानी से मौजूदा छवियों को संपादित नहीं कर सकता है – इसके बजाय यह उपयोगकर्ता के चयनित क्षेत्र को पूरी तरह से प्रतिस्थापित करता है उपयोगकर्ता के पाठ प्रॉम्प्ट (हालांकि फायरफ्लाई छवि के संदर्भ में परिणामी उत्पन्न अनुभाग को एकीकृत करने में कुशल है)।

वर्तमान बीटा संस्करण में, फोटोशॉप कम से कम संदर्भ छवि को आंशिक छवि प्रॉम्प्ट के रूप में शामिल कर सकता है, जो एडोब के फ्लैगशिप उत्पाद को उस कार्यक्षमता के साथ लाता है जिसे स्टेबल डिफ्यूजन उपयोगकर्ताओं ने दो साल से अधिक समय से तीसरे पक्ष के ढांचे जैसे कंट्रोलनेट के माध्यम से आनंद लिया है:

एडोब फोटोशॉप का वर्तमान बीटा संस्करण एक चयन के भीतर नई सामग्री उत्पन्न करते समय संदर्भ छवियों का उपयोग करने की अनुमति देता है – हालांकि यह वर्तमान में एक हिट-और-मिस मामला है।

यह छवि संश्लेषण अनुसंधान में एक खुली समस्या को दर्शाता है – छवियों को संपादित करने में कठिनाई जो कि वितरण मॉडल को बिना उपयोगकर्ता द्वारा इंगित किए गए चयन का पूर्ण ‘पुनः कल्पना’ किए बिना होती है।

हालांकि यह डिफ्यूजन-आधारित इनपेंट उपयोगकर्ता के प्रॉम्प्ट का पालन करता है, यह पूरी तरह से मूल विषय वस्तु को फिर से बनाता है बिना मूल छवि को ध्यान में रखे (केवल पर्यावरण के साथ मिश्रण करके)। स्रोत: https://arxiv.org/pdf/2502.20376

यह समस्या तब उत्पन्न होती है क्योंकि एलडीएम छवियों को पुनरावृत्ति शोर में उत्पन्न करता है, जहां प्रत्येक चरण प्रक्रिया उपयोगकर्ता द्वारा प्रदान किए गए पाठ प्रॉम्प्ट पर आधारित होता है। पाठ प्रॉम्प्ट सामग्री को इम्बेडिंग टोकन में परिवर्तित करने के साथ, और एक हाइपरस्केल मॉडल जैसे स्टेबल डिफ्यूजन या फ्लक्स में प्रॉम्प्ट से संबंधित सैकड़ों हजारों (या लाखों) निकट-मिलान वाले इम्बेडिंग होते हैं, प्रक्रिया में एक गणना की गई शर्तीय वितरण होता है; और प्रत्येक चरण इस ‘शर्तीय वितरण लक्ष्य’ की ओर एक कदम है।

तो यह पाठ से छवि है – एक परिदृश्य जहां उपयोगकर्ता ‘सबसे अच्छा’ आशा करता है, क्योंकि यह बताना मुश्किल है कि पीढ़ी कैसी होगी।

इसके बजाय, कई लोगों ने एलडीएम की शक्तिशाली उत्पन्न क्षमता का उपयोग मौजूदा छवियों को संपादित करने के लिए किया है – लेकिन यह विश्वास और लचीलेपन के बीच एक संतुलन अधिनियम को शामिल करता है।

जब एक छवि डीडीआईएम इनवर्सन जैसे तरीकों से मॉडल के लेटेंट स्पेस में परियोजना की जाती है, तो लक्ष्य मूल को यथासंभव करीब से पुनर्प्राप्त करना है, जबकि अभी भी अर्थपूर्ण संपादन की अनुमति देना है। समस्या यह है कि जितना अधिक सटीक रूप से एक छवि का पुनर्निर्माण किया जाता है, मॉडल अपनी मूल संरचना से चिपक जाता है, जिससे बड़े परिवर्तन मुश्किल हो जाते हैं।

हाल के वर्षों में प्रस्तावित कई अन्य डिफ्यूजन-आधारित छवि संपादन ढांचे के साथ, रेनोइज़ आर्किटेक्चर छवि की उपस्थिति में कोई वास्तविक परिवर्तन करने में कठिनाई होती है, केवल बिल्ली के गले के आधार पर एक बो टाई का एक औपचारिक संकेत होता है।

दूसरी ओर, यदि प्रक्रिया संपादन को प्राथमिकता देती है, तो मॉडल मूल को अपनी पकड़ ढीला करता है, परिवर्तनों को पेश करना आसान बनाता है – लेकिन स्रोत छवि के साथ समग्र संगतता की लागत पर।

मिशन पूरा – लेकिन यह अधिकांश एआई-आधारित छवि संपादन ढांचे के लिए एक परिवर्तन है, न कि एक समायोजन।

चूंकि यह एक ऐसी समस्या है जिसे एडोब के महत्वपूर्ण संसाधनों के साथ भी संबोधित करना मुश्किल है, तो हम यह मान सकते हैं कि यह एक उल्लेखनीय चुनौती है, और इसका आसान समाधान नहीं हो सकता है, यदि कोई हो।

टाइट इनवर्सन

इसलिए, एक नए शोध पत्र में दिए गए उदाहरणों ने मेरा ध्यान आकर्षित किया, क्योंकि यह काम इस क्षेत्र में वर्तमान राज्य की एक महत्वपूर्ण और उल्लेखनीय प्रगति प्रदान करता है, मॉडल के लेटेंट स्पेस में परियोजना की गई छवियों पर सूक्ष्म और परिष्कृत संपादन लागू करने में सक्षम होने के द्वारा – बिना संपादन को महत्वहीन या मूल सामग्री को स्रोत छवि में अधिक करने के लिए।

मौजूदा इनवर्सन विधियों पर टाइट इनवर्सन लागू करने के साथ, स्रोत चयन को एक अधिक विस्तृत तरीके से माना जाता है, और परिवर्तन मूल सामग्री के अनुरूप होते हैं न कि उसे अधिक करने के लिए।

एलडीएम शौकीनों और पрак्टिशनरों को यह परिणाम पहचानने में सक्षम हो सकते हैं, क्योंकि अधिकांश इसे जटिल कार्य प्रवाह में बाहरी प्रणालियों जैसे कंट्रोलनेट और आईपी-एडेप्टर का उपयोग करके बनाया जा सकता है।

वास्तव में, नई विधि – टाइट इनवर्सन कहा जाता है – वास्तव में आईपी-एडेप्टर का लाभ उठाती है, साथ ही मानव चित्रण के लिए एक समर्पित चेहरा-आधारित मॉडल के साथ।

मूल 2023 आईपी-एडेप्टर पत्र से, स्रोत सामग्री में उपयुक्त संपादन बनाने के उदाहरण। स्रोत: https://arxiv.org/pdf/2308.06721

टाइट इनवर्सन की महत्वपूर्ण उपलब्धि यह है कि जटिल तकनीकों को एक एकल ड्रॉप-इन प्लग-इन मोडलिटी में प्रावधान किया जाता है जिसे मौजूदा प्रणालियों में लागू किया जा सकता है, जिसमें अधिकांश लोकप्रिय एलडीएम वितरण शामिल हैं।

स्वाभाविक रूप से, इसका अर्थ है कि टाइट इनवर्सन (टीआई), अपने सहायक प्रणालियों की तरह, अपने संपादित संस्करण के लिए एक सशर्त कारक के रूप में छवि का उपयोग करता है, न कि केवल सटीक पाठ प्रॉम्प्ट पर भरोसा करता है:

स्रोत सामग्री में टाइट इनवर्सन की क्षमता के लिए आगे के उदाहरण।

हालांकि लेखक स्वीकार करते हैं कि उनका दृष्टिकोण पारंपरिक और चल रहे तनाव से मुक्त नहीं है डिफ्यूजन-आधारित छवि संपादन तकनीकों में विश्वास और संपादन के बीच, वे रिपोर्ट करते हैं कि मौजूदा प्रणालियों में टीआई को इंजेक्ट करने पर राज्य के शीर्ष परिणाम होते हैं, बेसलाइन प्रदर्शन की तुलना में।

नया काम शीर्षक टाइट इनवर्सन: इमेज-कंडीशंड इनवर्सन फॉर रियल इमेज एडिटिंग है, और तेल अवीव विश्वविद्यालय और स्नैप रिसर्च के पांच शोधकर्ताओं से आता है।

विधि

प्रारंभ में, एक बड़ा भाषा मॉडल (एलएलएम) एक छवि को उत्पन्न करने के लिए विभिन्न पाठ प्रॉम्प्ट का एक सेट उत्पन्न करने के लिए उपयोग किया जाता है। फिर ऊपर उल्लिखित डीडीआईएम इनवर्सन को प्रत्येक छवि पर तीन पाठ स्थितियों के साथ लागू किया जाता है: छवि को उत्पन्न करने के लिए उपयोग किया गया पाठ प्रॉम्प्ट; उसी का एक संक्षिप्त संस्करण; और एक शून्य (खाली) प्रॉम्प्ट।

इन प्रक्रियाओं से लौटाए गए इनवर्स्ड शोर के साथ, छवियों को फिर से उत्पन्न किया जाता है उसी स्थिति के साथ, और क्लासिफायर-मुक्त मार्गदर्शन (सीएफजी) के बिना।

विभिन्न मेट्रिक्स पर डीडीआईएम इनवर्सन स्कोर विभिन्न प्रॉम्प्ट सेटिंग्स के साथ।

जैसा कि हम उपरोक्त ग्राफ से देख सकते हैं, विभिन्न मेट्रिक्स पर स्कोर पाठ की लंबाई बढ़ने के साथ सुधरते हैं। उपयोग की जाने वाली मेट्रिक्स पीक सिग्नल-टू-नॉइज़ अनुपात (पीएसएनआर); एल2 दूरी; संरचनात्मक समानता सूचकांक (एसएसआईएम); और सीखा हुआ संवेदी छवि पैच समानता (एलपीआईपीएस) थे।

इमेज-कॉन्शियस

प्रभावी रूप से, टाइट इनवर्सन एक होस्ट डिफ्यूजन मॉडल को वास्तविक छवियों को संपादित करने के तरीके को बदलता है छवि पर इनवर्सन प्रक्रिया को सशर्त बनाकर, न कि केवल पाठ पर भरोसा करके।

आम तौर पर, एक छवि को एक डिफ्यूजन मॉडल के शोर स्थान में उल्टा करने के लिए, उस शुरुआती शोर का अनुमान लगाना आवश्यक है जो डीनोइज़ होने पर इनपुट का पुनर्निर्माण करता है। मानक विधियां इस प्रक्रिया को मार्गदर्शन करने के लिए एक पाठ प्रॉम्प्ट का उपयोग करती हैं; लेकिन एक असंपूर्ण प्रॉम्प्ट त्रुटियों को जन्म दे सकता है, विवरण खो सकता है या संरचनाओं को बदल सकता है।

टाइट इनवर्सन के बजाय आईपी एडेप्टर का उपयोग करके दृश्य जानकारी को मॉडल में फीड करता है, ताकि यह छवि का पुनर्निर्माण अधिक सटीकता के साथ करे, स्रोत छवियों को सशर्त टोकन में परिवर्तित करे, और उन्हें इनवर्सन पाइपलाइन में परियोजना करे।

इन पैरामीटर संपादन योग्य हैं: स्रोत छवि के प्रभाव को बढ़ाने से पुनर्निर्माण लगभग पूर्ण हो जाता है, जबकि इसे कम करने से अधिक रचनात्मक परिवर्तन संभव हो जाते हैं। यह टाइट इनवर्सन को सूक्ष्म संशोधनों के लिए उपयोगी बनाता है, जैसे कि एक शर्ट का रंग बदलना, या अधिक महत्वपूर्ण संपादन, जैसे कि वस्तुओं को बदलना – अन्य इनवर्सन विधियों के सामान्य दुष्प्रभावों के बिना, जैसे कि विवरण की हानि या पृष्ठभूमि सामग्री में अप्रत्याशित विचलन।

लेखकों का कहना है:

‘हम ध्यान देते हैं कि टाइट इनवर्सन को आसानी से पहले की इनवर्सन विधियों (जैसे एडिट फ्रेंडली डीडीपीएम, रेनोइज़) के साथ एकीकृत किया जा सकता है [स्वदेशी डिफ्यूजन कोर को आईपी एडेप्टर अल्टर्ड मॉडल के साथ बदलकर], [और] टाइट इनवर्सन इन तरीकों को दोनों पुनर्निर्माण और संपादन योग्यता दोनों में सुधारता है।’

डेटा और परीक्षण

शोधकर्ताओं ने टीआई का मूल्यांकन वास्तविक दुनिया की स्रोत छवियों को पुनर्निर्माण और संपादित करने की इसकी क्षमता पर किया। सभी प्रयोगों में स्टेबल डिफ्यूजन एक्सएल का उपयोग किया गया था, जिसमें मूल स्टेबल डिफ्यूजन पत्र में उल्लिखित डीडीआईएम शेड्यूलर था; और सभी परीक्षणों में 50 डीनोइज़िंग चरणों का उपयोग किया गया था, जिसमें 7.5 का डिफ़ॉल्ट मार्गदर्शन स्केल था।

छवि सशर्तीकरण के लिए, आईपी-एडेप्टर-प्लस एसडीएक्सएल विट-एच का उपयोग किया गया था। कुछ चरणों के परीक्षण के लिए, शोधकर्ताओं ने एसडीएक्सएल-टर्बो का उपयोग किया, जिसमें यूलर शेड्यूलर था; और उन्होंने फ्लक्स.1-डेव के साथ प्रयोग भी किए, जिसमें मॉडल को पुलआईडी-फ्लक्स पर सशर्त किया गया था, जिसमें आरएफ-इनवर्सन का उपयोग 28 चरणों पर किया गया था।

पुलआईडी का उपयोग केवल मानव चेहरों वाले मामलों में किया गया था, क्योंकि यह वह डोमेन है जिसे पुलआईडी को संबोधित करने के लिए प्रशिक्षित किया गया था – और यह ध्यान देने योग्य है कि एक विशेषज्ञ उप-प्रणाली का उपयोग इस एक संभावित प्रॉम्प्ट प्रकार के लिए किया जाता है, और हमारी असामान्य रुचि मानव चेहरों को उत्पन्न करने में सुझाव देती है कि एक फाउंडेशन मॉडल जैसे स्टेबल डिफ्यूजन के व्यापक वजन पर भरोसा करना इस विशिष्ट कार्य के लिए पर्याप्त नहीं हो सकता है।

पुनर्निर्माण परीक्षण गुणात्मक और मात्रात्मक मूल्यांकन के लिए किए गए थे। नीचे दी गई छवि में, हम डीडीआईएम इनवर्सन के लिए गुणात्मक उदाहरण देखते हैं:

डीडीआईएम इनवर्सन के लिए गुणात्मक परिणाम। प्रत्येक पंक्ति एक उच्च विस्तार वाली छवि को दिखाती है, साथ ही इसके पुनर्निर्मित संस्करण, प्रत्येक चरण में इनवर्सन और डीनोइज़िंग के दौरान अधिक सटीक स्थितियों का उपयोग करता है। जैसे ही सशर्तीकरण अधिक सटीक होता जाता है, पुनर्निर्माण गुणवत्ता में सुधार होता है। दाईं ओर का स्तंभ सबसे अच्छे परिणामों को प्रदर्शित करता है, जहां मूल छवि खुद को सशर्त के रूप में उपयोग किया जाता है, उच्चतम विश्वासता प्राप्त करता है। किसी भी चरण में सीएफजी का उपयोग नहीं किया गया था। कृपया बेहतर रिज़ॉल्यूशन और विवरण के लिए स्रोत दस्तावेज़ पर जाएं।

लेखक कहते हैं:

‘इन उदाहरणों से पता चलता है कि इनवर्सन प्रक्रिया को एक छवि पर सशर्त करने से विस्तृत क्षेत्रों में पुनर्निर्माण में काफी सुधार होता है। ‘

‘विशेष रूप से, [नीचे दी गई छवि में] तीसरे उदाहरण में, हमारी विधि दाईं ओर के मुक्केबाज की पीठ पर स成功 रूप से टैटू का पुनर्निर्माण करती है। इसके अलावा, मुक्केबाज की पैर की मुद्रा अधिक सटीक रूप से संरक्षित है, और पैर पर टैटू दिखाई देता है।’

डीडीआईएम इनवर्सन के लिए आगे के गुणात्मक परिणाम। विवरणकारी स्थितियों के साथ डीडीआईएम इनवर्सन में सुधार होता है, छवि सशर्तीकरण पाठ की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से जटिल छवियों पर।

लेखकों ने टाइट इनवर्सन को मौजूदा प्रणालियों के लिए एक ड्रॉप-इन मॉड्यूल के रूप में भी परीक्षण किया, जिसमें उन्होंने इसे पूर्ववर्ती दृष्टिकोणों के बेसलाइन प्रदर्शन के खिलाफ रखा।

परीक्षण की गई तीन प्रणालियां उल्लिखित डीडीआईएम इनवर्सन और आरएफ-इनवर्सन थीं; और रेनोइज़ भी, जो इस पत्र के लेखकों के साथ साझा है। चूंकि डीडीआईएम परिणामों में 100% पुनर्निर्माण प्राप्त करने में कोई कठिनाई नहीं है, शोधकर्ताओं ने केवल संपादन योग्यता पर ध्यान केंद्रित किया।

शोधकर्ताओं ने सिस्टम की क्षमता का परीक्षण किया फोटो संपादित करने के लिए, इसे पूर्व दृष्टिकोणों के बेसलाइन संस्करणों के खिलाफ रखा, जैसे कि प्रॉम्प्ट2प्रॉम्प्ट; एडिट फ्रेंडली डीडीपीएम; एलईडी-आईटीएस++; और आरएफ-इनवर्सन।

नीचे दी गई छवि में एसडीएक्सएल और फ्लक्स (और हम पाठक को मूल पत्र में बेहतर रिज़ॉल्यूशन और स्पष्टता के लिए संदर्भित करते हैं) के लिए गुणात्मक परिणामों का एक चयन दिखाया गया है:

विकसित गुणात्मक परिणामों का एक चयन, जो पत्र में बिखरे हुए हैं और स्पष्टता के लिए स्रोत पीडीएफ पर जाने की सलाह दी जाती है।

लेखकों का तर्क है कि टाइट इनवर्सन मौजूदा इनवर्सन तकनीकों को पुनर्निर्माण और संपादन योग्यता के बीच बेहतर संतुलन बनाने के द्वारा निरंतर रूप से बेहतर प्रदर्शन करता है। मानक विधियां जैसे डीडीआईएम इनवर्सन और रेनोइज़ एक छवि को अच्छी तरह से पुनर्निर्माण कर सकती हैं, लेकिन संपादन लागू होने पर वे अक्सर विस्तृत विवरण को बनाए रखने में संघर्ष करती हैं।

इसके विपरीत, टाइट इनवर्सन छवि सशर्तीकरण का लाभ उठाकर मॉडल के आउटपुट को मूल के करीब से जोड़ता है, जिससे अवांछित विकृतियों को रोका जा सकता है। लेखकों का तर्क है कि जब अन्य दृष्टिकोण पुनर्निर्माण उत्पन्न करते हैं जो सटीक लगते हैं, तो संपादन की शुरुआत अक्सर कलाकृतियों या संरचनात्मक असंगतताओं को जन्म देती है, और टाइट इनवर्सन इन मुद्दों को कम करता है।

अंत में, लेखकों ने मैजिकब्रश बेंचमार्क के खिलाफ टाइट इनवर्सन का मूल्यांकन किया, जिसमें डीडीआईएम इनवर्सन और एलईडीआईटीएस++ का उपयोग किया गया था, जो सीएलआईपी सिम के साथ मापा गया था।

मैजिकब्रश बेंचमार्क के खिलाफ टाइट इनवर्सन की तुलना करने वाले ग्राफ।

लेखकों का निष्कर्ष है:

‘दोनों ग्राफ में छवि संरक्षण और लक्ष्य संपादन के पालन के बीच व्यापार बंद देखा जा सकता है। टाइट इनवर्सन इस व्यापार बंद पर बेहतर नियंत्रण प्रदान करता है, और संपादन के साथ-साथ इनपुट छवि को बेहतर ढंग से संरक्षित करता है।’

‘नोट करें कि 0.3 से अधिक की सीएलआईपी समानता एक छवि और एक पाठ प्रॉम्प्ट के बीच संभावित संरेखण को इंगित करती है।’

निष्कर्ष

हालांकि यह एलडीएम-आधारित छवि संश्लेषण में सबसे कठिन चुनौतियों में से एक में एक ‘ब्रेकथ्रू’ का प्रतिनिधित्व नहीं करता है, टाइट इनवर्सन कई कठिन सहायक दृष्टिकोणों को एक एकल विधि में एकीकृत करता है जो एआई-आधारित छवि संपादन के लिए है।

हालांकि विश्वास और संपादन योग्यता के बीच तनाव इस विधि के तहत नहीं गया है, यह उल्लेखनीय रूप से कम हो गया है, प्रस्तुत परिणामों के अनुसार। चूंकि यह कार्य संबोधित करता है जो अपने स्वयं के शब्दों में संबोधित किया जाने पर अंततः असंभव साबित हो सकता है (निकट भविष्य की प्रणालियों में एलडीएम-आधारित आर्किटेक्चर से परे देखने के बजाय), टाइट इनवर्सन राज्य की एक स्वागत योग्य क्रमिक सुधार का प्रतिनिधित्व करता है। पहली बार शुक्रवार, 28 फरवरी, 2025 को प्रकाशित।