एआई छवि-संपादन की सटीकता बढ़ाना

हालाँकि एडोब के जुगनू लेटेंट डिफ्यूजन मॉडल (एलडीएम) यकीनन वर्तमान में उपलब्ध सर्वोत्तम में से एक है, लेकिन फ़ोटोशॉप उपयोगकर्ता जिन्होंने इसके जनरेटिव फीचर्स को आजमाया है, उन्होंने देखा होगा कि यह आसानी से सक्षम नहीं है मौजूदा छवियों को संपादित करें - इसके बजाय यह पूरी तरह से के विकल्प उपयोगकर्ता के पाठ संकेत के आधार पर छवि के साथ उपयोगकर्ता का चयनित क्षेत्र (हालांकि फायरफ्लाई परिणामी उत्पन्न अनुभाग को छवि के संदर्भ में एकीकृत करने में माहिर है)।

वर्तमान बीटा संस्करण में, फ़ोटोशॉप कम से कम संदर्भ छवि शामिल करें एक आंशिक छवि संकेत के रूप में, जो एडोब के प्रमुख उत्पाद को उस प्रकार की कार्यक्षमता तक ले जाता है जो स्थिर प्रसार उपयोगकर्ताओं ने दो साल से अधिक समय तक आनंद लिया है, जैसे तीसरे पक्ष के ढांचे के लिए धन्यवाद कंट्रोलनेट:

एडोब फोटोशॉप का वर्तमान बीटा, चयन के अंदर नई सामग्री तैयार करते समय संदर्भ छवियों के उपयोग की अनुमति देता है - हालांकि यह फिलहाल एक हिट-एंड-मिस मामला है।

यह छवि संश्लेषण अनुसंधान में एक खुली समस्या को दर्शाता है - वह कठिनाई जो प्रसार मॉडल को उपयोगकर्ता द्वारा इंगित चयन की पूर्ण पैमाने पर 'पुनःकल्पना' को लागू किए बिना मौजूदा छवियों को संपादित करने में होती है।

यद्यपि यह प्रसार-आधारित इनपेंट उपयोगकर्ता के संकेत का पालन करता है, लेकिन यह मूल छवि को ध्यान में रखे बिना स्रोत विषय-वस्तु को पूरी तरह से नया रूप देता है (नई पीढ़ी को पर्यावरण के साथ मिश्रित करने के अलावा)। स्रोत: https://arxiv.org/pdf/2502.20376

यह समस्या इसलिए होती है क्योंकि LDMs छवियों को उत्पन्न करते हैं पुनरावृत्तीय शोर-निरोधन, जहां प्रक्रिया का प्रत्येक चरण उपयोगकर्ता द्वारा दिए गए टेक्स्ट प्रॉम्प्ट पर निर्भर करता है। टेक्स्ट प्रॉम्प्ट सामग्री को परिवर्तित किया जाता है टोकन एम्बेड करना, और स्टेबल डिफ्यूजन या फ्लक्स जैसे हाइपरस्केल मॉडल के साथ प्रॉम्प्ट से संबंधित सैकड़ों हजारों (या लाखों) निकट-मिलान एम्बेडिंग शामिल हैं, इस प्रक्रिया की गणना की गई है सशर्त वितरण लक्ष्य निर्धारित करना; और उठाया गया प्रत्येक कदम इस 'सशर्त वितरण लक्ष्य' की ओर एक कदम है।

तो यह पाठ से छवि तक का परिदृश्य है - एक ऐसा परिदृश्य जहां उपयोगकर्ता 'सर्वश्रेष्ठ की आशा करता है', क्योंकि यह नहीं कहा जा सकता कि पीढ़ी कैसी होगी।

इसके बजाय, कई लोगों ने मौजूदा छवियों को संपादित करने के लिए एलडीएम की शक्तिशाली उत्पादक क्षमता का उपयोग करने की मांग की है - लेकिन इसके लिए निष्ठा और लचीलेपन के बीच संतुलन बनाना आवश्यक है।

जब किसी छवि को मॉडल के गुप्त स्थान में निम्न विधियों द्वारा प्रक्षेपित किया जाता है डीडीआईएम व्युत्क्रम, लक्ष्य मूल को यथासंभव करीब से पुनर्प्राप्त करना है जबकि अभी भी सार्थक संपादन की अनुमति है। समस्या यह है कि एक छवि को जितना अधिक सटीक रूप से पुनर्निर्मित किया जाता है, मॉडल उतना ही अधिक अपने से जुड़ा रहता है मूल संरचना में बड़े बदलाव करना कठिन हो गया है।

हाल के वर्षों में प्रस्तावित कई अन्य प्रसार-आधारित छवि-संपादन ढाँचों की तरह, रेनॉइस वास्तुकला में छवि के स्वरूप में कोई वास्तविक परिवर्तन करने में कठिनाई होती है, जिसमें केवल बिल्ली के गले के आधार पर एक धनुष टाई का एक औपचारिक संकेत दिखाई देता है।

दूसरी ओर, यदि प्रक्रिया संपादन योग्यता को प्राथमिकता देती है, तो मॉडल मूल पर अपनी पकड़ ढीली कर देता है, जिससे परिवर्तन करना आसान हो जाता है - लेकिन स्रोत छवि के साथ समग्र संगतता की कीमत पर:

मिशन पूरा हो गया - लेकिन अधिकांश AI-आधारित छवि-संपादन ढांचे के लिए यह समायोजन के बजाय एक परिवर्तन है।

चूंकि यह एक ऐसी समस्या है जिसे हल करने के लिए एडोब के पर्याप्त संसाधन भी संघर्ष कर रहे हैं, इसलिए हम तर्कसंगत रूप से यह मान सकते हैं कि चुनौती उल्लेखनीय है, और यदि कोई आसान समाधान है तो वह भी संभव नहीं है।

तंग उलटा

इसलिए इस सप्ताह जारी किए गए एक नए पेपर में दिए गए उदाहरणों ने मेरा ध्यान आकर्षित किया, क्योंकि यह कार्य इस क्षेत्र में वर्तमान अत्याधुनिक तकनीक पर एक सार्थक और उल्लेखनीय सुधार प्रस्तुत करता है, जो एक मॉडल के अव्यक्त स्थान में प्रक्षेपित छवियों पर सूक्ष्म और परिष्कृत संपादन लागू करने में सक्षम साबित होता है - बिना संपादन को महत्वहीन बनाए या स्रोत छवि में मूल सामग्री को प्रभावित किए:

विद्यमान व्युत्क्रमण विधियों पर टाइट व्युत्क्रमण लागू करने से, स्रोत चयन पर अधिक सूक्ष्म तरीके से विचार किया जाता है, तथा रूपांतरण मूल सामग्री को अधिलेखित करने के बजाय उसके अनुरूप होता है।

एलडीएम के शौकीन और अभ्यासी इस तरह के परिणाम को पहचान सकते हैं, क्योंकि इसका अधिकांश हिस्सा कंट्रोलनेट और जैसे बाहरी प्रणालियों का उपयोग करके जटिल कार्यप्रवाह में बनाया जा सकता है। आईपी-एडाप्टर.

वास्तव में नई विधि - जिसे डब किया गया है तंग उलटा - वास्तव में मानव चित्रण के लिए समर्पित चेहरा-आधारित मॉडल के साथ-साथ आईपी-एडेप्टर का लाभ उठाता है।

मूल 2023 आईपी-एडेप्टर पेपर से, स्रोत सामग्री में उपयुक्त संपादन तैयार करने के उदाहरण। स्रोत: https://arxiv.org/pdf/2308.06721

टाइट इनवर्सन की महत्वपूर्ण उपलब्धि यह है कि इसमें जटिल तकनीकों को एकल ड्रॉप-इन प्लग-इन मोडैलिटी में प्रक्रियाबद्ध किया गया है, जिसे मौजूदा प्रणालियों पर लागू किया जा सकता है, जिसमें कई सर्वाधिक लोकप्रिय एलडीएम वितरण शामिल हैं।

स्वाभाविक रूप से, इसका अर्थ यह है कि टाइट इनवर्सन (TI), अपने द्वारा उपयोग किए जाने वाले सहायक प्रणालियों की तरह, केवल सटीक पाठ संकेतों पर निर्भर रहने के बजाय, अपने स्वयं के संपादित संस्करण के लिए कंडीशनिंग कारक के रूप में स्रोत छवि का उपयोग करता है:

स्रोत सामग्री पर सही मायने में मिश्रित संपादन लागू करने की टाइट इनवर्जन की क्षमता के अन्य उदाहरण।

हालांकि लेखकों ने स्वीकार किया है कि उनका दृष्टिकोण प्रसार-आधारित छवि संपादन तकनीकों में निष्ठा और संपादन योग्यता के बीच पारंपरिक और चल रहे तनाव से मुक्त नहीं है, फिर भी वे मौजूदा प्रणालियों में TI को इंजेक्ट करने पर, आधारभूत प्रदर्शन की तुलना में, अत्याधुनिक परिणामों की रिपोर्ट करते हैं।

RSI नया काम शीर्षक है टाइट इनवर्जन: वास्तविक छवि संपादन के लिए छवि-कंडीशन्ड इनवर्जन, और यह रिपोर्ट तेल अवीव विश्वविद्यालय और स्नैप रिसर्च के पांच शोधकर्ताओं से प्राप्त हुई है।

विधि

आरंभ में एक बड़े भाषा मॉडल (LLM) का उपयोग विभिन्न पाठ संकेतों का एक सेट उत्पन्न करने के लिए किया जाता है जिससे एक छवि उत्पन्न होती है। फिर प्रत्येक छवि पर उपर्युक्त DDIM व्युत्क्रम लागू किया जाता है तीन पाठ शर्तों के साथछवि उत्पन्न करने के लिए प्रयुक्त पाठ संकेत; उसका संक्षिप्त संस्करण; तथा एक शून्य (रिक्त) संकेत।

इन प्रक्रियाओं से उलटे शोर के साथ, छवियों को फिर से उसी स्थिति के साथ पुनर्जीवित किया जाता है, और बिना वर्गीकरण-मुक्त मार्गदर्शन (सीएफजी)

विभिन्न मैट्रिक्स में अलग-अलग प्रॉम्प्ट सेटिंग्स के साथ DDIM व्युत्क्रम स्कोर।

जैसा कि हम ऊपर दिए गए ग्राफ से देख सकते हैं, टेक्स्ट की लंबाई बढ़ने के साथ विभिन्न मेट्रिक्स में स्कोर में सुधार होता है। उपयोग किए गए मेट्रिक्स थे पीक सिग्नल-टू-शोर अनुपात (पीएसएनआर); L2 दूरी; संरचनात्मक समानता सूचकांक (एसएसआईएम); और सीखी गई अवधारणात्मक छवि पैच समानता (एलपीआईपीएस)

छवि-सचेत

प्रभावी रूप से टाइट इनवर्जन, होस्ट डिफ्यूजन मॉडल द्वारा वास्तविक चित्रों को संपादित करने के तरीके में परिवर्तन लाता है, तथा केवल पाठ पर निर्भर रहने के बजाय, इनवर्जन प्रक्रिया को चित्र पर ही आधारित करता है।

आम तौर पर, किसी छवि को प्रसार मॉडल के शोर स्थान में बदलने के लिए शुरुआती शोर का अनुमान लगाना आवश्यक होता है, जो शोर कम होने पर इनपुट को फिर से बनाता है। मानक विधियाँ इस प्रक्रिया को निर्देशित करने के लिए एक टेक्स्ट प्रॉम्प्ट का उपयोग करती हैं; लेकिन एक अपूर्ण प्रॉम्प्ट त्रुटियों, विवरणों को खोने या संरचनाओं को बदलने का कारण बन सकता है।

इसके बजाय टाइट इनवर्सन मॉडल में दृश्य जानकारी डालने के लिए आईपी एडाप्टर का उपयोग करता है, जिससे यह अधिक सटीकता के साथ छवि का पुनर्निर्माण करता है, स्रोत छवियों को कंडीशनिंग टोकन में परिवर्तित करता है, और उन्हें इनवर्सन पाइपलाइन में प्रक्षेपित करता है।

ये पैरामीटर संपादन योग्य हैं: स्रोत छवि के प्रभाव को बढ़ाने से पुनर्निर्माण लगभग पूर्ण हो जाता है, जबकि इसे कम करने से अधिक रचनात्मक परिवर्तन संभव हो जाते हैं। यह टाइट इनवर्जन को सूक्ष्म संशोधनों, जैसे शर्ट का रंग बदलना, या अधिक महत्वपूर्ण संपादन, जैसे वस्तुओं को बदलना, दोनों के लिए उपयोगी बनाता है - अन्य इनवर्जन विधियों के सामान्य दुष्प्रभावों के बिना, जैसे कि बारीक विवरणों का नुकसान या पृष्ठभूमि सामग्री में अप्रत्याशित विचलन।

लेखक कहते हैं:

'हम देखते हैं कि टाइट इनवर्जन को पिछली इनवर्जन विधियों (जैसे, एडिट फ्रेंडली डीडीपीएम, रीनॉइज़) के साथ आसानी से एकीकृत किया जा सकता है, [आईपी एडाप्टर परिवर्तित मॉडल के लिए मूल प्रसार कोर को स्विच करके], [और] टाइट इनवर्जन लगातार पुनर्निर्माण और संपादन क्षमता दोनों के संदर्भ में ऐसी विधियों में सुधार करता है।'

डेटा और परीक्षण

शोधकर्ताओं ने वास्तविक दुनिया के स्रोत चित्रों को पुनः निर्मित करने और संपादित करने की इसकी क्षमता के आधार पर TI का मूल्यांकन किया। स्थिर प्रसार एक्सएल जैसा कि नीचे बताया गया है, DDIM अनुसूचक के साथ मूल स्थिर प्रसार कागज; और सभी परीक्षणों में 50 के डिफ़ॉल्ट मार्गदर्शन पैमाने पर 7.5 शोर-मुक्ति चरणों का उपयोग किया गया।

छवि कंडीशनिंग के लिए, आईपी-एडाप्टर-प्लस एसडीएक्सएल विट-एच इस्तेमाल किया गया। कुछ-चरणीय परीक्षणों के लिए, शोधकर्ताओं ने उपयोग किया एसडीएक्सएल-टर्बो यूलर अनुसूचक के साथ, और इसके साथ प्रयोग भी किए फ्लक्स.1-देव, बाद के मामले में मॉडल को कंडीशनिंग करना PuLID-फ्लक्स, का उपयोग करते हुए आरएफ-उलटा 28 कदम पर.

PulID का उपयोग केवल मानवीय चेहरों वाले मामलों में किया गया था, क्योंकि यह वह डोमेन है जिसे संबोधित करने के लिए PulID को प्रशिक्षित किया गया था - और जबकि यह उल्लेखनीय है कि इस संभावित प्रॉम्प्ट प्रकार के लिए एक विशेष उप-प्रणाली का उपयोग किया जाता है, मानवीय चेहरे उत्पन्न करने में हमारी अत्यधिक रुचि यह बताती है कि स्थिर प्रसार जैसे आधार मॉडल के व्यापक भार पर पूरी तरह से निर्भर रहना उन मानकों के लिए पर्याप्त नहीं हो सकता है जिनकी हम इस विशेष कार्य के लिए मांग करते हैं।

गुणात्मक और मात्रात्मक मूल्यांकन के लिए पुनर्निर्माण परीक्षण किए गए। नीचे दी गई छवि में, हम DDIM व्युत्क्रम के लिए गुणात्मक उदाहरण देखते हैं:

DDIM व्युत्क्रमण के लिए गुणात्मक परिणाम। प्रत्येक पंक्ति अपने पुनर्निर्मित संस्करणों के साथ एक अत्यधिक विस्तृत छवि दिखाती है, जिसमें प्रत्येक चरण व्युत्क्रमण और शोर-मुक्ति के दौरान उत्तरोत्तर अधिक सटीक स्थितियों का उपयोग करता है। जैसे-जैसे कंडीशनिंग अधिक सटीक होती जाती है, पुनर्निर्माण की गुणवत्ता में सुधार होता जाता है। सबसे दाहिना स्तंभ सर्वोत्तम परिणाम प्रदर्शित करता है, जहाँ मूल छवि को ही स्थिति के रूप में उपयोग किया जाता है, जिससे उच्चतम निष्ठा प्राप्त होती है। किसी भी चरण में CFG का उपयोग नहीं किया गया। बेहतर रिज़ॉल्यूशन और विवरण के लिए कृपया स्रोत दस्तावेज़ देखें।

पेपर बताता है:

'ये उदाहरण इस बात पर प्रकाश डालते हैं कि किसी छवि पर व्युत्क्रम प्रक्रिया को अनुकूलित करने से अत्यधिक विस्तृत क्षेत्रों में पुनर्निर्माण में महत्वपूर्ण सुधार होता है।

'गौरतलब है कि [नीचे दी गई तस्वीर] के तीसरे उदाहरण में, हमारी विधि दाएँ मुक्केबाज़ की पीठ पर टैटू को सफलतापूर्वक पुनः निर्मित करती है। इसके अलावा, मुक्केबाज़ के पैर की मुद्रा ज़्यादा सटीक रूप से संरक्षित रहती है, और पैर पर टैटू दिखाई देने लगता है।'

डीडीआईएम व्युत्क्रमण के लिए आगे के गुणात्मक परिणाम। वर्णनात्मक स्थितियाँ डीडीआईएम व्युत्क्रमण को बेहतर बनाती हैं, जिसमें छवि कंडीशनिंग पाठ से बेहतर प्रदर्शन करती है, विशेष रूप से जटिल छवियों पर।

लेखकों ने मौजूदा प्रणालियों के लिए ड्रॉप-इन मॉड्यूल के रूप में टाइट इनवर्सन का भी परीक्षण किया, तथा संशोधित संस्करणों को उनके आधारभूत प्रदर्शन के आधार पर परखा।

परीक्षण की गई तीन प्रणालियाँ उपरोक्त DDIM इनवर्जन और RF-इनवर्जन थीं; और रीनॉइज़, जो यहाँ चर्चा के तहत पेपर के साथ कुछ हद तक लेखकीय समानता रखता है। चूँकि DDIM परिणामों में 100% पुनर्निर्माण प्राप्त करने में कोई कठिनाई नहीं है, इसलिए शोधकर्ताओं ने केवल संपादन योग्यता पर ध्यान केंद्रित किया।

(गुणात्मक परिणाम छवियों को इस तरह से प्रारूपित किया गया है कि उन्हें यहां पुन: प्रस्तुत करना कठिन है, इसलिए हम पाठक को पूर्ण कवरेज और बेहतर रिज़ॉल्यूशन के लिए स्रोत पीडीएफ का संदर्भ देते हैं, हालांकि कुछ चयन नीचे दिए गए हैं)

बाईं ओर, SDXL के साथ टाइट इनवर्जन के लिए गुणात्मक पुनर्निर्माण परिणाम। दाईं ओर, फ्लक्स के साथ पुनर्निर्माण। प्रकाशित कार्य में इन परिणामों का लेआउट यहाँ पुनरुत्पादन करना कठिन बनाता है, इसलिए प्राप्त अंतरों की वास्तविक छाप के लिए कृपया स्रोत पीडीएफ देखें।

यहाँ लेखक की टिप्पणी है:

जैसा कि दिखाया गया है, मौजूदा विधियों के साथ टाइट इनवर्जन को एकीकृत करने से पुनर्निर्माण में लगातार सुधार होता है। [उदाहरण के लिए,] हमारी विधि सबसे बाईं ओर के उदाहरण में रेलिंग और सबसे दाईं ओर के उदाहरण [पेपर के चित्र 5 में] में नीली कमीज़ वाले व्यक्ति का सटीक पुनर्निर्माण करती है।'

लेखकों ने इस प्रणाली का मात्रात्मक परीक्षण भी किया। पिछले कार्यों के अनुरूप, उन्होंने सत्यापन सेट of MS-कोको, और ध्यान दें कि परिणाम (नीचे चित्रित) ने सभी तरीकों के लिए सभी मैट्रिक्स में पुनर्निर्माण में सुधार किया।

टाइट इनवर्जन के साथ और बिना प्रणालियों के प्रदर्शन के लिए मेट्रिक्स की तुलना करना।

इसके बाद, लेखकों ने सिस्टम की क्षमता का परीक्षण किया संपादित तस्वीरें, इसे पहले के दृष्टिकोणों के आधारभूत संस्करणों के विरुद्ध खड़ा करती हैं प्रॉम्प्ट2प्रॉम्प्ट; अनुकूल DDPM संपादित करें; एलईडी-आईटीएस++; और आरएफ-उलटा.

नीचे SDXL और फ्लक्स के लिए पेपर के गुणात्मक परिणामों का चयन दिखाया गया है (और हम पाठक को आगे के उदाहरणों के लिए मूल पेपर के अपेक्षाकृत संकुचित लेआउट का संदर्भ देते हैं)।

विस्तृत गुणात्मक परिणामों से चयन (काफी भ्रामक रूप से) पूरे पेपर में फैले हुए हैं। हम पाठक को बेहतर रिज़ॉल्यूशन और सार्थक स्पष्टता के लिए स्रोत पीडीएफ का संदर्भ देते हैं।

लेखकों का तर्क है कि टाइट इनवर्जन पुनर्निर्माण और संपादन क्षमता के बीच बेहतर संतुलन बनाकर मौजूदा इनवर्जन तकनीकों से लगातार बेहतर प्रदर्शन करता है। डीडीआईएम इनवर्जन और रीनॉइज़ जैसे मानक तरीके एक छवि को अच्छी तरह से पुनर्प्राप्त कर सकते हैं, पेपर में कहा गया है कि संपादन लागू होने पर वे अक्सर बारीक विवरणों को संरक्षित करने के लिए संघर्ष करते हैं।

इसके विपरीत, टाइट इनवर्जन मॉडल के आउटपुट को मूल के अधिक करीब लाने के लिए इमेज कंडीशनिंग का लाभ उठाता है, जिससे अवांछित विकृतियों को रोका जा सकता है। लेखकों का तर्क है कि जब प्रतिस्पर्धी दृष्टिकोण पुनर्निर्माण का उत्पादन करते हैं, तब भी दिखाई देते हैं सटीक होने के बावजूद, संपादनों के कारण अक्सर कलाकृतियाँ या संरचनात्मक असंगतियाँ उत्पन्न हो जाती हैं, तथा टाइट इनवर्सन इन समस्याओं को कम करता है।

अंत में, टाइट इनवर्जन का मूल्यांकन करके मात्रात्मक परिणाम प्राप्त किए गए मैजिकब्रश बेंचमार्क, डीडीआईएम इनवर्जन और एलईडीआईटीएस++ का उपयोग करके मापा गया क्लिप सिम.

मैजिकब्रश बेंचमार्क के विरुद्ध टाइट इनवर्सन की मात्रात्मक तुलना।

लेखकों का निष्कर्ष है:

'दोनों ग्राफ़ में छवि संरक्षण और लक्ष्य संपादन के पालन के बीच व्यापार-बंद स्पष्ट रूप से [देखा गया] है। टाइट इनवर्जन इस व्यापार-बंद पर बेहतर नियंत्रण प्रदान करता है, और संपादन के साथ संरेखित करते हुए इनपुट छवि को बेहतर ढंग से संरक्षित करता है [प्रॉम्प्ट]।

'ध्यान दें, कि किसी छवि और पाठ प्रॉम्प्ट के बीच 0.3 से अधिक की CLIP समानता, छवि और प्रॉम्प्ट के बीच संभावित संरेखण को इंगित करती है।'

निष्कर्ष

यद्यपि यह एलडीएम-आधारित छवि संश्लेषण में सबसे कठिन चुनौतियों में से एक में 'सफलता' का प्रतिनिधित्व नहीं करता है, टाइट इनवर्जन कई बोझिल सहायक दृष्टिकोणों को एआई-आधारित छवि संपादन की एकीकृत विधि में समेकित करता है।

हालाँकि इस पद्धति के तहत संपादन योग्यता और निष्ठा के बीच तनाव समाप्त नहीं हुआ है, लेकिन प्रस्तुत परिणामों के अनुसार यह उल्लेखनीय रूप से कम हो गया है। यह देखते हुए कि इस कार्य द्वारा संबोधित केंद्रीय चुनौती अंततः कठिन साबित हो सकती है यदि इसे अपने स्वयं के संदर्भ में निपटाया जाए (भविष्य की प्रणालियों में एलडीएम-आधारित आर्किटेक्चर से परे देखने के बजाय), टाइट इनवर्जन अत्याधुनिक में एक स्वागत योग्य वृद्धिशील सुधार का प्रतिनिधित्व करता है।

पहली बार प्रकाशित शुक्रवार, 28 फरवरी, 2025