एआई-सहायता प्राप्त वस्तु संपादन गूगल के इमैगिक और रनवे के ‘मिटाना और बदलना’ के साथ

इस सप्ताह दो नए, लेकिन विपरीत एआई-संचालित ग्राफिक्स एल्गोरिदम उपयोगकर्ताओं को फोटो में वस्तुओं को बदलने के लिए नए और प्रभावी तरीके प्रदान कर रहे हैं।

पहला है इमैगिक, गूगल रिसर्च द्वारा, जो इज़राइल के प्रौद्योगिकी संस्थान और वेइज़मैन विज्ञान संस्थान के साथ संबद्ध है। इमैगिक पाठ-शर्त वाले वस्तुओं को सूक्ष्म स्तर पर संपादित करने की पेशकश करता है, जो कि डिफ्यूजन मॉडल के माध्यम से होता है।

जो आप चाहते हैं उसे बदलें और बाकी को छोड़ दें – इमैगिक केवल उन हिस्सों को बदलने का वादा करता है जिन्हें आप बदलना चाहते हैं। स्रोत: https://arxiv.org/pdf/2210.09276.pdf

जिन लोगों ने स्टेबल डिफ्यूजन री-रेंडर में केवल एक तत्व बदलने की कोशिश की है, वे जानते हैं कि प्रत्येक सफल संपादन के लिए, प्रणाली उन पांच चीजों को बदल देगी जिन्हें आप वैसे ही पसंद करते थे। यह एक कमजोरी है जो वर्तमान में स्टेबल डिफ्यूजन और फोटोशॉप के बीच कई प्रतिभाशाली एसडी उत्साही लोगों को इस तरह के ‘अनियंत्रित नुकसान’ को ठीक करने के लिए मजबूर करती है। इस दृष्टिकोण से, इमैगिक की उपलब्धियां उल्लेखनीय लगती हैं।

लेखन के समय, इमैगिक के पास अभी तक एक प्रचार वीडियो भी नहीं है, और गूगल के सावधानी से छवि संश्लेषण टूल्स जारी करने के रवैये को देखते हुए, यह अनिश्चित है कि हमें प्रणाली का परीक्षण करने का मौका मिलेगा या नहीं।

दूसरा प्रस्ताव है रनवे एमएल का अधिक सुलभ मिटाना और बदलना सुविधा, जो उनके विशेष रूप से ऑनलाइन सूट में नई सुविधा है।

रनवे एमएल की मिटाना और बदलना सुविधा, जो पहले से ही एक पूर्वावलोकन में देखी जा चुकी है। स्रोत: https://www.youtube.com/watch?v=41Qb58ZPO60

आइए रनवे के प्रस्ताव पर पहले नज़र डालें।

मिटाना और बदलना

जैसे कि इमैगिक, मिटाना और बदलना केवल स्थिर छवियों के साथ व्यवहार करता है, हालांकि रनवे ने पूर्वावलोकन में इसी तरह की कार्यक्षमता को एक पाठ-से-वीडियो संपादन समाधान में दिखाया है जो अभी तक जारी नहीं किया गया है:

हालांकि कोई भी छवियों पर नए मिटाना और बदलना का परीक्षण कर सकता है, वीडियो संस्करण अभी तक सार्वजनिक रूप से उपलब्ध नहीं है। स्रोत: https://twitter.com/runwayml/status/1568220303808991232

रनवे एमएल ने मिटाना और बदलना के पीछे की तकनीकों के बारे में विवरण जारी नहीं किया है, लेकिन जिस गति से आप एक घरेलू पौधे को रोनाल्ड रीगन के एक समझदार बस्ट में बदल सकते हैं, यह सुझाव देता है कि एक डिफ्यूजन मॉडल जैसे स्टेबल डिफ्यूजन (या बहुत कम संभावना के साथ, एक लाइसेंस प्राप्त डीएलएल-ई 2) मिटाना और बदलना में वस्तु को पुनः सृजन करने वाला इंजन है।

एक घरेलू पौधे को द गिपर के साथ बदलना इतनी तेजी से नहीं है, लेकिन यह बहुत तेजी से है। स्रोत: https://app.runwayml.com/

प्रणाली में कुछ डीएलएल-ई 2 प्रकार की प्रतिबंध हैं – छवियों या पाठ जो मिटाना और बदलना फिल्टर को ट्रिगर करेंगे, जो संभावित खाता निलंबन के बारे में चेतावनी देगा यदि आगे के उल्लंघन होते हैं – वास्तव में ओपनएआई की नीतियों का एक बायलरप्लेट क्लोन डीएलएल-ई 2 के लिए।

परिणामों में से कई में स्टेबल डिफ्यूजन के विशिष्ट खुरदरे किनारे नहीं हैं। रनवे एमएल एसडी में निवेशक और अनुसंधान भागीदार हैं, और यह संभव है कि उन्होंने एक प्रोप्राइटरी मॉडल को प्रशिक्षित किया है जो खुले स्रोत 1.4 चेकपॉइंट वजन से बेहतर है जिसके साथ हम वर्तमान में संघर्ष कर रहे हैं (जैसे कि कई अन्य विकास समूह, शौकीन और पेशेवर समान रूप से स्टेबल डिफ्यूजन मॉडल को प्रशिक्षित या फाइन-ट्यून कर रहे हैं)।

रनवे एमएल के मिटाना और बदलना में एक घरेलू टेबल को ‘बर्फ की टेबल’ में बदलना।

जैसे कि इमैगिक (नीचे देखें), मिटाना और बदलना ‘वस्तु-उन्मुख’ है, जैसे कि आप केवल एक ‘खाली’ हिस्से को मिटा नहीं सकते हैं और इसे अपने पाठ प्रोम्प्ट के परिणाम से पेंट नहीं कर सकते हैं; उस स्थिति में, प्रणाली बस निकटतम स्पष्ट वस्तु को मास्क की रेखा के साथ ट्रेस करेगी (जैसे कि एक दीवार, या एक टेलीविजन), और वहां परिवर्तन लागू करेगी।

जैसा कि नाम से पता चलता है, आप खाली स्थान में वस्तुओं को इंजेक्ट नहीं कर सकते हैं मिटाना और बदलना में। यहां, सिथ लॉर्ड्स में से सबसे प्रसिद्ध को बुलाने का प्रयास एक अजीब वाडर से संबंधित म्यूरल पर टीवी पर समाप्त होता है, जो लगभग वह जगह थी जहां ‘बदलने’ का क्षेत्र खींचा गया था।

यह जानना मुश्किल है कि मिटाना और बदलना कॉपीराइट छवियों के उपयोग के संबंध में बचाव कर रहा है या नहीं (जो अभी भी डीएलएल-ई 2 में बड़े पैमाने पर बाधित हैं, हालांकि विभिन्न सफलता के साथ) या यदि पीछे के रेंडरिंग इंजन में उपयोग किया जाने वाला मॉडल इस तरह की चीजों के लिए अनुकूलित नहीं है।

निकोल किडमैन की म्यूरल ‘निकोल किडमैन’ यह दर्शाता है कि मिटाना और बदलना में उपयोग किया जाने वाला संभावित रूप से डिफ्यूजन-आधारित मॉडल डीएलएल-ई 2 के पूर्व में वास्तविक चेहरों या अश्लील सामग्री को प्रस्तुत करने से इनकार करने की प्रणाली की कमी है। स्रोत चित्र नीचे दाईं ओर है।

यह जानना दिलचस्प होगा कि मिटाना और बदलना उन वस्तुओं को अलग करने के लिए कौन से तरीके अपना रहा है जिन्हें वह बदलने में सक्षम है। संभवतः छवि को सीएलआईपी के कुछ व्युत्पन्न के माध्यम से चलाया जा रहा है, जिसमें विभिन्न वस्तुओं को वस्तु पहचान और बाद के सेमेंटिक खंडीकरण द्वारा अलग किया जा रहा है। इनमें से कोई भी संचालन स्टेबल डिफ्यूजन की एक सामान्य स्थापना में लगभग उतनी अच्छी तरह से काम नहीं करता है।

लेकिन कुछ भी सही नहीं है – कभी-कभी प्रणाली मिटाने और बदलने के बजाय केवल मिटाने लगती है, भले ही (जैसा कि ऊपर दी गई छवि में देखा गया है), अंतर्निहित रेंडरिंग तंत्र निश्चित रूप से जानता है कि पाठ प्रोम्प्ट का क्या अर्थ है। इस मामले में, यह साबित होता है कि एक कॉफी टेबल को एक जेनोमॉर्फ में बदलना असंभव है – बल्कि, टेबल बस गायब हो जाता है।

एक और भयानक ‘व्हर्स वाल्डो’, क्योंकि मिटाना और बदलना एक एलियन का उत्पादन करने में विफल रहता है।

मिटाना और बदलना एक प्रभावी वस्तु प्रतिस्थापन प्रणाली के रूप में दिखाई देता है, जिसमें उत्कृष्ट पेंटिंग है। हालांकि, यह मौजूदा वस्तुओं को संपादित नहीं कर सकता है, लेकिन केवल उन्हें बदल सकता है। वास्तव में मौजूदा छवि सामग्री को बदलने के बिना मौजूदा छवि सामग्री को बदलना एक कठिन काम है, जो कंप्यूटर दृष्टि अनुसंधान क्षेत्र के लंबे संघर्ष से जुड़ा हुआ है विभिन्न लेटेंट स्पेस में विसंगति के लिए।

इमैगिक

यह एक ऐसा कार्य है जिसे इमैगिक संबोधित करता है। नया पत्र कई संपादनों के उदाहरण प्रदान करता है जो व्यक्तिगत फोटो के तत्वों को सफलतापूर्वक संशोधित करते हैं और शेष छवि को छोड़ देते हैं।

इमैगिक में, संशोधित छवियां गहरे प्रतिरूपण पुतली की विशिष्ट खिंचाव, विकृति और ‘ओक्लूजन अनुमान’ से पीड़ित नहीं होती हैं, जो एकल छवि से प्राप्त सीमित प्राथमिकताओं का उपयोग करती है।

प्रणाली तीन-चरण प्रक्रिया का उपयोग करती है – पाठ एम्बेडिंग अनुकूलन; मॉडल फाइन-ट्यूनिंग; और, अंत में, संशोधित छवि का उत्पादन।

इमैगिक लक्ष्य पाठ प्रोम्प्ट को डीकोड करने के लिए प्रारंभिक पाठ एम्बेडिंग प्राप्त करने के लिए एन्कोड करता है, और फिर परिणाम को अनुकूलित करता है ताकि इनपुट छवि प्राप्त की जा सके। इसके बाद, जेनरेटिव मॉडल को स्रोत छवि के लिए फाइन-ट्यून किया जाता है, जिसमें एक श्रृंखला पैरामीटर जोड़े जाते हैं, इससे पहले कि यह अनुरोधित इंटरपोलेशन के अधीन हो।

अप्रत्याशित रूप से, फ्रेमवर्क गूगल के इमेजन पाठ-से-वीडियो आर्किटेक्चर पर आधारित है, हालांकि शोधकर्ता कहते हैं कि प्रणाली के सिद्धांत व्यापक रूप से लेटेंट डिफ्यूजन मॉडल पर लागू होते हैं।

इमेजन एक तीन-टियर आर्किटेक्चर का उपयोग करता है, न कि कंपनी के हाल के पाठ-से-वीडियो सॉफ्टवेयर के लिए उपयोग की जाने वाली सात-टियर सरणी के विपरीत। तीन अलग-अलग मॉड्यूल में 64x64px रिजॉल्यूशन पर एक जेनरेटिव डिफ्यूजन मॉडल शामिल है; 256x256px तक आउटपुट को अपस्केल करने के लिए एक सुपर-रिजॉल्यूशन मॉडल; और 1024×1024 रिजॉल्यूशन तक आउटपुट ले जाने के लिए एक अतिरिक्त सुपर-रिजॉल्यूशन मॉडल।

इमैगिक इस प्रक्रिया के सबसे पहले चरण में हस्तक्षेप करता है, 64px चरण में एक एडम ऑप्टिमाइज़र पर स्थिर शिक्षण दर 0.0001 पर अनुरोधित पाठ एम्बेडिंग को अनुकूलित करता है।

एक मास्टरक्लास डिसेंटैंग्लमेंट: उन अंत-उपयोगकर्ताओं के लिए जिन्होंने एक डिफ्यूजन, जीएन या नेआरएफ मॉडल में एक प्रस्तुत वस्तु का रंग बदलने का प्रयास किया है, यह जानना महत्वपूर्ण है कि इमैगिक ऐसे परिवर्तनों को बिना छवि की सुसंगतता को ‘फाड़े’ किए कर सकता है।

फाइन-ट्यूनिंग तब इमेजन के बेस मॉडल पर होती है, जो 1500 चरणों के लिए प्रति इनपुट छवि की स्थिति में, संशोधित एम्बेडिंग पर होती है। इस बीच, द्वितीयक 64px>256px परत को सशर्त छवि पर समानांतर में अनुकूलित किया जाता है। शोधकर्ता ध्यान देते हैं कि अंतिम 256px>1024px परत के लिए एक समान अनुकूलन का अंतिम परिणामों पर ‘थोड़ा या कोई प्रभाव’ नहीं पड़ता है, और इसलिए उन्होंने इसे लागू नहीं किया है।

पत्र में कहा गया है कि अनुकूलन प्रक्रिया में प्रति छवि लगभग आठ मिनट लगते हैं जुड़वां टीपीयूवी4 चिप्स पर। अंतिम रेंडर डीडीआईएम नमूनाकरण योजना के तहत मूल इमेजन में होता है।

गूगल के ड्रीमबूथ के लिए फाइन-ट्यूनिंग प्रक्रिया के समान, परिणामी एम्बेडिंग का उपयोग स्टाइलाइजेशन के साथ-साथ इमेजन को शक्ति प्रदान करने वाले व्यापक अंतर्निहित डेटाबेस से जानकारी को शामिल करने वाले फोटोरियलिस्टिक संपादन के लिए भी किया जा सकता है (क्योंकि पहली कॉलम में दिखाया गया है, स्रोत छवियों में इन परिवर्तनों को प्रभावित करने के लिए आवश्यक सामग्री नहीं है)।

इमैगिक के माध्यम से लचीले फोटोरियलिस्टिक आंदोलन और संपादन को उत्तेजित किया जा सकता है, जबकि इस प्रक्रिया में प्राप्त व्युत्पन्न और विसंगत कोड का उपयोग स्टाइलाइज्ड आउटपुट के लिए भी किया जा सकता है।

शोधकर्ताओं ने इमैगिक की तुलना पूर्व कार्यों एसडीईडिट से की, जो 2021 में स्टैनफोर्ड विश्वविद्यालय और कार्नेगी मेलन विश्वविद्यालय के बीच एक जीएन-आधारित दृष्टिकोण है; और टेक्स्ट2लाइव, जो वेइज़मैन विज्ञान संस्थान और एनवीडिया के बीच अप्रैल 2022 में सहयोग है।

इमैगिक, एसडीईडिट और टेक्स्ट2लाइव के बीच एक दृश्य तुलना।

यह स्पष्ट है कि पूर्व दृष्टिकोण संघर्ष कर रहे हैं, लेकिन नीचे की पंक्ति में, जिसमें एक बड़ा मुद्रा परिवर्तन शामिल है, पूर्ववर्ती पूरी तरह से विफल हो जाते हैं स्रोत सामग्री को पुनः बनाने के लिए, इमैगिक की तुलना में एक उल्लेखनीय सफलता के साथ।

इमैगिक की संसाधन आवश्यकताएं और प्रति छवि प्रशिक्षण समय, इस तरह के प्रयासों के मानकों द्वारा, जबकि छोटे हैं, स्थानीय छवि संपादन अनुप्रयोगों में इसके समावेश को असंभव बना देते हैं – और यह स्पष्ट नहीं है कि इमैगिक की प्रक्रिया को उपभोक्ता स्तर तक कम किया जा सकता है या नहीं।

जैसा कि यह खड़ा है, इमैगिक एक प्रभावशाली प्रस्ताव है जो एपीआई – एक ऐसा वातावरण है जिसमें गूगल रिसर्च, जो गहरे प्रतिरूपण को सुविधाजनक बनाने के संबंध में आलोचना के प्रति सावधान है, सबसे अधिक सहज महसूस कर सकता है।

पहली बार 18 अक्टूबर 2022 को प्रकाशित।