गॉसियन स्प्लैटिंग के साथ इमेज एडिटिंग

पोलैंड और यूके के शोधकर्ताओं के बीच एक नए सहयोग में गॉसियन स्प्लैटिंग का उपयोग करके छवियों को संपादित करने की संभावना का प्रस्ताव किया गया है, जिसमें एक छवि के एक चयनित हिस्से को अस्थायी रूप से 3डी स्पेस में व्याख्या की जाती है, जिससे उपयोगकर्ता 3डी प्रतिनिधित्व को संशोधित और मैनिपुलेट कर सकता है, और फिर परिवर्तन को लागू कर सकता है।

बिल्ली के सिर की दिशा बदलने के लिए, संबंधित अनुभाग को गॉसियन स्प्लैटिंग के माध्यम से 3डी स्पेस में ले जाया जाता है, और फिर उपयोगकर्ता द्वारा मैनिपुलेट किया जाता है। संशोधन को तब लागू किया जाता है। यह प्रक्रिया एडोब सॉफ्टवेयर में विभिन्न मोडल तकनीकों के समान है, जो इंटरफ़ेस को तब तक लॉक करती है जब तक कि एक वर्तमान जटिल प्रक्रिया पूरी नहीं हो जाती। स्रोत: https://github.com/waczjoan/MiraGe/

चूंकि गॉसियन स्प्लैट तत्व अस्थायी रूप से त्रिभुजों के एक जाल के रूप में प्रस्तुत किया जाता है, और क्षणिक रूप से ‘सीजीआई स्टेट’ में प्रवेश करता है, एक एकीकृत भौतिक इंजन प्राकृतिक आंदोलन की व्याख्या कर सकता है, या तो एक वस्तु की स्थिर स्थिति को बदलने के लिए, या एक एनिमेशन उत्पन्न करने के लिए।

नया मिरागे सिस्टम में एक एकीकृत भौतिक इंजन प्राकृतिक आंदोलन की व्याख्या कर सकता है, या तो एनिमेशन के लिए या छवि में स्थिर परिवर्तन के लिए।

इस प्रक्रिया में कोई उत्पन्न एआई शामिल नहीं है, जिसका अर्थ है कि कोई लेटेंट डिफ्यूजन मॉडल (एलडीएम) शामिल नहीं हैं, एडोब के फायरफ्लाई सिस्टम के विपरीत, जो एडोब स्टॉक (पूर्व में फोटोलिया) पर प्रशिक्षित है।

सिस्टम – जिसे मिरागे कहा जाता है – 3डी स्पेस में चयन की व्याख्या करता है और ज्यामिति का अनुमान लगाता है एक दर्पण छवि बनाकर और 3डी निर्देशांक का अनुमान लगाकर जो एक स्प्लैट में निहित किया जा सकता है, जो तब छवि को एक जाल में व्याख्या करता है।

प्ले करने के लिए क्लिक करें।मिरागे सिस्टम द्वारा या तो मैनुअल रूप से उपयोगकर्ता द्वारा संशोधित किए गए तत्वों के आगे के उदाहरण, या भौतिक-आधारित विकृति के अधीन।

लेखकों ने मिरागे सिस्टम की तुलना पूर्व दृष्टिकोणों से की और पाया कि यह लक्ष्य कार्य में राज्य-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।

zBrush मॉडलिंग सिस्टम के उपयोगकर्ता इस प्रक्रिया से परिचित होंगे, क्योंकि zBrush उपयोगकर्ता को मूल रूप से 3डी मॉडल को ‘फ्लैट’ करने और 2डी विवरण जोड़ने की अनुमति देता है, जबकि अंतर्निहित जाल को संरक्षित करता है, और नए विवरण को इसमें व्याख्या करता है – एक ‘फ्रीज’ जो मिरागे विधि के विपरीत है, जो फायरफ्लाई या अन्य फोटोशॉप-शैली के मोडल मैनिपुलेशन की तरह काम करता है, जैसे कि वार्पिंग या खुरदरे 3डी व्याख्या।

पैरामीटरीकृत गॉसियन स्प्लैट मिरागे को 2डी छवि के चयनित क्षेत्रों के उच्च-गुणवत्ता वाले पुनर्निर्माण को बनाने और अस्थायी रूप से 3डी चयन पर नरम-शरीर भौतिकी को लागू करने की अनुमति देते हैं।

लेख में कहा गया है:

‘[हम] एक मॉडल पेश करते हैं जो 2डी छवियों को मानव व्याख्या की नकल करके एनकोड करता है। विशेष रूप से, हमारा मॉडल 2डी छवि को एक मानव की तरह देखता है जैसे कि एक फोटो या एक शीट कागज़, इसे 3डी स्पेस में एक समतल वस्तु के रूप में मानता है।

‘यह दृष्टिकोण सीधे और लचीले छवि संपादन की अनुमति देता है, मानव धारणा की बारीकियों को पकड़ते हुए जटिल परिवर्तनों को सक्षम बनाता है।’

नया पत्र मिरागे: गॉसियन स्प्लैटिंग का उपयोग करके संपादन योग्य 2डी छवियां है, और यह चार लेखकों द्वारा क्राको के जागेलोनियन विश्वविद्यालय और कैम्ब्रिज विश्वविद्यालय से है। सिस्टम के लिए पूरा कोड गिटहब पर जारी किया गया है।

आइए देखें कि शोधकर्ताओं ने इस चुनौती का सामना कैसे किया।

विधि

मिरागे दृष्टिकोण गॉसियन मेश स्प्लैटिंग (गेम्स) पैरामीटरीकरण का उपयोग करता है, जो एक तकनीक है जिसे नए पत्र के दो लेखकों सहित एक समूह द्वारा विकसित किया गया है। गेम्स गॉसियन स्प्लैट को पारंपरिक सीजीआई जाल के रूप में व्याख्या करने और मानक विकृति और संशोधन तकनीकों के अधीन होने की अनुमति देता है जो सीजीआई समुदाय ने पिछले कुछ दशकों में विकसित किया है।

मिरागे ‘फ्लैट’ गॉसियन की व्याख्या करता है, 2डी स्पेस में और गेम्स का उपयोग करके जीएसप्लैट-सक्षम 3डी स्पेस में सामग्री को ‘खींच’ लेता है, अस्थायी रूप से।

प्रत्येक फ्लैट गॉसियन को त्रिभुजों के एक बादल में तीन बिंदुओं के रूप में प्रस्तुत किया जाता है, जिसे ‘त्रिभुज सूप’ कहा जाता है, जो अनुमानित छवि को मैनिपुलेट करने के लिए खोलता है। स्रोत: https://arxiv.org/pdf/2410.01521

हम उपरोक्त छवि के निचले बाएं कोने में देख सकते हैं कि मिरागे चयनित छवि क्षेत्र की एक ‘दर्पण’ छवि बनाता है।

लेखकों का कहना है:

‘[हम] एक नए दृष्टिकोण का उपयोग करते हैं जिसमें दो विपरीत कैमरे शामिल हैं जो वाई अक्ष के साथ स्थित हैं, मूल के चारों ओर सममित रूप से संरेखित और एक दूसरे की ओर निर्देशित हैं। पहला कैमरा मूल छवि को पुनर्निर्माण के लिए कार्य करता है, जबकि दूसरा दर्पण प्रतिबिंब को मॉडल करता है।

‘फोटोग्राफ को इस प्रकार एक पारदर्शी ट्रेसिंग पेपर शीट के रूप में概念ualized किया जाता है, जो 3डी स्थानिक संदर्भ में निहित है। प्रतिबिंब को प्रभावी ढंग से [छवि] को क्षैतिज रूप से फ्लिप करके प्रस्तुत किया जा सकता है। यह दर्पण-कैमरा सेटअप उत्पन्न प्रतिबिंबों की विश्वसनीयता में सुधार करता है, दृश्य तत्वों को सटीक रूप से पकड़ने के लिए एक मजबूत समाधान प्रदान करता है।’

लेख में कहा गया है कि मिरागे बाहरी भौतिक इंजनों का उपयोग कर सकता है, जैसे कि ब्लेंडर में उपलब्ध है, या टैची_एलिमेंट्स में।

डेटा और परीक्षण

मिरागे के लिए छवि गुणवत्ता मूल्यांकन में परीक्षणों के लिए, सिग्नल-टू-नॉइज़ रेशियो (एसएनआर) और एमएस-एसआईएम मेट्रिक्स का उपयोग किया गया था।

परीक्षणों में उपयोग किए गए डेटासेट कोडक लॉसलेस ट्रू कलर इमेज सूट और डीआईवी2के वैलिडेशन सेट थे। इन डेटासेट के रेजोल्यूशन ने गॉसियन इमेज के साथ तुलना के लिए सबसे करीबी पिछले काम के साथ तुलना की। अन्य प्रतिद्वंद्वी फ्रेमवर्क जो परीक्षण किए गए थे वे सिरेन, वायर, एनवीडिया के इंस्टेंट न्यूरल ग्राफिक्स प्रिमिटिव्स (आई-एनजीपी), और न्यूरबीएफ थे।

प्रयोग एक एनवीडिया जीफोर्स आरटीएक्स 4070 लैपटॉप और एक एनवीडिया आरटीएक्स 2080 पर हुए।

मिरागे नए पत्र में चित्रित परिणामों के अनुसार चुने गए पिछले फ्रेमवर्क के खिलाफ राज्य-ऑफ-द-आर्ट परिणाम प्रदान करता है।

इन परिणामों में, लेखकों का कहना है:

‘हम देखते हैं कि हमारा प्रस्ताव दोनों डेटासेट पर पिछले समाधानों से बेहतर प्रदर्शन करता है। दोनों मेट्रिक्स द्वारा मापी गई गुणवत्ता में सभी पिछले दृष्टिकोणों की तुलना में महत्वपूर्ण सुधार दिखाई देता है।’

निष्कर्ष

मिरागे का 2डी गॉसियन स्प्लैटिंग का अनुकूलन स्पष्ट रूप से एक नए और संभावित रूप से दिलचस्प विकल्प के रूप में उभर रहा है जो छवि संपादन में एक महत्वपूर्ण भूमिका निभा सकता है।

हालांकि कई उत्पन्न मॉडल हैं जो छवियों में छोटे परिवर्तन कर सकते हैं, एलडीएम सेमेंटिक और अक्सर ‘अति-कल्पनाशील’ दृष्टिकोण के कारण पाठ-आधारित उपयोगकर्ता अनुरोध के लिए सीमित हैं।

इसलिए, एक छवि के एक हिस्से को अस्थायी रूप से 3डी स्पेस में खींचने, मैनिपुलेट करने और फिर से छवि में बदलने की क्षमता, केवल स्रोत छवि का उपयोग करके, गॉसियन स्प्लैटिंग के लिए एक कार्य के रूप में लगता है जो भविष्य में उपयुक्त हो सकता है।

* लेख में कुछ भ्रम है, जिसमें यह ‘अमोर्फस-मिराज’ को सबसे प्रभावी और सक्षम विधि के रूप में उद्धृत करता है, इसकी अवांछित गॉसियन (कलाकृतियों) की प्रवृत्ति के बावजूद, जबकि यह तर्क देता है कि ‘ग्राफाइट-मिराज’ अधिक लचीला है। यह लगता है कि अमोर्फस-मिराज सबसे अच्छा विवरण प्राप्त करता है, और ग्राफाइट-मिराज सबसे अच्छी लचीलापन प्राप्त करता है। चूंकि दोनों विधियां पत्र में प्रस्तुत की जाती हैं, उनकी विविध ताकत और कमजोरियों के साथ, लेखकों की पसंद, यदि कोई है, इस समय स्पष्ट नहीं लगती है।

पहली बार गुरुवार, 3 अक्टूबर, 2024 को प्रकाशित