डिफ्यूजन मॉडल्स की सीमित समझ को दर्पण और प्रतिबिंबों के साथ ठीक करना

जब से जनरेटिव एआई ने सार्वजनिक रुचि प्राप्त की है, कंप्यूटर विजन अनुसंधान क्षेत्र ने भौतिक नियमों को समझने और प्रतिकृति करने में सक्षम एआई मॉडल विकसित करने में गहरी रुचि ली है; हालांकि, मशीन लर्निंग सिस्टम को गुरुत्वाकर्षण और तरल गतिविधि जैसी घटनाओं को सिम्युलेट करने की चुनौती एक महत्वपूर्ण शोध प्रयास रहा है कम से कम पिछले पांच वर्षों के लिए।

चूंकि लेटेंट डिफ्यूजन मॉडल्स (एलडीएम) 2022 में जनरेटिव एआई दृश्य पर हावी हो गए, शोधकर्ताओं ने बढ़ती हुई एलडीएम आर्किटेक्चर की सीमित क्षमता पर ध्यान केंद्रित किया है भौतिक घटनाओं को समझने और पुन: उत्पन्न करने के लिए। अब, यह मुद्दा ओपनएआई के जनरेटिव वीडियो मॉडल सोरा के विकास और (संभावित रूप से) अधिक महत्वपूर्ण हाल के खुले स्रोत वीडियो मॉडल हुन्युआन वीडियो और वान 2.1 के जारी होने के साथ अतिरिक्त प्रमुखता प्राप्त की है।

बुरी तरह से प्रतिबिंबित करना

भौतिकी की समझ में सुधार के लिए अधिकांश शोध एलडीएम पर केंद्रित है क्षेत्रों में जैसे कि गैट सिम्युलेशन, पार्टिकल फिजिक्स, और न्यूटोनियन मोशन के अन्य पहलुओं। इन क्षेत्रों ने ध्यान आकर्षित किया है क्योंकि बुनियादी भौतिक व्यवहार में असंगतियां तुरंत एआई-जनरेटेड वीडियो की वास्तविकता को कमजोर कर देंगी।

हालांकि, एक छोटा लेकिन बढ़ता हुआ शोध ध्यान केंद्रित करता है एलडीएम की एक बड़ी कमजोरियों में से एक – इसकी सापेक्ष असमर्थता सटीक प्रतिबिंब उत्पन्न करने के लिए।

जनवरी 2025 के पेपर ‘रिफ्लेक्टिंग रियलिटी: डिफ्यूजन मॉडल्स को वफादार मिरर रिफ्लेक्शन्स उत्पन्न करने में सक्षम बनाना’ से ‘रिफ्लेक्शन फेल्योर’ के उदाहरण बनाम शोधकर्ताओं के अपने दृष्टिकोण। स्रोत: https://arxiv.org/pdf/2409.14677

यह मुद्दा सीजीआई युग के दौरान भी एक चुनौती थी और वीडियो गेमिंग के क्षेत्र में भी बना हुआ है, जहां रे-ट्रेसिंग एल्गोरिदम सतहों के साथ बातचीत करने वाले प्रकाश के मार्ग का अनुकरण करते हैं। रे-ट्रेसिंग वास्तविक प्रतिबिंब, अपवर्तन, और छाया बनाने के लिए वस्तुओं से प्रकाश किरणों के उछाल और पारित होने का गणना करता है।

हालांकि, प्रत्येक अतिरिक्त उछाल कंप्यूटेशनल लागत में बहुत वृद्धि करता है, इसलिए वास्तविक समय अनुप्रयोगों को प्रतिक्रिया समय के खिलाफ सटीकता के साथ समझौता करना होगा bằng प्रकाश किरणों के उछाल की संख्या को सीमित करके।

एक पारंपरिक 3डी-आधारित (अर्थात सीजीआई) दृश्य में एक आभासी गणना किरण का प्रतिनिधित्व, जो 1960 के दशक में विकसित प्रौद्योगिकियों और सिद्धांतों का उपयोग करता है, और जो 1982-93 (ट्रॉन [1982] और जुरासिक पार्क [1993] के बीच की अवधि) के बीच पूर्णता तक पहुंचा। स्रोत: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

उदाहरण के लिए, एक क्रोम टीपॉट को एक दर्पण के सामने चित्रित करने में एक रे-ट्रेसिंग प्रक्रिया शामिल हो सकती है जहां प्रकाश किरणें बार-बार प्रतिबिंबित सतहों के बीच उछालती हैं, जिससे लगभग एक अंतहीन लूप बनता है जिसमें अंतिम छवि के लिए बहुत कम व्यावहारिक लाभ होता है। अधिकांश मामलों में, दो से तीन उछाल की गहराई पहले से ही दर्शक द्वारा महसूस की जा सकने वाली सीमा से अधिक है। एक एकल उछाल एक काले दर्पण का परिणाम देगा, क्योंकि प्रकाश को कम से कम दो यात्राएं पूरी करनी होंगी ताकि एक दृश्य प्रतिबिंब बनाया जा सके।

प्रत्येक अतिरिक्त उछाल कंप्यूटेशनल लागत में तेजी से वृद्धि करता है, अक्सर रेंडर समय को दोगुना कर देता है, जिससे प्रतिबिंबों को तेजी से संभालना रे-ट्रेस्ड रेंडरिंग गुणवत्ता में सुधार के लिए सबसे महत्वपूर्ण अवसरों में से एक बन जाता है।

स्वाभाविक रूप से, प्रतिबिंब होते हैं और फोटोरियलिज्म में आवश्यक होते हैं बहुत कम स्पष्ट दृश्यों में – जैसे कि एक शहर की सड़क की प्रतिबिंबित सतह या एक युद्ध के मैदान में बारिश के बाद; दुकान की खिड़की या ग्लास दरवाजे में विपरीत सड़क का प्रतिबिंब; या चित्रित पात्रों के चश्मे में, जहां वस्तुओं और पर्यावरण को दिखने की आवश्यकता हो सकती है।

पारंपरिक संयोजन के माध्यम से एक आइकोनिक दृश्य में एक जुड़वां प्रतिबिंब का अनुकरण ‘द मैट्रिक्स’ (1999) में।

चित्र समस्याएं

इस कारण से, डिफ्यूजन मॉडल्स के आगमन से पहले लोकप्रिय फ्रेमवर्क, जैसे कि न्यूरल रेडिएंस फील्ड्स (नेर्फ), और कुछ हाल के चुनौतीपूर्ण जैसे कि गॉसियन स्प्लैटिंग ने प्राकृतिक तरीके से प्रतिबिंबों को लागू करने के लिए अपनी खुद की संघर्षों को बनाए रखा है।

रेफ²-नेर्फ प्रोजेक्ट (नीचे चित्रित) ने एक नेर्फ-आधारित मॉडलिंग विधि का प्रस्ताव किया जिसमें ग्लास केस वाले दृश्य शामिल थे। इस विधि में, अपवर्तन और प्रतिबिंब दृश्यकर्ता के दृष्टिकोण से स्वतंत्र और निर्भर तत्वों का उपयोग करके मॉडल किए गए थे। यह दृष्टिकोण शोधकर्ताओं को अपवर्तन के स्थानों का अनुमान लगाने की अनुमति दी, विशेष रूप से ग्लास सतहों पर, और सीधे और प्रतिबिंबित प्रकाश घटकों को मॉडल और अलग करने में सक्षम बनाया।

रेफ2नेर्फ पेपर से उदाहरण। स्रोत: https://arxiv.org/pdf/2311.17116

नेर्फ के सामने अन्य प्रतिबिंब समाधानों में पिछले 4-5 वर्षों में नेर्फरेन, रिफ्लेक्टिंग रियलिटी, और मेटा का 2024 प्लानर रिफ्लेक्शन-एवेयर न्यूरल रेडिएंस फील्ड्स प्रोजेक्ट शामिल हैं।

जीएसप्लैट के लिए, पेपर जैसे मिरर-3डीजीएस, रिफ्लेक्टिव गॉसियन स्प्लैटिंग, और रेफगॉसियन ने प्रतिबिंब समस्या के संबंध में समाधान प्रदान किए हैं, जबकि 2023 नेरो प्रोजेक्ट ने न्यूरल प्रतिनिधित्व में प्रतिबिंब गुणों को शामिल करने के लिए एक विशेष विधि का प्रस्ताव किया है।

मिररवर्स

एक डिफ्यूजन मॉडल को प्रतिबिंब तर्क का सम्मान करने के लिए प्राप्त करना गॉसियन स्प्लैटिंग और नेर्फ जैसे स्पष्ट रूप से संरचनात्मक, गैर-semantic दृष्टिकोणों के साथ अधिक कठिन हो सकता है। डिफ्यूजन मॉडल्स में, इस तरह का नियम केवल तभी विश्वसनीय रूप से एम्बेड होने की संभावना है जब प्रशिक्षण डेटा विभिन्न परिदृश्यों में विभिन्न उदाहरणों को शामिल करता है, जिससे यह मूल डेटासेट के वितरण और गुणवत्ता पर भारी निर्भर करता है।

पारंपरिक रूप से, इस तरह के विशिष्ट व्यवहार जोड़ना लोरा या बेस मॉडल के फाइन-ट्यूनिंग का क्षेत्र है; लेकिन वे आदर्श समाधान नहीं हैं, क्योंकि एक लोरा आउटपुट को अपने प्रशिक्षण डेटा की ओर झुका सकता है, यहां तक कि प्रॉम्प्ट के बिना भी, जबकि फाइन-ट्यून – इसके अलावा महंगे होने के नाते – एक प्रमुख मॉडल को अपरिवर्तनीय रूप से मुख्यधारा से दूर ले जा सकता है, और संबंधित कस्टम टूल्स की एक श्रृंखला को उत्पन्न कर सकता है जो किसी अन्य मॉडल के साथ काम नहीं करेगा, जिसमें मूल एक भी शामिल है।

सामान्य तौर पर, डिफ्यूजन मॉडल्स में सुधार करने के लिए यह आवश्यक है कि प्रशिक्षण डेटा प्रतिबिंब के भौतिकी पर अधिक ध्यान दे। हालांकि, कई अन्य क्षेत्रों को भी इसी तरह के विशेष ध्यान की आवश्यकता है। हाइपरस्केल डेटासेट के संदर्भ में, जहां कस्टम क्यूरेशन महंगा और कठिन है, इस तरह के प्रत्येक कमजोरियों को इस तरह से संबोधित करना व्यावहारिक नहीं है।

फिर भी, डिफ्यूजन अनुसंधान में इस विशिष्ट चुनौती का समाधान कभी-कभी सामने आता है। एक हालिया प्रयास, भारत से, मिररवर्स प्रोजेक्ट है, जो प्रतिबिंब के संबंध में राज्य के प्रति सुधार करने में सक्षम एक बेहतर डेटासेट और प्रशिक्षण विधि प्रदान करता है।

दाईं ओर, मिररवर्स के परिणाम दो पूर्व दृष्टिकोणों (केंद्रीय दो कॉलम) के खिलाफ। स्रोत: https://arxiv.org/pdf/2504.15397

जैसा कि हम उपरोक्त उदाहरण में देख सकते हैं (पीडीएफ में फीचर इमेज), मिररवर्स हाल के प्रस्तावों पर सुधार करता है जो इसी समस्या को संबोधित करते हैं, लेकिन यह अभी भी दूर है कि यह पूर्ण हो।

ऊपरी दाईं छवि में, हम देखते हैं कि मिट्टी के बर्तन थोड़े दूर हैं जहां वे होने चाहिए, और नीचे की छवि में, जिसमें तकनीकी रूप से कप का प्रतिबिंब नहीं होना चाहिए, एक असंगत प्रतिबिंब को दाईं ओर के क्षेत्र में जबरन डाला गया है, प्राकृतिक प्रतिबिंब कोणों के तर्क के खिलाफ।

इसलिए हम इस नए तरीके पर नहीं देखते हैं क्योंकि यह वर्तमान में डिफ्यूजन-आधारित प्रतिबिंब में राज्य का प्रतिनिधित्व कर सकता है, बल्कि इसलिए कि यह दिखाता है कि यह मुद्दा कितना दुर्गम हो सकता है लेटेंट डिफ्यूजन मॉडल्स, स्थिर और वीडियो दोनों के लिए, क्योंकि प्रतिबिंब के लिए आवश्यक डेटा उदाहरण विशिष्ट क्रियाओं और परिदृश्यों के साथ जुड़े हुए हैं।

इसलिए यह डिफ्यूजन मॉडल्स की यह विशिष्ट कार्यक्षमता जारी रह सकती है संरचना-विशिष्ट दृष्टिकोणों जैसे नेर्फ, जीएसप्लैट, और पारंपरिक सीजीआई की तुलना में कमजोर।

नई कागज का शीर्षक मिररवर्स: डिफ्यूजन मॉडल्स को वास्तविक दुनिया को वास्तविक रूप से प्रतिबिंबित करने के लिए धक्का देना है, और यह तीन शोधकर्ताओं से आया है विजन और एआई लैब, आईआईएससी बैंगलोर, और सैमसंग आरएंडडी इंस्टीट्यूट बैंगलोर में। पेपर का एक संबद्ध प्रोजेक्ट पेज है, साथ ही हगिंग फेस पर एक डेटासेट है, और गिटहब पर सोर्स कोड जारी किया गया है।

विधि

शोधकर्ताओं ने शुरू से ही यह ध्यान दिया है कि मॉडल जैसे स्टेबल डिफ्यूजन और फ्लक्स प्रतिबिंब-आधारित प्रॉम्प्ट का सम्मान करने में कठिनाइयों का सामना करते हैं, इस मुद्दे को कुशलता से चित्रित करते हैं:

पेपर से: वर्तमान राज्य के कला से कला मॉडल, एसडी3.5 और फ्लक्स, दृश्य में प्रतिबिंब उत्पन्न करने में महत्वपूर्ण चुनौतियों का प्रदर्शन किया जब उन्हें दृश्य में प्रतिबिंब उत्पन्न करने के लिए प्रॉम्प्ट किया गया।

शोधकर्ताओं ने मिररफ्यूजन 2.0 विकसित किया है, एक डिफ्यूजन-आधारित जनरेटिव मॉडल जो सिंथेटिक इमेजरी में मिरर रिफ्लेक्शन की फोटोरियलिज्म और ज्यामितीय सटीकता में सुधार करने के लिए है। मॉडल के लिए प्रशिक्षण शोधकर्ताओं के अपने नए क्यूरेटेड डेटासेट, मिररजेन2 पर आधारित था, जिसे पिछले दृष्टिकोणों में देखी गई सामान्यीकरण कमजोरियों को संबोधित करने के लिए डिज़ाइन किया गया था।

मिररजेन2 पिछले तरीकों पर विस्तार करता है रैंडम ऑब्जेक्ट पोजिशनिंग, रैंडमाइज्ड रोटेशन, और एक्सप्लिसिट ऑब्जेक्ट ग्राउंडिंग को पेश करके, जिसका उद्देश्य यह सुनिश्चित करना है कि प्रतिबिंब विभिन्न वस्तु मुद्राओं और दर्पण सतह के सापेक्ष प्लेसमेंट के व्यापक श्रृंखला में विश्वसनीय बने रहें।

मिररवर्स में सिंथेटिक डेटा के जनरेशन के लिए स्कीमा: डेटासेट जनरेशन पाइपलाइन ने 3डी-पोजिशनर का उपयोग करके दृश्य में वस्तुओं को यादृच्छिक रूप से स्थानांतरित, घुमाया और आधारित किया। वस्तुएं सेमैंटिक रूप से संगत संयोजनों में जोड़ी गईं ताकि जटिल स्थानिक संबंधों और ऑक्लूजन का अनुकरण किया जा सके, जिससे डेटासेट में मल्टी-ऑब्जेक्ट दृश्यों में अधिक वास्तविक बातचीत को कैप्चर किया जा सके।

जटिल स्थानिक व्यवस्थाओं को संभालने की मॉडल की क्षमता को और मजबूत करने के लिए, मिररजेन2 पाइपलाइन में जोड़े गए वस्तु दृश्यों को शामिल किया गया है, जिससे प्रतिबिंबित सेटिंग्स में कई तत्वों के बीच ऑक्लूजन और बातचीत का बेहतर प्रतिनिधित्व किया जा सके।

पेपर में कहा गया है:

‘श्रेणियों को मैन्युअल रूप से जोड़ा जाता है ताकि सेमैंटिक संगति सुनिश्चित की जा सके – उदाहरण के लिए, एक कुर्सी को एक टेबल के साथ जोड़ना। रेंडरिंग के दौरान, प्राथमिक [वस्तु] की स्थिति और घुमाव के बाद, जोड़े गए श्रेणी से एक अतिरिक्त [वस्तु] नमूना लिया जाता है और ओवरलैप से बचने के लिए व्यवस्थित किया जाता है, सुनिश्चित करता है कि दृश्य में विभिन्न स्थानिक क्षेत्र हैं।’

स्पष्ट वस्तु आधार के संबंध में, यहां लेखकों ने सुनिश्चित किया कि उत्पन्न वस्तुएं सिंथेटिक आउटपुट डेटा में जमीन से जुड़ी हुई हैं, न कि अनुचित रूप से तैर रही हैं, जो कि सिंथेटिक डेटा को बड़े पैमाने पर या अत्यधिक स्वचालित तरीकों से उत्पन्न करने पर हो सकता है।

चूंकि डेटासेट नवाचार पेपर की नई बात है, हम आमतौर पर इसके अनुसार पहले से ही आगे बढ़ेंगे।

डेटा और परीक्षण

सिनमिररवी2

शोधकर्ताओं का सिनमिररवी2 डेटासेट प्रतिबिंब प्रशिक्षण डेटा की विविधता और यथार्थवाद को बेहतर बनाने के लिए डिज़ाइन किया गया था, जिसमें ओब्जवर्स और अमेज़न बर्कली ऑब्जेक्ट्स (एबीओ) डेटासेट से 3डी वस्तुएं शामिल थीं, जिन्हें बाद में ओब्जेक्ट 3डीआईटी के माध्यम से परिष्कृत किया गया था, साथ ही वी1 मिररफ्यूजन प्रोजेक्ट से फिल्टरिंग प्रक्रिया के माध्यम से कम गुणवत्ता वाले संपत्ति को समाप्त करने के लिए, जिसके परिणामस्वरूप 66,062 वस्तुओं का एक परिष्कृत पूल था।

नई प्रणाली के लिए क्यूरेटेड डेटासेट बनाने के लिए ओब्जवर्स डेटासेट से उदाहरण। स्रोत: https://arxiv.org/pdf/2212.08051

दृश्य निर्माण में इन वस्तुओं को टेक्स्चर्ड फ्लोर पर रखा गया था सीसी-टेक्सचर्स से और एचडीआरआई पृष्ठभूमि पॉलीहेवन सीजीआई रिपॉजिटरी से, या तो पूर्ण-दीवार या लंबे आयताकार दर्पण का उपयोग करके। प्रकाश को वस्तुओं के ऊपर और पीछे से कोण पर क्षेत्र प्रकाश के साथ मानकीकृत किया गया था। वस्तुओं को एक इकाई घन में फिट होने के लिए स्केल किया गया था और दर्पण और कैमरा दृश्य फ्रुस्टम के पूर्व-गणना इंटरसेक्शन का उपयोग करके स्थिति की गई थी, दृश्यता सुनिश्चित करने के लिए।

या-अक्ष के चारों ओर यादृच्छिक घुमाव लागू किए गए थे, और एक ग्राउंडिंग तकनीक का उपयोग ‘तैरते हुए कलाकृतियों’ को रोकने के लिए किया गया था।

अधिक जटिल दृश्यों को सिम्युलेट करने के लिए, डेटासेट में एबीओ श्रेणियों के आधार पर सेमैंटिक रूप से संगत जोड़े में व्यवस्थित कई वस्तुओं को भी शामिल किया गया था। द्वितीयक वस्तुओं को ओवरलैप से बचने के लिए रखा गया था, जिससे 3,140 मल्टी-ऑब्जेक्ट दृश्य बनते हैं जो विभिन्न ऑक्लूजन और गहराई संबंधों को कैप्चर करने के लिए डिज़ाइन किए गए थे।

लेखकों के डेटासेट से रेंडर्ड दृश्यों के उदाहरण जिनमें एक से अधिक वस्तुएं हैं, जिनके नीचे वस्तु सेगमेंटेशन और गहराई मानचित्र दृश्य दिखाई दे रहे हैं।

प्रशिक्षण प्रक्रिया

यह स्वीकार करते हुए कि सिंथेटिक यथार्थवाद अकेले वास्तविक दुनिया के डेटा में मजबूत सामान्यीकरण के लिए पर्याप्त नहीं था, शोधकर्ताओं ने मिररफ्यूजन 2.0 के लिए एक तीन-चरण की पाठ्यक्रम सीखने की प्रक्रिया विकसित की।

चरण 1 में, लेखकों ने दोनों कंडीशनिंग और जेनरेशन शाखाओं के वजन को स्टेबल डिफ्यूजन वी1.5 चेकपॉइंट के साथ आरंभ किया, और सिनमिररवी2 डेटासेट के एकल-वस्तु प्रशिक्षण विभाजन पर मॉडल को फाइन-ट्यून किया। रिफ्लेक्टिंग रियलिटी परियोजना के विपरीत, शोधकर्ताओं ने जेनरेशन शाखा को फ्रीज नहीं किया। उन्होंने तब मॉडल को 40,000 पुनरावृत्तियों के लिए प्रशिक्षित किया।

चरण 2 में, मॉडल को सिनमिररवी2 के मल्टी-ऑब्जेक्ट प्रशिक्षण विभाजन पर 10,000 अतिरिक्त पुनरावृत्तियों के लिए फाइन-ट्यून किया गया था, ताकि प्रणाली को ऑक्लूजन और वास्तविक दृश्यों में अधिक जटिल स्थानिक व्यवस्था को संभालने के लिए सिखाया जा सके।

अंत में, चरण 3 में, वास्तविक दुनिया के डेटा से एमएसडी डेटासेट का उपयोग करके 10,000 अतिरिक्त पुनरावृत्तियों के लिए फाइन-ट्यूनिंग की गई, मैटरपोर्ट3डी मोनोक्यूलर गहराई अनुमानित द्वारा उत्पन्न गहराई मानचित्र का उपयोग किया गया था।

वास्तविक दुनिया के दृश्यों के साथ एमएसडी डेटासेट के उदाहरण, जिनमें गहराई और सेगमेंटेशन मानचित्र विश्लेषण किए गए हैं। स्रोत: https://arxiv.org/pdf/1908.09101

प्रशिक्षण के दौरान, 20 प्रतिशत प्रशिक्षण समय के लिए पाठ प्रॉम्प्ट्स को छोड़ दिया गया था ताकि मॉडल को उपलब्ध गहराई जानकारी का उपयोग करने के लिए प्रोत्साहित किया जा सके (अर्थात एक ‘मास्क’ दृष्टिकोण)।

प्रशिक्षण चार एनवीडिया ए100 जीपीयू पर हुआ था (वीआरएएम विनिर्देश नहीं दिया गया था, हालांकि यह 40GB या 80GB प्रति कार्ड होगा)। एडमडब्ल्यू ऑप्टिमाइज़र के तहत 1e^-5 की सीखने दर का उपयोग एक प्रति जीपीयू 4 के बैच आकार के साथ किया गया था।

यह प्रशिक्षण योजना मॉडल को पेश किए जाने वाले कार्यों की कठिनाई को渐 dần बढ़ाती है, जो सरल सिंथेटिक दृश्यों से शुरू होती है और अधिक चुनौतीपूर्ण रचनाओं की ओर बढ़ती है, जिसका उद्देश्य वास्तविक दुनिया के डेटा में मजबूत हस्तांतरण को विकसित करना है।

परीक्षण

लेखकों ने मिररफ्यूजन 2.0 का मूल राज्य के खिलाफ मूल मिररफ्यूजन के रूप में मूल्यांकन किया, और मिररबेंचवी2 डेटासेट पर प्रयोग किए, जिसमें एकल और मल्टी-ऑब्जेक्ट दृश्य दोनों शामिल थे।

अतिरिक्त गुणात्मक परीक्षण गूगल स्कैन्ड ऑब्जेक्ट्स (जीएसओ) डेटासेट के नमूनों पर किए गए थे, साथ ही एमएसडी डेटासेट पर।

मूल्यांकन में 2,991 एकल-वस्तु छवियों का उपयोग किया गया था, जो देखी गई और अनदेखी श्रेणियों से थीं, और 300 दो-वस्तु दृश्य एबीओ से। प्रदर्शन का मूल्यांकन पीक सिग्नल-टू-नॉइज़ रेशियो (पीएसएनआर); स्ट्रक्चरल सिमिलारिटी इंडेक्स (एसएसआईएम); और लर्न्ड परसेप्टुअल इमेज पैच सिमिलारिटी (एलपीआईपीएस) स्कोर का उपयोग करके किया गया था, जो मास्क्ड मिरर क्षेत्र पर प्रतिबिंब गुणवत्ता का आकलन करने के लिए था। सीएलआईपी समानता का उपयोग इनपुट प्रॉम्प्ट्स के साथ पाठ्य संरेखण का मूल्यांकन करने के लिए किया गया था।

गुणात्मक परीक्षणों में, लेखकों ने एक विशिष्ट प्रॉम्प्ट के लिए चार बीज का उपयोग करके छवियों का उत्पादन किया, और परिणामी छवि का चयन किया जिसमें सर्वोत्तम एसएसआईएम स्कोर था। दो सार्वजनिक परिणामों की सारणियों को गुणात्मक परीक्षणों के लिए दिखाया गया है जो नीचे दिखाए गए हैं।

बाएं, मिररबेंचवी2 एकल-वस्तु विभाजन पर एकल-वस्तु प्रतिबिंब उत्पादन गुणवत्ता के लिए गुणात्मक परिणाम। मिररफ्यूजन 2.0 ने बेसलाइन को पार किया, जिसमें सर्वोत्तम परिणाम बोल्ड में दिखाए गए हैं। दाएं, मिररबेंचवी2 मल्टी-ऑब्जेक्ट विभाजन पर मल्टी-ऑब्जेक्ट प्रतिबिंब उत्पादन गुणवत्ता के लिए गुणात्मक परिणाम। मिररफ्यूजन 2.0 ने मल्टी-ऑब्जेक्ट के साथ प्रशिक्षित संस्करण को पार किया, जिसमें सर्वोत्तम परिणाम बोल्ड में दिखाए गए हैं।

लेखकों का टिप्पणी है:

‘परिणाम दिखाते हैं कि हमारी विधि बेसलाइन विधि को पार करती है और मल्टी-ऑब्जेक्ट पर फाइन-ट्यूनिंग जटिल दृश्यों पर परिणामों में सुधार करती है।’

परिणामों का अधिकांश भाग, और जो लेखकों द्वारा बल दिया गया है, गुणात्मक परीक्षण से संबंधित हैं। इन चित्रों के आयामों के कारण, हम केवल आंशिक रूप से पेपर के उदाहरणों को पुन: उत्पन्न कर सकते हैं।

मिररबेंचवी2 पर तुलना: बेसलाइन ने सटीक प्रतिबिंब और स्थानिक संगति बनाए रखने में विफल रहा, जिसमें गलत कुर्सी अभिविन्यास और मल्टी-ऑब्जेक्ट के विकृत प्रतिबिंब दिखाई दे रहे थे, जबकि (लेखकों का दावा है) मिररफ्यूजन 2.0 ने कुर्सी और सोफे को सही ढंग से प्रस्तुत किया, जिसमें सटीक स्थिति, अभिविन्यास और संरचना थी।

इन विषयगत परिणामों के बारे में, शोधकर्ताओं का मत है कि बेसलाइन मॉडल प्रतिबिंबों में वस्तु अभिविन्यास और स्थानिक संबंधों को सटीक रूप से प्रस्तुत करने में विफल रहा, अक्सर गलत घुमाव और तैरती वस्तुओं जैसी कलाकृतियों का उत्पादन किया। मिररफ्यूजन 2.0, सिनमिररवी2 पर प्रशिक्षित, लेखकों का दावा है कि एकल-वस्तु और मल्टी-ऑब्जेक्ट दृश्यों दोनों में वस्तु अभिविन्यास और स्थिति को संरक्षित करता है, जिससे अधिक वास्तविक और सुसंगत प्रतिबिंब होते हैं।

नीचे हम जीएसओ डेटासेट पर परिणाम देख सकते हैं:

जीएसओ डेटासेट पर तुलना: बेसलाइन ने वस्तु संरचना को गलत तरीके से प्रस्तुत किया और अधूरे, विकृत प्रतिबिंब उत्पन्न किए, जबकि मिररफ्यूजन 2.0, लेखकों का दावा है, स्थानिक अखंडता को बनाए रखता है और सटीक ज्यामिति, रंग और विवरण उत्पन्न करता है, यहां तक कि आउट-ऑफ-वितरण वस्तुओं पर भी।

यहाँ लेखकों का टिप्पणी है:

‘मिररफ्यूजन 2.0 में काफी अधिक सटीक और वास्तविक प्रतिबिंब हैं। उदाहरण के लिए, फिग। 5 (ए – ऊपर) में, मिररफ्यूजन 2.0 ने ड्रॉर हैंडल (हरे रंग में हाइलाइट किए गए) को सही ढंग से प्रतिबिंबित किया, जबकि बेसलाइन मॉडल ने एक असंभव प्रतिबिंब (लाल रंग में हाइलाइट किया गया) उत्पन्न किया।

‘इसी तरह, ‘सफेद-पीले मग’ के लिए फिग। 5 (बी), मिररफ्यूजन 2.0 ने एक संवेदनशील ज्यामिति के साथ न्यूनतम कलाकृतियों के साथ एक संवेदनशील ज्यामिति प्रस्तुत की, जबकि बेसलाइन ने वस्तु की ज्यामिति और उपस्थिति को सटीक रूप से कैप्चर करने में विफल रहा।’

अंतिम गुणात्मक परीक्षण वास्तविक दुनिया के एमएसडी डेटासेट (आंशिक परिणाम नीचे दिखाए गए हैं) के खिलाफ था:

वास्तविक दुनिया के दृश्य परिणाम मिररफ्यूजन, मिररफ्यूजन 2.0, और एमएसडी डेटासेट पर फाइन-ट्यून किए गए मिररफ्यूजन 2.0 की तुलना करते हैं। मिररफ्यूजन 2.0, लेखकों का दावा है, जटिल दृश्य विवरणों को अधिक सटीक रूप से कैप्चर करता है, जिसमें एक टेबल पर वस्तुओं का ढेर और तीन-आयामी वातावरण में एक से अधिक दर्पण की उपस्थिति शामिल है। केवल आंशिक परिणाम यहां दिखाए गए हैं, मूल पेपर में परिणामों के आयामों के कारण, जिसे हम पूर्ण परिणामों और बेहतर रिज़ॉल्यूशन के लिए पाठकों को संदर्भित करते हैं।

यहाँ लेखकों का टिप्पणी है कि मिररफ्यूजन 2.0 ने मिररबेंचवी2 और जीएसओ डेटा पर अच्छा प्रदर्शन किया, लेकिन शुरू में एमएसडी डेटासेट में जटिल वास्तविक दुनिया के दृश्यों के साथ संघर्ष किया। एमएसडी के एक उपसेट पर मॉडल को फाइन-ट्यून करने से इसकी क्षमता में सुधार हुआ जटुल दृश्यों और एक से अधिक दर्पणों को संभालने में, जिसके परिणामस्वरूप परीक्षण विभाजन पर अधिक सुसंगत और विस्तृत प्रतिबिंब हुए।

इसके अलावा, एक उपयोगकर्ता अध्ययन किया गया था, जिसमें 84% उपयोगकर्ताओं ने मिररफ्यूजन 2.0 से उत्पन्न परिणामों को बेसलाइन विधि की तुलना में पसंद किया।

उपयोगकर्ता अध्ययन के परिणाम।

चूंकि उपयोगकर्ता अध्ययन के विवरण पेपर के परिशिष्ट में स्थानांतरित किए गए हैं, हम पाठकों को अध्ययन के विशिष्ट विवरण के लिए उसी को संदर्भित करते हैं।

निष्कर्ष

हालांकि पेपर में दिखाए गए कई परिणाम राज्य के प्रति प्रभावशाली सुधार हैं, राज्य के लिए इतना खराब है कि यहां तक कि एक असंगत समाधान भी थोड़े प्रयास के साथ जीत सकता है। डिफ्यूजन मॉडल की मूल वास्तुकला सुसंगत भौतिकी को सीखने और प्रदर्शित करने के लिए प्रतिकूल है, इसलिए समस्या दुर्भाग्यपूर्ण है और स्पष्ट रूप से एक सुंदर समाधान की ओर नहीं जाती है।

इसके अलावा, मौजूदा मॉडल में डेटा जोड़ना एलडीएम प्रदर्शन में कमियों को दूर करने का मानक तरीका है, जिसमें पहले उल्लिखित सभी नुकसान हैं। यह माना जा सकता है कि यदि भविष्य के उच्च-स्तरीय डेटासेट प्रतिबिंब संबंधित डेटा बिंदुओं के वितरण (और एनोटेशन) पर अधिक ध्यान दें, तो हम उम्मीद कर सकते हैं कि परिणामी मॉडल इस परिदृश्य को बेहतर तरीके से संभालेंगे।

हालांकि, एलडीएम आउटपुट में कई अन्य बगबेयर हैं – कौन कह सकता है कि उनमें से कौन सा इस प्रस्ताव में शामिल प्रयास और पैसे के योग्य है?

सोमवार, 28 अप्रैल, 2025 को पहली बार प्रकाशित। मंगलवार, 29 अप्रैल: अंतिम अनुच्छेदों में व्याकरण सुधार किया गया।