सिंगल-व्यू 3D रिकंस्ट्रक्शन कैसे काम करता है?

पारंपरिक रूप से, सिंगल-व्यू ऑब्जेक्ट रिकंस्ट्रक्शन के लिए मॉडल, जो कॉन्वोल्यूशनल न्यूरल नेटवर्क पर आधारित हैं, रिकंस्ट्रक्शन कार्यों में उल्लेखनीय प्रदर्शन दिखा चुके हैं। हाल के वर्षों में, सिंगल-व्यू 3D रिकंस्ट्रक्शन एआई समुदाय में एक लोकप्रिय शोध विषय के रूप में उभरा है। विशिष्ट विधि की परवाह किए बिना, सभी सिंगल-व्यू 3D रिकंस्ट्रक्शन मॉडल अपने फ्रेमवर्क के भीतर एक एनकोडर-डिकोडर नेटवर्क को शामिल करने के सामान्य दृष्टिकोण को साझा करते हैं। यह नेटवर्क आउटपुट स्पेस में 3D संरचना के बारे में जटिल तर्क करता है।

इस लेख में, हम वास्तविक समय में सिंगल-व्यू 3D रिकंस्ट्रक्शन के कार्यों और इन फ्रेमवर्क का सामना करने वाली वर्तमान चुनौतियों का अन्वेषण करेंगे। हम सिंगल-व्यू 3D रिकंस्ट्रक्शन मॉडल द्वारा उपयोग किए जाने वाले विभिन्न प्रमुख घटकों और विधियों पर चर्चा करेंगे और इन फ्रेमवर्क के प्रदर्शन को बढ़ाने के लिए रणनीतियों का पता लगाएंगे। इसके अलावा, हम एनकोडर-डिकोडर विधियों का उपयोग करने वाले राज्य-ऑफ-द-आर्ट फ्रेमवर्क द्वारा उत्पादित परिणामों का विश्लेषण करेंगे। आइए इसमें गहराई से जाएं।

सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन

सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन एक ऑब्जेक्ट का 3D मॉडल एकल दृश्य से या सरल शब्दों में एक छवि से उत्पन्न करने के बारे में है। उदाहरण के लिए, एक छवि से एक मोटरसाइकिल की 3D संरचना का अनुमान लगाना एक जटिल प्रक्रिया है। यह भागों के संरचनात्मक व्यवस्था, कम-स्तरीय छवि संकेतों और उच्च-स्तरीय सेमेंटिक जानकारी के ज्ञान को जोड़ती है। यह स्पेक्ट्रम दो मुख्य पहलुओं को शामिल करता है: रिकंस्ट्रक्शन और मान्यता। रिकंस्ट्रक्शन प्रक्रिया छाया, टेक्सचर और दृश्य प्रभाव जैसे संकेतों का उपयोग करके इनपुट छवि की 3D संरचना का निर्धारण करती है। इसके विपरीत, मान्यता प्रक्रिया इनपुट छवि को वर्गीकृत करती है और एक डेटाबेस से एक उपयुक्त 3D मॉडल पुनर्प्राप्त करती है।

वर्तमान सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन मॉडल वास्तुकला में भिन्न हो सकते हैं, लेकिन वे अपने फ्रेमवर्क में एक एनकोडर-डिकोडर संरचना को शामिल करने से एकजुट होते हैं। इस संरचना में, एनकोडर इनपुट छवि को एक लेटेंट प्रतिनिधित्व में मैप करता है, जबकि डिकोडर आउटपुट स्पेस की 3D संरचना के बारे में जटिल अनुमान लगाता है। इस कार्य को सफलतापूर्वक निर्वाह करने के लिए, नेटवर्क को उच्च-स्तरीय और कम-स्तरीय जानकारी दोनों को एकीकृत करना होगा। इसके अलावा, कई राज्य-ऑफ-द-आर्ट एनकोडर-डिकोडर विधियां सिंगल-व्यू 3D रिकंस्ट्रक्शन कार्यों के लिए मान्यता पर निर्भर करती हैं, जो उनकी रिकंस्ट्रक्शन क्षमताओं को सीमित करती है। इसके अलावा, सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन में आधुनिक कॉन्वोल्यूशनल न्यूरल नेटवर्क के प्रदर्शन को 3D ऑब्जेक्ट संरचना को स्पष्ट रूप से अनुमान लगाए बिना पार किया जा सकता है। हालांकि, सिंगल-व्यू ऑब्जेक्ट रिकंस्ट्रक्शन कार्यों में कॉन्वोल्यूशनल नेटवर्क का प्रभुत्व मूल्यांकन प्रोटोकॉल और डेटासेट संरचना जैसे विभिन्न प्रयोगात्मक प्रक्रियाओं से प्रभावित होता है, जो फ्रेमवर्क को छवि मान्यता जैसे शॉर्टकट समाधान खोजने में सक्षम बनाता है।

पारंपरिक रूप से, सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन फ्रेमवर्क रिकंस्ट्रक्शन कार्यों के लिए शेडिंग से आकार की विधि का उपयोग करते हैं, जिसमें टेक्सचर और डीफोकस रिकंस्ट्रक्शन कार्यों के लिए विदेशी दृश्य के रूप में कार्य करते हैं। चूंकि ये तकनीकें एकल गहराई संकेत का उपयोग करती हैं, वे दृश्यमान सतह के हिस्सों के लिए तर्क प्रदान करने में सक्षम हैं। इसके अलावा, कई सिंगल-व्यू 3D रिकंस्ट्रक्शन फ्रेमवर्क एकल मोनोक्युलर छवि से गहराई का अनुमान लगाने के लिए संरचनात्मक ज्ञान के साथ कई संकेतों का उपयोग करते हैं, जो इन फ्रेमवर्क को दृश्यमान सतहों की गहराई का अनुमान लगाने की अनुमति देता है। हाल के गहराई अनुमान फ्रेमवर्क मोनोक्युलर छवि में गहराई को निकालने के लिए कॉन्वोल्यूशनल न्यूरल नेटवर्क संरचनाओं का उपयोग करते हैं।

हालांकि, प्रभावी सिंगल-व्यू 3D रिकंस्ट्रक्शन के लिए, मॉडलों को न केवल छवि में दृश्यमान वस्तुओं की 3D संरचना के बारे में तर्क करना होगा, बल्कि उन्हें डेटा से सीखे गए प्राथमिकताओं का उपयोग करके छवि में अदृश्य भागों को हॉलुसिनेट करना होगा। इसके लिए, अधिकांश मॉडल वर्तमान में प्रशिक्षित कॉन्वोल्यूशनल न्यूरल नेटवर्क संरचनाओं का उपयोग 2D छवियों को 3D आकारों में मैप करने के लिए करते हैं, सीधे 3D पर्यवेक्षण का उपयोग करते हुए, जबकि कई अन्य फ्रेमवर्क 3D आकार का वोक्सेल-आधारित प्रतिनिधित्व करते हैं और एक लेटेंट प्रतिनिधित्व का उपयोग करके 3D अप-कन्वोल्यूशंस को उत्पन्न करने के लिए। कुछ फ्रेमवर्क आउटपुट स्पेस को हाइरार्किकल रूप से विभाजित करते हैं ताकि गणनात्मक और मेमोरी दक्षता में सुधार हो सके, जो मॉडल को उच्च-रिज़ॉल्यूशन 3D आकार का अनुमान लगाने की अनुमति देता है। हाल के शोध में कॉन्वोल्यूशनल न्यूरल नेटवर्क का उपयोग करके सिंगल-व्यू 3D आकार के अनुमानों के लिए कमजोर रूपों के पर्यवेक्षण का उपयोग करने पर ध्यान केंद्रित किया जा रहा है, या तो अनुमानित आकारों और उनके मैदान-वास्तविक अनुमानों की तुलना करके आकार रिग्रेसर को प्रशिक्षित करने के लिए, या मॉडल को विकृतियों का अनुमान लगाने में मदद करने के लिए माध्य आकारों को प्रशिक्षित करने के लिए कई सीखने वाले संकेतों का उपयोग करना। सिंगल-व्यू 3D रिकंस्ट्रक्शन में सीमित प्रगति के पीछे एक और कारण यह है कि इस कार्य के लिए उपलब्ध प्रशिक्षण डेटा की सीमित मात्रा।

सिंगल-व्यू 3D रिकंस्ट्रक्शन एक जटिल कार्य है क्योंकि यह न केवल दृश्य डेटा को ज्यामितीय रूप से व्याख्या करता है, बल्कि सेमेंटिक रूप से भी। हालांकि वे पूरी तरह से अलग नहीं हैं, वे ज्यामितीय रिकंस्ट्रक्शन से लेकर सेमेंटिक मान्यता तक अलग-अलग स्पेक्ट्रम को कवर करते हैं। रिकंस्ट्रक्शन कार्य छवि में वस्तु की 3D संरचना का प्रति-पिक्सेल तर्क करता है। रिकंस्ट्रक्शन कार्यों को छवि की सामग्री की सेमेंटिक समझ की आवश्यकता नहीं होती है और इसे टेक्सचर, रंग, छाया, छाया, परिप्रेक्ष्य और फोकस जैसे कम-स्तरीय छवि संकेतों का उपयोग करके प्राप्त किया जा सकता है। दूसरी ओर, मान्यता छवि के सेमेंटिक्स का उपयोग करती है क्योंकि मान्यता कार्य पूरे वस्तुओं का उपयोग करता है और वस्तु को वर्गीकृत करता है और डेटाबेस से संबंधित आकार पुनर्प्राप्त करता है। हालांकि मान्यता कार्य छवि में दिखाई नहीं देने वाले वस्तु के हिस्सों के बारे में मजबूत तर्क प्रदान कर सकता है, सेमेंटिक समाधान तब तक व्यावहारिक है जब तक यह डेटाबेस में मौजूद एक वस्तु द्वारा समझाया जा सकता है।

हालांकि मान्यता और रिकंस्ट्रक्शन कार्य एक दूसरे से काफी अलग हो सकते हैं, वे दोनों इनपुट छवि में मौजूद मूल्यवान जानकारी को नजरअंदाज करने के लिए प्रवृत्त होते हैं। दोनों कार्यों का उपयोग एक दूसरे के साथ मिलकर करना उचित है ताकि वस्तु रिकंस्ट्रक्शन के लिए सबसे अच्छे संभव परिणाम और सटीक 3D आकार प्राप्त किए जा सकें। अर्थात, सिंगल-व्यू 3D रिकंस्ट्रक्शन कार्यों के लिए, मॉडल को संरचनात्मक ज्ञान, कम-स्तरीय छवि संकेतों और वस्तु की उच्च-स्तरीय समझ का उपयोग करना चाहिए।

सिंगल-व्यू 3D रिकंस्ट्रक्शन: पारंपरिक सेटअप

सिंगल-व्यू 3D रिकंस्ट्रक्शन फ्रेमवर्क के पारंपरिक सेटअप को समझाने और विश्लेषण करने के लिए, हम एक ऑब्जेक्ट की 3D आकार का अनुमान लगाने के लिए एक मानक सेटअप का उपयोग करेंगे। प्रशिक्षण के लिए उपयोग किया जाने वाला डेटासेट शेपनेट डेटासेट है, और यह 13 वर्गों में प्रदर्शन का मूल्यांकन करता है, जो मॉडल को यह समझने की अनुमति देता है कि डेटासेट में वर्गों की संख्या मॉडल के आकार अनुमान प्रदर्शन को कैसे निर्धारित करती है।

आधुनिक कॉन्वोल्यूशनल नेटवर्क का अधिकांश हिस्सा एक उच्च-रिज़ॉल्यूशन 3D मॉडल की भविष्यवाणी करने के लिए एक छवि का उपयोग करता है, और इन फ्रेमवर्क को उनके आउटपुट के प्रतिनिधित्व के आधार पर वर्गीकृत किया जा सकता है: गहराई मानचित्र, बिंदु बादल और वोक्सेल ग्रिड। मॉडल ओजीएन या ऑक्ट्री जेनरेटिंग नेटवर्क का उपयोग करता है, जो ऐतिहासिक रूप से वोक्सेल ग्रिड दृष्टिकोण से बेहतर प्रदर्शन करता है, और/या प्रमुख आउटपुट प्रतिनिधित्व को कवर कर सकता है। मौजूदा विधियों के विपरीत जो आउटपुट प्रतिनिधित्व का उपयोग करती हैं, ओजीएन दृष्टिकोण मॉडल को उच्च-रिज़ॉल्यूशन आकार की भविष्यवाणी करने और ऑक्ट्रीज़ का उपयोग करके कब्जे वाले स्थान को कुशलता से प्रस्तुत करने की अनुमति देता है।

बेसलाइन

परिणामों का मूल्यांकन करने के लिए, मॉडल दो बेसलाइन का उपयोग करता है जो समस्या को शुद्ध मान्यता कार्य के रूप में मानते हैं। पहली बेसलाइन क्लस्टरिंग पर आधारित है, जबकि दूसरी बेसलाइन डेटाबेस पुनर्प्राप्ति करती है।

क्लस्टरिंग

क्लस्टरिंग बेसलाइन में, मॉडल के-मीन्स एल्गोरिदम का उपयोग प्रशिक्षण आकारों को के उप-वर्गों में समूहित करने के लिए करता है, और 32*32*32 वोक्सेलाइजेशन को वेक्टर में समतल करता है। क्लस्टर असाइनमेंट का निर्धारण करने के बाद, मॉडल उच्च-रिज़ॉल्यूशन वाले मॉडल के साथ काम करने के लिए वापस स्विच करता है। मॉडल तब प्रत्येक क्लस्टर के भीतर माध्य आकार की गणना करता है, और माध्य आकारों को सीमित करता है, जहां ऑप्टिमल मान मॉडल के माध्यम से औसत आईओयू या इंटरसेक्शन ओवर यूनियन को अधिकतम करके गणना की जाती है। चूंकि मॉडल प्रशिक्षण डेटा में 3D आकार और छवियों के बीच संबंध जानता है, मॉडल छवि को इसके संबंधित क्लस्टर से मेल कर सकता है।

पुनर्प्राप्ति

पुनर्प्राप्ति बेसलाइन आकारों और छवियों को एक संयुक्त स्थान में एम्बेड करना सीखती है। मॉडल प्रशिक्षण सेट में 3D मैट्रिक्स आकारों की जोड़ी समानता का उपयोग करके एम्बेडिंग स्पेस का निर्माण करता है। मॉडल यह करके ऐसा करता है कि यह प्रत्येक मैट्रिक्स पंक्ति को एक कम-आयामी विवरणक में संकुचित करने के लिए बहु-आयामी स्केलिंग के साथ सैमन मैपिंग दृष्टिकोण का उपयोग करता है। इसके अलावा, दो मनमाने आकारों के बीच समानता की गणना करने के लिए, मॉडल लाइट फील्ड विवरणक का उपयोग करता है। इसके अलावा, मॉडल एक कॉन्वोल्यूशनल न्यूरल नेटवर्क को प्रशिक्षित करता है ताकि यह छवियों को एक विवरणक में मैप कर सके और उन्हें स्थान में एम्बेड कर सके।

विश्लेषण

सिंगल-व्यू 3D रिकंस्ट्रक्शन मॉडल विभिन्न रणनीतियों का पालन करते हैं, जिसके परिणामस्वरूप वे कुछ क्षेत्रों में अन्य मॉडलों से बेहतर प्रदर्शन करते हैं, जबकि अन्य क्षेत्रों में कम प्रदर्शन करते हैं। विभिन्न फ्रेमवर्क की तुलना करने और उनके प्रदर्शन का मूल्यांकन करने के लिए, हमारे पास मीन आईओयू स्कोर जैसे मेट्रिक्स हैं। (ORCL )

जैसा कि ऊपर दी गई छवि में देखा जा सकता है, विभिन्न वास्तुकला के बावजूद, वर्तमान राज्य-ऑफ-द-आर्ट 3D रिकंस्ट्रक्शन मॉडल लगभग समान प्रदर्शन प्रदान करते हैं। हालांकि, यह दिलचस्प है कि एक शुद्ध मान्यता विधि होने के बावजूद, पुनर्प्राप्ति फ्रेमवर्क मीन और मध्य आईओयू स्कोर दोनों में अन्य मॉडलों से बेहतर प्रदर्शन करता है। क्लस्टरिंग फ्रेमवर्क ठोस परिणाम प्रदान करता है, जो एटलसनेट, ओजीएन और मैट्र्योश्का फ्रेमवर्क से बेहतर प्रदर्शन करता है। हालांकि, सबसे अप्रत्याशित परिणाम ऑरेकल एनएन का सभी अन्य विधियों से बेहतर प्रदर्शन करना है, जो एक आदर्श पुनर्प्राप्ति वास्तुकला का उपयोग करता है। हालांकि मीन आईओयू स्कोर की गणना करने से तुलना में मदद मिलती है, यह पूरी तस्वीर प्रदान नहीं करता है क्योंकि परिणामों में विचरण उच्च है, जो मॉडल की परवाह किए बिना है।

सामान्य मूल्यांकन मेट्रिक्स

सिंगल-व्यू 3D रिकंस्ट्रक्शन मॉडल अक्सर विभिन्न मूल्यांकन मेट्रिक्स का उपयोग अपने प्रदर्शन का विश्लेषण करने के लिए करते हैं। निम्नलिखित कुछ सामान्य रूप से उपयोग किए जाने वाले मूल्यांकन मेट्रिक्स हैं:

इंटरसेक्शन ओवर यूनियन

इंटरसेक्शन ओवर यूनियन का माध्य एक मेट्रिक है जो सिंगल-व्यू 3D रिकंस्ट्रक्शन मॉडल के प्रदर्शन के लिए एक बेंचमार्क के रूप में उपयोग की जाती है। हालांकि आईओयू कुछ अंतर्दृष्टि प्रदान करता है मॉडल के प्रदर्शन के बारे में, यह एकमात्र मेट्रिक नहीं माना जाता है जिसका उपयोग विधि का मूल्यांकन करने के लिए किया जाता है, क्योंकि यह केवल तभी आकार की गुणवत्ता को इंगित करता है जब मान पर्याप्त रूप से उच्च होते हैं, और दो दिए गए आकारों के लिए निम्न और मध्य श्रेणी के स्कोर के बीच एक महत्वपूर्ण विचरण देखा जाता है।

चामफर दूरी

चामफर दूरी बिंदु बादलों पर परिभाषित की जाती है और विभिन्न 3D प्रतिनिधित्वों पर संतोषजनक रूप से लागू की जा सकती है। हालांकि, चामफर दूरी मूल्यांकन मेट्रिक आउटलियर के प्रति अत्यधिक संवेदनशील है, जो इसे मॉडल के प्रदर्शन का मूल्यांकन करने के लिए एक समस्याग्रस्त माप बनाता है, जिसमें आउटलियर की दूरी संदर्भ आकार से काफी हद तक पीढ़ी की गुणवत्ता को निर्धारित करती है।

एफ-स्कोर

एफ-स्कोर एक सामान्य मूल्यांकन मेट्रिक है जिसका उपयोग अधिकांश मल्टी-व्यू 3D रिकंस्ट्रक्शन मॉडल द्वारा किया जाता है। एफ-स्कोर मेट्रिक पुनरावृत्ति और सटीकता के बीच हार्मोनिक माध्य के रूप में परिभाषित की जाती है, और यह वस्तुओं की सतहों के बीच दूरी का मूल्यांकन करती है। सटीकता पुनर्निर्मित बिंदुओं का प्रतिशत मापती है जो पूर्वनिर्धारित दूरी के भीतर मैदान-वास्तविक में हैं, जो पुनर्निर्माण की सटीकता को मापता है। पुनरावृत्ति मैदान-वास्तविक पर बिंदुओं का प्रतिशत मापती है जो पुनर्निर्माण के भीतर एक पूर्वनिर्धारित दूरी के भीतर हैं, जो पुनर्निर्माण की पूर्णता को मापती है। इसके अलावा, दूरी सीमा को बदलकर, डेवलपर एफ-स्कोर मेट्रिक की सख्ती को नियंत्रित कर सकता है।

प्रति-क्लास विश्लेषण

उपरोक्त फ्रेमवर्क द्वारा प्रदान किए गए प्रदर्शन में समानता क्लास के उपसेट पर चलने वाली विधियों के परिणाम नहीं हो सकती है, और निम्नलिखित आंकड़े विभिन्न क्लास में सुसंगत सापेक्ष प्रदर्शन को प्रदर्शित करते हैं, जिसमें ऑरेकल एनएन पुनर्प्राप्ति बेसलाइन सर्वोत्तम परिणाम प्राप्त करती है, और सभी विधियों को सभी क्लास के लिए उच्च विचरण का अनुभव होता है।

इसके अलावा, किसी वर्ग के लिए उपलब्ध प्रशिक्षण नमूनों की संख्या को यह माना जा सकता है कि यह प्रति-वर्ग प्रदर्शन को प्रभावित करती है। हालांकि, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है, किसी वर्ग के लिए उपलब्ध प्रशिक्षण नमूनों की संख्या प्रति-वर्ग प्रदर्शन को प्रभावित नहीं करती है, और किसी वर्ग में नमूनों की संख्या और इसके माध्य आईओयू स्कोर के बीच कोई संबंध नहीं है।

गुणात्मक विश्लेषण

उपरोक्त अनुभाग में चर्चा किए गए मात्रात्मक परिणाम गुणात्मक परिणामों द्वारा समर्थित हैं, जैसा कि निम्नलिखित छवि में दिखाया गया है:

अधिकांश क्लास के लिए, क्लस्टरिंग बेसलाइन और डिकोडर-आधारित विधियों द्वारा की गई भविष्यवाणियों के बीच कोई महत्वपूर्ण अंतर नहीं है। क्लस्टरिंग दृष्टिकोण तब विफल हो जाता है जब नमूने और माध्य क्लस्टर आकार के बीच दूरी अधिक होती है, या जब माध्य आकार स्वयं क्लस्टर का वर्णन करने के लिए पर्याप्त नहीं होता है। दूसरी ओर, पुनर्प्राप्ति वास्तुकला और डिकोडर-आधारित विधियों का उपयोग करने वाले फ्रेमवर्क सबसे सटीक और आकर्षक परिणाम प्रदान करते हैं क्योंकि वे उत्पन्न 3D मॉडल में विस्तृत विवरण शामिल कर सकते हैं।

सिंगल व्यू 3D रिकंस्ट्रक्शन: अंतिम विचार

इस लेख में, हमने सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन पर चर्चा की है, और इसके कार्यों और दो बेसलाइन: पुनर्प्राप्ति और क्लस्टरिंग पर चर्चा की है। अंत में, सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन एआई समुदाय में सबसे गर्म और सबसे अधिक शोधित विषयों में से एक है, और हाल के वर्षों में महत्वपूर्ण प्रगति के बावजूद, सिंगल-व्यू 3D ऑब्जेक्ट रिकंस्ट्रक्शन अभी भी आदर्श से बहुत दूर है, और आगामी वर्षों में इसका सामना करने के लिए महत्वपूर्ण बाधाएं हैं।