न्यूरल पार्ट्स: अर्थपूर्ण अनुमानित ज्यामिति के लिए प्रिमिटिव्स को तोड़ना

हाल के वर्षों में, स्थिर एकल छवियों से 3D ज्यामिति उत्पन्न करने में सक्षम प्रणालियों की संख्या में वृद्धि हुई है, लेकिन वे प्राप्त वस्तुएं अक्सर ‘फ्यूज्ड’ होती हैं, जिसमें कोई वास्तविक सेमेंटिक स्कीमा नहीं होता है जो दर्शाता है कि भाग कैसे पूरे में योगदान करते हैं।

अर्थपूर्ण भागों के विभाजन के साथ अनुमानित मॉडल को हायरार्किकल रूप से उत्पन्न करने के कई अच्छे कारण हैं, जिनमें औद्योगिक विश्लेषण, चिकित्सा अनुसंधान और इमेजिंग अनुप्रयोग, ऑटोमैटिक ज्यामिति का उत्पादन वीडियो गेम, सिम्युलेटर और वीआर/एआर वातावरण के लिए, और दृश्य प्रभाव रिगिंग शामिल हैं।

हाल के वर्षों में विकसित कई तरीकों, जैसे कि सुपरक्वाड्रिक्स आकार पार्सिंग, असंतोषजनक परिणाम उत्पन्न करते हैं और क्यूबॉइड-शैली के संकेतक स्लाइसिंग से परे राज्य की कला को आगे बढ़ाने में संघर्ष करते हैं।

सुपरक्वाड्रिक्स और अन्य दृष्टिकोणों द्वारा खंडीकरण एक अनुमानित छवि के लिए कच्चे या व्यापक रूप से प्रतिनिधित्व करने वाले उप-भाग प्रदान करता है। स्रोत: https://www.youtube.com/watch?v=6WK3B0IZJsw

हालांकि, मैक्स प्लैंक इंस्टीट्यूट से नए अनुसंधान में, जिसका शीर्षक है न्यूरल पार्ट्स: इनवर्टिबल न्यूरल नेटवर्क के साथ अभिव्यक्तिपूर्ण 3D आकार स abstracts सीखना, एक नए न्यूरल प्रिमिटिव 3D प्रतिनिधित्व प्रणाली की पेशकश की जाती है जो सेमेंटिक रूप से उपयोगी अनुभाग बनाती है।

पिछले तरीके बड़े अनुमानित वस्तुओं को विभाजित कर सकते हैं, लेकिन सेमेंटिक रूप से उपयोगी तरीके से नहीं। दाईं ओर, न्यूरल पार्ट्स विधि अधिक व्यावहारिक टुकड़े बनाती है। स्रोत: https://paschalidoud.github.io/neural_parts

खंडीकरण एक इनवर्टिबल न्यूरल नेटवर्क (आईएनएन) के माध्यम से प्राप्त किया जाता है, जो एक स्थितिजन्य होमियोमॉर्फिज्म का उपयोग करके एक आधार ज्यामितीय आकार को प्रिमिटिव्स में विकृत करता है और इसके विपरीत, दोनों दिशाओं में टोपोलॉजिकल हायरार्की की गणना करता है। इस प्रकार, प्रत्येक प्रिमिटिव आकार एक सीखने योग्य प्रिमिटिव एम्बेडिंग से जुड़ा होता है ताकि उस प्रिमिटिव के लिए आकार एम्बेडिंग उत्पन्न की जा सके।

आर्किटेक्चर

न्यूरल पार्ट्स को पुनर्निर्माण गुणवत्ता और प्रिमिटिव अखंडता के बीच संतुलन बनाने की आवश्यकता है, क्योंकि जटिल प्रिमिटिव्स प्रणाली को जटिल विघटन की ओर ले जाएंगे। इसलिए, न्यूरल पार्ट्स की आर्किटेक्चर को इन विरोधाभासी विचारों को एक सुंदर तरीके से संतुलित करने के लिए डिज़ाइन किया गया है।

न्यूरल पार्ट्स आर्किटेक्चर में एक फीचर एक्सट्रैक्टर शामिल है जो इनपुट वेक्टर को मैप करता है, और एक स्थितिजन्य होमियोमॉर्फिज्म घटक जो आकार एम्बेडिंग द्वारा स्थितिजन्य होमियोमॉर्फिक मैपिंग सीखता है।

फीचर एक्सट्रैक्टर का प्रारंभिक भाग एक रेसनेट-18 घटक का उपयोग करके फीचर छवियों को निकालता है। स्थितिजन्य होमियोमॉर्फिज्म घटक एक वास्तविक मान वाले गैर-वॉल्यूम संरक्षण (वास्तविक एनवीपी) परिवर्तन मॉड्यूल का उपयोग करता है।

मूल्यांकन

प्रणाली का परीक्षण तीन डेटासेट – 2017 के डायनामिक फॉस्ट (डी-फॉस्ट), फ्रीहैंड (2019) और स्टैनफोर्ड विश्वविद्यालय के लोकप्रिय 2015 शेपनेट पर किया गया था। डी-फॉस्ट में 38,640 मानव-केंद्रित जालियां हैं, जो तुलना के लिए उपयुक्त साबित हुईं, जबकि फ्रीहैंड में पहले 5000 हाथ की मुद्राओं का उपयोग जालियों को उत्पन्न करने के लिए किया गया था। शेपनेट के लिए, शोधकर्ताओं ने स्टैनफोर्ड शोधकर्ताओं द्वारा 2016 में रेखांकित श्रेणी-विशिष्ट प्रशिक्षण का पालन किया।

परीक्षण प्रिमिटिव-आधारित तरीकों के खिलाफ चलाए गए, जिनमें सुपरक्वाड्रिक्स, सीवीएक्सनेट, और एच-एसक्यू शामिल हैं।

शेपनेट के तहत, शोधकर्ताओं ने पाया कि न्यूरल पार्ट्स मॉडल ने 5 और 25 प्रिमिटिव्स के स्तर पर सीवीएक्सनेट की तुलना में अधिक सटीक पुनर्निर्माण किए। कुछ सरल वस्तुएं, जैसे कुर्सियां, जिनके पास एक अर्थपूर्ण विघटन के लिए पर्याप्त ज्यामिति नहीं थी।

फ्रीहैंड के लिए, न्यूरल पार्ट्स ने ज्यामितीय रूप से अधिक सटीक पुनर्निर्माण किए, जिसमें अंगूठे की स्थिति जैसे महीन विवरणों का बेहतर कब्जा था। शोधकर्ताओं ने उल्लेख किया कि तुलना में, सीवीएक्सनेट और एसक्यू अधिक सामान्य मुख्य संरचना पर केंद्रित हैं और इन विवरणों की कमी है।

डायनामिक फॉस्ट के लिए, सीवीएक्सनेट और एसक्यू की तुलना न्यूरल पार्ट्स के आउटपुट से की गई, जिसमें पांच प्रिमिटिव्स का उपयोग करके मानव शरीर की अखंडता को शुरू में डेटा से अनुमानित किया गया था। न्यूरल पार्ट्स ने चिकनी खंडीकरण प्राप्त किया, जिसमें टोपोलॉजी के मूल तत्वों की बलि नहीं दी गई।

भविष्य का कार्य

शोधकर्ता न्यूरल पार्ट्स को उन अध्ययनों तक बढ़ाने का इरादा रखते हैं जो सीधे तार्किक जालियों की पेशकश नहीं करते हैं, विभिन्न रेंडरिंग तकनीकों का उपयोग करके। चूंकि न्यूरल पार्ट्स फ्रेमवर्क में वर्तमान में एक आधार गोले का उपयोग किया जाता है, शोधकर्ता अधिक जटिल और अभिव्यक्तिपूर्ण ज्यामितीय प्रिमिटिव्स का उपयोग करने पर भी विचार कर रहे हैं।