एकाधिक एनईआरएफ को मिलाकर फुल बॉडी डीपफेक बनाना

छवि संश्लेषण अनुसंधान क्षेत्र विभिन्न प्रकार की पोशाकों में युवा लोगों - मुख्य रूप से युवा महिलाओं - के पूरे शरीर के वीडियो और चित्र बनाने में सक्षम प्रणालियों के नए प्रस्तावों से भरा पड़ा है। अधिकतर उत्पन्न छवियाँ स्थिर हैं; कभी-कभी, अभ्यावेदन हिल भी जाते हैं, हालांकि आमतौर पर बहुत अच्छे से नहीं।

संबंधित क्षेत्रों में प्रगति के मौजूदा चौंकाने वाले स्तर की तुलना में इस विशेष शोध खंड की गति बहुत धीमी है अव्यक्त प्रसार मॉडल; फिर भी अनुसंधान समूह, जिनमें से अधिकांश एशिया में हैं, इस समस्या को लगातार दूर कर रहे हैं।

पिछले 10-15 वर्षों से दर्जनों, यदि सैकड़ों नहीं तो प्रस्तावित या अर्ध-लॉन्च किए गए 'वर्चुअल ट्राई-ऑन' सिस्टमों में से एक, जहां मशीन लर्निंग-आधारित ऑब्जेक्ट पहचान के माध्यम से निकायों का मूल्यांकन किया जाता है और कपड़ों की प्रस्तावित वस्तुओं के लिए अनुकूलित किया जाता है। स्रोत: https://www.youtube.com/watch?v=2ZXrgGyhbak

लक्ष्य फैशन और कपड़ों के बाजार के लिए 'वर्चुअल ट्राई-ऑन' को सक्षम करने के लिए नई प्रणालियाँ बनाना है - ऐसी प्रणालियाँ जो ग्राहक और उस विशिष्ट उत्पाद दोनों के लिए अनुकूल हो सकती हैं जो वर्तमान में उपलब्ध है या जारी होने वाला है, वास्तविक की गड़बड़ी के बिना। -समय अध्यारोपण of कपड़े, या ग्राहकों से पूछने की आवश्यकता है थोड़ी सी NSFW तस्वीरें भेजें एमएल-आधारित रेंडरिंग पाइपलाइनों के लिए।

कोई भी लोकप्रिय संश्लेषण आर्किटेक्चर इस कार्य के लिए आसानी से अनुकूल नहीं लगता: गुप्त स्थान जेनरेटिव एडवरसैरियल नेटवर्क (जीएएन) ठोस अस्थायी गति (या यहां तक ​​​​कि) उत्पन्न करने के लिए उपयुक्त नहीं है संपादन के लिए सामान्य रूप में); यद्यपि अच्छी तरह से सक्षम यथार्थवादी मानव आंदोलन उत्पन्न करने का, तंत्रिका चमक क्षेत्र (एनईआरएफ) आमतौर पर स्वाभाविक रूप से होते हैं प्रतिरोधी उस प्रकार का संपादन जो इच्छानुसार लोगों या कपड़ों को 'बदलने' के लिए आवश्यक होगा; ऑटोएन्कोडर्स को बोझिल व्यक्ति/कपड़े-विशिष्ट प्रशिक्षण की आवश्यकता होगी; और जीएएन जैसे अव्यक्त प्रसार मॉडल में वीडियो निर्माण के लिए शून्य मूल अस्थायी तंत्र होते हैं।

EVA3D

बहरहाल, कागजात और प्रस्ताव जारी हैं। नवीनतम अनुसंधान की अन्यथा विशिष्ट और विशेष रूप से व्यवसाय-उन्मुख दिशा में असामान्य रुचि है।

EVA3Dसिंगापुर के नानयांग टेक्नोलॉजिकल यूनिवर्सिटी से, एक ऐसे दृष्टिकोण का पहला संकेत है जो काफी समय से चल रहा है - का उपयोग विभिन्न न्यूरल रेडियंस फील्ड नेटवर्क, जिनमें से प्रत्येक शरीर के एक अलग हिस्से के लिए समर्पित है, और जो फिर एक इकट्ठे और सामंजस्यपूर्ण दृश्य में बनाये जाते हैं।

EVA3D के लिए एक मोबाइल युवा महिला को कई NeRF नेटवर्क से संयोजित किया गया। स्रोत: https://hongfz16.github.io/projects/EVA3D.html

गति के संदर्भ में परिणाम...ठीक हैं। हालाँकि EVA3D का विज़ुअलाइज़ेशन अलौकिक घाटी से बाहर नहीं है, वे कम से कम जहाँ वे खड़े हैं वहाँ से ऑफ-रैंप देख सकते हैं।

EVA3D को जो चीज़ उत्कृष्ट बनाती है वह यह है कि इसके पीछे के शोधकर्ताओं ने, लगभग पूर्ण-शरीर छवि संश्लेषण के क्षेत्र में, यह महसूस किया है कि एक एकल नेटवर्क (GAN, NeRF या अन्यथा) संपादन योग्य और लचीले मानव पूर्ण को संभालने में सक्षम नहीं होगा। कुछ वर्षों के लिए शरीर निर्माण - आंशिक रूप से अनुसंधान की गति के कारण, और आंशिक रूप से हार्डवेयर और अन्य तार्किक सीमाओं के कारण।

इसलिए, नानयांग टीम ने कार्य को 16 नेटवर्क और कई प्रौद्योगिकियों में विभाजित किया है - शहरी वातावरण के तंत्रिका प्रतिपादन के लिए पहले से ही अपनाया गया एक दृष्टिकोण ब्लॉक-एनईआरएफ और सिटीएनईआरएफ, और जो अगले पांच वर्षों में पूर्ण-बॉडी डीपफेक प्राप्त करने के लिए एक तेजी से दिलचस्प और संभावित रूप से उपयोगी आधा-तरफा उपाय बनने की संभावना है, जो कि नए वैचारिक या हार्डवेयर विकास को लंबित करता है।

इस प्रकार के 'वर्चुअल ट्राइ-ऑन' को बनाने में मौजूद सभी चुनौतियाँ तकनीकी या तार्किक नहीं हैं, और पेपर कुछ डेटा मुद्दों की रूपरेखा तैयार करता है, विशेष रूप से बिना पर्यवेक्षित शिक्षण के संबंध में:

'[फ़ैशन] डेटासेट में अधिकतर बहुत ही सीमित मानवीय मुद्राएँ होती हैं (अधिकांश समान खड़े मुद्राएँ होती हैं), और अत्यधिक असंतुलित देखने के कोण (अधिकांश सामने के दृश्य होते हैं)। यह असंतुलित 2डी डेटा वितरण 3डी जीएएन के बिना पर्यवेक्षित सीखने में बाधा उत्पन्न कर सकता है, जिससे नए दृश्य/मुद्रा संश्लेषण में कठिनाइयां पैदा हो सकती हैं। इसलिए, समस्या को कम करने के लिए एक उचित प्रशिक्षण रणनीति की आवश्यकता है।'

EVA3D वर्कफ़्लो मानव शरीर को 16 अलग-अलग भागों में विभाजित करता है, जिनमें से प्रत्येक अपने स्वयं के NeRF नेटवर्क के माध्यम से उत्पन्न होता है। जाहिर है, यह मोशन कैप्चर या अन्य प्रकार के मोशन डेटा के माध्यम से आकृति को गैल्वनाइज करने में सक्षम होने के लिए पर्याप्त 'अनफ्रोज़ेन' अनुभाग बनाता है। हालाँकि, इस लाभ के अलावा, यह सिस्टम को शरीर के उन हिस्सों को अधिकतम संसाधन आवंटित करने की भी अनुमति देता है जो समग्र प्रभाव को 'बेचते' हैं।

उदाहरण के लिए, मानव पैरों में अभिव्यक्ति की सीमा बहुत सीमित होती है, जबकि चेहरे और सिर की प्रामाणिकता, सामान्य रूप से पूरे शरीर की गति की गुणवत्ता के अलावा, प्रतिपादन के लिए प्रामाणिकता का केंद्र बिंदु होने की संभावना है।

EVA3D और पूर्व विधियों के बीच गुणात्मक तुलना। लेखक इस संबंध में SOTA परिणामों का दावा करते हैं।

यह दृष्टिकोण एनईआरएफ-केंद्रित परियोजना से मौलिक रूप से भिन्न है जिससे यह वैचारिक रूप से संबंधित है - 2021 का ए-एनईआरएफ, ब्रिटिश कोलंबिया विश्वविद्यालय और रियलिटी लैब्स रिसर्च से, जिसने पारंपरिक रूप से 'एक टुकड़ा' एनईआरएफ प्रतिनिधित्व में एक आंतरिक नियंत्रण कंकाल जोड़ने की मांग की, जिससे जरूरत के आधार पर शरीर के विभिन्न हिस्सों में प्रसंस्करण संसाधनों को आवंटित करना अधिक कठिन हो गया। .

पूर्व प्रस्ताव - ए-एनईआरएफ एक 'बेक्ड' एनईआरएफ को उसी प्रकार की नमनीय और स्पष्ट केंद्रीय हेराफेरी के साथ तैयार करता है जिसे वीएफएक्स उद्योग लंबे समय से सीजीआई पात्रों को चेतन करने के लिए उपयोग कर रहा है। स्रोत: https://lemonatsu.github.io/anerf/

अधिकांश समान मानव-केंद्रित परियोजनाओं के समान, जो विभिन्न लोकप्रिय दृष्टिकोणों के अव्यक्त स्थान का लाभ उठाना चाहते हैं, EVA3D एक स्किन्ड मल्टी-पर्सन लीनियर मॉडल का उपयोग करता है (एसएमपीएल), वर्तमान संश्लेषण विधियों के सामान्य अमूर्तन में साधन जोड़ने के लिए एक 'पारंपरिक' सीजीआई-आधारित विधि। इस साल की शुरुआत में, एक अन्य पेपर, इस बार हांग्जो में झेजियांग विश्वविद्यालय और हांगकांग के सिटी यूनिवर्सिटी में स्कूल ऑफ क्रिएटिव मीडिया ने प्रदर्शन के लिए ऐसे तरीकों का इस्तेमाल किया। तंत्रिका शरीर का पुनः आकार बदलना.

DeepFashion पर EVA3D के गुणात्मक परिणाम।

विधि

इस प्रक्रिया में प्रयुक्त एसएमपीएल मॉडल को मानव 'पूर्व' के अनुरूप बनाया गया है - वह व्यक्ति, जो अनिवार्य रूप से, ईवीए3डी द्वारा स्वैच्छिक रूप से डीपफेक किया जा रहा है, और इसके स्किनिंग वजन कैनोनिकल स्पेस (यानी 'आराम पर', या 'के बीच अंतर पर बातचीत करते हैं। एसएमपीएल मॉडल की 'तटस्थ' मुद्रा) और अंतिम स्वरूप प्रस्तुत करने का तरीका।

EVA3D के लिए वैचारिक कार्यप्रवाह। स्रोत: https://arxiv.org/pdf/2210.04888.pdf

जैसा कि ऊपर दिए गए चित्रण में देखा गया है, एसएमपीएल के बाउंडिंग बॉक्स का उपयोग 16 नेटवर्क के लिए सीमा परिभाषा के रूप में किया जाता है जो अंततः बॉडी की रचना करेगा। श्लोक में रैखिक मिश्रण स्किनिंग एसएमपीएल के (एलबीएस) एल्गोरिदम का उपयोग दृश्यमान नमूना किरणों को कैनोनिकल (निष्क्रिय मुद्रा) स्थान में स्थानांतरित करने के लिए किया जाता है। फिर इन कॉन्फ़िगरेशन के आधार पर 16 उप-नेटवर्क से पूछताछ की जाती है, और अंततः अंतिम रेंडर में शामिल किया जाता है।

संपूर्ण NeRF समग्र का उपयोग 3D मानव GAN ढांचे के निर्माण के लिए किया जाता है।

दूसरे चरण के GAN ढांचे के प्रतिपादन को अंततः मनुष्यों/फैशन के वास्तविक 2D छवि संग्रह के विरुद्ध प्रशिक्षित किया जाएगा।

मानव शरीर के हिस्से का प्रतिनिधित्व करने वाला प्रत्येक उप-नेटवर्क स्टैक्ड मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) से बना है मोहिनी (साइनसॉइडल रिप्रेजेंटेशन नेटवर्क) सक्रियण। हालाँकि SIREN इस तरह के वर्कफ़्लो में बहुत सारी समस्याओं का समाधान करता है, और इसी तरह की परियोजनाओं में, यह सामान्यीकरण के बजाय ओवरफिट हो जाता है, और शोधकर्ताओं का सुझाव है कि भविष्य में वैकल्पिक पुस्तकालयों का उपयोग किया जा सकता है (लेख का अंत देखें)।

डेटा, प्रशिक्षण और परीक्षण

फैशन-आधारित डेटासेट में उपलब्ध पोज़ की सीमाओं और टेम्पलेटेड शैली के कारण, EVA3D को असामान्य डेटा समस्याओं का सामना करना पड़ता है, जिसमें वैकल्पिक या उपन्यास दृश्यों की कमी होती है, और ध्यान केंद्रित करने के लिए, शायद जानबूझकर, दोहराव किया जाता है। कपड़े पहनने के बजाय इंसान उन्हें पहनते हैं।

इस असंतुलित मुद्रा वितरण के कारण, EVA3D SMPL टेम्पलेट ज्यामिति के आधार पर मानव पुजारियों (ऊपर देखें) का उपयोग करता है, और फिर एक हस्ताक्षरित दूरी फ़ील्ड की भविष्यवाणी करता है (एसडीएफ) सीधे लक्ष्य मुद्रा के बजाय इस मुद्रा की ऑफसेट।

सहायक प्रयोगों के लिए, शोधकर्ताओं ने चार डेटासेट का उपयोग किया: डीपफ़ैशन; एसएचएचक्यू; यूबीसीफ़ैशन; और यह एआईएसटी डांस वीडियो डेटाबेस (एआईएसटी डांस डीबी)।

बाद वाले दो में पहले दो की तुलना में अधिक विविध पोज़ हैं, लेकिन समान व्यक्तियों को दोहराव से दर्शाते हैं, जो इस अन्यथा उपयोगी विविधता को रद्द कर देता है; संक्षेप में, कार्य को देखते हुए डेटा चुनौतीपूर्ण से भी अधिक है।

एसएसएचक्यू से उदाहरण। स्रोत: https://arxiv.org/pdf/2204.11823.pdf

उपयोग की गई आधार रेखाएँ थीं ENARF-गण2डी छवि डेटासेट से एनईआरएफ दृश्य प्रस्तुत करने वाली पहली परियोजना; स्टैनफोर्ड और NVIDIA ईजी3डी, और स्टाइलएसडीएफ, वाशिंगटन विश्वविद्यालय, एडोब रिसर्च और स्टैनफोर्ड विश्वविद्यालय के बीच एक सहयोग - सभी तरीकों के लिए मूल से उच्च रिज़ॉल्यूशन तक बढ़ने के लिए सुपर-रिज़ॉल्यूशन लाइब्रेरी की आवश्यकता होती है।

अपनाए गए मेट्रिक्स थे विवादास्पद फ़्रेचेट आरंभ दूरी (खूंटी) और कर्नेल आरंभ दूरी (बच्चे), सही मुख्य बिंदुओं के प्रतिशत के साथ ([ईमेल संरक्षित]).

मात्रात्मक मूल्यांकन में, EVA3D चार डेटासेट में सभी मेट्रिक्स पर आगे रहा:

मात्रात्मक परिणाम.

शोधकर्ताओं का कहना है कि EVA3D ज्यामिति प्रतिपादन के लिए न्यूनतम त्रुटि दर प्राप्त करता है, जो इस प्रकार की परियोजना में एक महत्वपूर्ण कारक है। वे यह भी देखते हैं कि उनका सिस्टम उत्पन्न मुद्रा को नियंत्रित कर सकता है और उच्चतर हासिल कर सकता है [ईमेल संरक्षित] स्कोर, ईजी3डी के विपरीत, एकमात्र प्रतिस्पर्धी पद्धति जिसने एक श्रेणी में उच्च स्कोर किया।

EVA3D मूल रूप से वर्तमान मानक 512x512px रिज़ॉल्यूशन पर काम करता है, हालांकि इसे आसानी से और प्रभावी ढंग से अपस्केल परतों पर जमा करके एचडी रिज़ॉल्यूशन में बढ़ाया जा सकता है, जैसा कि Google ने हाल ही में अपने 1024 रिज़ॉल्यूशन टेक्स्ट-टू-वीडियो ऑफर के साथ किया है। इमेजन वीडियो.

विधि बिना सीमा के नहीं है. पेपर नोट करता है कि SIREN सक्रियण परिपत्र कलाकृतियों का कारण बन सकता है, जिसे 3D डिकोडर के संयोजन में EG2D जैसे वैकल्पिक आधार प्रतिनिधित्व के उपयोग से भविष्य के संस्करणों में ठीक किया जा सकता है। इसके अतिरिक्त, एसएमपीएल को फैशन डेटा स्रोतों में सटीक रूप से फिट करना मुश्किल है।

अंत में, सिस्टम कपड़ों की बड़ी और अधिक तरल वस्तुओं, जैसे बड़े कपड़े, को आसानी से समायोजित नहीं कर सकता है; इस प्रकार के परिधान उसी प्रकार की तरल गतिशीलता प्रदर्शित करते हैं जो तंत्रिका रूप से निर्मित बालों का निर्माण करते हैं ऐसी चुनौती. संभवतः, एक उपयुक्त समाधान दोनों मुद्दों को हल करने में मदद कर सकता है।

पहली बार 12 अक्टूबर 2022 को प्रकाशित।