मानव शरीर के प्रकार को एआई के साथ बदलना

चीन से एक नए शोध सहयोग ने मानव शरीर को छवियों में बदलने का एक नया तरीका पेश किया है, जिसमें एक समन्वित जुड़वां न्यूरल एनकोडर नेटवर्क का उपयोग किया जाता है, जो एक पैरामेट्रिक मॉडल द्वारा निर्देशित होता है, जो एक अंत-उपयोगकर्ता को वजन, ऊंचाई और शरीर के अनुपात को एक इंटरैक्टिव जीयूआई में संशोधित करने की अनुमति देता है।

पैरामेट्रिक मॉड्यूलेशन ऑफ बॉडी शेप, जिसमें तीन उपलब्ध विशेषताओं को बदलने वाले स्लाइडर हैं। स्रोत: https://arxiv.org/pdf/2203.10496.pdf

यह काम अलीबाबा के एक हालिया समान परियोजना की तुलना में कई सुधार प्रदान करता है, जिसमें यह ऊंचाई और शरीर के अनुपात के साथ-साथ वजन को भी बदलने में सक्षम है, और इसमें एक समर्पित न्यूरल नेटवर्क है जो ‘इनपेंटिंग’ (non-existent) पृष्ठभूमि के लिए है, जो ‘पतले’ शरीर की छवियों द्वारा खुलासा किया जा सकता है। यह एक प्रमुख पूर्व पैरामेट्रिक विधि को भी बेहतर बनाता है जो शरीर को बदलने के लिए मानव हस्तक्षेप की आवश्यकता को हटा देता है।

न्यूरलरेशेपर नामक इस नए आर्किटेक्चर में, एक पैरामेट्रिक 3डी मानव टेम्पलेट को एक स्रोत छवि में फिट किया जाता है, और फिर टेम्पलेट में विकृतियों का उपयोग मूल छवि को नए पैरामीटर में अनुकूलित करने के लिए किया जाता है।

सिस्टम कपड़े पहने हुए और अर्ध-वस्त्र पहने हुए (जैसे समुद्र तट के कपड़े) आंकड़ों पर शरीर परिवर्तनों को संभाल सकता है।

इस प्रकार के परिवर्तन वर्तमान में फैशन एआई अनुसंधान क्षेत्र में तीव्र रुचि का विषय हैं, जिसने कई स्टाइलजीएन/साइकलजीएन-आधारित और सामान्य न्यूरल नेटवर्क प्लेटफ़ॉर्म तैयार किए हैं जो आभासी प्रयासों के लिए उपलब्ध कपड़ों को एक उपयोगकर्ता-प्रस्तुत छवि के शरीर के आकार और प्रकार के अनुसार अनुकूलित कर सकते हैं, या दृश्य अनुरूपता में मदद कर सकते हैं।

शोध पत्र का शीर्षक सिंगल-इमेज ह्यूमन-बॉडी रीशेपिंग विद डीप न्यूरल नेटवर्क्स है, और यह ज़ेजियांग विश्वविद्यालय, हांग्जो और हांगकांग सिटी विश्वविद्यालय के स्कूल ऑफ क्रिएटिव मीडिया के शोधकर्ताओं से आया है।

एसएमपीएल फिटिंग

न्यूरलरेशेपर मैक्स प्लैंक इंस्टीट्यूट फॉर इंटेलिजेंट सिस्टम्स और प्रसिद्ध वीएफएक्स हाउस इंडस्ट्रियल लाइट एंड मैजिक द्वारा 2015 में विकसित स्किन्ड मल्टी-पर्सन लीनियर मॉडल (एसएमपीएल) का उपयोग करता है।

एसएमपीएल पैरामेट्रिक मानव प्लैन्क/आईएलएम सहयोग से। स्रोत: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

प्रक्रिया के पहले चरण में, एक एसएमपीएल मॉडल को एक स्रोत छवि से उत्पन्न किया जाता है जिसमें शरीर परिवर्तन करने की इच्छा होती है। एसएमपीएल मॉडल को छवि में अनुकूलित करने की प्रक्रिया 2018 में जर्मनी और यूएस के विश्वविद्यालयों द्वारा प्रस्तावित मानव मेष पुनर्प्राप्ति (एचएमआर) विधि के तरीके का पालन करती है।

विकृति के लिए तीन पैरामीटर (वजन, ऊंचाई, शरीर का अनुपात) इस चरण में गणना की जाती है, साथ ही कैमरा पैरामीटर जैसे फोकल लंबाई का भी ध्यान रखा जाता है। 2डी कीपॉइंट और उत्पन्न सिल्हूट संरेखण विकृति के लिए एक 2डी सिल्हूट के रूप में एक बंदी प्रदान करते हैं, जो एक अतिरिक्त अनुकूलन उपाय है जो सीमा की सटीकता को बढ़ाता है और पाइपलाइन में आगे पृष्ठभूमि के लिए वास्तविक इनपेंटिंग की अनुमति देता है।

एसएमपीएल फिटिंग के चरण: बाएं, स्रोत छवि; दूसरा बायां, 2016 शोध द्वारा रूपरेखित विधि का अनुकूलन परिणाम; तीसरा बायां, पूर्व-प्रशिक्षित मॉडल से प्रत्यक्ष अनुमान परिणाम; दूसरा दायां, 2डी कीपॉइंट के अनुकूलन के बाद परिणाम; और दायां, सिल्हूट अनुकूलन के बाद पूरा फिट (ऊपर देखें).

3डी विकृति को तब आर्किटेक्चर के छवि स्थान में परियोजना किया जाता है ताकि एक घना वार्पिंग फील्ड को परिभाषित किया जा सके जो विकृति को परिभाषित करेगा। यह प्रक्रिया लगभग 30 सेकंड प्रति छवि लेती है।

न्यूरलरेशेपर आर्किटेक्चर

न्यूरलरेशेपर दो न्यूरल नेटवर्क को साथ-साथ चलाता है: एक फोरग्राउंड एनकोडर जो परिवर्तित शरीर के आकार को उत्पन्न करता है, और एक बैकग्राउंड एनकोडर जो ‘डी-ओक्लूडेड’ पृष्ठभूमि क्षेत्रों (जैसे कि एक शरीर को पतला करने के मामले में) को भरने पर केंद्रित होता है।

यू-नेट-शैली का फ्रेमवर्क दोनों एनकोडर्स की विशेषताओं के आउटपुट को एकजुट करता है और परिणाम को एक एकीकृत एनकोडर में पास करता है जो अंततः दो इनपुट से एक नई छवि का उत्पादन करता है। आर्किटेक्चर में एक नवीन वार्प-निर्देशित तंत्र है जो एकीकरण को सक्षम बनाता है।

प्रशिक्षण और प्रयोग

न्यूरलरेशेपर पाइटोर्च में एक एकल एनवीडिया 1080ti जीपीयू पर 11जीबी वीआरएएम के साथ लागू किया गया है। नेटवर्क को 100 युगों के लिए एडम ऑप्टिमाइज़र के तहत प्रशिक्षित किया गया था, जिसमें जनरेटर को 0.0001 के लक्ष्य नुकसान के साथ सेट किया गया था और विवेचक को 0.0004 के लक्ष्य नुकसान के साथ सेट किया गया था। प्रशिक्षण एक प्रोप्राइटरी आउटडोर डेटासेट (सीओसीओ, एमपीआईआई, और एलएसपी से ड्रॉ किया गया) पर 8 के बैच आकार के लिए हुआ, और डीपफैशन डेटासेट पर 2 के लिए प्रशिक्षित किया गया था।

बाएं, मूल छवियां, दाएं, न्यूरलरेशेपर का पुनर्संयोजित आउटपुट.

नीचे कुछ उदाहरण हैं जो विशेष रूप से डीपफैशन डेटासेट से हैं जैसा कि न्यूरलरेशेपर के लिए प्रशिक्षित किया गया है, जिसमें मूल छवियां हमेशा बाएं होती हैं।

तीन नियंत्रित विशेषताएं अलग-अलग हैं और अलग-अलग रूप से लागू की जा सकती हैं।

प्राप्त आउटडोर डेटासेट पर परिवर्तन अधिक चुनौतीपूर्ण हैं, क्योंकि वे अक्सर जटिल पृष्ठभूमि को भरने और परिवर्तित शरीर प्रकारों को स्पष्ट रूप से परिभाषित करने की आवश्यकता होती है:

पैरामेट्रिक आवश्यकता

जैसा कि पत्र में देखा गया है, इस प्रकार के समान-छवि परिवर्तन एक खराब तरीके से तैयार की गई समस्या का प्रतिनिधित्व करते हैं जो छवि संश्लेषण में है। कई परिवर्तनकारी जीएन और एनकोडर फ्रेमवर्क जोड़ी गई छवियों (जैसे कि आहार या प्लास्टिक सर्जरी विज्ञापनों में ‘पहले और बाद’ की छवियां) का उपयोग कर सकते हैं।

हालांकि, इस मामले में, यह एक ही लोगों को विभिन्न शारीरिक कॉन्फ़िगरेशन में दिखाने वाली छवि जोड़े की आवश्यकता होगी – डेटा जो प्राप्त करना या उत्पन्न करना मुश्किल है।

परिवर्तनकारी जीएन नेटवर्क अधिक विविध डेटा पर प्रशिक्षित हो सकते हैं और परिवर्तनों को लागू करके लैटेंट दिशा की तलाश में (इस मामले में ‘मोटा’, ‘पतला’, ‘लंबा’, आदि) परिवर्तन लागू कर सकते हैं। हालांकि, यह दृष्टिकोण अभी भी शरीर को बदलने के लिए बहुत सीमित है।

न्यूरल रेडियंस फील्ड्स (नेर्फ) दृष्टिकोण अधिकांश जीएन-आधारित प्रणालियों की तुलना में पूर्ण-शरीर सिमुलेशन में बहुत आगे हैं, लेकिन वे अभी भी दृश्य-विशिष्ट और संसाधन-गहन हैं, और वर्तमान में शरीर के प्रकारों को संशोधित करने की क्षमता बहुत सीमित है (न्यूरलरेशेपर और पूर्व के परियोजनाओं द्वारा संबोधित किए जा रहे हैं)।

जीएन का लैटेंट स्पेस कठिन है; वीएई अकेले अभी भी पूर्ण-शरीर पुनरुत्पादन की जटिलताओं को संबोधित नहीं करते हैं; और नेर्फ की क्षमता मानव शरीर को लगातार और वास्तविक रूप से फिर से बनाने की अभी भी शुरुआती है। इसलिए, ‘पारंपरिक’ सीजीआई विधियों जैसे एसएमपीएल को शामिल करना मानव छवि संश्लेषण अनुसंधान क्षेत्र में जारी रहेगा, जो विशेषताओं, वर्गों और लैटेंट कोड को समेकित करने के लिए एक तरीके के रूप में कार्य करता है जिनके पैरामीटर और शोषण अभी भी इन उभरती प्रौद्योगिकियों में पूरी तरह से समझे नहीं गए हैं।

31 मार्च 2022 को पहली बार प्रकाशित।