Anderson का एंगल

मानव शरीर के प्रकार को एआई के साथ बदलना

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुNeuralReshaper वजन, ऊंचाई और शरीर के अनुपात पर सूक्ष्म नियंत्रण सक्षम करने के लिए SMPL…
और देखें
  • NeuralReshaper वजन, ऊंचाई और शरीर के अनुपात पर सूक्ष्म नियंत्रण सक्षम करने के लिए SMPL पैरामीट्रिक मॉडल का उपयोग करता है।
  • यथार्थवादी परिणामों के लिए ट्विन एनकोडर आर्किटेक्चर अग्रभूमि शरीर पुनर्आकार और पृष्ठभूमि इनपेंटिंग को अलग-अलग संभालता है।
  • SMPL-आधारित CGI विधियाँ आवश्यक बनी हुई हैं क्योंकि GANs और NeRFs अभी तक शरीर के आकार मापदंडों को विश्वसनीय रूप से संपादित नहीं कर सकते हैं।

चीन से एक नए शोध सहयोग ने मानव शरीर को छवियों में बदलने का एक नया तरीका पेश किया है, जिसमें एक समन्वित जुड़वां न्यूरल एनकोडर नेटवर्क का उपयोग किया जाता है, जो एक पैरामेट्रिक मॉडल द्वारा निर्देशित होता है, जो एक अंत-उपयोगकर्ता को वजन, ऊंचाई और शरीर के अनुपात को एक इंटरैक्टिव जीयूआई में संशोधित करने की अनुमति देता है।

पैरामेट्रिक मॉड्यूलेशन ऑफ बॉडी शेप, जिसमें तीन उपलब्ध विशेषताओं को बदलने वाले स्लाइडर हैं। स्रोत: https://arxiv.org/pdf/2203.10496.pdf

पैरामेट्रिक मॉड्यूलेशन ऑफ बॉडी शेप, जिसमें तीन उपलब्ध विशेषताओं को बदलने वाले स्लाइडर हैं। स्रोत: https://arxiv.org/pdf/2203.10496.pdf

यह काम अलीबाबा की हाल की एक समान परियोजना की तुलना में कई सुधार प्रदान करता है, जिसमें यह ऊंचाई और शरीर के अनुपात के साथ-साथ वजन को भी बदलने में सक्षम है, और इसमें एक समर्पित न्यूरल नेटवर्क है जो ‘इनपेंटिंग’ (मूल चित्र में अनुपस्थित) पृष्ठभूमि के लिए है, जो ‘पतले’ शरीर की छवियों द्वारा खुलासा किया जा सकता है। यह शरीर का आकार बदलने की पहले की एक उल्लेखनीय पैरामीट्रिक विधि को भी बेहतर बनाता है और रूपांतरण तैयार करते समय व्यापक मानवीय हस्तक्षेप की आवश्यकता हटाता है।

न्यूरलरेशेपर नामक इस नए आर्किटेक्चर में, एक पैरामेट्रिक 3डी मानव टेम्पलेट को एक स्रोत छवि में फिट किया जाता है, और फिर टेम्पलेट में विकृतियों का उपयोग मूल छवि को नए पैरामीटर में अनुकूलित करने के लिए किया जाता है।

सिस्टम कपड़े पहने हुए और अर्ध-वस्त्र पहने हुए (जैसे समुद्र तट के कपड़े) आंकड़ों पर शरीर परिवर्तनों को संभाल सकता है।

इस प्रकार के परिवर्तन वर्तमान में फैशन एआई अनुसंधान क्षेत्र में तीव्र रुचि का विषय हैं, जिसने कई स्टाइलजीएन/साइकलजीएन-आधारित और सामान्य न्यूरल नेटवर्क प्लेटफ़ॉर्म तैयार किए हैं जो कपड़ों की आभासी आजमाइश के लिए उपलब्ध कपड़ों को एक उपयोगकर्ता-प्रस्तुत छवि के शरीर के आकार और प्रकार के अनुसार अनुकूलित कर सकते हैं, या दृश्य अनुरूपता में मदद कर सकते हैं।

शोध पत्र का शीर्षक सिंगल-इमेज ह्यूमन-बॉडी रीशेपिंग विद डीप न्यूरल नेटवर्क्स है, और यह ज़ेजियांग विश्वविद्यालय, हांग्जो और हांगकांग सिटी विश्वविद्यालय के स्कूल ऑफ क्रिएटिव मीडिया के शोधकर्ताओं से आया है।

एसएमपीएल फिटिंग

न्यूरलरेशेपर मैक्स प्लैंक इंस्टीट्यूट फॉर इंटेलिजेंट सिस्टम्स और प्रसिद्ध वीएफएक्स हाउस इंडस्ट्रियल लाइट एंड मैजिक द्वारा 2015 में विकसित स्किन्ड मल्टी-पर्सन लीनियर मॉडल (एसएमपीएल) का उपयोग करता है।

एसएमपीएल पैरामेट्रिक मानव प्लैन्क/आईएलएम सहयोग से। स्रोत: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

एसएमपीएल पैरामेट्रिक मानव प्लैन्क/आईएलएम सहयोग से। स्रोत: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

प्रक्रिया के पहले चरण में, एक एसएमपीएल मॉडल को एक स्रोत छवि से उत्पन्न किया जाता है जिसमें शरीर परिवर्तन करने की इच्छा होती है। एसएमपीएल मॉडल को छवि में अनुकूलित करने की प्रक्रिया 2018 में जर्मनी और यूएस के विश्वविद्यालयों द्वारा प्रस्तावित मानव मेष पुनर्प्राप्ति (एचएमआर) विधि की पद्धति का पालन करती है।

विकृति के लिए तीन पैरामीटर (वजन, ऊंचाई, शरीर का अनुपात) इस चरण में गणना की जाती है, साथ ही कैमरा पैरामीटर जैसे फोकल लंबाई का भी ध्यान रखा जाता है। 2डी कीपॉइंट और उत्पन्न सिल्हूट संरेखण विकृति के लिए एक 2डी सिल्हूट के रूप में एक बंदी प्रदान करते हैं, जो एक अतिरिक्त अनुकूलन उपाय है जो सीमा की सटीकता को बढ़ाता है और पाइपलाइन में आगे पृष्ठभूमि के लिए वास्तविक इनपेंटिंग की अनुमति देता है।

एसएमपीएल फिटिंग के चरण: बाएं, स्रोत छवि; दूसरा बायां, 2016 शोध द्वारा रूपरेखित विधि का अनुकूलन परिणाम; तीसरा बायां, पूर्व-प्रशिक्षित मॉडल से प्रत्यक्ष अनुमान परिणाम; दूसरा दायां, 2डी कीपॉइंट के अनुकूलन के बाद परिणाम; और दायां, सिल्हूट अनुकूलन के बाद पूरा फिट (ऊपर देखें).

एसएमपीएल फिटिंग के चरण: बाईं ओर स्रोत छवि; दूसरी छवि मैक्स प्लैंक इंस्टीट्यूट के नेतृत्व वाले 2016 के शोध की विधि से मिला अनुकूलन परिणाम है; तीसरी छवि End-to-end Recovery of Human Shape and Pose के पूर्व-प्रशिक्षित मॉडल का प्रत्यक्ष अनुमान है; चौथी छवि 2डी प्रमुख बिंदुओं के अनुकूलन के बाद का परिणाम है; और पाँचवीं सिल्हूट अनुकूलन के बाद अंतिम फिट है (ऊपर देखें)।

3डी विकृति को तब आर्किटेक्चर के छवि स्थान में परियोजना किया जाता है ताकि एक घना वार्पिंग फील्ड को परिभाषित किया जा सके जो विकृति को परिभाषित करेगा। यह प्रक्रिया लगभग 30 सेकंड प्रति छवि लेती है।

न्यूरलरेशेपर आर्किटेक्चर

न्यूरलरेशेपर दो न्यूरल नेटवर्क को साथ-साथ चलाता है: एक फोरग्राउंड एनकोडर जो परिवर्तित शरीर के आकार को उत्पन्न करता है, और एक बैकग्राउंड एनकोडर जो ‘डी-ओक्लूडेड’ पृष्ठभूमि क्षेत्रों (जैसे कि एक शरीर को पतला करने के मामले में) को भरने पर केंद्रित होता है।

यू-नेट-शैली का फ्रेमवर्क दोनों एनकोडर्स की विशेषताओं के आउटपुट को एकजुट करता है और परिणाम को एक एकीकृत डिकोडर में पास करता है जो अंततः दो इनपुट से एक नई छवि का उत्पादन करता है। आर्किटेक्चर में एक नवीन वार्प-निर्देशित तंत्र है जो एकीकरण को सक्षम बनाता है।

प्रशिक्षण और प्रयोग

न्यूरलरेशेपर पाइटोर्च में एक एकल एनवीडिया (NVDA ) 1080ti जीपीयू पर 11जीबी वीआरएएम के साथ लागू किया गया है। नेटवर्क को 100 युगों के लिए एडम ऑप्टिमाइज़र के तहत प्रशिक्षित किया गया था, जिसमें जनरेटर की सीखने की दर 0.0001 और विवेचक की सीखने की दर 0.0004 रखी गई थी। प्रशिक्षण एक प्रोप्राइटरी आउटडोर डेटासेट (सीओसीओ, एमपीआईआई और एलएसपी से लिया गया) पर 8 के बैच आकार के लिए हुआ, और डीपफैशन डेटासेट पर 2 के लिए प्रशिक्षित किया गया था।

बाएं, मूल छवियां, दाएं, न्यूरलरेशेपर का पुनर्संयोजित आउटपुट.

बाएं, मूल छवियां, दाएं, न्यूरलरेशेपर का पुनर्संयोजित आउटपुट.

नीचे कुछ उदाहरण हैं जो विशेष रूप से डीपफैशन डेटासेट से हैं जैसा कि न्यूरलरेशेपर के लिए प्रशिक्षित किया गया है, जिसमें मूल छवियां हमेशा बाएं होती हैं।

तीन नियंत्रित विशेषताएं अलग-अलग हैं और अलग-अलग रूप से लागू की जा सकती हैं।

प्राप्त आउटडोर डेटासेट पर परिवर्तन अधिक चुनौतीपूर्ण हैं, क्योंकि वे अक्सर जटिल पृष्ठभूमि को भरने और परिवर्तित शरीर प्रकारों को स्पष्ट रूप से परिभाषित करने की आवश्यकता होती है:

पैरामेट्रिक आवश्यकता

जैसा कि शोध पत्र बताता है, एक ही छवि में इस तरह का रूपांतरण छवि संश्लेषण की एक अपर्याप्त रूप से निर्धारित समस्या है। कई GAN और एनकोडर प्रणालियाँ युग्मित छवियों का उपयोग कर सकती हैं, जैसे स्केच>फोटो तथा फोटो>स्केच रूपांतरण के लिए बनाए गए प्रोजेक्ट।

लेकिन यहाँ उसी व्यक्ति की अलग-अलग शारीरिक बनावट वाली छवि-जोड़ियाँ चाहिए होंगी, जैसे आहार या प्लास्टिक सर्जरी के विज्ञापनों की पहले और बाद की तस्वीरें। ऐसा डेटा पाना या बनाना कठिन है।

वैकल्पिक रूप से, रूपांतरण करने वाले GAN कहीं अधिक विविध डेटा पर प्रशिक्षित हो सकते हैं और स्रोत छवि के लैटेंट कोड तथा वांछित वर्ग — जैसे मोटा, पतला या लंबा — के बीच लैटेंट दिशा खोजकर बदलाव कर सकते हैं। लेकिन शरीर को बारीकी से नया आकार देने के लिए यह तरीका अभी बहुत सीमित है।

न्यूरल रेडियंस फील्ड्स (NeRF) पूरे शरीर के सिमुलेशन में अधिकांश GAN प्रणालियों से आगे हैं। फिर भी वे किसी विशिष्ट दृश्य तक सीमित और संसाधन-गहन हैं। NeuralReshaper तथा पहले के प्रोजेक्ट जिस बारीकी से शरीर बदलना चाहते हैं, उसकी क्षमता इनमें अभी बहुत सीमित है — वातावरण की तुलना में पूरे शरीर का आकार घटाने को छोड़कर।

जीएन का लैटेंट स्पेस कठिन है; वीएई अकेले अभी भी पूर्ण-शरीर पुनरुत्पादन की जटिलताओं को संबोधित नहीं करते हैं; और नेर्फ की क्षमता मानव शरीर को लगातार और वास्तविक रूप से फिर से बनाने की अभी भी शुरुआती है। इसलिए, ‘पारंपरिक’ सीजीआई विधियों जैसे एसएमपीएल को शामिल करना मानव छवि संश्लेषण अनुसंधान क्षेत्र में जारी रहेगा, जो विशेषताओं, वर्गों और लैटेंट कोड को समेकित करने के लिए एक तरीके के रूप में कार्य करता है जिनके पैरामीटर और शोषण अभी भी इन उभरती प्रौद्योगिकियों में पूरी तरह से समझे नहीं गए हैं।

31 मार्च 2022 को पहली बार प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai