कंप्यूटर विजन एआई उद्योग में सबसे अधिक चर्चित क्षेत्रों में से एक है, इसकी व्यापक रूप से वास्तविक समय कार्यों में संभावित अनुप्रयोगों के कारण। हाल के वर्षों में, कंप्यूटर विजन फ्रेमवर्क तेजी से आगे बढ़े हैं, और आधुनिक मॉडल अब वास्तविक समय के दृश्यों में चेहरे की विशेषताओं, वस्तुओं और बहुत कुछ का विश्लेषण करने में सक्षम हैं। इन क्षमताओं के बावजूद, मानव गति हस्तांतरण कंप्यूटर विजन मॉडल के लिए एक बड़ी चुनौती बनी हुई है। यह कार्य स्रोत छवि या वीडियो से लक्ष्य छवि या वीडियो में चेहरे और शरीर की गति को पुनर्निर्देशित करने में शामिल है। मानव गति हस्तांतरण व्यापक रूप से कंप्यूटर विजन मॉडल में छवियों या वीडियो को स्टाइल करने, मल्टीमीडिया सामग्री को संपादित करने, डिजिटल मानव सिंथेसिस और यहां तक कि धारणा आधारित फ्रेमवर्क के लिए डेटा जेनरेट करने के लिए उपयोग किया जाता है।

इस लेख में, हम मैजिकडांस पर ध्यान केंद्रित करते हैं, जो मानव गति हस्तांतरण को क्रांतिकारी बनाने के लिए डिज़ाइन किया गया एक प्रसार-आधारित मॉडल है। मैजिकडांस फ्रेमवर्क विशेष रूप से चुनौतीपूर्ण मानव नृत्य वीडियो पर 2डी मानव चेहरे की अभिव्यक्तियों और गतियों को स्थानांतरित करने के लिए तैयार किया गया है। इसका उद्देश्य विशिष्ट लक्ष्य पहचान के लिए नए मुद्रा अनुक्रम-संचालित नृत्य वीडियो उत्पन्न करना है, जबकि मूल पहचान को बनाए रखना है। मैजिकडांस फ्रेमवर्क एक दो-चरण प्रशिक्षण रणनीति का उपयोग करता है, जो मानव गति विच्छेदन और रूप के कारकों पर केंद्रित है, जैसे कि त्वचा का रंग, चेहरे की अभिव्यक्तियां और कपड़े। हम मैजिकडांस फ्रेमवर्क, इसकी वास्तुकला, कार्यक्षमता और अन्य राज्य-оф-द-आर्ट मानव गति हस्तांतरण फ्रेमवर्क की तुलना में इसके प्रदर्शन का अन्वेषण करेंगे। आइए गोता लगाएं।

मैजिकडांस: वास्तविक मानव गति हस्तांतरण

जैसा कि पहले उल्लेख किया गया है, मानव गति हस्तांतरण कंप्यूटर विजन कार्यों में सबसे जटिल में से एक है, जो स्रोत छवि या वीडियो से लक्ष्य छवि या वीडियो में मानव गति और अभिव्यक्तियों को स्थानांतरित करने में शामिल जटिलता के कारण है। पारंपरिक रूप से, कंप्यूटर विजन फ्रेमवर्क ने लक्ष्य डेटासेट पर एक कार्य-विशिष्ट जेनरेटिव मॉडल को प्रशिक्षित करके मानव गति हस्तांतरण प्राप्त किया है, जिसमें जीएनएएन या जेनरेटिव एडवर्सेरियल नेटवर्क शामिल हैं। हालांकि जेनरेटिव मॉडल का प्रशिक्षण और उपयोग कुछ मामलों में संतोषजनक परिणाम प्रदान करता है, वे आमतौर पर दो प्रमुख सीमाओं से ग्रस्त होते हैं।

1. वे एक छवि विकृति घटक पर भारी रूप से निर्भर करते हैं, जिसके परिणामस्वरूप वे अक्सर शरीर के उन हिस्सों को अंतर्पोलेट करने के लिए संघर्ष करते हैं जो स्रोत छवि में दृश्य नहीं हैं या तो दृष्टिकोण में परिवर्तन या स्व-अवरोधन के कारण।
2. वे बाहरी स्रोतों से अन्य छवियों के लिए सामान्य नहीं कर सकते हैं, जो विशेष रूप से वास्तविक दुनिया में वास्तविक समय के दृश्यों में उनके अनुप्रयोगों को सीमित करता है।

आधुनिक प्रसार मॉडल विभिन्न स्थितियों में छवि पीढ़ी क्षमताओं का प्रदर्शन किया है, और प्रसार मॉडल अब वीडियो पीढ़ी और छवि इनपेंटिंग जैसे डाउनस्ट्रीम कार्यों की एक श्रृंखला पर शक्तिशाली दृश्य प्रस्तुत करने में सक्षम हैं, वेब-स्तर की छवि डेटासेट से सीखने के द्वारा। उनकी क्षमताओं के कारण, प्रसार मॉडल मानव गति हस्तांतरण कार्यों के लिए एक आदर्श विकल्प हो सकते हैं। हालांकि प्रसार मॉडल को मानव गति हस्तांतरण के लिए लागू किया जा सकता है, इसमें उत्पन्न सामग्री की गुणवत्ता के संदर्भ में या पहचान संरक्षण के संदर्भ में सीमाएं हो सकती हैं, या मॉडल डिजाइन और प्रशिक्षण रणनीति की सीमाओं के कारण समयिक असंगतियों से पीड़ित हो सकता है। इसके अलावा, प्रसार-आधारित मॉडल जीएनएएन फ्रेमवर्क की तुलना में सामान्यीकरण के संदर्भ में कोई महत्वपूर्ण लाभ नहीं दिखाते हैं।

प्रसार और जीएनएएन आधारित फ्रेमवर्क पर मानव गति हस्तांतरण कार्यों पर सामने आने वाली बाधाओं को पार करने के लिए, डेवलपर्स ने मैजिकडांस की शुरुआत की है, जो प्रसार फ्रेमवर्क की क्षमताओं का दोहन करने के लिए मानव गति हस्तांतरण के लिए एक नई फ्रेमवर्क है, जो असाधारण पहचान संरक्षण, श्रेष्ठ दृश्य गुणवत्ता और डोमेन सामान्यीकरण का प्रदर्शन करता है। मैजिकडांस फ्रेमवर्क का मूलभूत सिद्धांत दो चरणों में समस्या को विभाजित करना है: रूप नियंत्रण और गति नियंत्रण, दो क्षमताएं जो छवि प्रसार फ्रेमवर्क को सटीक गति हस्तांतरण आउटपुट प्रदान करने के लिए आवश्यक हैं।

उपरोक्त चित्र मैजिकडांस फ्रेमवर्क का एक संक्षिप्त अवलोकन प्रदान करता है, और जैसा कि देखा जा सकता है, फ्रेमवर्क स्टेबल डिफ्यूजन मॉडल का उपयोग करता है, और दो अतिरिक्त घटकों को भी तैनात करता है: रूप नियंत्रण मॉडल और पोज़ नियंत्रनेट, जहां पूर्ववर्ती एसडी मॉडल को एक संदर्भ छवि के माध्यम से ध्यान के माध्यम से रूप मार्गदर्शन प्रदान करता है, जबकि बाद वाला एक सशर्त छवि या वीडियो से प्रसार मॉडल को अभिव्यक्ति/पोज़ मार्गदर्शन प्रदान करता है। फ्रेमवर्क में एक बहु-चरण प्रशिक्षण रणनीति भी शामिल है जो इन उप-मॉड्यूल को प्रभावी ढंग से सीखने के लिए पोज़ नियंत्रण और रूप को विच्छेदन करने के लिए।

संक्षेप में, मैजिकडांस फ्रेमवर्क एक

1. नई और प्रभावी फ्रेमवर्क है जो रूप-विच्छेदन पोज़ नियंत्रण और रूप नियंत्रण पूर्व-प्रशिक्षण से बना है।
2. मैजिकडांस फ्रेमवर्क मानव चेहरे की अभिव्यक्तियों और मानव गति को पोज़ स्थिति इनपुट और संदर्भ छवियों या वीडियो के नियंत्रण में उत्पन्न करने में सक्षम है।
3. मैजिकडांस फ्रेमवर्क मानव सामग्री को रूप-संगत उत्पन्न करने के लिए एक बहु-स्रोत ध्यान मॉड्यूल पेश करता है जो स्टेबल डिफ्यूजन यूनेट फ्रेमवर्क के लिए सटीक मार्गदर्शन प्रदान करता है।
4. मैजिकडांस फ्रेमवर्क स्टेबल डिफ्यूजन फ्रेमवर्क के लिए एक सुविधाजनक एक्सटेंशन या प्लग-इन के रूप में भी उपयोग किया जा सकता है, और मौजूदा मॉडल वजन के साथ संगतता सुनिश्चित करता है क्योंकि यह पैरामीटर के अतिरिक्त फाइन-ट्यूनिंग की आवश्यकता नहीं है।

इसके अलावा, मैजिकडांस फ्रेमवर्क दोनों रूप और गति सामान्यीकरण के लिए असाधारण सामान्यीकरण क्षमता प्रदर्शित करता है।

1. रूप सामान्यीकरण: मैजिकडांस फ्रेमवर्क विविध रूपों को उत्पन्न करने में उत्कृष्ट क्षमता प्रदर्शित करता है।
2. गति सामान्यीकरण: मैजिकडांस फ्रेमवर्क एक विस्तृत श्रृंखला की गति उत्पन्न करने में भी सक्षम है।

मैजिकडांस: उद्देश्य और वास्तुकला

एक दिए गए संदर्भ छवि के लिए, जो एक वास्तविक मानव या एक शैलीबद्ध छवि हो सकती है, मैजिकडांस फ्रेमवर्क का प्राथमिक उद्देश्य एक आउटपुट छवि या वीडियो को इनपुट और पोज़ इनपुट {पी, एफ} पर सशर्त करना है, जहां पी मानव पोज़ कंकाल का प्रतिनिधित्व करता है और एफ चेहरे की विशेषताओं को दर्शाता है। उत्पन्न आउटपुट छवि या वीडियो को संदर्भ छवि में मौजूद मानवों की उपस्थिति और पहचान को संरक्षित करना चाहिए, साथ ही पोज़ इनपुट द्वारा परिभाषित पोज़ और अभिव्यक्तियों को बनाए रखना चाहिए।

वास्तुकला

प्रशिक्षण के दौरान, मैजिकडांस फ्रेमवर्क एक फ्रेम पुनर्निर्माण कार्य के रूप में प्रशिक्षित किया जाता है ताकि संदर्भ छवि और पोज़ इनपुट से स्रोत वीडियो से ग्राउंड ट्रुथ को पुनर्निर्मित किया जा सके। परीक्षण के दौरान, मानव गति हस्तांतरण प्राप्त करने के लिए पोज़ इनपुट और संदर्भ छवि को अलग-अलग स्रोतों से लिया जाता है।

मैजिकडांस फ्रेमवर्क की समग्र वास्तुकला को चार श्रेणियों में विभाजित किया जा सकता है: प्रारंभिक चरण, रूप नियंत्रण पूर्व-प्रशिक्षण, रूप-विच्छेदन पोज़ नियंत्रण, और गति मॉड्यूल।

प्रारंभिक चरण

लेटेंट डिफ्यूजन मॉडल, या एलडीएम, विशेष रूप से डिज़ाइन किए गए प्रसार मॉडल हैं जो एक ऑटोएनकोडर के उपयोग के माध्यम से लेटेंट स्पेस में काम करते हैं, और स्टेबल डिफ्यूजन फ्रेमवर्क एलडीएम का एक उल्लेखनीय उदाहरण है जो एक वेक्टर क्वांटाइज्ड-वेरिएशनल ऑटोएनकोडर और टेम्पोरल यू-नेट आर्किटेक्चर का उपयोग करता है। स्टेबल डिफ्यूजन मॉडल एक क्लिप-आधारित ट्रांसफॉर्मर का उपयोग एक पाठ एनकोडर के रूप में करता है ताकि पाठ इनपुट को संसाधित किया जा सके, पाठ इनपुट को एम्बेडिंग में परिवर्तित किया जा सके। प्रशिक्षण चरण में, स्टेबल डिफ्यूजन फ्रेमवर्क को एक पाठ स्थिति और एक इनपुट छवि के साथ प्रस्तुत किया जाता है, जिसमें प्रक्रिया छवि को एक लेटेंट प्रतिनिधित्व में एन्कोड करने और इसे एक पूर्वनिर्धारित क्रम में प्रसार चरणों के अधीन करने में शामिल होती है, जो एक गॉसियन विधि द्वारा निर्देशित होती है। परिणामी क्रम एक शोर लेटेंट प्रतिनिधित्व प्रदान करता है जो एक मानक सामान्य वितरण प्रदान करता है, जिसमें स्टेबल डिफ्यूजन फ्रेमवर्क का प्राथमिक शिक्षण उद्देश्य शोर लेटेंट प्रतिनिधित्वों को पुनरावृत्ति से लेटेंट प्रतिनिधित्वों में शोर करना है।

रूप नियंत्रण पूर्व-प्रशिक्षण

मूल कंट्रोलनेट फ्रेमवर्क के साथ एक प्रमुख मुद्दा यह है कि यह स्थानिक रूप से भिन्न गति के बीच रूप को नियंत्रित करने में असमर्थ है, हालांकि यह इनपुट छवि में पोज़ के समान पोज़ के साथ छवियों का उत्पादन करता है, लेकिन समग्र रूप मुख्य रूप से पाठ इनपुट द्वारा प्रभावित होता है। इस विधि का उपयोग किया जा सकता है, लेकिन यह मानव गति हस्तांतरण कार्यों के लिए उपयुक्त नहीं है जहां यह पाठ इनपुट नहीं है जो रूप जानकारी का प्राथमिक स्रोत है, बल्कि संदर्भ छवि है।

मैजिकडांस फ्रेमवर्क में रूप नियंत्रण पूर्व-प्रशिक्षण मॉड्यूल एक सहायक शाखा के रूप में डिज़ाइन किया गया है ताकि रूप नियंत्रण के लिए मार्गदर्शन प्रदान किया जा सके, एक परत-दर-परत दृष्टिकोण में। इसके बजाय पाठ इनपुट पर निर्भर रहने के, समग्र मॉड्यूल संदर्भ छवि से रूप विशेषताओं का लाभ उठाने पर केंद्रित है, जिसका उद्देश्य जटिल गति गतिविधियों में रूप विशेषताओं को सटीक रूप से उत्पन्न करने की फ्रेमवर्क की क्षमता को बढ़ाना है। इसके अलावा, यह केवल रूप नियंत्रण मॉडल है जो रूप नियंत्रण पूर्व-प्रशिक्षण के दौरान प्रशिक्षित किया जा सकता है।

रूप-विच्छेदन पोज़ नियंत्रण

आउटपुट छवि में पोज़ को नियंत्रित करने का एक सरल समाधान पूर्व-प्रशिक्षित कंट्रोलनेट मॉडल को पूर्व-प्रशिक्षित रूप नियंत्रण मॉडल के साथ सीधे एकीकृत करना होगा, बिना फाइन-ट्यूनिंग के। हालांकि, एकीकरण पोज़ और उत्पन्न पोज़ के बीच एक विसंगति का कारण बन सकता है, जो रूप-स्वतंत्र पोज़ नियंत्रण में परेशानी पैदा कर सकता है। इस विसंगति को दूर करने के लिए, मैजिकडांस फ्रेमवर्क पूर्व-प्रशिक्षित रूप नियंत्रण मॉडल के साथ पोज़ कंट्रोलनेट मॉडल को संयुक्त रूप से फाइन-ट्यून करता है।

गति मॉड्यूल

एक साथ काम करते हुए, रूप-विच्छेदन पोज़ नियंत्रणनेट और रूप नियंत्रण मॉडल छवि से गति हस्तांतरण प्राप्त करने में सटीक और प्रभावी हो सकते हैं, हालांकि यह समयिक असंगति का कारण बन सकता है। समयिक संगति सुनिश्चित करने के लिए, फ्रेमवर्क में एक अतिरिक्त गति मॉड्यूल को मुख्य स्टेबल डिफ्यूजन यूनेट आर्किटेक्चर में एकीकृत किया जाता है।

मैजिकडांस: पूर्व-प्रशिक्षण और डेटासेट

पूर्व-प्रशिक्षण के लिए, मैजिकडांस फ्रेमवर्क एक टिक्टोक डेटासेट का उपयोग करता है जिसमें 350 से अधिक नृत्य वीडियो शामिल हैं जो 10 से 15 सेकंड की लंबाई के होते हैं, जो एक व्यक्ति को नृत्य करते हुए कैप्चर करते हैं, जिनमें से अधिकांश वीडियो में चेहरा और मानव शरीर का ऊपरी हिस्सा शामिल है। मैजिकडांस फ्रेमवर्क प्रत्येक व्यक्ति वीडियो को 30 एफपीएस पर निकालता है और प्रत्येक फ्रेम पर ओपनपोज़ चलाता है ताकि पोज़ कंकाल, हाथ की मुद्रा और चेहरे की विशेषताओं को अनुमानित किया जा सके।

पूर्व-प्रशिक्षण के लिए, रूप नियंत्रण मॉडल को 64 के बैच आकार के साथ 8 एनवीडिया ए100 जीपीयू पर 10,000 चरणों के लिए 512 x 512 के छवि आकार के साथ पूर्व-प्रशिक्षित किया जाता है, इसके बाद पोज़ नियंत्रण और रूप नियंत्रण मॉडल को संयुक्त रूप से 16 के बैच आकार के लिए 20,000 चरणों के लिए फाइन-ट्यून किया जाता है। प्रशिक्षण के दौरान, मैजिकडांस फ्रेमवर्क दो फ्रेम को यादृच्छिक रूप से नमूना लेता है और उन्हें लक्ष्य और संदर्भ के रूप में उपयोग करता है, छवियों को एक ही स्थिति में और एक ही ऊंचाई पर काटता है। मूल्यांकन के दौरान, मॉडल छवि को केंद्रीय रूप से काटता है, न कि यादृच्छिक रूप से।

मैजिकडांस: परिणाम

मैजिकडांस फ्रेमवर्क पर किए गए प्रयोगात्मक परिणाम निम्नलिखित छवि में प्रदर्शित किए गए हैं, और जैसा कि देखा जा सकता है, मैजिकडांस फ्रेमवर्क मानव गति हस्तांतरण के लिए डिस्को और ड्रीमपोज़ जैसे मौजूदा फ्रेमवर्क को सभी मेट्रिक्स में पार करता है। फ्रेमवर्क जिनके नाम के आगे एक “*” है, वे लक्ष्य छवि का सीधे इनपुट के रूप में उपयोग करते हैं और अन्य फ्रेमवर्क की तुलना में अधिक जानकारी शामिल करते हैं।

यह दिलचस्प है कि मैजिकडांस फ्रेमवर्क फेस-कोस स्कोर में 0.426 प्राप्त करता है, जो डिस्को फ्रेमवर्क की तुलना में 156.62% की वृद्धि है, और ड्रीमपोज़ फ्रेमवर्क की तुलना में लगभग 400% की वृद्धि है। परिणाम मैजिकडांस फ्रेमवर्क की पहचान जानकारी को संरक्षित करने की क्षमता को दर्शाते हैं, और प्रदर्शन में दिखाई देने वाला स्पष्ट वृद्धि मौजूदा राज्य-оф-द-आर्ट विधियों पर मैजिकडांस फ्रेमवर्क की श्रेष्ठता को इंगित करती है।

निम्नलिखित छवियां मैजिकडांस, डिस्को और टीपीएस फ्रेमवर्क के बीच मानव वीडियो पीढ़ी की गुणवत्ता की तुलना करती हैं। जैसा कि देखा जा सकता है, जीटी, डिस्को और टीपीएस फ्रेमवर्क द्वारा उत्पन्न परिणाम मानव पोज़ पहचान और चेहरे की अभिव्यक्तियों में असंगति से ग्रस्त हैं।

इसके अलावा, निम्नलिखित छवि टिक्टोक डेटासेट पर चेहरे की अभिव्यक्ति और मानव पोज़ हस्तांतरण के दृश्यात्मकता को प्रदर्शित करती है, मैजिकडांस फ्रेमवर्क विविध चेहरे की विशेषताओं और पोज़ कंकाल इनपुट के तहत वास्तविक और जीवंत अभिव्यक्तियों और गतियों को उत्पन्न करने में सक्षम है, जबकि संदर्भ इनपुट छवि से पहचान जानकारी को सटीक रूप से संरक्षित करता है।

यह ध्यान देने योग्य है कि मैजिकडांस फ्रेमवर्क में असाधारण सामान्यीकरण क्षमता है जो दूरस्थ संदर्भ छवियों के लिए है जो अनदेखे पोज़ और शैलियों को प्रदर्शित करती हैं, जिसमें प्रभावशाली रूप नियंत्रण क्षमता है जो किसी अतिरिक्त फाइन-ट्यूनिंग की आवश्यकता नहीं है। परिणाम निम्नलिखित छवि में प्रदर्शित किए गए हैं।

निम्नलिखित छवियां मैजिकडांस फ्रेमवर्क की दृश्यात्मकता को चेहरे की अभिव्यक्ति हस्तांतरण और शून्य-शॉट मानव गति के संदर्भ में प्रदर्शित करती हैं। जैसा कि देखा जा सकता है, मैजिकडांस फ्रेमवर्क वास्तविक दुनिया की मानव गतियों में सटीक रूप से सामान्यीकृत होता है।

मैजिकडांस: सीमाएं

ओपनपोज़ मैजिकडांस फ्रेमवर्क का एक महत्वपूर्ण घटक है, क्योंकि यह पोज़ नियंत्रण के लिए एक महत्वपूर्ण भूमिका निभाता है, जो उत्पन्न छवियों की गुणवत्ता और समयिक संगति को महत्वपूर्ण रूप से प्रभावित करता है। हालांकि, मैजिकडांस फ्रेमवर्क अभी भी चेहरे की विशेषताओं और पोज़ कंकाल का सटीक रूप से पता लगाने में थोड़ी कठिनाई का सामना करता है, विशेष रूप से जब छवियों में वस्तुएं आंशिक रूप से दिखाई देती हैं या तेजी से गति में होती हैं। इन मुद्दों के परिणामस्वरूप उत्पन्न छवि में कलाकृतियां हो सकती हैं।

निष्कर्ष

इस लेख में, हमने मैजिकडांस पर चर्चा की, जो मानव गति हस्तांतरण को क्रांतिकारी बनाने के लिए डिज़ाइन किया गया एक प्रसार-आधारित मॉडल है। मैजिकडांस फ्रेमवर्क विशेष रूप से चुनौतीपूर्ण मानव नृत्य वीडियो पर 2डी मानव चेहरे की अभिव्यक्तियों और गतियों को स्थानांतरित करने के लिए तैयार किया गया है। इसका उद्देश्य विशिष्ट लक्ष्य पहचान के लिए नए मुद्रा अनुक्रम-संचालित नृत्य वीडियो उत्पन्न करना है, जबकि मूल पहचान को बनाए रखना है। मैजिकडांस फ्रेमवर्क एक दो-चरण प्रशिक्षण रणनीति का उपयोग करता है, जो मानव गति विच्छेदन और रूप के कारकों पर केंद्रित है, जैसे कि त्वचा का रंग, चेहरे की अभिव्यक्तियां और कपड़े।

मैजिकडांस एक नई दृष्टिकोण है जो मानव वीडियो पीढ़ी को संभव बनाने के लिए चेहरे की अभिव्यक्ति और गति हस्तांतरण को एकीकृत करता है, और वास्तविक दुनिया में संगति प्रदान करता है जिसमें किसी अतिरिक्त फाइन-ट्यूनिंग की आवश्यकता नहीं है। मैजिकडांस फ्रेमवर्क मौजूदा विधियों पर एक महत्वपूर्ण प्रगति प्रदर्शित करता है, और जटिल गति अनुक्रमों और विविध मानव पहचानों पर असाधारण सामान्यीकरण क्षमता प्रदर्शित करता है, मैजिकडांस फ्रेमवर्क को एआई-सहायता प्राप्त गति हस्तांतरण और वीडियो पीढ़ी के क्षेत्र में अग्रणी बनाता है।