Anderson का एंगल

वीडियो फुटेज में भावनाओं को बदलना एआई के साथ

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुन्यूरल इमोशन डायरेक्टर वीडियो में चेहरे के भाव बदलता है जबकि होंठ-तालमेल की सटीकता बनाए…
और देखें
  • न्यूरल इमोशन डायरेक्टर वीडियो में चेहरे के भाव बदलता है जबकि होंठ-तालमेल की सटीकता बनाए रखता है।
  • यह प्रणाली बिना मेल खाने वाले भाव युग्मों के असमानांतर डेटा पर प्रशिक्षित त्रि-आयामी भाव अनुवाद का उपयोग करती है।
  • NED उपयोगकर्ता अध्ययनों में पिछली विधियों से बेहतर प्रदर्शन करता है और फिल्म पोस्ट-प्रोडक्शन के लिए भाव नियंत्रण सक्षम बनाता है।

ग्रीस और यूके के शोधकर्ताओं ने वीडियो फुटेज में लोगों के अभिव्यक्तियों और स्पष्ट मूड को बदलने के लिए एक नए गहरे शिक्षण दृष्टिकोण को विकसित किया है, जबकि मूल ऑडियो के लिए उनके होठों की गतिविधियों की विश्वसनीयता को बनाए रखने के लिए पिछले प्रयासों को पार नहीं किया जा सकता है।

इस लेख के अंत में दिए गए वीडियो से, अभिनेता अल पचीनो की अभिव्यक्ति को एनईडी द्वारा उच्च-स्तरीय सेमांटिक अवधारणाओं पर आधारित बदल दिया गया है। स्रोत: https://www.youtube.com/watch?v=Li6W8pRDMJQ

इस लेख के अंत में दिए गए वीडियो से, अभिनेता अल पचीनो की अभिव्यक्ति को एनईडी द्वारा उच्च-स्तरीय सेमांटिक अवधारणाओं पर आधारित बदल दिया गया है, जो व्यक्तिगत चेहरे की अभिव्यक्तियों और उनकी संबंधित भावना को परिभाषित करती है। ‘रेफरेंस-ड्राइवन’ विधि दाईं ओर स्रोत वीडियो की व्याख्या की गई भावना/भावनाओं को लेती है और इसे पूरे वीडियो अनुक्रम पर लागू करती है। स्रोत: https://www.youtube.com/watch?v=Li6W8pRDMJQ

यह विशेष क्षेत्र गहरे नकली भावनाओं की बढ़ती श्रेणी में आता है, जहां मूल वक्ता की पहचान संरक्षित है, लेकिन उनकी अभिव्यक्तियों और सूक्ष्म-अभिव्यक्तियों को बदल दिया जाता है। जैसे ही यह विशेष एआई प्रौद्योगिकी परिपक्व होती है, यह फिल्म और टीवी उत्पादनों के लिए अभिनेताओं की अभिव्यक्तियों में सूक्ष्म परिवर्तन करने की संभावना प्रदान करती है – लेकिन यह ‘भावना-परिवर्तित’ वीडियो गहरे नकली की एकfairly नई श्रेणी को भी खोलती है।

चेहरे बदलना

सार्वजनिक हस्तियों, जैसे कि राजनेताओं, के लिए चेहरे की अभिव्यक्तियों को सावधानीपूर्वक तैयार किया जाता है; 2016 में हिलेरी क्लिंटन की चेहरे की अभिव्यक्तियों पर गहन मीडिया जांच की गई थी कि उनके चुनावी दृष्टिकोण पर उनके संभावित नकारात्मक प्रभाव के लिए; चेहरे की अभिव्यक्तियां, यह पता चलता है, एफबीआई के लिए भी रुचि का विषय हैं; और वे नौकरी के साक्षात्कार में एक महत्वपूर्ण संकेतक हैं, जो दूरस्थ रूप से जूम पर पूर्व-स्क्रीनिंग पास करने की कोशिश कर रहे नौकरी चाहने वालों के लिए एक ‘अभिव्यक्ति-नियंत्रण’ फिल्टर के दूरस्थ दृष्टिकोण को वांछनीय बनाता है।

एक 2005 के अध्ययन में यूके ने दावा किया कि चेहरे की उपस्थिति वोटिंग निर्णयों को प्रभावित करती है, जबकि 2019 के वाशिंगटन पोस्ट फीचर ने ‘संदर्भ से बाहर’ वीडियो क्लिप साझा करने के उपयोग की जांच की, जो वर्तमान में नकली समाचार प्रस्तुत करने वालों के लिए एक सार्वजनिक हस्ती की उपस्थिति को बदलने की क्षमता के लिए सबसे करीबी चीज है।

न्यूरल अभिव्यक्ति हेरफेर की ओर

वर्तमान में, चेहरे की अभिव्यक्ति को हेरफेर करने की स्थिति काफी मूलभूत है, क्योंकि यह विघटन को संबोधित करने के लिए आवश्यक है उच्च-स्तरीय अवधारणाओं (जैसे कि दुखी, क्रोधित, खुश, मुस्कराते) को वास्तविक वीडियो सामग्री से अलग करने के लिए। हालांकि पारंपरिक गहरे नकली वास्तुकला इस विघटन को काफी अच्छी तरह से प्राप्त करती है, विभिन्न पहचानों में भावनाओं को दर्पण करना अभी भी आवश्यक है कि दो प्रशिक्षण चेहरे-सेट प्रत्येक पहचान के लिए मेल खाने वाली अभिव्यक्तियों को शामिल करें।

चेहरे की पहचान और मुद्रा विशेषताओं को वर्तमान में इतनी जटिल रूप से जोड़ा जाता है कि दो चेहरे के डेटासेट में अभिव्यक्ति, सिर की मुद्रा और (कम हद तक) प्रकाश व्यवस्था की व्यापक समानता की आवश्यकता होती है ताकि डीपफेसलैब जैसी प्रणालियों पर एक प्रभावी गहरे नकली मॉडल को प्रशिक्षित किया जा सके। यदि एक विशिष्ट कॉन्फ़िगरेशन (जैसे 'पार्श्व दृश्य/मुस्कराते/सूरज की रोशनी') दोनों चेहरे के सेट में कम है, तो यह गहरे नकली वीडियो में उतनी ही सटीकता से प्रस्तुत नहीं करेगा, यदि आवश्यक हो।

गहरे नकली के लिए प्रशिक्षित चेहरे के छवियों के लिए टिपिकल उदाहरण। वर्तमान में, आप केवल एक व्यक्ति की चेहरे की अभिव्यक्ति को बदल सकते हैं यदि आप एक गहरे नकली तंत्रिका नेटवर्क में पहचान-विशिष्ट अभिव्यक्ति>अभिव्यक्ति मार्ग बनाते हैं। 2017 के युग के गहरे नकली सॉफ़्टवेयर में ‘मुस्कराहट’ की कोई स्वाभाविक, सेमांटिक समझ नहीं है – यह केवल दो विषयों में चेहरे की ज्यामिति में महसूस की गई बदलावों को मैप और मैच करता है।

क्या वांछनीय है, और जो अभी तक पूरी तरह से प्राप्त नहीं किया गया है, वह यह है कि विषय बी (जैसे) कैसे मुस्कराता है, और बस तंत्रिका नेटवर्क में एक ‘मुस्कराहट‘ स्विच बनाने के लिए, इसके लिए विषय ए मुस्कराने वाली एक समान छवि को मैप करने की आवश्यकता नहीं है।

नई पत्र का शीर्षक न्यूरल भावना निदेशक: “वन-द-वाइल्ड” वीडियो में चेहरे की अभिव्यक्तियों का भाषण-संरक्षण सेमांटिक नियंत्रण है, और यह नेशनल टेक्निकल यूनिवर्सिटी ऑफ एथेंस के स्कूल ऑफ इलेक्ट्रिकल एंड कंप्यूटर इंजीनियरिंग, फाउंडेशन फॉर रिसर्च एंड टेक्नोलॉजी हेलास (फोर्थ) में कंप्यूटर साइंस संस्थान, और यूके में एक्सेटर विश्वविद्यालय के कॉलेज ऑफ इंजीनियरिंग, गणित और भौतिक विज्ञान में शोधकर्ताओं से है।

टीम ने न्यूरल भावना निदेशक (एनईडी) नामक एक फ्रेमवर्क विकसित किया है, जिसमें 3डी-आधारित भावना-अनुवाद नेटवर्क, 3डी-आधारित भावना हेरफेर शामिल है।

एनईडी एक प्राप्त अभिव्यक्ति पैरामीटर की एक अनुक्रम लेता है और इसे एक लक्ष्य डोमेन में अनुवादित करता है। यह गैर-जोड़े गए डेटा पर प्रशिक्षित है, जिसका अर्थ है कि यह आवश्यक नहीं है कि प्रत्येक पहचान के लिए मेल खाने वाली चेहरे की अभिव्यक्तियों के साथ डेटासेट पर प्रशिक्षित किया जाए।

इस लेख के अंत में दिखाए गए वीडियो में, एनईडी विभिन्न परीक्षणों के माध्यम से चलता है जहां यह यूट्यूब डेटासेट से फुटेज पर एक स्पष्ट भावनात्मक स्थिति लगाता है।

इस लेख के अंत में दिखाए गए वीडियो में, एनईडी विभिन्न परीक्षणों के माध्यम से चलता है जहां यह यूट्यूब डेटासेट से फुटेज पर एक स्पष्ट भावनात्मक स्थिति लगाता है।

लेखकों का दावा है कि एनईडी यादृच्छिक और अप्रत्याशित स्थितियों में ‘अभिनेताओं को निर्देशित’ करने के लिए पहला वीडियो-आधारित तरीका है, और उन्होंने एनईडी के प्रोजेक्ट पेज पर कोड उपलब्ध कराया है।

विधि और वास्तुकला

सिस्टम को दो बड़े वीडियो डेटासेट पर प्रशिक्षित किया जाता है जिन्हें ‘भावना’ लेबल के साथ अन्नोट किया गया है।

आउटपुट को एक वीडियो चेहरा रेंडरर द्वारा सक्षम किया जाता है जो पारंपरिक चेहरे की छवि संश्लेषण तकनीकों का उपयोग करके वीडियो में वांछित भावना को रेंडर करता है, जिसमें चेहरे की सेगमेंटेशन, चेहरे की लैंडमार्क संरेखण और मिश्रण शामिल है, जहां केवल चेहरे के क्षेत्र को संश्लेषित किया जाता है और फिर मूल फुटेज पर लगाया जाता है।

न्यूरल भावना निदेशक (एनईडी) के पाइपलाइन के लिए वास्तुकला। स्रोत: https://arxiv.org/pdf/2112.00585.pdf

न्यूरल भावना निदेशक (एनईडी) के पाइपलाइन के लिए वास्तुकला। स्रोत: https://arxiv.org/pdf/2112.00585.pdf

प्रारंभ में, सिस्टम इनपुट फ्रेम्स पर 3डी चेहरे की वसूली प्राप्त करता है और चेहरे की लैंडमार्क संरेखण लगाता है ताकि अभिव्यक्ति की पहचान की जा सके। इसके बाद, इन पुनर्प्राप्त अभिव्यक्ति पैरामीटर को 3डी-आधारित भावना हेरफेर में पास किया जाता है, और एक शैली वेक्टर की गणना या तो एक सेमांटिक लेबल (जैसे ‘खुश’) द्वारा की जाती है या एक संदर्भ फ़ाइल द्वारा।

एक संदर्भ फ़ाइल एक विशिष्ट पहचाने गए अभिव्यक्ति/भावना को प्रदर्शित करने वाला एक वीडियो है, जिसे तब पूरे लक्ष्य वीडियो पर लगाया जाता है, मूल अभिव्यक्ति को बदल देता है।

भावना हस्तांतरण पाइपलाइन के चरण, जिसमें यूट्यूब वीडियो से नमूने लिए गए विभिन्न अभिनेता शामिल हैं।

भावना हस्तांतरण पाइपलाइन के चरण, जिसमें यूट्यूब वीडियो से नमूने लिए गए विभिन्न अभिनेता शामिल हैं।

अंतिम उत्पन्न 3डी चेहरा आकार को तब सामान्यीकृत माध्य चेहरा समन्वय (एनएमएफसी) और आंख की छवियों (उपरोक्त छवि में लाल बिंदु) के साथ जोड़ा जाता है और तंत्रिका रेंडरर को पास किया जाता है, जो अंतिम हेरफेर करता है।

परिणाम

शोधकर्ताओं ने विधि की प्रभावशीलता का मूल्यांकन करने के लिए व्यापक अध्ययन किए, जिसमें उपयोगकर्ता और अपघटन अध्ययन शामिल थे, और पाया कि अधिकांश श्रेणियों में, एनईडी इस उप-क्षेत्र में वर्तमान राज्य की कला को पार करता है।

लेखकों का दावा है कि इस काम के बाद के कार्यान्वयन, और इसी तरह के उपकरण, मुख्य रूप से टीवी और मोशन पिक्चर उद्योगों में उपयोगी होंगे, जिसमें कहा गया है:

‘हमारी विधि तंत्रिका रेंडरिंग प्रौद्योगिकियों के लिए नए और उपयोगी अनुप्रयोगों की एक श्रृंखला खोलती है, जो फिल्म पोस्ट-प्रोडक्शन और वीडियो गेम से लेकर फोटो-वास्तविक भावनात्मक अवतार तक है।’

यह क्षेत्र में एक प्रारंभिक कार्य है, लेकिन यह चेहरे की पुनरावृत्ति के लिए वीडियो के बजाय स्थिर छवियों का उपयोग करने वाले पहले में से एक है। हालांकि वीडियो मूल रूप से बहुत तेजी से चलने वाली कई स्थिर छवियों के समान होते हैं, वहां कुछ समय संबंधी विचार हैं जो पिछले भावना हस्तांतरण के अनुप्रयोगों को कम प्रभावी बनाते हैं। इस लेख में शामिल वीडियो में, और पत्र में उदाहरणों में, लेखक एनईडी के आउटपुट की तुलना हाल के अन्य तुलनीय तरीकों से करते हैं।

एनईडी की अधिक विस्तृत तुलनाएं, और कई अधिक उदाहरण, नीचे दिए गए पूरे वीडियो में पाए जा सकते हैं:

 

3 दिसंबर 2021, 18:30 जीएमटी+2 – एक लेखक के अनुरोध पर, ‘संदर्भ फ़ाइल’ के बारे में सुधार किए गए थे, जिसे मैंने गलती से एक स्थिर फोटो (जबकि यह वास्तव में एक वीडियो क्लिप है) के रूप में बताया था। संस्थान के नाम में सुधार भी किया गया था। 3 दिसंबर 2021, 20:50 जीएमटी+2 – लेखकों में से एक के दूसरे अनुरोध पर संस्थान के नाम में और सुधार किया गया था।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai