गहरे नकली भावनाओं का उदय

शोधकर्ताओं ने एक नई मशीन लर्निंग तकनीक विकसित की है जो वीडियो में चेहरों पर नए भावनाओं को मनमाने ढंग से लागू करने में सक्षम है, जो हाल ही में उभरी तकनीकों को अपनाती है जो लिप मूवमेंट को विदेशी भाषा डबिंग के साथ मिलाने के लिए समाधान के रूप में काम करती है।

शोध नॉर्थईस्टर्न यूनिवर्सिटी एट बोस्टन और एमआईटी के मीडिया लैब के बीच एक समान सहयोग है, और इसका शीर्षक इनवर्टेबल फ्राउन्स: वीडियो-टू-वीडियो फेशियल भावना अनुवाद है। हालांकि शोधकर्ता स्वीकार करते हैं कि परिणामों की प्रारंभिक गुणवत्ता को आगे के शोध के माध्यम से विकसित किया जाना चाहिए, वे दावा करते हैं कि तकनीक, जिसे वेव2लिप-भावना कहा जाता है, पूर्ण-वीडियो अभिव्यक्ति संशोधन के माध्यम से तंत्रिका नेटवर्क तकनीकों को सीधे संबोधित करने वाली अपनी तरह की पहली है।

बेस कोड को गिटहब पर जारी किया गया है, हालांकि मॉडल चेकपॉइंट बाद में ओपन सोर्स रिपॉजिटरी में जोड़े जाएंगे, लेखकों का वादा है।

<img class="wp-image-177783" src="https://www.unite.ai/wp-content/uploads/2021/09/deepfaked-smiles.jpg" alt="बाएं, स्रोत वीडियो का एक 'दुखी' फ्रेम। दाएं, एक 'खुश' फ्रेम। केंद्र में दो नए दृष्टिकोण हैं जो विभिन्न भावनाओं को संश्लेषित करने के लिए – शीर्ष पंक्ति: एक पूरी तरह से मास्केड चेहरा जहां अभिव्यक्ति की पूरी सतह को प्रतिस्थापित किया गया है; नीचे की पंक्ति: एक अधिक पारंपरिक वेव2लिप विधि, जो केवल चेहरे के निचले हिस्से को प्रतिस्थापित करती है। स्रोत: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf” width=”700″ height=”208″ /> बाएं, स्रोत वीडियो का एक ‘दुखी’ फ्रेम। दाएं, एक ‘खुश’ फ्रेम। केंद्र में दो नए दृष्टिकोण हैं जो विभिन्न भावनाओं को संश्लेषित करने के लिए – शीर्ष पंक्ति: एक पूरी तरह से मास्केड चेहरा जहां अभिव्यक्ति की पूरी सतह को प्रतिस्थापित किया गया है; नीचे की पंक्ति: एक अधिक पारंपरिक वेव2लिप विधि, जो केवल चेहरे के निचले हिस्से को प्रतिस्थापित करती है। स्रोत: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

एकल वीडियो के रूप में स्रोत डेटा

सिद्धांत रूप में, ऐसे हेरफेर पारंपरिक गहरे नकली भंडार जैसे डीपफेसलैब या फेसस्वैप के माध्यम से अब प्राप्त किए जा सकते हैं। हालांकि, मानक कार्यप्रवाह में एक वैकल्पिक पहचान का उपयोग शामिल होगा, जैसे कि एक अभिनेता जो लक्ष्य की नकल करता है, जिसकी अपनी अभिव्यक्तियां दूसरे व्यक्ति में स्थानांतरित की जाएंगी, साथ ही पूरे प्रदर्शन के साथ। इसके अलावा, गहरे नकली आवाज क्लोनिंग तकनीक आमतौर पर भ्रम को पूरा करने के लिए आवश्यक होगी।

इसके अलावा, इन लोकप्रिय फ्रेमवर्क के तहत एकमात्र स्रोत वीडियो में लक्ष्य1>लक्ष्य1 की अभिव्यक्ति को वास्तव में बदलना इन वास्तुकलाओं द्वारा वर्तमान में सुविधा प्रदान नहीं की जाती है।

वेव2लिप-भावना मूल वीडियो ऑडियो संवाद के साथ होंठ सिंक्रोनाइजेशन को बनाए रखते हुए संबंधित अभिव्यक्तियों को बदल देती है।

इसके बजाय, वेव2लिप-भावना वास्तव में एक वीडियो के एक हिस्से से भावना से संबंधित अभिव्यक्तियों को ‘कॉपी और पेस्ट’ करने का प्रयास करती है और उन्हें अन्य बिंदुओं पर प्रतिस्थापित करती है, जो स्रोत डेटा की एक स्व-आरोपित कंजूसी है जो अंततः अभिव्यक्ति हेरफेर के लिए एक कम-प्रयास विधि प्रदान करने का इरादा रखती है।

ऑफलाइन मॉडल बाद में विकसित किए जा सकते हैं जो वक्ता के वैकल्पिक वीडियो पर प्रशिक्षित हैं, जो किसी भी एक वीडियो को एक ‘पैलेट’ की आवश्यकता को समाप्त करते हैं जिसके साथ वीडियो को हेरफेर किया जा सकता है।

संभावित उद्देश्य

लेखक भावना संशोधन के लिए कई अनुप्रयोगों का सुझाव देते हैं, जिनमें पीटीएसडी और चेहरे की पक्षाघात से पीड़ित लोगों के लिए एक लाइव वीडियो फिल्टर शामिल है। पत्र टिप्पणी करता है:

‘अवरुद्ध चेहरे की अभिव्यक्तियों वाले व्यक्ति या उनके बिना अपनी अभिव्यक्तियों को अपने सामाजिक परिस्थितियों के अनुसार बेहतर ढंग से अनुकूल बनाने से लाभान्वित हो सकते हैं। कोई वीडियो में अभिव्यक्तियों को बदलना चाह सकता है जो उन्हें दिखाया जाता है। वीडियो कॉन्फ्रेंस के दौरान वक्ता एक दूसरे पर चिल्ला सकते हैं, लेकिन फिर भी अपने आदान-प्रदान में सामग्री को अपनी अभिव्यक्तियों के बिना इकट्ठा करना चाह सकते हैं। या एक फिल्म निर्देशक एक अभिनेता की अभिव्यक्तियों को बढ़ाना या कम करना चाह सकता है।’

चूंकि चेहरे की अभिव्यक्ति इरादे का एक प्रमुख और मूल संकेतक है, यहां तक कि जहां यह बोले जा रहे शब्दों के खिलाफ जा सकता है, अभिव्यक्ति को बदलने की क्षमता भी संचार को कैसे प्राप्त किया जाता है इसे बदलने की क्षमता प्रदान करती है, कुछ हद तक।

पूर्व कार्य

भावना परिवर्तन में मशीन लर्निंग के हेरफेर में रुचि कम से कम 2012 तक वापस आ जाती है, जब एक सहयोग एडोबी, फेसबुक और रटगर्स यूनिवर्सिटी के बीच एक टेंसर-आधारित 3डी ज्यामिति पुनर्निर्माण दृष्टिकोण का प्रस्ताव किया गया था, जिसने श्रमसाध्य रूप से प्रत्येक फ्रेम पर एक सीजीआई जाल को लागू किया। लक्ष्य वीडियो पर परिवर्तन लाने के लिए।

<img class="wp-image-177785" src="https://www.unite.ai/wp-content/uploads/2021/09/magnifying-or-augmenting-an-expression.jpg" alt="2012 के एडोब/फेसबुक शोध ने वीडियो फुटेज पर पारंपरिक, सीजीआई-चालित परिवर्तन लागू करके अभिव्यक्तियों को बदल दिया। अभिव्यक्तियों को बढ़ाया या दबाया जा सकता था। स्रोत: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf” width=”700″ height=”478″ /> 2012 के एडोब/फेसबुक शोध ने वीडियो फुटेज पर पारंपरिक, सीजीआई-चालित परिवर्तन लागू करके अभिव्यक्तियों को बदल दिया। अभिव्यक्तियों को बढ़ाया या दबाया जा सकता था। स्रोत: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

हालांकि परिणाम आशाजनक थे, तकनीक जटिल थी और आवश्यक संसाधनों की मात्रा काफी अधिक थी। उस समय, सीजीआई सीधे विशेषता स्थान और पिक्सेल हेरफेर के लिए कंप्यूटर दृष्टि-आधारित दृष्टिकोण से आगे था।

नई पत्र से अधिक निकटता से संबंधित है मीड, एक डेटासेट और अभिव्यक्ति-पीढ़ी मॉडल जो 2020 में जारी किया गया था, जो ‘बात करने वाले सिर’ वीडियो उत्पन्न करने में सक्षम था, हालांकि स्रोत वीडियो को सीधे संशोधित करने की संभावित जटिलता के स्तर के बिना।

<img class="wp-image-177786" src="https://www.unite.ai/wp-content/uploads/2021/09/MEAD.jpg" alt="सेंसटाइम रिसर्च, कार्नेगी मेलन और तीन चीनी विश्वविद्यालयों के बीच 2020 के मीड के साथ अभिव्यक्ति पीढ़ी। स्रोत: https://wywu.github.io/projects/MEAD/MEAD.html” width=”700″ height=”500″ /> सेंसटाइम रिसर्च, कार्नेगी मेलन और तीन चीनी विश्वविद्यालयों के बीच 2020 के मीड के साथ अभिव्यक्ति पीढ़ी। स्रोत: https://wywu.github.io/projects/MEAD/MEAD.html

2018 में, एक और पत्र, जिसका शीर्षक जीएनएएनिमेशन: एक शीर्षक से अनाटोमिकली जागरूक चेहरे की एनिमेशन था, एक यूएस/स्पेनिश अकादमिक अनुसंधान सहयोग के रूप में उभरा, और स्थिर छवियों में अभिव्यक्तियों को बढ़ाने या बदलने के लिए प्रतिपक्षी जनरेटिव नेटवर्क का उपयोग किया।

<img class="wp-image-177787" src="https://www.unite.ai/wp-content/uploads/2021/09/GANIMATION.jpg" alt="जीएनएएनिमेशन के साथ स्थिर छवियों में अभिव्यक्तियों को बदलना। स्रोत: https://arxiv.org/pdf/1807.09251.pdf” width=”700″ height=”238″ /> जीएनएएनिमेशन के साथ स्थिर छवियों में अभिव्यक्तियों को बदलना। स्रोत: https://arxiv.org/pdf/1807.09251.pdf

वेव2लिप-भावना

इसके बजाय, नया परियोजना वेव2लिप पर आधारित है, जिसने 2020 में प्रचार प्राप्त किया था कि एक संभावित विधि प्रदान करने के लिए जो होंठ की गति को फिर से सिंक्रोनाइज़ करने के लिए है ताकि नई बोली (या गीत) इनपुट के अनुरूप हो जो मूल वीडियो में कभी नहीं दिखाई दिया था।

मूल वेव2लिप आर्किटेक्चर बीबीसी आर्काइव्स के बोले गए वाक्यों के एक निगम पर प्रशिक्षित किया गया था। वेव2लिप को अभिव्यक्ति परिवर्तन के कार्य की ओर अनुकूल बनाने के लिए, शोधकर्ताओं ने उपरोक्त मीड डेटासेट पर आर्किटेक्चर को ‘फाइन ट्यून’ किया।

मीड में 40 घंटे का वीडियो है जिसमें 60 अभिनेता एक ही वाक्य पढ़ रहे हैं जबकि विभिन्न चेहरे की अभिव्यक्तियां करते हैं। अभिनेता 15 अलग-अलग देशों से हैं और परियोजना (और व्युत्पन्न परियोजनाओं) को लागू और सामान्यीकृत अभिव्यक्ति संश्लेषण उत्पन्न करने में मदद करने के लिए अंतरराष्ट्रीय विशेषताओं की एक श्रृंखला प्रदान करते हैं।

शोध के समय, मीड ने केवल डेटासेट का पहला भाग जारी किया था, जिसमें 47 व्यक्तियों ने ‘क्रोध’, ‘प्रतिकूलता’, ‘भय’, ‘अपमान’, ‘खुश’, ‘दुखी’ और ‘आश्चर्य’ जैसी अभिव्यक्तियां की थीं। इस प्रारंभिक प्रयास में, शोधकर्ताओं ने परियोजना के दायरे को ‘खुश’ और ‘दुखी’ जैसी भावनाओं को प्रतिस्थापित या बदलने तक सीमित कर दिया, क्योंकि वे सबसे आसानी से पहचाने जाने योग्य हैं।

विधि और परिणाम

मूल वेव2लिप आर्किटेक्चर केवल चेहरे के निचले खंड को प्रतिस्थापित करता है, जबकि वेव2लिप-भावना एक पूर्ण चेहरे के प्रतिस्थापन मास्क और अभिव्यक्ति संश्लेषण के साथ भी प्रयोग करता है। इसलिए, शोधकर्ताओं के लिए निर्मित-इन मूल्यांकन विधियों को संशोधित करना आवश्यक था, क्योंकि वे एक पूर्ण-चेहरे की विन्यास के लिए डिज़ाइन नहीं किए गए थे।

लेखक मूल कोड में सुधार करते हैं और मूल ऑडियो इनपुट को बनाए रखते हुए होंठ की गति की एकरूपता को बनाए रखते हैं।

जनरेटर तत्व में एक पहचान एनकोडर, भाषण एनकोडर और चेहरे डिकोडर होता है, जो पहले के काम के अनुसार है। भाषण तत्व को अतिरिक्त रूप से स्टैक्ड 2डी कंवोल्यूशंस के रूप में संस्कoded किया जाता है जो बाद में अपने संबंधित फ्रेम/फ्रेम्स के साथ जोड़े जाते हैं।

जनरेटिव तत्व के अलावा, संशोधित आर्किटेक्चर में तीन मुख्य विवेचक घटक हैं, जो होंठ सिंक्रोनाइजेशन की गुणवत्ता, एक भावना उद्देश्य तत्व, और एक प्रतिपक्षी प्रशिक्षित दृश्य गुणवत्ता उद्देश्य पर लक्षित हैं।

पूर्ण चेहरे के पुनर्निर्माण के लिए, मूल वेव2लिप कार्य में कोई पूर्ववर्ती नहीं था, और इसलिए मॉडल को शून्य से प्रशिक्षित किया गया था। निचले-चेहरे के प्रशिक्षण (आधा-मास्क) के लिए, शोधकर्ताओं ने मूल वेव2लिप कोड में शामिल चेकपॉइंट से आगे बढ़े।

स्वचालित मूल्यांकन के अलावा, शोधकर्ताओं ने एक अर्ध-स्वचालित सेवा प्लेटफ़ॉर्म द्वारा आपूर्ति की गई भीड़-सourced राय का उपयोग किया। कार्यकर्ताओं ने आमतौर पर सुपरिम्पोज्ड भावनाओं को पहचानने के संदर्भ में आउटपुट को उच्च दर्जा दिया, जबकि छवि गुणवत्ता के लिए केवल ‘मध्यम’ मूल्यांकन की सूचना दी।

लेखक सुझाव देते हैं कि उत्पन्न वीडियो गुणवत्ता में सुधार के अलावा, काम के भविष्य के संस्करण एक व्यापक श्रृंखला में भावनाओं को शामिल कर सकते हैं, और कि काम को भविष्य में लेबल या स्वचालित रूप से अनुमानित स्रोत डेटा और डेटासेट पर लागू किया जा सकता है, जो अंततः एक प्रामाणिक प्रणाली की ओर ले जाता है जिसमें भावनाएं उपयोगकर्ता की मर्जी से या मूल स्रोत वीडियो के संबंध में विपरीत भावनाओं द्वारा बदली या प्रतिस्थापित की जा सकती हैं।