गहरे नकली चेहरे क्यों अभिव्यक्ति की बारीकियों को व्यक्त नहीं कर सकते हैं

कल स्टार वार्स स्पिन-ऑफ द बुक ऑफ बोबा फेट के एपिसोड 6 के प्रीमियर ने प्रशंसकों की राय को विभाजित किया है। सामान्य रूप से अनुमोदन प्राप्त करते हुए, सोशल नेटवर्क्स पर एक व्यापक धारणा है कि एक पुनर्जीवित मार्क हैमिल (2020 में द मंडलोरियन के सीज़न 2 के फिनाले में उनके पिछले प्रदर्शन की तुलना में) का एक बेहतर पुनर्निर्माण एक अमेच्योर डीपफेक प्रैक्टिशनर शमूक (जिन्होंने ओपन सोर्स सॉफ्टवेयर के साथ अपने काम में काफी सुधार किया है) को इंडस्ट्रियल लाइट एंड मैजिक द्वारा नियुक्त करने का सीधा परिणाम है; और यह कि पात्र के प्रस्तुतीकरण को डीपफेक प्रौद्योगिकी और सीजीआई के संयोजन के रूप में माना जाना चाहिए।

वर्तमान में इसकी सीमित पुष्टि है, हालांकि शमूक ने आईएलएम के अनुबंधित एनडीए के नीचे आने के बाद से दुनिया से बहुत कम कहा है। फिर भी, काम 2020 के सीजीआई में एक असाधारण सुधार है; यह कुछ ‘चमक’ प्रदर्शित करता है जो पुराने कार्यों से व्युत्पन्न डीपफेक मॉडल से जुड़ा है; और सामान्य रूप से डीपफेक के लिए वर्तमान सर्वोत्तम दृश्य मानक के अनुरूप है।

प्रशंसकों की राय का दूसरा तार्किक धागा यह है कि नए ‘यंग ल्यूक’ के पास पिछले वाले की तुलना में एक अलग सेट ऑफ खामियां हैं। शायद सबसे बड़े संकेत के रूप में, लंबे समय तक चलने वाले दृश्यों में नए स्काईवॉकर पुनर्निर्माण की अभिव्यक्ति की कमी और सूक्ष्म, उपयुक्त भावनाएं डीपफेक की तुलना में सीजीआई की विशेषता हैं; द वर्ज ने वर्णित बोबा फेट सिमुलेशन को ‘अस्वाभाविक, खाली चेहरे के रूप में मार्क हैमिल के जमे हुए 1983 के चेहरे’ के रूप में वर्णित किया है।

नये आईएलएम पुनर्निर्माण के पीछे की प्रौद्योगिकियों की परवाह किए बिना, डीपफेक परिवर्तनों में भावना की बारीकियों के साथ एक मूलभूत समस्या है जो वास्तुकला में परिवर्तन या स्रोत प्रशिक्षण सामग्री में सुधार के माध्यम से संबोधित करना मुश्किल है, और जो आमतौर पर सावधानी से लक्ष्य वीडियो का चयन करके वायरल डीपफेकर द्वारा टाला जाता है।

चेहरे के संरेखण सीमाएं

दो डीपफेक फॉस रिपॉजिटरी जो सबसे अधिक बार उपयोग की जाती हैं वे DeepFaceLab (DFL) और FaceSwap हैं, दोनों 2017 के गुमनाम और विवादास्पद स्रोत कोड से व्युत्पन्न हैं, जिसमें DFL वीएफएक्स उद्योग में एक बड़ा लाभ है, इसकी सीमित साधनता के बावजूद।

प्रत्येक पैकेज को शुरू में स्रोत सामग्री (वीडियो के फ्रेम और/या स्थिर छवियों) से पहचाने गए चेहरों से चेहरे की विशेषताओं को निकालने का काम सौंपा जाता है।

आधिकारिक रिपॉजिटरी में फेशियल अलाइनमेंट नेटवर्क (FAN) कार्रवाई में है। स्रोत: https://github.com/1adrianb/face-alignment

DFL और FaceSwap दोनों फेशियल अलाइनमेंट नेटवर्क (FAN) लाइब्रेरी का उपयोग करते हैं। FAN 2D और 3D (ऊपर दी गई छवि देखें) लैंडमार्क को निकाले गए चेहरों के लिए बना सकता है। 3D लैंडमार्क चेहरे की धारण किए गए अभिविन्यास का व्यापक रूप से लेखा कर सकते हैं, जो चरम प्रोफाइल और अपेक्षाकृत तीव्र कोणों तक है।

हालांकि, यह स्पष्ट है कि ये चेहरे की विशेषताओं को इकट्ठा करने और मूल्यांकन करने के लिए बहुत मूलभूत दिशानिर्देश हैं:

फेसस्वैप फोरम से, चेहरे की विशेषताओं के लिए उपलब्ध लैंडमार्क का एक खुरदरा संकेतक। स्रोत: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

चेहरे की सबसे बुनियादी विशेषताएं अनुमत हैं: आंखें खुल और बंद हो सकती हैं, जैसे कि जबड़ा भी; मुंह की मूलभूत कॉन्फ़िगरेशन (जैसे मुस्कराना, भौंहें चढ़ाना, आदि) को ट्रेस और अनुकूलित किया जा सकता है। चेहरा किसी भी दिशा में लगभग 200 डिग्री तक कैमरे के दृष्टिकोण से घूम सकता है।

इसके परे, ये सीमाओं के भीतर पिक्सेल के व्यवहार के लिए बहुत ही खुरदरे बाड़ हैं, और पूरे डीपफेक प्रक्रिया में एकमात्र वास्तविक गणितीय और सटीक चेहरे के दिशानिर्देश का प्रतिनिधित्व करते हैं। प्रशिक्षण प्रक्रिया स्वयं केवल पिक्सेल के वितरण की तुलना करती है जो इन सीमाओं के भीतर या उनके पास होते हैं।

डीपफेसलैब में प्रशिक्षण। स्रोत: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

चूंकि चेहरे के उप-भागों के टोपोलॉजी (गालों की उत्तलता और अवतलता, उम्र संबंधी विवरण, डिम्पल, आदि) के लिए कोई प्रावधान नहीं है, इसलिए यहां तक कि ऐसी ‘सूक्ष्म’ उप-विशेषताओं को मेल करने का प्रयास करना भी संभव नहीं है जो स्रोत ( ‘चेहरा जिस पर आप लिखना चाहते हैं’) और लक्ष्य (‘चेहरा जिसे आप चिपकाना चाहते हैं’) पहचान के बीच हैं।

सीमित डेटा के साथ काम करना

दो पहचानों के बीच मेल खाने वाले डेटा को प्राप्त करना डीपफेक के उद्देश्यों के लिए आसान नहीं है। जितना अधिक असामान्य कोण आपको मेल खाने की आवश्यकता है, उतना ही अधिक आप यह समझने की आवश्यकता है कि क्या यह दुर्लभ कोण मेल वास्तव में दोनों पहचानों A और B के बीच एक ही अभिव्यक्ति की विशेषता है।

बिल्कुल मेल नहीं है, लेकिन लगभग मेल खाता है।

उपरोक्त उदाहरण में, दो पहचानें विस्तार में समान हैं, लेकिन यह इस डेटासेट के लिए एक सटीक मेल के रूप में करीब हो सकता है।

स्पष्ट अंतर बने रहते हैं: कोण और लेंस बिल्कुल मेल नहीं खाते हैं, और न ही प्रकाश व्यवस्था; विषय A अपनी आंखें पूरी तरह से बंद नहीं करता है, जैसा कि विषय B करता है; छवि की गुणवत्ता और संपीड़न विषय A में खराब है; और किसी तरह विषय B विषय A की तुलना में बहुत खुश लगता है।

लेकिन, आप जानते हैं, यह हमारे पास है, इसलिए हमें इस पर प्रशिक्षण लेना होगा।

क्योंकि इस A > <B मेल में इतने असामान्य तत्व हैं, आप निश्चित हो सकते हैं कि सेट में ऐसे जोड़े के बहुत कम, यदि कोई हैं, हैं। इसलिए, प्रशिक्षण या तो अंडरफिट होगा या ओवरफिट होगा।

अंडरफिट: यदि यह मेल वास्तव में एक अल्पसंख्यक है (अर्थात मूल डेटासेट काफी बड़ा है, और इन दोनों फोटो की विशेषताओं को अक्सर नहीं दिखाता है), तो यह प्रशिक्षण समय के लिए बहुत अधिक नहीं मिलेगा, क्योंकि अधिक ‘लोकप्रिय’ (अर्थात आसान/तटस्थ) जोड़ों की तुलना में। परिणामस्वरूप, यह कोण/अभिव्यक्ति एक डीपफेक में अच्छी तरह से प्रस्तुत नहीं किया जाएगा जो प्रशिक्षित मॉडल के साथ बनाया गया है।

ओवरफिट: ऐसे दुर्लभ ए> <बी जोड़े के लिए डेटा-मेल की कमी के कारण, डीपफेकर कभी-कभी डेटासेट में इस जोड़े को कई बार डुप्लिकेट करेंगे, ताकि यह अंतिम मॉडल में एक विशेषता के रूप में बेहतर मौका प्राप्त कर सके। इससे ओवरफिटिंग होगी, जहां डीपफेक वीडियो जो मॉडल के साथ बनाए जाते हैं उनमें दो फोटो के बीच स्पष्ट अंतर को पेडैंटिक रूप से दोहराया जा सकता है, जैसे कि आंखें बंद करने की अलग-अलग डिग्री।

नीचे की छवि में, हम व्लादिमीर पुतिन को डीपफेसलैब में केविन स्पेसी में बदलने के लिए प्रशिक्षित होते हुए देखते हैं। यहां प्रशिक्षण 160,000 पुनरावृत्तियों पर काफी उन्नत है।

स्रोत: https://i.imgur.com/OdXHLhU.jpg

एक आकस्मिक पर्यवेक्षक यह दावा कर सकता है कि पुतिन इन परीक्षण-स्वैप में स्पेसी की तुलना में थोड़ा अंतरिक्ष लगता है। आइए देखें कि एक ऑनलाइन भावना पहचान कार्यक्रम इस अभिव्यक्ति में अंतर को कैसे देखता है:

स्रोत: https://www.noldus.com/facereader/measure-your-emotions

इस विशेष मंत्र के अनुसार, जो एक बहुत अधिक विस्तृत चेहरे की शारीरिक रचना का विश्लेषण करता है, स्पेसी पुतिन की तुलना में कम क्रोधित, अपमानित, और उपहास है।

असमान अभिव्यक्तियां एक जुड़े हुए पैकेज के हिस्से के रूप में आती हैं, क्योंकि लोकप्रिय डीपफेक अनुप्रयोगों में अभिव्यक्तियों या भावनाओं को पंजीकृत या मेल खाने की कोई क्षमता नहीं है, सिवाय इसके कि निहित रूप से एक कच्चे पिक्सेल-टू-पिक्सेल मैपिंग के रूप में।

हमारे लिए, अंतर बहुत बड़ा है। हम अपने शुरुआती वर्षों से चेहरे की अभिव्यक्तियों को पढ़ना सीखते हैं और वयस्कता में सामाजिक एकीकरण और प्रगति, साथी की खोज, और एक निरंतर खतरे की मूल्यांकन के लिए इस कौशल पर निर्भर रहते हैं। चूंकि हम सूक्ष्म अभिव्यक्तियों के प्रति इतने संवेदनशील हैं, डीपफेक प्रौद्योगिकियों को अंततः इसके लिए खाता देने की आवश्यकता होगी।

विपरीत दिशा में

हालांकि डीपफेक क्रांति ने ‘क्लासिक’ फिल्म स्टारों को आधुनिक फिल्मों और टीवी में डालने का वादा किया है, एआई समय में पीछे नहीं जा सकता है और उनके क्लासिक कार्यों को अधिक संगत परिभाषा और गुणवत्ता पर शूट नहीं कर सकता है, जो इस उपयोग के मामले के लिए महत्वपूर्ण है।

यह मान लेने पर (और हमारे उद्देश्यों के लिए यह गलत होने पर भी कोई फर्क नहीं पड़ता) कि बोबा फेट हैमिल पुनर्निर्माण मुख्य रूप से एक प्रशिक्षित डीपफेक मॉडल का परिणाम है, मॉडल के लिए डेटासेट को शो (1981-83 के आसपास की समयरेखा के करीब) के उत्पादन के लिए हैमिल की उम्र के करीब फुटेज का फायदा उठाने की आवश्यकता होगी।

फिल्म को ईस्टमैन कलर निगेटिव 250टी 5293/7293 स्टॉक पर शूट किया गया था, जो एक 250एएसए एमुल्शन था जिसे उस समय मध्यम से बारीक दाने वाला माना जाता था, लेकिन 1980 के दशक के अंत तक स्पष्टता, रंग श्रृंखला और विश्वासघात के मामले में भी पार किया गया था। यह अपने समय का स्टॉक है, और जेडी की ओपेरा स्कोप ने अपने प्रमुख अभिनेताओं को भी कुछ क्लोज़-अप दिए, जिससे ग्रेन मुद्दे और भी महत्वपूर्ण हो गए, क्योंकि स्रोत चेहरे केवल फ्रेम के एक हिस्से को ही भरते हैं।

हैमिल की विभिन्न दृश्यों में रिटर्न ऑफ द जेडी (1983)।

इसके अलावा, हैमिल को दिखाने वाले वीएफएक्स-से भरे हुए कई फुटेज को ऑप्टिकल प्रिंटर से गुजरना पड़ा था, जिससे फिल्म ग्रेन बढ़ जाती थी। हालांकि, लुकासफिल्म आर्काइव्स तक पहुंच – जो मास्टर निगेटिव्स की अच्छी देखभाल करते हैं और अतिरिक्त अप्रयुक्त कच्चे फुटेज के घंटों की पेशकश कर सकते हैं – इस मुद्दे को दूर कर सकता है।

कभी-कभी एक अभिनेता के काम के वर्षों की सीमा को कवर करना संभव होता है ताकि डीपफेक डेटासेट को बढ़ाया और विविधता प्रदान की जा सके। हैमिल के मामले में, डीपफेकर 1977 में एक कार दुर्घटना के बाद उनकी उपस्थिति में परिवर्तन से बंधे हुए हैं, और यह कि उन्होंने जेडी के तुरंत बाद एक प्रसिद्ध वॉयस अभिनेता के रूप में अपना दूसरा करियर शुरू किया, जिससे स्रोत सामग्री काफी दुर्लभ हो गई।

सीमित भावना श्रृंखला?

यदि आपको अपने डीपफेक अभिनेता को दृश्य को चबाने की आवश्यकता है, तो आपको स्रोत फुटेज की आवश्यकता होगी जिसमें चेहरे की अभिव्यक्तियों की असामान्य रूप से विस्तृत श्रृंखला हो। यह हो सकता है कि उम्र-उपयुक्त फुटेज में उनमें से कई अभिव्यक्तियां नहीं हैं।

उदाहरण के लिए, रिटर्न ऑफ द जेडी की कहानी के आर्क के समय तक, हैमिल का पात्र अपनी भावनाओं पर काफी हद तक कब्जा कर लिया था, जो मूल फ्रेंचाइजी के मिथक के लिए केंद्रीय था। इसलिए, यदि आप जेडी डेटा से हैमिल डीपफेक मॉडल बनाते हैं, तो आपको उस समय से उनकी भूमिका द्वारा मांगी गई सीमित भावना श्रृंखला और असामान्य चेहरे की मुद्रा के साथ काम करना होगा, उनके फ्रेंचाइजी में पहले के प्रवेशों की तुलना में।

यहां तक कि अगर आप मानते हैं कि रिटर्न ऑफ द जेडी में ऐसे क्षण हैं जहां स्काईवॉकर पात्र तनाव में है, और संभावित रूप से अधिक व्यापक अभिव्यक्तियों के लिए सामग्री प्रदान कर सकता है, तो भी इन दृश्यों में चेहरे की सामग्री तेजी से संपादित और क्रिया दृश्यों की विशिष्ट गति और धुंधली छवि के कारण असंतुलित है।

सामान्यीकरण: भावनाओं का विलय

यदि बोबा फेट स्काईवॉकर पुनर्निर्माण वास्तव में एक डीपफेक है, तो कुछ क्वार्टर से इसके खिलाफ उठाई गई अभिव्यक्ति श्रृंखला की कमी पूरी तरह से सीमित स्रोत सामग्री के कारण नहीं है। डीपफेक का एन्कोडर-डिकोडर प्रशिक्षण प्रक्रिया एक सामान्यीकृत मॉडल की तलाश में है जो हजारों छवियों से केंद्रीय विशेषताओं को सफलतापूर्वक निकाल सकता है, और कम से कम प्रयास कर सकता है एक डीपफेक एक कोण पर जो डेटासेट में गायब या दुर्लभ था।

यदि नहीं, तो एक डीपफेक आर्किटेक्चर बस प्रति-फ्रेम आधार पर आधारभूत रूपों की प्रतिलिपि बना रहा होगा, बिना किसी भी अस्थायी अनुकूलन या संदर्भ पर विचार किए।

हालांकि, इस लचीलेपन के लिए दर्दनाक व्यापार यह है कि अभिव्यक्ति विश्वासघात एक प्रक्रिया का शिकार होने की संभावना है। हम अपने चेहरों को 100 टुकड़ों के ऑर्केस्ट्रा की तरह खेलते हैं, और ऐसा करने में सक्षम हैं; जबकि डीपफेक सॉफ्टवेयर को तर्कसंगत रूप से कम से कम स्ट्रिंग सेक्शन की कमी है।

अभिव्यक्तियों में प्रभाव की विषमता

चेहरे की गतिविधियां और उनके प्रभाव हमारे लिए सभी चेहरों में एक समान भाषा नहीं हैं; रोजर मूर पर उठी हुई भौंह जो बेखबर दिखती है वह सेथ रोगन पर कम परिष्कृत दिख सकती है, जबकि मैरिलिन मोनरो का आकर्षक आकर्षण एक नकारात्मक भावना में अनुवाद कर सकता है यदि इसे एक व्यक्ति पर गहरा किया जाता है जिसकी सबसे अधिक डेटा-उपलब्ध भूमिका ‘क्रोधित’ या ‘असंतुष्ट’ है (जैसे कि ऑब्रे प्लाजा के पात्र के सात सीज़न पार्क्स एंड रिक्रिएशन में)।

अतः पिक्सेल-टू-पिक्सेल समानता ए/बी चेहरे सेटों के लिए इस संबंध में विशेष रूप से उपयोगी नहीं है; लेकिन यह राज्य के अत्याधुनिक डीपफेक फॉस सॉफ्टवेयर में यही एक पेशकश है।

जो वास्तव में आवश्यक है वह एक डीपफेक फ्रेमवर्क है जो न केवल अभिव्यक्तियों को पहचान सकता है और भावनाओं का अनुमान लगा सकता है, बल्कि उच्च-स्तरीय अवधारणाओं जैसे क्रोधित, आकर्षक, उबाऊ, थका हुआ, आदि को भी अपना सकता है, और दोनों चेहरे सेट पहचानों में उन भावनाओं और उनकी संबंधित अभिव्यक्तियों को वर्गीकृत कर सकता है, न कि मुंह या पलक की स्थिति की जांच और प्रतिलिपि बनाने के।