Anderson का एंगल
डिज़्नी ने ‘असहज घाटी’ को दूर करने के लिए CGI को न्यूरल रेंडरिंग के साथ जोड़ा
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
डिज़्नी की एआई अनुसंधान शाखा ने फिल्म‑स्तर के चेहरे के सिमुलेशन के लिए एक मिश्रित विधि विकसित की है, जो चेहरे के न्यूरल रेंडरिंग की शक्ति को CGI‑आधारित दृष्टिकोण की स्थिरता के साथ जोड़ती है।
The pending paper is titled Rendering with Style: Combining Traditional and Neural Approaches for High Quality Face Rendering, and is previewed in a new 10-minute video at the Disney Research YouTube channel (embedded at end of this article*).
जाल को न्यूरल चेहरे के रेंडर के साथ मिलाया गया है। लेख के अंत में एम्बेड की गई वीडियो में बेहतर विवरण और गुणवत्ता देखें। स्रोत: https://www.youtube.com/watch?v=TwpLqTmvqVk
जैसा कि वीडियो में बताया गया है, चेहरे का न्यूरल रेंडरिंग (जिसमें डीपफ़ेक भी शामिल हैं) CGI की तुलना में बहुत अधिक यथार्थवादी आँखें और मुँह के अंदरूनी हिस्से बना सकता है, जबकि CGI‑आधारित चेहरे की बनावट अधिक स्थिर और सिनेमा‑स्तर के VFX आउटपुट के लिए उपयुक्त होती है।
इसलिए डिज़्नी NVIDIA के StyleGan2 न्यूरल जेनरेटर को चेहरे के आसपास के फीचर्स और आँखों जैसे ‘जीवन‑महत्वपूर्ण’ तत्वों को संभालने के लिए प्रयोग कर रहा है, जबकि आउटपुट में स्थिर CGI चेहरे की त्वचा और संबंधित तत्वों को सुपरइम्पोज़ किया जा रहा है।
वीडियो (लेख के अंत में देखें) से, डिज़्नी के मिश्रित दृष्टिकोण के पीछे की वास्तुशिल्पीय अवधारणा, जहाँ एक पुरानी शैली का CGI जाल, जिसका उपयोग ‘युवा’ कैरी फिशर और 2016 की ‘रोग वन’ में दिवंगत पीटर कशिंग को पुनः बनाने के लिए किया गया था, को न्यूरल‑रेंडर किए गए चेहरे के परिवेश में एकीकृत किया गया है।
वीडियो अप्रत्यक्ष रूप से देर से गुजर चुके ब्रिटिश Star Wars अभिनेता पीटर कशिंग की ‘रोग वन’ (2016) में CGI पुनर्निर्माण की असत्यता और ‘असहज घाटी’ प्रभाव की बार‑बार की गई आलोचना का उल्लेख करता है, और स्वीकार करता है:
‘[There] अभी भी एक बहुत बड़ा अंतर है कि लोग आसानी से क्या कैप्चर और रेंडर कर सकते हैं बनाम अंतिम फोटो‑रियलिस्टिक डिजिटल डबल्स, जो बाल, आँखें और मुँह के अंदरूनी हिस्से सहित होते हैं। इस अंतर को पाटने के लिए आमतौर पर कुशल कलाकारों द्वारा बहुत अधिक मैन्युअल काम की आवश्यकता होती है।’
वास्तव में, सबसे आधुनिक चेहरे कैप्चर सिस्टम भी आँखों, मुँह के अंदरूनी हिस्से या बालों को पुनः बनाने का प्रयास नहीं करते, क्योंकि इन तकनीकों में (आँखों के मामले में) प्रामाणिकता की समस्या या (बालों के मामले में) समयिक स्थिरता की समस्या होती है।
वीडियो दर्शाता है कि एक सामान्य आधुनिक चेहरे कैप्चर सत्र के बाद VFX कलाकारों को क्या प्राप्त होगा। आँखें, बाल, चेहरे के बाल, और मुँह के अंदरूनी हिस्से सभी को उत्पादन पाइपलाइन में अलग‑अलग टीमों द्वारा संभालना पड़ेगा, साथ ही टेक्सचरिंग और लाइटिंग भी।
प्रकाश नियंत्रण
मिश्रित दृष्टिकोण री‑लाइटिंग में भी लाभ देता है – जो चेहरे के न्यूरल रेंडरिंग के लिए एक उल्लेखनीय चुनौती है, क्योंकि CGI त्वचा का सुपरइम्पोज़न अधिक आसानी से री‑लाइट किया जा सकता है।
CGI/न्यूरल दृष्टिकोण का एनीमेटेड संस्करण।
और अधिक चुनौतीपूर्ण वातावरणों, जैसे बाहरी शूटिंग में, शोधकर्ताओं ने ‘निर्मित’ व्यक्ति के चारों ओर एक प्रकार के निरस्त्रीकरण क्षेत्र (DMZ) के आसपास इनपेंटिंग की विधि विकसित की है।
एक काली सीमा उत्पन्न की जाती है ताकि पहचान के बाहरी भागों को इनपेंट करने और संयुक्त CGI/न्यूरल आउटपुट में CGI त्वचा को एकीकृत करने के लिए एक ‘कैनवास’ प्रदान किया जा सके।
वीडियो नोट करता है:
‘[न्यूरल] रेंडर पृष्ठभूमि प्रतिबंध से पूरी तरह मेल नहीं खाता। – यह केवल एक मार्गदर्शक के रूप में है, क्योंकि बाल, आँखें और दाँत जैसे वास्तविक मानव घटकों को अनुकूलित करना मुख्य लक्ष्य है। अधिक चुनौतीपूर्ण यह है कि पर्यावरण की रोशनी बदलते हुए भी एक सुसंगत पहचान को बनाए रखने की कोशिश करना।’
न्यूरल रेंडर्स से CGI जाल बनाना
शोध टीम ने एक वैरिएशनल ऑटोएन्कोडर भी विकसित किया है, जिसे (अस्पष्ट) बड़ी 3D चेहरे की छवियों के डेटाबेस पर प्रशिक्षित किया गया है, और दावा किया है कि यह ग्राउंड ट्रुथ डेटा से ‘रैंडम लेकिन संभाव्य’ 3D चेहरे के जाल उत्पन्न कर सकता है।
इस शोध को कई सीमाओं को पार करना है, जिनमें न्यूरल रेंडरिंग में बालों को समयिक रूप से स्थिर रखना कठिन होना शामिल है, और वीडियो (नीचे देखें) में एक अन्यथा स्थिर CGI/न्यूरल चेहरे के चारों ओर तेज़ी से बदलते बालों के कई उदाहरण दिखाए गए हैं।
न्यूरल वीडियो रेंडरिंग में समयिक स्थिरता केवल डिज़्नी की समस्या से कहीं अधिक व्यापक है, और संभव है कि इस प्रणाली के बाद के संस्करण बालों को ‘पोस्ट‑प्रोसेस’ में जोड़ने या बाल उत्पन्न करने के विभिन्न अन्य संभावित तरीकों का उपयोग करें, बजाय इस आशा के कि कोई नया न्यूरल दृष्टिकोण अंततः इसे हल कर देगा।
डेटासेट निर्माण के उपयोग
यह विधि को सिंथेटिक डेटा उत्पन्न करने और चेहरे की छवि सेट परिदृश्य को समृद्ध करने के संभावित तरीके के रूप में भी प्रस्तावित किया गया है, जो हाल के वर्षों में खतरनाक रूप से एकरस हो गया है।
डिज़्नी नई तकनीक को चेहरे की छवि डेटासेट में भरते हुए देखता है।
‘[हर] फोटो‑रियलिस्टिक परिणाम जो हम उत्पन्न करते हैं, उसका एक अंतर्निहित संबंधित ज्यामिति और उपस्थिति मानचित्र होते हैं, जिन्हें अज्ञात कैमरा दृष्टिकोणों से ज्ञात प्रकाश के साथ रेंडर किया जाता है। यह ‘ग्राउंड ट्रुथ’ जानकारी डाउनस्ट्रीम अनुप्रयोगों, जैसे मोनोक्रियल, 3D चेहरा पुनर्निर्माण, चेहरे की पहचान, या सीन समझ के प्रशिक्षण के लिए महत्वपूर्ण हो सकती है। और इसलिए प्रत्येक परिणाम रेंडर को एक डेटा नमूना माना जा सकता है, और हम कई विभिन्न व्यक्तियों के कई विविधताएँ उत्पन्न कर सकते हैं।’
‘इसके अतिरिक्त, एक ही व्यक्ति को एक ही अभिव्यक्ति, एक ही दृष्टिकोण और प्रकाश में रेंडर करने पर भी, हम अनुकूलन के दौरान रैंडमाइज़ेशन सीड बदलकर फोटो‑रियल रेंडर के रैंडम वैरिएशन उत्पन्न कर सकते हैं।’
शोधकर्ता नोट करते हैं कि इस कॉन्फ़िगरेबल आउटपुट की विविधता चेहरे की पहचान अनुप्रयोगों के प्रशिक्षण में उपयोगी हो सकती है, और निष्कर्ष निकालते हैं:
‘[हमारी] विधि वर्तमान चेहरे की त्वचा कैप्चर, मॉडलिंग और रेंडरिंग तकनीक का उपयोग करके इच्छित पहचान, अभिव्यक्ति और दृश्य विन्यास से मेल खाने वाले पूर्ण फोटो‑रियलिस्टिक चेहरे के रेंडर स्वचालित रूप से बना सकती है। इस दृष्टिकोण के फिल्म और मनोरंजन के लिए चेहरे के रेंडरिंग में अनुप्रयोग हैं, जो मैन्युअल कलाकारों की मेहनत बचाते हैं, साथ ही विभिन्न डीप लर्निंग क्षेत्रों में डेटा निर्माण के लिए भी उपयोगी हैं।’
नए दृष्टिकोण को गहराई से समझने के लिए, आज जारी की गई 10‑मिनट की वीडियो देखें:
https://www.unite.ai/wp-content/uploads/2021/11/dmz-disney.jpg
* इस लेख के प्रकाशित होने के 8 घंटे बाद मूल वीडियो लिंक को एक अन्य समान दिखने वाले लिंक से बदल दिया गया था। मैंने सभी संबंधित लिंक बदल दिए हैं, क्योंकि मूल वीडियो का कोई निशान नहीं बचा।
8:24 GMT+2 – वीडियो को बदल दिया गया, क्योंकि इसे डिज़्नी रिसर्च यूट्यूब चैनल ने किसी कारण से बदल दिया था।
