गूगल के लिपसिंक3डी में सुधारित ‘डीपफेक्ड’ माउथ मूवमेंट सिंक्रोनाइजेशन

गूगल एआई शोधकर्ताओं और भारतीय प्रौद्योगिकी संस्थान खड़गपुर के बीच एक सहयोग ने ऑडियो सामग्री से बात करने वाले सिर को संश्लेषित करने के लिए एक नया फ्रेमवर्क प्रदान किया है। परियोजना का उद्देश्य ऑडियो से ‘बात करने वाले सिर’ वीडियो सामग्री बनाने के लिए अनुकूलित और उचित संसाधनों के साथ तरीके प्रदान करना है, जिसका उद्देश्य है लिप आंदोलनों को डब किए गए या मशीन-अनुवादित ऑडियो के साथ सिंक्रोनाइज करना और अवतार, इंटरैक्टिव अनुप्रयोगों और अन्य वास्तविक समय वातावरण में उपयोग करना।

स्रोत: https://www.youtube.com/watch?v=L1StbX9OznY

प्रक्रिया में प्रशिक्षित मशीन लर्निंग मॉडल – जिसे लिपसिंक3डी कहा जाता है – को केवल एक वीडियो के रूप में लक्ष्य चेहरे की पहचान की आवश्यकता होती है। डेटा तैयारी पाइपलाइन चेहरे की ज्यामिति के निष्कर्षण को प्रवेश वीडियो के प्रकाश और अन्य पहलुओं के मूल्यांकन से अलग करती है, जिससे अधिक आर्थिक और केंद्रित प्रशिक्षण संभव हो जाता है।

लिपसिंक3डी का दो-चरण कार्य-प्रवाह। ऊपर, ‘लक्ष्य’ ऑडियो से गतिशील रूप से बनाए गए 3डी चेहरे का निर्माण; नीचे, उत्पन्न जाल को लक्ष्य वीडियो में सम्मिलित करना।

वास्तव में, लिपसिंक3डी का इस क्षेत्र में शोध प्रयासों के शरीर में सबसे उल्लेखनीय योगदान इसका प्रकाश सामान्यीकरण एल्गोरिदम हो सकता है, जो प्रशिक्षण और अनुमान प्रकाश को अलग करता है।

सामान्य ज्यामिति से प्रकाश डेटा को अलग करने से लिपसिंक3डी को चुनौतीपूर्ण परिस्थितियों में अधिक वास्तविक लिप आंदोलन आउटपुट उत्पन्न करने में मदद मिलती है। हाल के वर्षों में अन्य दृष्टिकोणों ने ‘निश्चित’ प्रकाश स्थितियों तक खुद को सीमित कर लिया है जो इस संबंध में उनकी अधिक सीमित क्षमता का खुलासा नहीं करेंगे।

इनपुट डेटा फ्रेम के पूर्व-प्रसंस्करण के दौरान, प्रणाली को विशिष्ट बिंदुओं की पहचान और हटाने की आवश्यकता है, क्योंकि वे प्रकाश स्थितियों के लिए विशिष्ट होते हैं जिनके तहत वीडियो लिया गया था, और अन्यथा पुनः प्रकाश व्यवस्था की प्रक्रिया में हस्तक्षेप करेंगे।

लिपसिंक3डी, जैसा कि इसके नाम से पता चलता है, चेहरों का केवल पिक्सेल विश्लेषण नहीं कर रहा है जिन्हें यह मूल्यांकन करता है, बल्कि सक्रिय रूप से चेहरे की पहचान की गई भूमिकाओं का उपयोग करके गतिशील सीजीआई-शैली के जाल और उन्हें लपेटने वाले ‘अनफोल्डेड’ टेक्सचर का उत्पादन कर रहा है, जो एक पारंपरिक सीजीआई पाइपलाइन में होता है।

लिपसिंक3डी में मुद्रा सामान्यीकरण। बाईं ओर इनपुट फ्रेम और पता लगाए गए विशेषताएं हैं; मध्य में, उत्पन्न जाल के मूल्यांकन के सामान्यीकृत शीर्षलेख; और दाईं ओर, संबंधित टेक्सचर एटलस, जो टेक्सचर अनुमान के लिए आधारभूत सत्य प्रदान करता है। स्रोत: https://arxiv.org/pdf/2106.04185.pdf

वास्तव में, लिपसिंक3डी का इस क्षेत्र में शोध प्रयासों के शरीर में सबसे उल्लेखनीय योगदान इसका प्रकाश सामान्यीकरण एल्गोरिदम हो सकता है, जो प्रशिक्षण और अनुमान प्रकाश को अलग करता है।

वीडियो चेहरे की छवियों के विभिन्न पहलुओं को अलग करने से वीडियो संश्लेषण में अधिक नियंत्रण मिलता है।

लिपसिंक3डी ऑडियो से सीधे लिप ज्यामिति आंदोलन को व्युत्पन्न कर सकता है जो भाषण के विभिन्न पहलुओं और मुंह के आसपास की मांसपेशियों की मुद्राओं का विश्लेषण करके उन्हें ज्ञात संबंधित मांसपेशियों की मुद्राओं में अनुवादित करता है।

इस प्रक्रिया में एक संयुक्त-पूर्वानुमान पाइपलाइन का उपयोग किया जाता है, जहां अनुमानित ज्यामिति और टेक्सचर में एक ऑटो-एन्कोडर सेटअप में समर्पित एन्कोडर होते हैं, लेकिन वे ऑडियो एन्कोडर को साझा करते हैं जो मॉडल पर आरोपित भाषण के साथ होता है:

लिपसिंक3डी का लेबिल मूवमेंट संश्लेषण स्टाइलाइज्ड सीजीआई अवतारों को भी संचालित करने के लिए है, जो वास्तव में वास्तविक दुनिया की छवियों के समान ही जाल और टेक्सचर जानकारी होती है:

एक स्टाइलाइज्ड 3डी अवतार को एक स्रोत वक्ता वीडियो द्वारा वास्तविक समय में लिप आंदोलन से संचालित किया जाता है। ऐसे परिदृश्य में, व्यक्तिगत पूर्व-प्रशिक्षण से सर्वोत्तम परिणाम प्राप्त किए जा सकते हैं।

शोधकर्ता थोड़े अधिक वास्तविक महसूस करने वाले अवतारों के उपयोग की भी कल्पना करते हैं:

वीडियो के लिए नमूना प्रशिक्षण समय 2-5 मिनट के वीडियो के लिए 3-5 घंटे तक होता है, जो टेंसोरफ्लो, पाइथन और सी++ का उपयोग करता है और जियोफोर्स जीटीएक्स 1080 पर चलता है। प्रशिक्षण सत्रों में 500-1000 युगों पर 128 फ्रेम का बैच आकार था, प्रत्येक युग वीडियो के पूर्ण मूल्यांकन का प्रतिनिधित्व करता था।

लिप मूवमेंट के डायनामिक री-सिंक्रोनाइजेशन की ओर

लिप को एक नए ऑडियो ट्रैक के अनुरूप बनाने के क्षेत्र में कंप्यूटर विजन अनुसंधान में पिछले कुछ वर्षों में बहुत ध्यान मिला है (नीचे देखें), जो विवादास्पद डीपफेक प्रौद्योगिकी का एक उप उत्पाद है।

2017 में, वाशिंगटन विश्वविद्यालय ने शोध प्रस्तुत किया जो ऑडियो से लिप सिंक्रोनाइजेशन सीखने में सक्षम था, और इसका उपयोग तब-राष्ट्रपति ओबामा के लिप आंदोलनों को बदलने के लिए किया गया था। 2018 में, मैक्स प्लैंक इंफॉर्मेटिक्स संस्थान ने एक अन्य शोध पहल का नेतृत्व किया, जिसमें पहचान>पहचान वीडियो हस्तांतरण को सक्षम करने के लिए लिप सिंक्रोनाइजेशन एक उप उत्पाद था; और मई 2021 में, एआई स्टार्टअप फ्लावलेसएआई ने अपनी प्रोप्राइटरी लिप-सिंक प्रौद्योगिकी ट्रूसिंक का खुलासा किया, जिसे प्रेस में व्यापक रूप से स्वीकार किया गया था भाषाओं में प्रमुख फिल्म रिलीज के लिए सुधारित डबिंग प्रौद्योगिकियों को सक्षम करने के लिए।

और, जैसा कि अपेक्षित था, डीपफेक ओपन सोर्स रिपॉजिटरी का निरंतर विकास इस क्षेत्र में सक्रिय उपयोगकर्ता-योगदान से शोध की एक और शाखा प्रदान करता है।