जीभ नहीं! एआई शोधकर्ता चेहरे के एनिमेशन में छूटी शारीरिक संरचना पर काम कर रहे हैं

2026 में छूट गए: यह साल का वह समय है जब नवंबर और दिसंबर के आख़िरी कुछ सम्मेलनों के साथ शोध जगत की गुणवत्ता और गतिविधियों की मात्रा में भी उतार-चढ़ाव आता है। इन बीच-बीच में पड़ने वाले सूखे दौरों से निपटने के लिए, हम 2026 के कुछ दिलचस्प शोधपत्रों पर नज़र डाल रहे हैं, जो चयन के करीब तो पहुँचे, लेकिन अधिक प्रतिस्पर्धी सबमिशन अवधियों में दूसरे कामों के कारण बाहर रह गए।

हाल तक, शौकिया और पेशेवर—दोनों तरह के डीपफेक बनाने वालों के लिए इस बात से कहीं बड़ी चिंताएँ थीं कि पुनर्निर्मित इंसान की जीभ दिखाई देती है या नहीं। आख़िरकार, जीभ चेहरे की सबसे अप्रत्याशित विशेषताओं में से एक है—‘बुदबुदाकर बोलने वालों’ में यह बिल्कुल दिखाई नहीं देती और आम तौर पर भी केवल कभी-कभार नज़र आती है।

नतीजतन, जब इसकी ज़रूरत पड़ती है, तो एआई पुनर्निर्माण में यह मौजूद नहीं होती। ऐसे दौर में, जब शौकिया स्तर पर डिफ्यूज़न-आधारित पुनर्निर्माण आश्चर्यजनक रूप से यथार्थवादी हो गया है और एआई से बने इंसानों के बारे में हमारी परख लगातार पैनी होती जा रही है, शायद अब इस समस्या पर ध्यान देने का समय आ गया है।

समस्या की जड़ तक पहुँचना

जुलाई में ऑस्ट्रेलिया और चीन के बीच एक शैक्षणिक सहयोग के तहत एआई कार्यप्रवाहों में जीभ के अनुकरण की कमी को दूर करने के लिए एक प्रक्रिया प्रस्तुत की गई। TongueReenact नाम के इस प्रस्तावित ढाँचे में समस्या से निपटने के लिए डीपफेक के लगभग हर तरीके का इस्तेमाल किया गया है, जिनमें गॉसियन स्प्लैटिंग, पैरामीट्रिक मानव मॉडल, न्यूरल रेडियंस फ़ील्ड्स (NeRF) और डिफ्यूज़न-आधारित वीडियो निर्माण शामिल हैं (माफ़ कीजिए, GANs, आप इस बार जगह नहीं बना पाए)।

ऊपर: ड्राइविंग वीडियो का वास्तविक फ़ुटेज, जिसकी विशेषताएँ नीचे दिए गए TongueReenact रेंडर में स्थानांतरित की गई हैं। स्रोत

शोधपत्र प्रकाशित होने के बाद से परियोजना का वादा किया गया कोड उपलब्ध कराया गया हो, ऐसा नहीं लगता; और अभी तक कोई पूरक वीडियो भी जारी नहीं किया गया है। फिर भी, यह एक उल्लेखनीय काम है, क्योंकि यह चिकित्सा क्षेत्र से बाहर एआई-आधारित पुनर्निर्माण में जीभ को शामिल करने वाला पहला प्रयास है। साथ ही, यह चिह्नित डेटा की गंभीर कमी को दूर करने की कोशिश करता है, जबकि ऐसा डेटा किसी भी प्रस्तावित समाधान के लिए ज़रूरी है।

शोधकर्ताओं ने SegmentAnything पर आधारित जीभ-विभाजन ढाँचा बनाने और नए विभाजित डेटा के लिए छद्म-लेबल तैयार करने हेतु, पहले से उपलब्ध विविध ढाँचों और डेटा का अभिनव ढंग से उपयोग किया।

शोधपत्र में कहा गया है:

‘[We] हम चेहरे के पुनःअभिनय में अलग-अलग पहचानों के बीच जीभ की गतिशीलता स्थानांतरित करने वाला पहला ढाँचा प्रस्तुत करते हैं। स्रोत फ़्रेम और ड्राइविंग वीडियो मिलने पर, हमारी विधि चेहरे की गति और जीभ की गतिविधि—दोनों को स्रोत पहचान पर स्थानांतरित करती है।

‘हमारे काम की केंद्रीय अंतर्दृष्टि यह है कि जीभ का संश्लेषण किसी सामान्य छवि-पूर्ति समस्या की तरह नहीं किया जा सकता। जीभ को स्रोत चेहरे की ज्यामिति के अनुरूप सही स्थान पर रखना ज़रूरी है, और यह ज्यामिति हर ड्राइविंग फ़्रेम के साथ बदलती है।’

यह प्रणाली सबसे पहले 3D Gaussian Splatting और FLAME चेहरे के मॉडल की मदद से, ड्राइविंग वीडियो में मौजूद व्यक्ति के चेहरे की गतिविधियों को स्रोत चेहरे पर स्थानांतरित करती है। इससे सही मुद्रा और भाव-भंगिमा वाला एनिमेटेड चेहरा बनता है, लेकिन उसमें जीभ अब भी नहीं होती।

TongueReenact की कार्यप्रणाली। ऊपर: जीभ की छवियों की पहचान करके उनका विभाजन किया जाता है और पहचान मॉडल को प्रशिक्षित करने के लिए उन्हें हाथ से बेहतर बनाया जाता है। नीचे: ड्राइविंग वीडियो से चेहरे की गतिविधियाँ स्रोत चेहरे पर स्थानांतरित की जाती हैं, फिर एक डिफ्यूज़न मॉडल सही जगह पर गायब जीभ तैयार करता है।

इसके बाद Stable Diffusion मॉडल का उपयोग करके गायब जीभ बनाई जाती है। इसमें ड्राइविंग वीडियो में जीभ के दिखने के ढंग और पुनर्निर्मित चेहरे की ज्यामिति को ध्यान में रखा जाता है।

चेहरे के पुनर्निर्माण की इस कमी को दूर करने की ज़रूरत के बारे में लेखक कहते हैं*:

‘हँसी, घृणा या आश्चर्य जैसी भावपूर्ण क्रियाओं के दौरान, [the tongue] पूरे दिखाई देने वाले मुख-क्षेत्र पर हावी हो सकती है। फिर भी, लगभग सभी मौजूदा पुनःअभिनय और अवतार प्रणालियाँ या तो मुँह के भीतर के हिस्से को बनावट-विहीन खाली जगह की तरह दिखाती हैं या उसे पूरी तरह बिना किसी बंधन के छोड़ देती हैं।

‘इसकी अनदेखी महज़ संयोग नहीं है। जीभ की संरचना अनूठे ढंग से क्षणिक होती है—आराम की अवस्था में पूरी तरह छिपी रहती है, बोलते समय कभी-कभार दिखाई देती है और तीव्र भाव-भंगिमाओं में अचानक प्रमुख हो जाती है। इस वजह से, चेहरे के बाकी हिस्सों पर लागू स्थिर पैरामीट्रिक मॉडलिंग के लिए यह बुनियादी तौर पर अनुपयुक्त है।

‘इस अनदेखी चुनौती से निपटना ही हमारे काम की मुख्य प्रेरणा है।’

परीक्षणों में, इस नई विधि ने चेहरे के एनिमेशन की पाँच प्रतिस्पर्धी प्रणालियों से काफी बेहतर प्रदर्शन किया। जीभ की स्थिति और आकार के प्रमुख मापदंडों पर इसने निकटतम प्रतिद्वंद्वी की तुलना में 100% से अधिक सटीकता की बढ़त हासिल की—हालाँकि यह मानना होगा कि जब कोई बिल्कुल नई दिशा में काम कर रहा हो और पहले के ढाँचे इस नई चुनौती पर बहुत कम या बिल्कुल ध्यान न देते हों, तो इस तरह के परीक्षण तैयार करना कठिन होता है।

आइए, इस नए तरीके को करीब से देखें।

कार्यविधि

सामान्य चेहरे के वीडियो में जीभ की पहचान करने में सक्षम प्रणाली विकसित करने के लिए, मानव सिरों की विभिन्न कोणों से की गई रिकॉर्डिंग वाले NERSemble डेटासेट के साथ VFHQ डेटासेट से कृत्रिम रूप से बनाए गए फ़्रेमों का उपयोग किया गया। VFHQ में 16,000 से अधिक उच्च-गुणवत्ता वाले चेहरे के वीडियो हैं:

चलाने के लिए दबाएँNERsemble परियोजना की वेबसाइट से रेडिएंस फ़ील्ड पुनर्निर्माण का एक दिलचस्प, जीभ-संबंधी उदाहरण। हालाँकि, यहाँ दिखाई गई जीभ को सामान्य ज्यामिति के रूप में लिया गया है और उसका कोई अलग डोमेन नहीं है। स्रोत 

हर छवि में मुँह का स्थान ढूँढ़ने के लिए MaskGAN चेहरे के हिस्सों की पहचान करने वाले मॉडल का उपयोग किया गया। इसके बाद, जीभ का संभावित क्षेत्र पहचानने के लिए चिकित्सा-उपयोग वाला TongueSAM डिटेक्टर इस्तेमाल किया गया और फिर उस क्षेत्र को SegmentAnything में भेजा गया। वहाँ से दिखाई दे रही जीभ की शुरुआती रूपरेखा (यानी छद्म-लेबल) तैयार की गई।

TongueSAM डेटासेट के नमूने, जिन्हें चेहरे के भावों के मूल्यांकन के बजाय विश्लेषणात्मक चिकित्सा उपयोग के लिए बनाया गया है। स्रोत

तैयार किए गए मास्कों को जीभ के दिखाई देने की मात्रा के आधार पर तीन समूहों में बाँटा गया। गलत नमूनों को हटा दिया गया और आशाजनक मास्कों को हाथ से सुधारकर जीभ को उसके आसपास के होंठों, दाँतों और मुँह के अन्य ऊतकों से अलग पहचाना गया। इन परिष्कृत एनोटेशन का उपयोग BiSeNet इमेज सेगमेंटेशन नेटवर्क को प्रशिक्षित करने के लिए किया गया।

इसके बाद मॉडल को NERSemble के अतिरिक्त लोगों और VFHQ के कृत्रिम फ़्रेमों पर लागू किया गया। आगे का प्रशिक्षण देने से पहले, मनुष्यों ने इसकी भविष्यवाणियों की जाँच की और उन्हें सुधारा। यह प्रक्रिया तब तक दोहराई गई, जब तक कि पहले कभी न देखे गए लोगों पर मॉडल का प्रदर्शन स्थिर नहीं हो गया:

मौजूदा डेटा को ‘जीभ-डोमेन’ डेटा में बदलने की प्रक्रिया।

जीभ का संश्लेषण करने के लिए, BiSeNet द्वारा पहचाने गए मुँह के क्षेत्र को थोड़ा बड़ा किया गया और फिर उसे डिफ्यूज़न मॉडल में भेजा गया। इससे मुँह का आकार बदलने पर जनरेट की गई जीभ को शुरुआती सेगमेंटेशन सीमा से बाहर तक फैलने की जगह मिली।

निर्माण Stable Diffusion Image Variations के लैटेंट स्पेस में किया गया। इसमें पुनर्निर्मित चेहरे की ज्यामिति और ड्राइविंग फ़्रेम में दिखाई देने वाली जीभ से अलग-अलग मार्गदर्शन लिया गया, और केवल पहचाने गए मुँह/जीभ क्षेत्र को फिर से बनाया गया।

जनरेटिव पाइपलाइन। ऊपर बाएँ हिस्से में DINO V2 का संदर्भ GAGAvatar के उपयोग को दर्शाता है (नीचे देखें), जो DINO V2 की रूप-रंग संबंधी विशेषताओं का FLAME के साथ उपयोग करता है।

डेटा और परीक्षण

पहले बताए गए डेटा-प्रसंस्करण चरणों से प्राप्त दो आउटपुट वर्गों पर BiSeNet को प्रशिक्षित किया गया: पृष्ठभूमि और जीभ। प्रशिक्षण 10^-3 की लर्निंग रेट पर 50,000 चरणों तक किया गया। इसमें 512x512px की छवियों और 4 के बैच आकार का उपयोग करते हुए, 48GB VRAM वाले एक NVIDIA A40 GPU पर प्रशिक्षण चलाया गया। प्रशिक्षण डेटा में पहले बताए गए NERSemble और VFHQ फ़्रेम शामिल थे।

पुनः-अभिनय वाले हिस्से के लिए, पूर्व-प्रशिक्षित GAGAvatar गॉसियन स्प्लैटिंग बैकबोन का उपयोग किया गया। Stable Diffusion Image Variations चेकपॉइंट भी इस्तेमाल किया गया, जिसमें VAE और CLIP एनकोडर को स्थिर रखा गया। इसके बाद मार्गदर्शन एनकोडरों और नॉइज़ हटाने वाले UNET को NERSemble डेटा पर 85,000 चरणों तक, 8 के बैच आकार और 512×512 इनपुट के साथ प्रशिक्षित किया गया। अनुमान के लिए DDIM के 20 चरणों का उपयोग किया गया (कई मौजूदा डिफ्यूज़न मॉडलों के लिए इसे बड़ी संख्या माना जाता है और यह विवरण को प्राथमिकता देने के लिए चुनी गई है, हालाँकि इसके साथ कुछ अपरिहार्य समझौते भी होते हैं)।

परीक्षण किए गए प्रतिस्पर्धी अवतार ढाँचों में GPAvatar; चर्चित LivePortrait; X-NeMo; और X-Portrait शामिल थे। इनमें से हर एक का मूल्यांकन अलग-अलग पहचान वाले VFHQ स्रोत/ड्राइविंग फ़्रेमों के 9,000 जोड़ों पर किया गया।

इस्तेमाल किए गए मापदंड थे सीखी गई अवधारणात्मक छवि-पैच समानता (LPIPS); जीभ की मौजूदगी (उन फ़्रेमों का अनुपात जिनमें जीभ का पता चलता है); जीभ का IoU (जनरेट किए गए और ड्राइविंग फ़्रेम में जीभ के क्षेत्रों के बीच का ओवरलैप); और जीभ के क्षेत्रफल की समानता (जनरेट की गई जीभ का आकार ड्राइविंग फ़्रेम वाली जीभ के आकार से कितना मेल खाता है)।

TongueReenact की तुलना चेहरे के पुनर्सृजन वाले पाँच प्रतिद्वंद्वी फ्रेमवर्क से करने वाले परीक्षणों के नतीजे। TongueReenact जीभ से संबंधित चारों मेट्रिक्स में सबसे अच्छा नतीजा देता है; तीर बताते हैं कि कम या ज़्यादा स्कोर में से किसे बेहतर माना जाता है।

शुरुआती तुलना के बारे में लेखक कहते हैं:

‘हमारी विधि जीभ स्थानांतरण से जुड़े चारों मेट्रिक्स में सबसे अच्छा प्रदर्शन करती है। इसका Tongue IoU 0.3582 और Tongue Area Similarity 0.4338 है, जो निकटतम प्रतिस्पर्धी के स्कोर से दोगुने से भी अधिक है। इससे पुष्टि होती है कि जीभ की गतिशीलता का स्थानांतरण काफी अधिक सटीक है।

‘Tongue Presence का 0.7891 का स्कोर यह भी दिखाता है कि हमारी विधि विश्वसनीय ढंग से जीभ की दिखाई देने वाली गति उत्पन्न करती है, जबकि मौजूदा विधियाँ अक्सर ऐसा कुछ भी उत्पन्न नहीं कर पातीं।’

मूल शोधपत्र में दिखाए गए कई विस्तृत गुणात्मक उदाहरणों की कुछ झलकियाँ। यहाँ हम नए तरीके की तुलना पहले के पाँच प्रतिस्पर्धी तरीकों से देखते हैं, जिनमें से किसी में भी जीभ उत्पन्न करने की क्षमता नहीं है। और उदाहरणों तथा अधिक उच्च रिज़ॉल्यूशन वाली सामग्री के लिए कृपया मूल शोधपत्र देखें।

हालाँकि पूरक वीडियो सामग्री उपलब्ध न होने के कारण हम स्वयं इसका आकलन नहीं कर सकते, फिर भी लेखकों ने T-LPIPS का उपयोग करके समय के साथ प्रणाली की संगति का परीक्षण भी किया:

समय के साथ संगति के परीक्षणों के नतीजे।

यहाँ लेखक टिप्पणी करते हैं:

‘हमारे पूर्ण मॉडल में प्रवाह का झटकेदार उतार-चढ़ाव काफी कम (0.218543 बनाम 0.622901) और प्रवाह का परिमाण भी काफी कम (0.513165 बनाम 1.254073) है। इससे पुष्टि होती है कि ज्यामिति-आधारित डिनॉइज़िंग जीभ की गति को सहज और स्थिर बनाती है।

‘T-LPIPS का कम स्कोर इस बात की भी पुष्टि करता है कि जीभ का संश्लेषण समयगत संगति से समझौता नहीं करता।’

निष्कर्ष

कुछ नवीनतम डिफ्यूज़न-आधारित वीडियो मॉडल अस्वाभाविकता की खाई को धीरे-धीरे पाट रहे हैं। हालाँकि, अब एक नई मनोवैज्ञानिक बाधा उभरने लगी है: लोग एआई से तैयार सामग्री को वे जो देख रहे हैं उसकी गुणवत्ता के अलावा अन्य कारणों से नकारात्मक नज़र से देखने लगे हैं।

इससे गुणात्मक मूल्यांकन का काम और जटिल होने वाला है। हालाँकि, मेरा अनुमान है कि ‘ब्लाइंड’ परीक्षणों पर आधारित मेट्रिक्स—जिनमें उपयोगकर्ता एआई के परिणाम को कम आँकना चाहता है, लेकिन वास्तविक परिणाम को कम आँकने से डरता है—एआई की वास्तविकता के लिए एक तरह का ‘छाया’ पैमाना विकसित करने में मदद कर सकते हैं।

इसलिए, हालांकि बालों, भावनाओं के अनुकरण, दृष्टि और अब जीभ की गति जैसे गौण पहचान-संबंधी विशेषताओं को एआई के ज़रिए फिर से सृजित करने पर शोध के कई मज़बूत प्रयास हो रहे हैं, फिलहाल ये मुद्दे अप्रासंगिक हो सकते हैं।

* लेखकों के मूल उद्धरणों को हाइपरलिंक में बदलने का काम मैंने किया है।

पहली बार प्रकाशित: बुधवार, 11 नवंबर 2026