होंठ पढ़ने के लिए विजेम्स और मशीन लर्निंग का उपयोग

तेहरान के कंप्यूटर इंजीनियरिंग स्कूल से नए शोध ने होंठ पढ़ने के लिए मशीन लर्निंग सिस्टम बनाने की चुनौती को बेहतर बनाने के लिए एक नया तरीका पेश किया है।

इस पेपर में, जिसका शीर्षक लिप रीडिंग यूजिंग विजेम डिकोडिंग है, यह बताया गया है कि यह नया सिस्टम पहले के समान मॉडल्स की तुलना में 4% बेहतर शब्द त्रुटि दर प्राप्त करता है। यह सिस्टम इस क्षेत्र में उपयोगी प्रशिक्षण डेटा की कमी को दूर करने के लिए विजेम्स को ओपनसबटाइटल्स डेटासेट से प्राप्त पाठ सामग्री से मैप करता है।

विजेम का अर्थ है ध्वनि का दृश्य समकक्ष, जो एक मशीन लर्निंग मॉडल में एक ‘फीचर’ के रूप में कार्य कर सकता है।

विजेम्स कार्य में। स्रोत: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

शोधकर्ताओं ने सबसे पहले उपलब्ध डेटासेट पर सबसे कम त्रुटि दर स्थापित की और स्थापित मैपिंग प्रक्रियाओं से विजेम अनुक्रम विकसित किए। धीरे-धीरे, यह प्रक्रिया शब्दों की एक दृश्य शब्दावली विकसित करती है – हालांकि यह आवश्यक है कि विभिन्न शब्दों के लिए सटीकता की संभावनाओं को परिभाषित किया जाए जो एक विजेम साझा करते हैं (जैसे ‘हार्ट’ और ‘आर्ट’)।

पाठ से विजेम्स निकाले गए। स्रोत: https://arxiv.org/pdf/2104.04784.pdf

जब दो समान शब्द एक ही विजेम का परिणाम देते हैं, तो सबसे अधिक बार होने वाले शब्द का चयन किया जाता है।

मॉडल पारंपरिक क्रम-टू-क्रम सीखने पर आधारित है, जिसमें एक उप-प्रक्रिया जोड़ी जाती है जहां विजेम्स को पाठ से预测 किया जाता है और एक समर्पित पाइपलाइन में मॉडल किया जाता है:

ऊपर, पारंपरिक क्रम-टू-क्रम विधियां एक अक्षर मॉडल में; नीचे, तेहरान शोध मॉडल में विजेम अक्षर मॉडलिंग का जोड़。 स्रोत: https://arxiv.org/pdf/2104.04784.pdf

मॉडल को ऑक्सफोर्ड विश्वविद्यालय द्वारा 2018 में जारी एलआरएस3-टेड डेटासेट के खिलाफ लागू किया गया था, जिसमें सबसे खराब शब्द त्रुटि दर 24.29% प्राप्त हुई थी।

तेहरान शोध में ग्राफेम-टू-फोनेम कनवर्टर का भी उपयोग किया गया है।

2017 के ऑक्सफोर्ड शोध लिप रीडिंग सेंटेंसेस इन द वाइल्ड के खिलाफ एक परीक्षण में, वीडियो-टू-विजेम विधि ने 62.3% की शब्द त्रुटि दर प्राप्त की, जबकि ऑक्सफोर्ड विधि के लिए 69.5% थी।

शोधकर्ता निष्कर्ष निकालते हैं कि अधिक मात्रा में पाठ सूचना का उपयोग, साथ ही ग्राफेम-टू-फोनेम और विजेम मैपिंग, स्वचालित होंठ पढ़ने वाले मशीन सिस्टम में वर्तमान राज्य की तुलना में सुधार का वादा करता है, जबकि स्वीकार करते हैं कि उपयोग की जाने वाली विधियां अधिक जटिल वर्तमान फ्रेमवर्क में शामिल होने पर भी बेहतर परिणाम दे सकती हैं।

मशीन-चालित होंठ पढ़ना पिछले दो दशकों से कंप्यूटर विजन और एनएलपी शोध का एक सक्रिय और निरंतर क्षेत्र रहा है। कई अन्य उदाहरणों और परियोजनाओं के बीच, 2006 में स्वचालित होंठ पढ़ने वाले सॉफ्टवेयर का उपयोग सुर्खियों में आया जब इसका उपयोग एडोल्फ हिटलर के बावरियन रिट्रीट पर ली गई कुछ मूक फिल्मों में क्या कह रहे थे, इसकी व्याख्या करने के लिए किया गया था, हालांकि यह अनुप्रयोग तब से अप्रासंगिक हो गया प्रतीत होता है (बारह साल बाद, सर पीटर जैक्सन मानव होंठ पाठकों का सहारा लिया प्रथम विश्व युद्ध के फुटेज को पुनर्स्थापित करने के लिए परियोजना वे शाल नॉट ग्रो ओल्ड में)।

2017 में, लिप रीडिंग सेंटेंसेस इन द वाइल्ड, ऑक्सफोर्ड विश्वविद्यालय और गूगल के एआई शोध प्रभाग के बीच एक सहयोग, ने एक होंठ पढ़ने वाला एआई विकसित किया जो बिना ध्वनि के वीडियो में 48% भाषण का सही अनुमान लगा सकता था, जहां एक मानव होंठ पाठक केवल 12.4% सटीकता तक पहुंच सकता था। मॉडल को बीबीसी टीवी फुटेज के हजारों घंटों पर प्रशिक्षित किया गया था।

यह काम एक अलग ऑक्सफोर्ड/गूगल पहल के बाद आया, जिसका शीर्षक लिपनेट था, जो एक न्यूरल नेटवर्क आर्किटेक्चर था जो वीडियो अनुक्रमों को पाठ अनुक्रमों में मैप करता था, जिसमें एक गेटेड रिकरेंट नेटवर्क (जीआरएन) का उपयोग किया जाता था, जो एक रिकरेंट न्यूरल नेटवर्क (आरएनएन) की आधार वास्तुकला में कार्यक्षमता जोड़ता है। मॉडल ने मानव होंठ पाठकों की तुलना में 4.1 गुना बेहतर प्रदर्शन किया।

वास्तविक समय में सटीक प्रतिलिपि प्राप्त करने की समस्या के अलावा, वीडियो से भाषण की व्याख्या करने की चुनौती तब गहराती जाती है जब आप सहायक संदर्भ जैसे ऑडियो, ‘चेहरे पर’ फुटेज जो अच्छी तरह से प्रकाशित है, और एक भाषा/संस्कृति जहां फोनीम/विजेम्स अपेक्षाकृत विभिन्न हैं, को हटा देते हैं।

वर्तमान में कोई अनुभवजन्य समझ नहीं है कि कौन सी भाषाएं पूरी तरह से ऑडियो की अनुपस्थिति में होंठ पढ़ने में सबसे कठिन हैं, जापानी एक प्रमुख दावेदार है। जापानी मूल निवासी (साथ ही कुछ अन्य पश्चिम और पूर्व एशियाई मूल निवासी) जो अपने भाषण की सामग्री के खिलाफ चेहरे के भावों का लाभ उठाते हैं, वे पहले से ही एक बड़ी चुनौती हैं भावना विश्लेषण प्रणालियों के लिए।

हालांकि, यह ध्यान देने योग्य है कि इस विषय पर वैज्ञानिक साहित्य आमतौर पर सावधान है, न कि कम से कम इसलिए कि इस क्षेत्र में यहां तक कि अच्छी तरह से इरादे वाले उद्देश्य विज्ञान अनुसंधान भी नस्लीय प्रोफाइलिंग और मौजूदा रूढ़िवादिता को बढ़ावा देने में जोखिम उठा सकता है।

गुटुरल घटकों के साथ भाषाएं, जैसे कि चेचन और डच, स्वचालित भाषण निष्कर्षण तकनीकों के लिए विशेष रूप से समस्याग्रस्त हैं, जबकि संस्कृतियां जहां वक्ता भावना या सम्मान के संकेत के रूप में दूर देखने का विकल्प चुन सकते हैं (फिर से, एशियाई संस्कृतियों में) एआई होंठ पढ़ने वाले शोधकर्ताओं को अन्य संदर्भ संकेतों से ‘इन-फिलिंग’ के अतिरिक्त तरीके विकसित करने की आवश्यकता होगी।