Anderson का एंगल

वास्तविक वीडियो में संवाद जोड़ना एआई के साथ

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Montage of subjects from the demonstration video-clips for FacEDiT. Source: https://facedit.github.io/
मुख्य बिंदुफेसईडीआईटी बिना पुनः शूटिंग के वास्तविक वीडियो में भाषण संपादन के लिए पहली एंड-टू-एंड…
और देखें
  • फेसईडीआईटी बिना पुनः शूटिंग के वास्तविक वीडियो में भाषण संपादन के लिए पहली एंड-टू-एंड एआई प्रणाली है।
  • यह ढांचा मौजूदा फुटेज में नए संवाद को सहजता से मिलाने के लिए चेहरे की गति भराई का उपयोग करता है।
  • मानव मूल्यांकनकर्ताओं ने लगातार फेसईडीआईटी के आउटपुट को सबसे प्राकृतिक और सिंक में रहने वाला माना है।

एक नया एआई फ्रेमवर्क वीडियो में किसी व्यक्ति के शब्दों को पुनः लिखने, हटाने या जोड़ने के लिए एक एकल अंत-से-अंत प्रणाली में बिना रीशूटिंग के सक्षम है।

 

तीन साल पहले, इंटरनेट को किसी भी 20-30 एआई वीडियो-अल्टरिंग फ्रेमवर्क से आश्चर्य होता जो साप्ताहिक रूप से अकादमिक पोर्टलों में प्रकाशित होते हैं; जैसा कि यह लोकप्रिय शोध की शाखा अब इतनी प्रचुर मात्रा में हो गई है कि यह लगभग एक अन्य शाखा का गठन करती है ‘एआई स्लोप’, और मैं इस तरह की रिलीज़ की तुलना में दो या तीन साल पहले की तुलना में बहुत कम कवर करता हूं।

हालांकि, इस लाइन में एक वर्तमान रिलीज़ ने मेरा ध्यान आकर्षित किया: एक एकीकृत प्रणाली जो वास्तविक वीडियो क्लिप में हस्तक्षेप कर सकती है और मौजूदा वीडियो में नए भाषण को अंतरप्रेषित कर सकती है (एक पूरे उत्पादक क्लिप बनाने के बजाय एक चेहरे या फ्रेम से, जो बहुत अधिक सामान्य है)।

नीचे दिए गए उदाहरणों में, जिन्हें मैंने रिलीज़ की परियोजना वेबसाइट पर उपलब्ध कई नमूना वीडियो से एक साथ संपादित किया है, हम पहले वास्तविक स्रोत क्लिप देखते हैं, और फिर, नीचे, मध्य में आरोपित एआई भाषण क्लिप, जिसमें वॉयस सिंथेसिस और होंठ सिंक शामिल हैं:

प्ले करने के लिए क्लिक करें। सिलाई के साथ स्थानीय संपादन – फेसेडिट द्वारा प्रदान की जाने वाली कई मॉडलिटी में से एक। बेहतर रिज़ॉल्यूशन के लिए स्रोत वेबसाइट पर जाएं। स्रोत – https://facedit.github.io/

यह दृष्टिकोण तीन में से एक है जो नए तरीके के लिए विकसित किया गया है, इसे ‘सिलाई के साथ स्थानीय संपादन’ कहा जाता है, और यह वह है जो लेखकों को सबसे ज्यादा रुचिकर लगता है (साथ ही मुझे)। मूल रूप से, क्लिप को मध्य फ्रेम का उपयोग करके एक शुरुआती बिंदु के रूप में नए एआई व्याख्या के लिए विस्तारित किया जाता है, और इसके बाद के (वास्तविक) फ्रेम को एक लक्ष्य के रूप में जो उत्पादक क्लिप को मेल खाना चाहिए। ऊपर दिखाए गए क्लिप में, इन ‘बीज’ और ‘लक्ष्य’ फ्रेम को ऊपरी वीडियो के रुकने और संशोधित वीडियो के नीचे द्वारा प्रतिनिधित्व किया जाता है।

लेखक इस चेहरे और वोकल सिंथेसिस दृष्टिकोण को इस तरह के एआई वीडियो संपादन के लिए पहली पूरी तरह से एकीकृत अंत-से-अंत विधि के रूप में फ्रेम करते हैं, टीवी और फिल्म निर्माण के लिए इस तरह के पूरी तरह से विकसित फ्रेमवर्क की संभावना का अवलोकन करते हैं:

‘फिल्म निर्माता और मीडिया उत्पादक अक्सर रिकॉर्ड की गई वीडियो के विशिष्ट भागों को संशोधित करने की आवश्यकता होती है – शायद एक शब्द गलत तरीके से बोला गया था या स्क्रिप्ट शूटिंग के बाद बदल दी गई थी। उदाहरण के लिए, Titanic (1997) में रोज़ का दृश्य जहां वह कहती है, “मैं कभी नहीं छोड़ूंगा, जैक,” निर्देशक बाद में यह तय कर सकता है कि यह “मैं कभी नहीं भूलूंगा, जैक” होना चाहिए।

‘आम तौर पर, ऐसे परिवर्तन पूरे दृश्य को फिर से शूट करने की आवश्यकता होती है, जो महंगा और समय लेने वाला होता है। बात करने वाले चेहरे की सिंथेसिस एक व्यावहारिक विकल्प प्रदान करती है जो स्वचालित रूप से संशोधित भाषण के अनुसार चेहरे की गति को बदल देती है, पुनः फिल्मांकन की आवश्यकता को समाप्त करती है।’

हालांकि इस तरह के एआई अंतरप्रेषण का सामना सांस्कृतिक या उद्योग प्रतिरोध का सामना करना पड़ सकता है, वे मानव-नेतृत्व वाले वीएफएक्स प्रणालियों और टूल सूट में एक नए प्रकार के कार्य का गठन कर सकते हैं। किसी भी मामले में, इस समय, चुनौतियां सख्ती से तकनीकी हैं।

इसके अलावा एक क्लिप में अतिरिक्त एआई-उत्पन्न संवाद का विस्तार करने के अलावा, नई प्रणाली मौजूदा भाषण को भी बदल सकती है:

प्ले करने के लिए क्लिक करें। मौजूदा संवाद को बदलने के बजाय नए संवाद को डालने का एक उदाहरण। बेहतर रिज़ॉल्यूशन के लिए स्रोत वेबसाइट पर जाएं।

वर्तमान स्थिति

वर्तमान में इस तरह की सिंथेसिस क्षमता प्रदान करने वाली कोई अंत-से-अंत प्रणाली नहीं है; हालांकि कई उत्पादक एआई प्लेटफ़ॉर्म जैसे कि गूगल की वियो श्रृंखला, ऑडियो उत्पन्न कर सकते हैं, और विभिन्न अन्य फ्रेमवर्क गहरे ऑडियो बना सकते हैं, वर्तमान में आपको वास्तविक फुटेज के साथ हस्तक्षेप करने के लिए एक जटिल पाइपलाइन बनाने की आवश्यकता है जिस तरह से नई प्रणाली – फेसेडिट – कर सकती है।

प्रणाली डिफ्यूजन ट्रांसफॉर्मर (डीआईटी) का उपयोग फ्लो मैचिंग के संयोजन में चेहरे की गति बनाने के लिए करती है जो आसपास की (संदर्भ) गति और भाषण ऑडियो सामग्री पर सशर्त है। प्रणाली मौजूदा लोकप्रिय पैकेजों का लाभ उठाती है जो चेहरे के पुनर्निर्माण से निपटते हैं, जिनमें लाइवपोर्ट्रेट (हाल ही में क्लिंग द्वारा अधिग्रहित) शामिल है।

इसके अलावा, चूंकि उनका दृष्टिकोण इस तरह की चुनौतियों को एक एकल समाधान में एकीकृत करने वाला पहला है, लेखकों ने एक नए बेंचमार्क का निर्माण किया है जिसे फेसेडिटबेंच कहा जाता है, साथ ही इस विशिष्ट कार्य के लिए उपयुक्त कई नए मूल्यांकन मेट्रिक्स।

नया काम फेसेडिट: यूनिफाइड टॉकिंग फेस एडिटिंग एंड जेनरेशन वाया फेशियल मोशन इनफिलिंग शीर्षक से है, और यह चार शोधकर्ताओं से है जो कोरिया के पोहांग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी (पोस्टेक), कोरिया एडवांस्ड इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी (कैस्ट), और टेक्सास विश्वविद्यालय में ऑस्टिन से हैं।

विधि

फेसेडिट को चेहरे की गति को पुनर्निर्माण करने के लिए प्रशिक्षित किया जाता है जो एक अभिनेता के मूल प्रदर्शन के खोए हुए हिस्सों को भरने के तरीके से सीखता है, जो आसपास की गति और भाषण ऑडियो पर आधारित है। जैसा कि नीचे दी गई योजना में दिखाया गया है, यह प्रक्रिया मॉडल को एक अंतराल के रूप में कार्य करने की अनुमति देती है प्रशिक्षण के दौरान, आवाज के साथ मेल खाने वाली चेहरे की गति का अनुमान लगाना:

फेसेडिट प्रणाली का अवलोकन, जो दिखाता है कि चेहरे की गति को स्व-पर्यवेक्षित इनफिलिंग के माध्यम से प्रशिक्षण के दौरान कैसे सीखा जाता है, संशोधित भाषण द्वारा निर्देशित, और अंत में मूल फुटेज की उपस्थिति को पुनः प्राप्त करके वीडियो में पुनः प्रस्तुत किया जाता है, जबकि केवल लक्षित गति को बदला जाता है।

फेसेडिट प्रणाली का अवलोकन, जो दिखाता है कि चेहरे की गति को स्व-पर्यवेक्षित इनफिलिंग के माध्यम से प्रशिक्षण के दौरान कैसे सीखा जाता है, संशोधित भाषण द्वारा निर्देशित, और अंत में मूल फुटेज की उपस्थिति को पुनः प्राप्त करके वीडियो में पुनः प्रस्तुत किया जाता है, जबकि केवल लक्षित गति को बदला जाता है। स्रोत

अनुमान समय पर, एक ही वास्तुकला दो अलग-अलग आउटपुट का समर्थन करती है, जो वीडियो के कितने हिस्से को मास्क किया गया है पर निर्भर करती है: आंशिक संपादन, जहां केवल एक वाक्य बदला जाता है और बाकी को छोड़ दिया जाता है; या पूरे वाक्य का उत्पादन, जहां पूरी तरह से नए मोशन को स्क्रैच से सिंथेसाइज़ किया जाता है।

मॉडल फ्लो मैचिंग के माध्यम से प्रशिक्षित किया जाता है, जो वीडियो संपादन को चेहरे की गति के दो संस्करणों के बीच एक प्रकार के मार्ग के रूप में मानता है।

स्क्रैच से सही गति का अनुमान लगाने के बजाय, फ्लो मैचिंग धीरे-धीरे और चिकनी तरह से एक शोर प्लेसहोल्डर और सही गति के बीच सीखने के लिए सीखता है। इसके लिए, प्रणाली चेहरे की गति को एक कompact सेट ऑफ नंबर्स के रूप में प्रस्तुत करती है जो प्रत्येक फ्रेम से निकाले जाते हैं जो उपरोक्त लाइवपोर्ट्रेट प्रणाली (ऊपर दी गई योजना देखें) के संस्करण का उपयोग करके निकाले जाते हैं।

इन मोशन वेक्टर को अभिव्यक्तियों और सिर की मुद्रा का वर्णन करने के लिए डिज़ाइन किया गया है जो पहचान को उलझाने के बिना, ताकि भाषण परिवर्तन पहचान को प्रभावित किए बिना स्थानीयकृत किया जा सके।

फेसेडिट प्रशिक्षण

फेसेडिट को प्रशिक्षित करने के लिए, प्रत्येक वीडियो क्लिप को चेहरे की गति के स्नैपशॉट की एक श्रृंखला में तोड़ दिया गया था, और प्रत्येक फ्रेम को संबंधित ऑडियो के टुकड़े के साथ जोड़ा गया था। मोशन डेटा के यादृच्छिक हिस्सों को तब छुपाया गया था, और मॉडल को उन खोए हुए आंदोलनों का अनुमान लगाने के लिए कहा गया था जो उन्हें देखना चाहिए, दोनों भाषण और आसपास की अनमास्क्ड गति के लिए संदर्भ के रूप में।

चूंकि मास्केड स्पैन और उनकी स्थिति एक प्रशिक्षण उदाहरण से दूसरे में भिन्न होती है, मॉडल धीरे-धीरे छोटे आंतरिक संपादन और पूर्ण-क्रम उत्पादन दोनों को संभालना सीखता है, जो यह देखता है कि कितना डेटा दिया गया है।

प्रणाली के उल्लिखित डिफ्यूजन ट्रांसफॉर्मर शोर इनपुट को समय के साथ परिष्कृत करके मास्केड मोशन को पुनर्प्राप्त करना सीखता है। भाषण और मोशन को एक बार में मॉडल में नहीं डाला जाता है, बल्कि ऑडियो को प्रत्येक प्रोसेसिंग ब्लॉक में क्रॉस-ध्यान के माध्यम से धागा दिया जाता है, जो प्रणाली को ऑडियो भाषण के साथ होंठ की गति को अधिक सटीक रूप से मिलाने में मदद करता है।

संपादन के माध्यम से यथार्थवाद को बनाए रखने के लिए, ध्यान पड़ोसी फ्रेमों की तुलना में पूरे टाइमलाइन की तुलना में अधिक झुका हुआ है, जो मॉडल को संपादित क्षेत्रों के किनारों पर फ्लिकर या मोशन कूदने से रोकता है। स्थानीय निहितार्थ (जो मॉडल को बताते हैं कि प्रत्येक फ्रेम अनुक्रम में कहां दिखाई देता है) मॉडल को प्राकृतिक समयिक निरंतरता और संदर्भ को बनाए रखने में मदद करते हैं।

प्रशिक्षण के दौरान, प्रणाली भाषण और आसपास की अनमास्क्ड गति के आधार पर मास्केड चेहरे की गति का अनुमान लगाने के लिए सीखती है। अनुमान समय पर, यही सेटअप पुन: उपयोग किया जाता है, लेकिन अब मास्क भाषण में संपादन द्वारा निर्देशित किया जाता है।

जब एक शब्द या वाक्य डाला जाता है, हटा दिया जाता है, या बदल दिया जाता है, तो प्रणाली प्रभावित क्षेत्र का पता लगाती है, इसे मास्क करती है, और नए ऑडियो के साथ मेल खाने वाली गति को पुनः उत्पन्न करती है। पूर्ण-क्रम उत्पादन को एक विशेष मामले के रूप में माना जाता है, जहां पूरा क्षेत्र मास्क किया जाता है और स्क्रैच से सिंथेसाइज़ किया जाता है।

डेटा और परीक्षण

प्रणाली की रीढ़ 22 परतों के लिए डिफ्यूजन ट्रांसफॉर्मर से बनी है, प्रत्येक में 16 ध्यान देने वाले सिर और फीडफॉरवर्ड आयाम 1024 और 2024px। मोशन और उपस्थिति विशेषताओं को जमे हुए लाइवपोर्ट्रेट घटकों का उपयोग करके निकाला जाता है, और भाषण को वावेलएम और वॉइसक्राफ्ट के माध्यम से संशोधित किया जाता है।

एक समर्पित प्रोजेक्शन परत 786-आयामी भाषण विशेषताओं को डीआईटी के लेटेंट स्पेस में मैप करती है, केवल डीआईटी और प्रोजेक्शन मॉड्यूल को स्क्रैच से प्रशिक्षित किया जाता है।

प्रशिक्षण एडमडब्ल्यू ऑप्टिमाइज़र के तहत किया गया था, जिसमें 1e-4 की लक्ष्य सीखने की दर थी, एक मिलियन कदम के लिए, दो ए6000 जीपीयू (प्रत्येक में 48GB का वीआरएएम) पर, कुल बैच आकार आठ।

फेसेडिटबेंच

फेसेडिटबेंच डेटासेट में 250 उदाहरण शामिल हैं, प्रत्येक में मूल और संशोधित भाषण के साथ एक वीडियो क्लिप, और दोनों के लिए प्रतिलिपि। वीडियो तीन स्रोतों से आते हैं, एचडीटीएफ से 100 क्लिप, हैलो3 से 100, और सेलेबवी-डब से 50। प्रत्येक की मैनुअल जांच की गई थी ताकि यह पुष्टि की जा सके कि दोनों ऑडियो और वीडियो मूल्यांकन के लिए पर्याप्त रूप से स्पष्ट थे।

जीपीटी-4ओ का उपयोग प्रत्येक प्रतिलिपि को संशोधित करने के लिए किया गया था ताकि व्याकरणिक रूप से वैध संपादन बनाया जा सके; ये संशोधित प्रतिलिपि, साथ ही मूल भाषण, वॉइसक्राफ्ट को नए ऑडियो का उत्पादन करने के लिए पारित किए गए थे, और प्रत्येक चरण में, दोनों प्रतिलिपि और उत्पन्न भाषण की गुणवत्ता के लिए मैनुअल रूप से समीक्षा की गई थी।

प्रत्येक नमूने को संपादन के प्रकार, परिवर्तन का समय, और संशोधित स्पैन की लंबाई के साथ लेबल किया गया था, और संपादन को सम्मिलन, विलोपन, या प्रतिस्थापन के रूप में वर्गीकृत किया गया था। परिवर्तित शब्दों की संख्या 1 से 3 शब्दों के लघु संपादन, 4 से 6 शब्दों के मध्यम संपादन, और 7 से 10 शब्दों के लंबे संपादन से भिन्न होती है।

संपादन गुणवत्ता का मूल्यांकन करने के लिए तीन कस्टम मेट्रिक्स परिभाषित किए गए थे। फोटोमेट्रिक निरंतरता, संपादित खंड के आसपास के वीडियो के साथ प्रकाश और रंग कितनी अच्छी तरह मेल खाते हैं, पिक्सेल-स्तर के अंतरों की तुलना करके; मोशन निरंतरता, संपादित और असंपादित फ्रेमों में चेहरे की गति की निरंतरता का मूल्यांकन करने के लिए; और पहचान संरक्षण, अनुमान लगाने के लिए कि संपादन के बाद विषय की उपस्थिति बनी रहती है या नहीं, मूल और उत्पन्न अनुक्रमों से चेहरे के एम्बेडिंग की तुलना आर्कफेस चेहरे की पहचान मॉडल का उपयोग करके की जाती है।

परीक्षण

परीक्षण मॉडल को उन तीन डेटासेट से सामग्री पर प्रशिक्षित किया गया था, जिसमें लगभग 200 घंटे की वीडियो सामग्री शामिल थी, जिसमें व्लॉग और फिल्में शामिल थीं, साथ ही उच्च-रिज़ॉल्यूशन वाले यूट्यूब वीडियो भी शामिल थे।

बात करने वाले चेहरे के संपादन का मूल्यांकन करने के लिए, फेसेडिटबेंच का उपयोग किया गया था, साथ ही एचडीटीएफ परीक्षण विभाजन, जो इस सूट के कार्यों के लिए एक बेंचमार्किंग मानक बन गया है।

चूंकि इस तरह के अंत-से-अंत कार्यक्षमता को समाहित करने में सक्षम कोई सीधे तुलनीय प्रणाली नहीं थी, लेखकों ने उन फ्रेमवर्क का चयन किया जो कम से कम कुछ लक्ष्य कार्यक्षमता को पुन: उत्पन्न कर सकते थे, और जो बेसलाइन के रूप में कार्य कर सकते थे; विशेष रूप से, कीफेस; इकोमिमिक; इकोमिमिकवी2; हैलो; हैलो2; हैलो3; वी-एक्सप्रेस; एनिपोर्ट्रेट; और सैडटॉकर.

स्थापित मेट्रिक्स का उपयोग उत्पादन और संपादन गुणवत्ता का मूल्यांकन करने के लिए भी किया गया था, जिसमें लिप-सिंक सटीकता सिंकनेट के माध्यम से मूल्यांकन किया गया था, जिसमें लिप मूवमेंट और ऑडियो (एलएसई-डी) के बीच पूर्ण त्रुटि और एक आत्मविश्वास स्कोर (एलएसई-सी) दोनों की रिपोर्ट की गई थी; फ्रेचेट वीडियो दूरी (एफवीडी) ने वीडियो को कितना वास्तविक दिखाया, इसका मूल्यांकन किया; और सीखे गए संवेदी समानता मेट्रिक्स (एलपीआईपीएस), जो मूल और उत्पन्न फ्रेमों के बीच संवेदी समानता को मापता है।

संपादन के लिए, एलपीआईपीएस को छोड़कर सभी मेट्रिक्स को केवल संशोधित खंड पर लागू किया गया था; उत्पादन के लिए, पूरे वीडियो का मूल्यांकन किया गया था, सीमा निरंतरता को छोड़कर।

प्रत्येक मॉडल को एक मेल खाने वाला वीडियो खंड सिंथेसाइज़ करने के लिए कहा गया था, जिसे बाद में मूल क्लिप में जोड़ दिया गया था (शोधकर्ताओं का उल्लेख है कि यह विधि अक्सर संपादित खंड और आसपास के फुटेज के बीच दिखाई देने वाली विसंगतियों को पेश करती है)। एक दूसरा दृष्टिकोण भी परीक्षण किया गया था, जिसमें पूरे वीडियो को संशोधित ऑडियो से स्क्रैच से पुनः उत्पन्न किया गया था – लेकिन यह अनिवार्य रूप से असंपादित क्षेत्रों को ओवरराइट कर देता है और मूल प्रदर्शन को संरक्षित नहीं करता है:

विभिन्न प्रणालियों में संपादन प्रदर्शन की तुलना, जो मूल रूप से बात करने वाले चेहरे के उत्पादन के लिए डिज़ाइन की गई थी, फेसेडिट सभी मेट्रिक्स में बेसलाइन से बेहतर प्रदर्शन करती है, जिसमें कम लिप-सिंक त्रुटि (एलएसई-डी), उच्च सिंक्रोनाइजेशन आत्मविश्वास (एलएसई-सी), मजबूत पहचान संरक्षण (आईडीएसआईएम), अधिक वास्तविक दिखने वाला वीडियो (एफवीडी), और संपादन सीमाओं में चिकनी संक्रमण (पी निरंतरता, एम निरंतरता) शामिल है। ग्रे रंग के कॉलम सीमा गुणवत्ता का मूल्यांकन करने के लिए मुख्य मानदंड को हाइलाइट करते हैं; बोल्ड और अंडरलाइन मान सबसे अच्छे और दूसरे सर्वश्रेष्ठ परिणामों को इंगित करते हैं।

विभिन्न प्रणालियों में संपादन प्रदर्शन की तुलना, जो मूल रूप से बात करने वाले चेहरे के उत्पादन के लिए डिज़ाइन की गई थी, फेसेडिट सभी मेट्रिक्स में बेसलाइन से बेहतर प्रदर्शन करती है, जिसमें कम लिप-सिंक त्रुटि (एलएसई-डी), उच्च सिंक्रोनाइजेशन आत्मविश्वास (एलएसई-सी), मजबूत पहचान संरक्षण (आईडीएसआईएम), अधिक वास्तविक दिखने वाला वीडियो (एफवीडी), और संपादन सीमाओं में चिकनी संक्रमण (पी निरंतरता, एम निरंतरता) शामिल है। ग्रे रंग के कॉलम सीमा गुणवत्ता का मूल्यांकन करने के लिए मुख्य मानदंड को हाइलाइट करते हैं; बोल्ड और अंडरलाइन मान सबसे अच्छे और दूसरे सर्वश्रेष्ठ परिणामों को इंगित करते हैं।

लेखक इन परिणामों पर टिप्पणी करते हैं:

‘[हमारा] मॉडल मौजूदा तरीकों को संपादन कार्य में काफी बेहतर प्रदर्शन करता है। यह मजबूत सीमा निरंतरता और उच्च पहचान संरक्षण प्राप्त करता है, जो संपादन के दौरान समयिक और दृश्य निरंतरता बनाए रखने में इसकी क्षमता को प्रदर्शित करता है। इसके अलावा, इसकी उत्कृष्ट लिप-सिंक सटीकता और कम एफवीडी सिंथेसाइज़ वीडियो की वास्तविकता को प्रतिबिंबित करते हैं। ‘

प्ले करने के लिए क्लिक करें। परिणाम, इस लेखक द्वारा प्रकाशित वीडियो से एक साथ संकलित। बेहतर रिज़ॉल्यूशन के लिए स्रोत वेबसाइट पर जाएं।

इसके अलावा, संपादन और उत्पादन दोनों में अनुमानित गुणवत्ता का मूल्यांकन करने के लिए एक मानव अध्ययन किया गया था।

प्रत्येक तुलना के लिए, प्रतिभागियों ने छह वीडियो देखे और उन्हें समग्र गुणवत्ता के अनुसार रैंक किया, लिप-सिंक सटीकता, सिर की गति की प्राकृतिकता और वास्तविकता पर विचार करते हुए। संपादन परीक्षणों में, प्रतिभागियों ने संपादित और असंपादित खंडों के बीच संक्रमण की चिकनाई को भी रेट किया:

मानव मूल्यांककों द्वारा सौंपे गए औसत रैंक, जहां कम बेहतर है। दोनों संपादन और उत्पादन में, प्रतिभागियों ने यह देखा कि प्रत्येक वीडियो कितना प्राकृतिक और सिंक में दिखता है। संपादन के लिए, वे संपादित और असंपादित भाषण के बीच संक्रमण की चिकनाई को भी रेट करते हैं:

मानव मूल्यांककों द्वारा सौंपे गए औसत रैंक, जहां कम बेहतर है। दोनों संपादन और उत्पादन में, प्रतिभागियों ने यह देखा कि प्रत्येक वीडियो कितना प्राकृतिक और सिंक में दिखता है। संपादन के लिए, वे संपादित और असंपादित भाषण के बीच संक्रमण की चिकनाई को भी रेट करते हैं: बोल्ड और अंडरलाइन संख्या शीर्ष दो स्कोर को इंगित करती हैं।

अध्ययन में, फेसेडिट को संपादन और उत्पादन दोनों में शीर्ष पर रैंक दिया गया था, संपादन गुणवत्ता और संक्रमण की चिकनाई दोनों के लिए मजबूत स्कोर प्राप्त किए थे, जो सुझाव देते हैं कि इसके मापे गए लाभ वास्तविक दुनिया के अनुप्रयोगों में अनुवाद करेंगे।

अवकाश की कमी के कारण, हम पाठक को अधिक विवरण के लिए स्रोत पत्र को संदर्भित करते हैं, और अतिरिक्त परीक्षण जो नए कार्य में रिपोर्ट किए गए थे।

निष्कर्ष

यहां तक कि अनुमान के लिए भी, ऐसी प्रणालियों को पर्याप्त कंप्यूटिंग संसाधनों की आवश्यकता हो सकती है, जो डाउनस्ट्रीम उपयोगकर्ताओं – यहां, संभवतः, वीएफएक्स दुकानों – के लिए काम को परिसर में रखना मुश्किल बना देता है। इसलिए, वास्तविक स्थानीय संसाधनों के लिए अनुकूलित किए जा सकने वाले दृष्टिकोण हमेशा प्रदाताओं द्वारा पसंद किए जाएंगे, जो अपने ग्राहकों के फुटेज और सामान्य आईपी की रक्षा करने के लिए कानूनी बाध्यता के अधीन हैं।

यह नई पेशकश की आलोचना नहीं है, जो संभवतः क्वांटाइज़ वजन या अन्य अनुकूलन के तहत बिल्कुल काम कर सकती है, और जो अपनी तरह की पहली पेशकश है जो मुझे काफी लंबे समय में इस शोध मार्ग पर वापस लाने के लिए आकर्षित करती है।

 

बुधवार, 17 दिसंबर, 202 को पहली बार प्रकाशित। 20.10 ईईटी, उसी दिन, पहले शरीर के अनुच्छेद में अतिरिक्त स्थान के लिए संपादित किया गया।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai