दो छवियों से बेहतर एआई वीडियो जेनरेट करना

वीडियो फ्रेम इंटरपोलेशन (वीएफआई) जनरेटिव वीडियो शोध में एक खुला समस्या है। चुनौती दो मौजूदा फ्रेम के बीच मध्यवर्ती फ्रेम उत्पन्न करना है।

प्ले करने के लिए क्लिक करें। फिल्म फ्रेमवर्क, गूगल और वाशिंगटन विश्वविद्यालय के बीच एक सहयोग, एक प्रभावी फ्रेम इंटरपोलेशन विधि का प्रस्ताव रखा, जो शौकिया और पेशेवर क्षेत्रों में लोकप्रिय है। बाएं, हम दो अलग और विशिष्ट फ्रेम को एक साथ देख सकते हैं; मध्य में, ‘एंड फ्रेम’; और दाईं ओर, फ्रेम के बीच अंतिम संश्लेषण। स्रोत: https://film-net.github.io/ और https://arxiv.org/pdf/2202.04901

व्यापक रूप से, यह तकनीक एक सदी से अधिक पुरानी है, और तब से पारंपरिक एनिमेशन में इसका उपयोग किया जाता है। उस संदर्भ में, मास्टर ‘कीफ्रेम’ एक प्रमुख एनिमेशन कलाकार द्वारा उत्पन्न किए जाते थे, जबकि मध्यवर्ती फ्रेम के ‘ट्वीनिंग’ का काम अन्य कर्मचारियों द्वारा किया जाता था, एक अधिक मामूली कार्य के रूप में।

जनरेटिव एआई के उदय से पहले, फ्रेम इंटरपोलेशन का उपयोग रियल-टाइम इंटरमीडिएट फ्लो एस्टीमेशन (आरआईएफई), डेप्थ-एवेयर वीडियो फ्रेम इंटरपोलेशन (डीएआईएन), और गूगल के फ्रेम इंटरपोलेशन फॉर लार्ज मोशन (फिल्म – ऊपर देखें) जैसी परियोजनाओं में किया गया था, मौजूदा वीडियो की फ्रेम दर बढ़ाने या कृत्रिम रूप से उत्पन्न धीमी गति के प्रभाव को सक्षम करने के लिए। यह मौजूदा क्लिप के फ्रेम को विभाजित करके और अनुमानित मध्यवर्ती फ्रेम उत्पन्न करके किया जाता है।

वीएफआई का उपयोग बेहतर वीडियो कोडेक्स के विकास में भी किया जाता है, और अधिक सामान्य रूप से, ऑप्टिकल फ्लो-आधारित प्रणालियों में (जेनरेटिव प्रणालियों सहित), जो आगामी कीफ्रेम के अग्रिम ज्ञान का उपयोग करके मध्यवर्ती सामग्री को अनुकूलित और आकार देती हैं।

जनरेटिव वीडियो सिस्टम में एंड फ्रेम

आधुनिक जनरेटिव सिस्टम जैसे लुमा और क्लिंग उपयोगकर्ताओं को एक शुरुआत और एक अंत फ्रेम निर्दिष्ट करने की अनुमति देते हैं, और यह कार्य दो छवियों में कीफ्रेम का विश्लेषण करके और दो छवियों के बीच एक траजेक्टरी का अनुमान लगाकर किया जा सकता है।

जैसा कि हम नीचे दिए गए उदाहरणों में देख सकते हैं, एक ‘बंद’ कीफ्रेम प्रदान करने से जनरेटिव वीडियो सिस्टम (इस मामले में, क्लिंग) को पहचान जैसे पहलुओं को बनाए रखने की अनुमति मिलती है, भले ही परिणाम पूरी तरह से सही न हों (विशेष रूप से बड़े मोशन के साथ)।

प्ले करने के लिए क्लिक करें। क्लिंग वीडियो जेनरेटर्स की बढ़ती संख्या में से एक है, जो उपयोगकर्ता को एक अंत फ्रेम निर्दिष्ट करने की अनुमति देता है। अधिकांश मामलों में, न्यूनतम मोशन सबसे वास्तविक और कम दोषपूर्ण परिणामों की ओर ले जाएगा। स्रोत: https://www.youtube.com/watch?v=8oylqODAaH8

उपरोक्त उदाहरण में, व्यक्ति की पहचान दो उपयोगकर्ता-प्रदत्त कीफ्रेम के बीच सुसंगत है, जिससे एक अपेक्षाकृत सुसंगत वीडियो जेनरेशन होती है।

जहां केवल शुरुआती फ्रेम प्रदान किया जाता है, जनरेटिव सिस्टम की ध्यान की खिड़की आमतौर पर इतनी बड़ी नहीं होती है कि वह वीडियो की शुरुआत में व्यक्ति की तरह दिखती है। इसके बजाय, पहचान थोड़ी सी हर फ्रेम के साथ बदल जाती है, जब तक कि सभी समानता खो नहीं जाती। नीचे दिए गए उदाहरण में, एक शुरुआती छवि अपलोड की गई थी, और व्यक्ति की गति एक पाठ प्रॉम्प्ट द्वारा निर्देशित की गई थी:

प्ले करने के लिए क्लिक करें। कोई अंत फ्रेम नहीं होने पर, क्लिंग के पास केवल एक छोटा सा तुरंत पिछले फ्रेम होता है जो अगले फ्रेम के जेनरेशन को निर्देशित करता है। महत्वपूर्ण मोशन की आवश्यकता वाले मामलों में, पहचान की यह क्षय गंभीर हो जाती है।

हम देख सकते हैं कि अभिनेता की समानता निर्देशों के प्रति लचीली नहीं है, क्योंकि जनरेटिव सिस्टम यह नहीं जानता कि वह कैसा दिखेगा अगर वह मुस्करा रहा है, और वह शुरुआती छवि (एकमात्र उपलब्ध संदर्भ) में मुस्करा नहीं रहा है।

अधिकांश वायरल जनरेटिव क्लिप सावधानी से तैयार की जाती हैं ताकि इन कमियों को कम किया जा सके। हालांकि, जनरेटिव वीडियो सिस्टम की समय-समय पर सुसंगतता की प्रगति फ्रेम इंटरपोलेशन के संबंध में शोध क्षेत्र से नए विकास पर निर्भर हो सकती है, क्योंकि एकमात्र संभावित विकल्प पारंपरिक सीजीआई के रूप में एक ‘गाइड’ वीडियो पर निर्भर करना है (और यहां तक कि इस मामले में, बनावट और प्रकाश व्यवस्था की सुसंगतता वर्तमान में प्राप्त करना मुश्किल है)।

इसके अलावा, एक छोटे से हिस्से से एक नए फ्रेम को व्युत्पन्न करने की धीरे-धीरे पुनरावृत्ति प्रकृति के कारण, यह बड़े और साहसिक मोशन को प्राप्त करना बहुत मुश्किल है। यह इसलिए है क्योंकि एक फ्रेम से दूसरे फ्रेम में तेजी से चलती हुई एक वस्तु एक ही फ्रेम में एक तरफ से दूसरी तरफ जा सकती है, जो अधिक क्रमिक मोशन पर प्रशिक्षित होने की संभावना है।

प्ले करने के लिए क्लिक करें। इस उदाहरण में, अनुरोधित मोशन लुमा के प्रशिक्षण डेटा में अच्छी तरह से प्रतिनिधित्व नहीं किया गया प्रतीत होता है।

फ्रेमर

यह हमें एक दिलचस्प हालिया पेपर तक ले जाता है, जो दावा करता है कि प्रामाणिक दिखने वाले फ्रेम इंटरपोलेशन में एक नया राज्य-कला हासिल की है – और यह पहला है जो ड्रैग-आधारित उपयोगकर्ता इंटरैक्शन प्रदान करता है।

फ्रेमर उपयोगकर्ता को एक直观 ड्रैग-आधारित इंटरफेस का उपयोग करके मोशन को निर्देशित करने की अनुमति देता है, हालांकि यह एक ‘स्वचालित’ मोड भी है।. स्रोत: https://www.youtube.com/watch?v=4MPGKgn7jRc

ड्रैग-आधारित अनुप्रयोग हाल के दिनों में साहित्य में अक्सर देखे जाते हैं, क्योंकि शोध क्षेत्र जनरेटिव सिस्टम के लिए साधन प्रदान करने के लिए संघर्ष कर रहा है जो पाठ प्रॉम्प्ट से प्राप्त अपेक्षाकृत कच्चे परिणामों पर आधारित नहीं हैं।

नया सिस्टम, जिसे फ्रेमर कहा जाता है, न केवल उपयोगकर्ता-निर्देशित ड्रैग का अनुसरण कर सकता है, बल्कि एक अधिक पारंपरिक ‘ऑटोपायलट’ मोड भी है। इसके अलावा पारंपरिक ट्वीनिंग के अलावा, सिस्टम समय-लैप्स सिमुलेशन, साथ ही मॉर्फिंग और इनपुट छवि के नए दृश्य उत्पन्न करने में सक्षम है।

फ्रेमर में समय-लैप्स सिमुलेशन के लिए मध्यवर्ती फ्रेम।

नवीन दृश्यों के उत्पादन के संबंध में, फ्रेमर थोड़ा न्यूरल रेडिएंस फील्ड्स (नेरफ) के क्षेत्र में प्रवेश करता है – हालांकि केवल दो छवियों की आवश्यकता होती है, जबकि नेरफ आमतौर पर छह या अधिक छवि दृश्यों की आवश्यकता होती है।

परीक्षणों में, फ्रेमर, जो स्टेबिलिटी.एआई के स्टेबल वीडियो डिफ्यूजन लेटेंट डिफ्यूजन जनरेटिव वीडियो मॉडल पर आधारित है, प्रतिद्वंद्वी दृष्टिकोणों को बाहर करने में सक्षम था, एक उपयोगकर्ता अध्ययन में।

लेखन के समय, कोड गिटहब पर जारी किया जाने वाला है। वीडियो नमूने (जिनसे ऊपर दी गई छवियां प्राप्त की गई हैं) परियोजना साइट पर उपलब्ध हैं, और शोधकर्ताओं ने एक यूट्यूब वीडियो भी जारी किया है।

नया पेपर फ्रेमर: इंटरएक्टिव फ्रेम इंटरपोलेशन शीर्षक से है, और ज़ेजियांग विश्वविद्यालय और अलीबाबा-समर्थित एंट ग्रुप के नौ शोधकर्ताओं से है।

विधि

फ्रेमर अपने दोनों मोडलिटी में कीफ्रेम-आधारित इंटरपोलेशन का उपयोग करता है, जिसमें इनपुट छवि का मूलभूत टोपोलॉजी के लिए मूल्यांकन किया जाता है, और जहां आवश्यक हो वहां ‘मूवेबल’ बिंदु सौंपे जाते हैं। वास्तव में, ये बिंदु आईडी-आधारित प्रणालियों में चेहरे की विशेषताओं के समान हैं, लेकिन किसी भी सतह पर सामान्य होते हैं।

शोधकर्ताओं ने फाइन-ट्यून किया स्टेबल वीडियो डिफ्यूजन (एसवीडी) को ओपनविड-1एम डेटासेट पर, एक अतिरिक्त अंतिम-फ्रेम सिंथेसिस क्षमता जोड़कर। यह एक ट्रेजेक्टरी नियंत्रण तंत्र (स्कीमा छवि में ऊपरी दाएं) को सुविधाजनक बनाता है जो अंत फ्रेम (या उसके पीछे से) की ओर एक पथ का मूल्यांकन कर सकता है।

फ्रेमर के लिए स्कीमा।

अंतिम-फ्रेम स्थिति के अतिरिक्त के बारे में, लेखकों का कहना है:

‘पूर्व-प्रशिक्षित एसवीडी के दृश्य पूर्वज्ञान को यथासंभव अधिक से अधिक बनाए रखने के लिए, हम एसवीडी के स्थिति दृष्टिकोण का पालन करते हैं और क्रमशः लेटेंट स्पेस और सेमेंटिक स्पेस में अंत फ्रेम की स्थिति को इंजेक्ट करते हैं।

‘विशेष रूप से, हम पहले फ्रेम के वीएई-एन्कोडेड लेटेंट विशेषता को पहले फ्रेम के शोर लेटेंट के साथ जोड़ते हैं, जैसा कि एसवीडी में किया गया था। इसके अलावा, हम अंतिम फ्रेम की लेटेंट विशेषता, जेडएन, को अंत फ्रेम के शोर लेटेंट के साथ जोड़ते हैं, यह मानते हुए कि स्थितियां और संबंधित शोर लेटेंट स्थानिक रूप से संरेखित हैं।

‘इसके अलावा, हम पहले और अंतिम फ्रेम के सीएलआईपी छवि एम्बेडिंग को अलग से निकालते हैं और क्रॉस-ध्यान विशेषता इंजेक्शन के लिए जोड़ते हैं। ‘

ड्रैग-आधारित कार्यक्षमता के लिए, ट्रेजेक्टरी मॉड्यूल मेटा एआई द्वारा निर्देशित कोट्रैकर फ्रेमवर्क का लाभ उठाता है, जो आगे की ओर संभावित पथों का मूल्यांकन करता है। इन्हें 1-10 संभावित ट्रेजेक्टरी में कम किया जाता है।

प्राप्त बिंदु समन्वय एक दृष्टिकोण से प्रेरित तरीके से ड्रैगएनयूवीए और ड्रैगएनीथिंग वास्तुकला के माध्यम से परिवर्तित किए जाते हैं। यह एक गाउसियन हीटमैप प्राप्त करता है, जो मोशन के लिए लक्ष्य क्षेत्रों की व्यक्ति करता है।

इसके बाद, डेटा को कंट्रोलनेट की स्थिति तंत्र में खिलाया जाता है, जो मूल रूप से स्टेबल डिफ्यूजन के लिए डिज़ाइन की गई एक सहायक अनुपालन प्रणाली है, और बाद में अन्य वास्तुकलाओं के लिए अनुकूलित की गई है।

ऑटोपायलट मोड के लिए, फीचर मैचिंग को पहले सिफ्ट के माध्यम से प्राप्त किया जाता है, जो एक ट्रेजेक्टरी का मूल्यांकन करता है जिसे ड्रैगैन और ड्रैगडिफ्यूजन से प्रेरित एक स्वचालित रूप से अद्यतन तंत्र में पारित किया जा सकता है।

फ्रेमर में बिंदु ट्रेजेक्टरी अनुमान के लिए स्कीमा।

डेटा और परीक्षण

फ्रेमर के फाइन-ट्यूनिंग के लिए, स्थानिक ध्यान और अवशेष ब्लॉक जमे हुए थे, और केवल समयिक ध्यान परतें और अवशेष ब्लॉक प्रभावित हुए थे।

मॉडल को 10,000 पुनरावृत्तियों के लिए एडमडब्ल्यू के तहत प्रशिक्षित किया गया था, 1e-4 की सीखने की दर पर, और 16 की बैच आकार पर। प्रशिक्षण 16 एनवीडिया ए100 जीपीयू पर हुआ।

चूंकि पिछले दृष्टिकोण ड्रैग-आधारित संपादन प्रदान नहीं करते हैं, इसलिए शोधकर्ताओं ने फ्रेमर के ऑटोपायलट मोड की तुलना पुराने दृष्टिकोणों के मानक कार्यक्षमता से की।

परीक्षण किए गए फ्रेमवर्क डिफ्यूजन-आधारित वीडियो जेनरेशन सिस्टम की श्रेणी के लिए एलडीएमवीएफआई; डायनामिक क्राफ्टर; और एसवीडीकेएफआई थे। ‘पारंपरिक’ वीडियो सिस्टम के लिए, प्रतिद्वंद्वी फ्रेमवर्क एएमटी; आरआईएफई; एफएलएवीआर; और उपरोक्त उल्लिखित फिल्म थे।

उपयोगकर्ता अध्ययन के अलावा, डीएवीआईएस और यूसीएफ101 डेटासेट पर परीक्षण किए गए।

गुणात्मक परीक्षण केवल शोध टीम और उपयोगकर्ता अध्ययन द्वारा मूल्यांकन किए जा सकते हैं। हालांकि, पेपर यह ध्यान देता है कि पारंपरिक मात्रात्मक मेट्रिक्स इस प्रस्ताव को पकड़ने में असमर्थ हैं:

‘[पुनर्निर्माण] मेट्रिक्स जैसे पीएसएनआर, एसएसआईएम, और एलपीआईपीएस मध्यवर्ती फ्रेम की गुणवत्ता को सटीक रूप से पकड़ने में विफल रहते हैं, क्योंकि वे अन्य संभावित इंटरपोलेशन परिणामों को दंडित करते हैं जो मूल वीडियो के साथ पिक्सेल-संरेखित नहीं हैं। ‘

‘जबकि जेनरेशन मेट्रिक्स जैसे एफआईडी में कुछ सुधार प्रदान करते हैं, वे अभी भी कम पड़ते हैं क्योंकि वे समयिक सुसंगतता के लिए खाते नहीं हैं और अलग-अलग फ्रेम का मूल्यांकन करते हैं। ‘

इसके बावजूद, शोधकर्ताओं ने कई लोकप्रिय मेट्रिक्स के साथ गुणात्मक परीक्षण किए:

फ्रेमर बनाम प्रतिद्वंद्वी प्रणालियों के लिए मात्रात्मक परिणाम।

लेखकों का उल्लेख है कि हालांकि उन्हें खिलाफ संभावनाएं थीं, फ्रेमर अभी भी परीक्षण की गई विधियों में से सर्वश्रेष्ठ एफवीडी स्कोर प्राप्त करता है।

नीचे पेपर के नमूना परिणाम एक गुणात्मक तुलना के लिए हैं:

पूर्व दृष्टिकोणों के खिलाफ गुणात्मक तुलना। कृपया बेहतर रिज़ॉल्यूशन के लिए पेपर को देखें, साथ ही https://www.youtube.com/watch?v=4MPGKgn7jRc पर वीडियो परिणाम।

लेखकों का टिप्पणी है:

‘[हमारी] विधि मौजूदा इंटरपोलेशन तकनीकों की तुलना में काफी स्पष्ट बनावट और प्राकृतिक मोशन उत्पन्न करती है। यह विशेष रूप से उन दृश्यों में अच्छा प्रदर्शन करती है जहां इनपुट फ्रेम के बीच काफी अंतर है, जहां पारंपरिक विधियां अक्सर सामग्री को सटीक रूप से इंटरपोलेट करने में विफल रहती हैं।

‘अन्य डिफ्यूजन-आधारित विधियों जैसे एलडीएमवीएफआई और एसवीडीकेएफआई की तुलना में, फ्रेमर चुनौतीपूर्ण मामलों में अधिक अनुकूलन क्षमता प्रदर्शित करता है और बेहतर नियंत्रण प्रदान करता है। ‘

उपयोगकर्ता अध्ययन के लिए, शोधकर्ताओं ने 20 प्रतिभागियों को इकट्ठा किया, जिन्होंने विभिन्न विधियों से 100 यादृच्छिक रूप से ऑर्डर किए गए वीडियो परिणामों का मूल्यांकन किया। इस प्रकार, 1000 रेटिंग प्राप्त की गईं, जो सबसे ‘वास्तविक’ पेशकशों का मूल्यांकन करती हैं:

मानव प्राथमिकता अध्ययन के परिणाम।

ऊपर दिए गए ग्राफ से देखा जा सकता है, उपयोगकर्ताओं ने फ्रेमर से परिणामों को भारी मतदान दिया।

परियोजना के साथ आने वाला यूट्यूब वीडियो फ्रेमर के लिए कुछ अन्य संभावित उपयोगों को रेखांकित करता है, जिनमें मॉर्फिंग और कार्टून इन-बीटवीनिंग शामिल हैं – जहां पूरी अवधारणा शुरू हुई थी।

निष्कर्ष

यह चुनौती वर्तमान में एआई-आधारित वीडियो जेनरेशन के कार्य के लिए कितनी महत्वपूर्ण है, इस पर जोर देना मुश्किल है। अब तक, पुराने समाधान जैसे फिल्म और (गैर-एआई) एब्सिंथ telah द्वारा दोनों शौकिया और पेशेवर समुदायों द्वारा फ्रेम के बीच ट्वीनिंग के लिए उपयोग किया गया है; लेकिन इन समाधानों में उल्लेखनीय सीमाएं हैं।

नई टी2वी फ्रेमवर्क के लिए आधिकारिक उदाहरण वीडियो के दुर्भाग्यपूर्ण संपादन के कारण, एक व्यापक सार्वजनिक गलतफहमी है कि मशीन लर्निंग सिस्टम 3डी मॉर्फेबल मॉडल (3डीएमएम) या अन्य सहायक दृष्टिकोण जैसे लोरा के मार्गदर्शन तंत्र के बिना गति में ज्यामिति को सटीक रूप से अनुमान लगा सकते हैं।

ईमानदारी से, ट्वीनिंग स्वयं, यहां तक कि अगर यह पूरी तरह से निष्पादित किया जा सकता है, तो इस समस्या पर एक ‘हैक’ या छल है। फिर भी, चूंकि दो अच्छी तरह से संरेखित फ्रेम छवियों का उत्पादन करना अक्सर पाठ प्रॉम्प्ट या वर्तमान श्रृंखला के विकल्पों के माध्यम से मार्गदर्शन प्रभावी ढंग से करने से आसान है, इसलिए इस पुराने तरीके का एआई-आधारित संस्करण पर प्रगति देखना अच्छा है।

पहले प्रकाशित मंगलवार, 29 अक्टूबर, 2024