प्रशिक्षण के दौरान फ़्रेमों को फेरबदल करके बेहतर जनरेटिव AI वीडियो

इस सप्ताह आर्क्सिव में प्रकाशित एक नए पेपर में एक ऐसे मुद्दे पर चर्चा की गई है, जिसे कोई भी व्यक्ति अपना चुका है। हुनयुआन वीडियो or वान 2.1 अब तक आप निम्नलिखित AI वीडियो जनरेटर का उपयोग कर चुके होंगे: अस्थायी विपथन, जहां जनरेटिव प्रक्रिया अचानक तेज हो जाती है, मिश्रित हो जाती है, छोड़ दी जाती है, या अन्यथा उत्पन्न वीडियो में महत्वपूर्ण क्षणों को गड़बड़ कर देती है:

खेलने के लिए क्लिक करें. कुछ अस्थायी गड़बड़ियाँ जो जनरेटिव वीडियो सिस्टम की नई लहर के उपयोगकर्ताओं के लिए परिचित हो रही हैं, नए पेपर में हाइलाइट की गई हैं। दाईं ओर, नए फ्लक्सफ्लो दृष्टिकोण का सुधारात्मक प्रभाव।  स्रोत: https://haroldchen19.github.io/FluxFlow/

उपरोक्त वीडियो में उदाहरण परीक्षण वीडियो के कुछ अंश दिखाए गए हैं (चेतावनी: यह काफी अव्यवस्थित है) परियोजना स्थल पेपर के लिए। हम देख सकते हैं कि लेखकों की विधि (वीडियो में दाईं ओर चित्रित) द्वारा कई तेजी से परिचित मुद्दों को सुधारा जा रहा है, जो प्रभावी रूप से एक है डेटासेट प्रीप्रोसेसिंग किसी भी जनरेटिव वीडियो आर्किटेक्चर पर लागू तकनीक।

पहले उदाहरण में, 'दो बच्चे गेंद से खेल रहे हैं', जो कि द्वारा उत्पन्न किया गया है कॉगवीडियोX, हम देखते हैं (ऊपर दिए गए संकलन वीडियो में बाईं ओर और नीचे दिए गए विशिष्ट उदाहरण में) कि मूल पीढ़ी कई आवश्यक सूक्ष्म-आंदोलनों से तेज़ी से गुज़रती है, जिससे बच्चों की गतिविधि 'कार्टून' पिच तक पहुँच जाती है। इसके विपरीत, वही डेटासेट और विधि नई प्रीप्रोसेसिंग तकनीक के साथ बेहतर परिणाम देती है, जिसे डब किया गया है फ्लक्सफ्लो (नीचे वीडियो में छवि के दाईं ओर):

खेलने के लिए क्लिक करें.

दूसरे उदाहरण में ( नोवा-0.6बी) हम देखते हैं कि बिल्ली से संबंधित एक केंद्रीय गति किसी तरह से भ्रष्ट हो गई है या प्रशिक्षण चरण में महत्वपूर्ण रूप से कम नमूनाबद्ध हो गई है, इस हद तक कि जनरेटिव सिस्टम 'लकवाग्रस्त' हो गया है और विषय को स्थानांतरित करने में असमर्थ है:

खेलने के लिए क्लिक करें.

यह सिंड्रोम, जिसमें गति या विषय 'अटक' जाता है, विभिन्न छवि और वीडियो संश्लेषण समूहों में एच.वी. और वान की सबसे अधिक बार रिपोर्ट की जाने वाली समस्याओं में से एक है।

इनमें से कुछ समस्याएं स्रोत डेटासेट में वीडियो कैप्शनिंग मुद्दों से संबंधित हैं, जिन्हें हम इस सप्ताह पर एक नज़र डाली; लेकिन नए कार्य के लेखक प्रशिक्षण डेटा के लौकिक गुणों पर अपना ध्यान केंद्रित करते हैं, और एक ठोस तर्क देते हैं कि उस दृष्टिकोण से चुनौतियों का समाधान करने से उपयोगी परिणाम प्राप्त हो सकते हैं।

जैसा कि वीडियो कैप्शनिंग के बारे में पिछले लेख में बताया गया है, कुछ खेल महत्वपूर्ण क्षणों को अलग करना विशेष रूप से कठिन होता है, जिसका अर्थ है कि महत्वपूर्ण घटनाओं (जैसे कि स्लैम-डंक) को प्रशिक्षण के समय वह ध्यान नहीं मिलता जो उन्हें चाहिए:

खेलने के लिए क्लिक करें.

उपरोक्त उदाहरण में, जनरेटिव प्रणाली को यह पता नहीं होता कि आंदोलन के अगले चरण तक कैसे पहुंचा जाए, और वह एक मुद्रा से दूसरी मुद्रा में अतार्किक रूप से स्थानांतरित हो जाती है, जिससे इस प्रक्रिया में खिलाड़ी का रवैया और ज्यामिति बदल जाती है।

ये बड़ी गतिविधियां हैं जो प्रशिक्षण में खो गईं - लेकिन उतनी ही संवेदनशील कहीं अधिक छोटी लेकिन महत्वपूर्ण गतिविधियां हैं, जैसे कि तितली के पंखों का फड़फड़ाना:

खेलने के लिए क्लिक करें.  

स्लैम-डंक के विपरीत, पंखों का फड़फड़ाना कोई 'दुर्लभ' नहीं बल्कि एक सतत और नीरस घटना है। हालाँकि, नमूनाकरण प्रक्रिया में इसकी स्थिरता खो जाती है, क्योंकि गति इतनी तेज़ होती है कि इसे समयबद्ध रूप से स्थापित करना बहुत मुश्किल होता है।

ये कोई विशेष रूप से नए मुद्दे नहीं हैं, लेकिन अब इन पर अधिक ध्यान दिया जा रहा है, क्योंकि उत्साही लोगों के लिए स्थानीय स्थापना और मुफ्त उत्पादन के लिए शक्तिशाली जनरेटिव वीडियो मॉडल उपलब्ध हैं।

रेडिट और डिस्कॉर्ड के समुदायों ने शुरू में इन मुद्दों को 'उपयोगकर्ता-संबंधित' माना है। यह एक समझने योग्य अनुमान है, क्योंकि विचाराधीन सिस्टम बहुत नए हैं और कम से कम प्रलेखित हैं। इसलिए विभिन्न पंडितों ने यहाँ प्रलेखित कुछ गड़बड़ियों के लिए विविध (और हमेशा प्रभावी नहीं) उपाय सुझाए हैं, जैसे कि हुनयुआन वीडियो (HV) और वान 2.1 के लिए विभिन्न प्रकार के कॉम्फीयूआई वर्कफ़्लो के विभिन्न घटकों में सेटिंग्स को बदलना।

कुछ मामलों में, तीव्र गति उत्पन्न करने के बजाय, HV और Wan दोनों उत्पन्न करेंगे धीमा गति। Reddit और ChatGPT (जो कि अधिकतर Reddit का लाभ उठाता है) के सुझावों में शामिल हैं फ़्रेम की संख्या बदलना अनुरोधित पीढ़ी में, या फ्रेम दर को मौलिक रूप से कम करना*।

यह सब निराशाजनक बातें हैं; उभरती सच्चाई यह है कि हम अभी तक इन समस्याओं का सटीक कारण या सटीक उपाय नहीं जानते हैं; स्पष्ट रूप से, इनसे निपटने के लिए जनरेशन सेटिंग्स को कष्ट देना (विशेषकर जब यह आउटपुट गुणवत्ता को खराब करता है, उदाहरण के लिए बहुत कम एफपीएस दर के साथ) केवल एक छोटा-सा उपाय है, और यह देखना अच्छा है कि अनुसंधान परिदृश्य इतनी तेजी से उभरते मुद्दों को संबोधित कर रहा है।

तो, इस सप्ताह कैप्शनिंग प्रशिक्षण को कैसे प्रभावित करती है, इस पर नजर डालने के अलावा, आइए टेम्पोरल रेगुलराइजेशन के बारे में नए पेपर पर एक नजर डालें, और यह वर्तमान जनरेटिव वीडियो दृश्य में क्या सुधार ला सकता है।

केंद्रीय विचार काफी सरल और हल्का है, और इससे कोई भी बुरा नहीं है; फिर भी निर्धारित आठ पृष्ठों तक पहुंचने के लिए पेपर को कुछ हद तक बढ़ा दिया गया है, और हम आवश्यकतानुसार इस बढ़ाव को छोड़ देंगे।

वीडियोक्राफ्टर फ्रेमवर्क की मूल पीढ़ी में मछली स्थिर है, जबकि फ्लक्सफ्लो-परिवर्तित संस्करण अपेक्षित परिवर्तनों को कैप्चर करता है। स्रोत: https://arxiv.org/pdf/2503.15417

RSI नया काम शीर्षक है टेम्पोरल रेग्यूलराइजेशन आपके वीडियो जनरेटर को मजबूत बनाता है, और यह एवरलिन एआई, हांगकांग विज्ञान और प्रौद्योगिकी विश्वविद्यालय (एचकेयूएसटी), सेंट्रल फ्लोरिडा विश्वविद्यालय (यूसीएफ), और हांगकांग विश्वविद्यालय (एचकेयू) के आठ शोधकर्ताओं से आया है।

(लेखन के समय, पेपर के साथ कुछ मुद्दे हैं परियोजना स्थल)

फ्लक्सफ्लो

इसके पीछे मुख्य विचार यह है कि फ्लक्सफ्लोलेखकों की नई प्री-ट्रेनिंग स्कीमा का उद्देश्य व्यापक समस्याओं पर काबू पाना है चंचल और अस्थायी असंगति स्रोत डेटा को प्रशिक्षण प्रक्रिया के संपर्क में लाते समय अस्थायी फ्रेम क्रम में ब्लॉकों और ब्लॉकों के समूहों को फेरबदल करके:

फ्लक्सफ्लो के पीछे मुख्य विचार, डेटा संवर्द्धन के रूप में, ब्लॉकों और ब्लॉकों के समूहों को अप्रत्याशित और गैर-अस्थायी स्थितियों में ले जाना है।

इस पत्र में बताया गया है:

'[आर्टिफैक्ट्स] एक मौलिक सीमा से उत्पन्न होते हैं: बड़े पैमाने के डेटासेट का लाभ उठाने के बावजूद, वर्तमान मॉडल अक्सर विविध और प्रशंसनीय लौकिक गतिशीलता सीखने के बजाय प्रशिक्षण डेटा (जैसे, निश्चित चलने की दिशा या दोहरावदार फ्रेम संक्रमण) में सरलीकृत लौकिक पैटर्न पर भरोसा करते हैं।

'प्रशिक्षण के दौरान स्पष्ट लौकिक वृद्धि की कमी से यह समस्या और भी बढ़ जाती है, जिससे मॉडल विविध गति परिदृश्यों में सामान्यीकरण करने के बजाय झूठे लौकिक सहसंबंधों (जैसे, "फ्रेम # 5 को # 4 का अनुसरण करना चाहिए") के लिए ओवरफिटिंग की ओर प्रवृत्त हो जाते हैं।'

लेखक बताते हैं कि अधिकांश वीडियो निर्माण मॉडल अभी भी बहुत अधिक उधार लेते हैं की छवि संश्लेषण, स्थानिक निष्ठा पर ध्यान केंद्रित करते हुए बड़े पैमाने पर लौकिक अक्ष की अनदेखी करता है। हालाँकि क्रॉपिंग, फ़्लिपिंग और कलर जिटरिंग जैसी तकनीकों ने स्थिर छवि गुणवत्ता को बेहतर बनाने में मदद की है, लेकिन वे वीडियो पर लागू होने पर पर्याप्त समाधान नहीं हैं, जहाँ गति का भ्रम फ़्रेम में लगातार बदलावों पर निर्भर करता है।

इसके परिणामस्वरूप होने वाली समस्याओं में टिमटिमाती बनावट, फ्रेमों के बीच कट की अनियमितता, तथा दोहरावपूर्ण या अति सरलीकृत गति पैटर्न शामिल हैं।

चलाने के लिए क्लिक करें।

पेपर में तर्क दिया गया है कि हालांकि कुछ मॉडल - जिनमें शामिल हैं स्थिर वीडियो प्रसार और लामाजेन - बढ़ती हुई जटिल वास्तुकला या इंजीनियर बाधाओं के साथ क्षतिपूर्ति करने के लिए, ये गणना और लचीलेपन के संदर्भ में लागत पर आते हैं।

चूंकि अस्थायी डेटा संवर्द्धन पहले से ही वीडियो में उपयोगी साबित हो चुका है समझ कार्य (जैसे ढांचे में फाइनक्लिपर, सेफ़ार और एसवीफॉर्मर) यह आश्चर्यजनक है, लेखक जोर देते हैं, कि इस रणनीति को शायद ही कभी उत्पादक संदर्भ में लागू किया जाता है।

विघटनकारी व्यवहार

शोधकर्ताओं का तर्क है कि प्रशिक्षण के दौरान अस्थायी क्रम में सरल, संरचित व्यवधान मॉडलों को यथार्थवादी, विविध गति के लिए बेहतर सामान्यीकरण में मदद करते हैं:

'अव्यवस्थित अनुक्रमों पर प्रशिक्षण द्वारा, जनरेटर प्रशंसनीय प्रक्षेप पथों को पुनर्प्राप्त करना सीखता है, प्रभावी रूप से अस्थायी एन्ट्रॉपी को नियमित करता है। FLUXFLOW विभेदक और उत्पादक अस्थायी वृद्धि के बीच की खाई को पाटता है, जो समग्र [गुणवत्ता] में सुधार करते हुए अस्थायी रूप से प्रशंसनीय वीडियो पीढ़ी के लिए प्लग-एंड-प्ले संवर्द्धन समाधान प्रदान करता है।

'मौजूदा विधियों के विपरीत जो वास्तुशिल्प परिवर्तन प्रस्तुत करती हैं या पोस्ट-प्रोसेसिंग पर निर्भर करती हैं, फ्लक्सफ्लो सीधे डेटा स्तर पर काम करता है, तथा प्रशिक्षण के दौरान नियंत्रित अस्थायी गड़बड़ी प्रस्तुत करता है।'

चलाने के लिए क्लिक करें।

लेखक कहते हैं कि फ्रेम-स्तर की गड़बड़ी एक क्रम में बारीक व्यवधान पैदा करती है। इस तरह का व्यवधान इससे भिन्न नहीं है मास्किंग वृद्धि, जहां सिस्टम को रोकने के लिए डेटा के कुछ हिस्सों को बेतरतीब ढंग से ब्लॉक कर दिया जाता है ओवरफिटिंग डेटा बिंदुओं पर, और बेहतर को प्रोत्साहित करना सामान्यकरण.

टेस्ट

यद्यपि यहां केंद्रीय विचार अपनी सरलता के कारण पूर्ण-लंबाई वाले पेपर में नहीं आता है, फिर भी इसमें एक परीक्षण अनुभाग है जिस पर हम नजर डाल सकते हैं।

लेखकों ने स्थानिक निष्ठा को बनाए रखते हुए बेहतर लौकिक गुणवत्ता से संबंधित चार प्रश्नों का परीक्षण किया; गति/ऑप्टिकल प्रवाह गतिशीलता सीखने की क्षमता; अतिरिक्त अवधि निर्माण में लौकिक गुणवत्ता बनाए रखना; तथा प्रमुख हाइपरपैरामीटर्स के प्रति संवेदनशीलता।

शोधकर्ताओं ने फ्लक्सफ्लो को तीन जनरेटिव आर्किटेक्चर पर लागू किया: यू-नेट-आधारित, के रूप में वीडियोक्राफ्टर2; DIT-आधारित, CogVideoX-2B के रूप में; तथा AR-आधारित, NOVA-0.6B के रूप में।

निष्पक्ष तुलना के लिए, उन्होंने फ्लक्सफ्लो को एक अतिरिक्त प्रशिक्षण चरण के रूप में उपयोग करते हुए आर्किटेक्चर के आधार मॉडल को बेहतर बनाया। युग, पर ओपनविडएचडी-0.4एम डाटासेट।

मॉडलों का मूल्यांकन दो लोकप्रिय मानदंडों के आधार पर किया गया: यूसीएफ-101, और वीबेंच.

यूसीएफ के लिए, फ़्रेचेट वीडियो दूरी (एफवीडी) और आरंभिक स्कोर (आईएस) मेट्रिक्स का इस्तेमाल किया गया। वीबेंच के लिए, शोधकर्ताओं ने अस्थायी गुणवत्ता, फ्रेम-वार गुणवत्ता और समग्र गुणवत्ता पर ध्यान केंद्रित किया।

फ्लक्सफ्लो-फ्रेम का मात्रात्मक प्रारंभिक मूल्यांकन। “+ मूल” फ्लक्सफ्लो के बिना प्रशिक्षण को इंगित करता है, जबकि “+ संख्या × 1” विभिन्न फ्लक्सफ्लो-फ्रेम कॉन्फ़िगरेशन को दर्शाता है। सर्वोत्तम परिणाम छायांकित हैं; प्रत्येक मॉडल के लिए दूसरे-सर्वोत्तम को रेखांकित किया गया है।

इन परिणामों पर टिप्पणी करते हुए लेखक कहते हैं:

'फ्लक्सफ्लो-फ्रेम और फ्लक्सफ्लो-ब्लॉक दोनों ही अस्थायी गुणवत्ता में महत्वपूर्ण सुधार करते हैं, जैसा कि टैब 1, 2 (यानी, एफवीडी, विषय, झिलमिलाहट, गति और गतिशीलता) में मेट्रिक्स और [नीचे दी गई छवि] में गुणात्मक परिणामों से स्पष्ट होता है।

'उदाहरण के लिए, VC2 में बहती कार की गति, NOVA में अपनी पूंछ का पीछा करती बिल्ली, और CVX में लहर पर सवार सर्फर FLUXFLOW के साथ स्पष्ट रूप से अधिक तरल हो जाते हैं। महत्वपूर्ण बात यह है कि ये अस्थायी सुधार स्थानिक निष्ठा का त्याग किए बिना प्राप्त किए जाते हैं, जैसा कि स्थानिक और समग्र निष्ठा मीट्रिक के साथ-साथ पानी के छींटों, धुएं के निशान और लहर की बनावट के तीखे विवरणों से स्पष्ट होता है।'

नीचे हम उन गुणात्मक परिणामों में से चयन देख रहे हैं जिनका उल्लेख लेखकों ने किया है (कृपया पूर्ण परिणामों और बेहतर समाधान के लिए मूल पेपर देखें):

गुणात्मक परिणामों में से चयन.

पेपर में सुझाव दिया गया है कि फ्रेम-लेवल और ब्लॉक-लेवल दोनों ही गड़बड़ी अस्थायी गुणवत्ता को बढ़ाती है, लेकिन फ्रेम-लेवल विधियां बेहतर प्रदर्शन करती हैं। इसका श्रेय उनकी महीन ग्रैन्युलैरिटी को जाता है, जो अधिक सटीक अस्थायी समायोजन को सक्षम बनाती है। इसके विपरीत, ब्लॉक-लेवल गड़बड़ी, ब्लॉक के भीतर कसकर युग्मित स्थानिक और अस्थायी पैटर्न के कारण शोर पैदा कर सकती है, जिससे उनकी प्रभावशीलता कम हो जाती है।

निष्कर्ष

यह पेपर, बाइटडांस-सिंघुआ के साथ कैप्शनिंग सहयोग इस सप्ताह जारी की गई रिपोर्ट ने मेरे लिए यह स्पष्ट कर दिया है कि नई पीढ़ी के जनरेटिव वीडियो मॉडल में स्पष्ट कमियां उपयोगकर्ता की त्रुटि, संस्थागत गलतियों या फंडिंग की सीमाओं के कारण नहीं हो सकती हैं, बल्कि एक शोध फोकस से उत्पन्न हुई हैं, जिसने स्वाभाविक रूप से इन कम चिंताओं की तुलना में अधिक जरूरी चुनौतियों, जैसे कि समय की सुसंगति और स्थिरता को प्राथमिकता दी है।

हाल तक, निःशुल्क उपलब्ध और डाउनलोड करने योग्य जनरेटिव वीडियो प्रणालियों के परिणाम इतने खराब थे कि उत्साही समुदाय की ओर से इन मुद्दों के निवारण के लिए कोई बड़ा प्रयास नहीं किया गया (क्योंकि ये मुद्दे मौलिक थे और इनका आसानी से समाधान नहीं किया जा सकता था)।

अब जबकि हम पूरी तरह से एआई-जनरेटेड फोटोरीलिस्टिक वीडियो आउटपुट के लंबे समय से अनुमानित युग के बहुत करीब हैं, तो यह स्पष्ट है कि अनुसंधान और आकस्मिक समुदाय दोनों शेष मुद्दों को हल करने में गहरी और अधिक उत्पादक रुचि ले रहे हैं; सौभाग्य से, ये कठिन बाधाएं नहीं हैं।

* वान की मूल फ्रेम दर मात्र 16fps है, और अपनी समस्याओं के जवाब में, मैंने देखा कि मंचों ने फ्रेम दर को 12fps तक कम करने और फिर उपयोग करने का सुझाव दिया है फ्लोफ्रेम्स या अन्य एआई-आधारित पुनःप्रवाह प्रणालियों का उपयोग करके इतनी कम संख्या में फ़्रेमों के बीच अंतराल को प्रक्षेपित किया जा सकता है।

पहली बार प्रकाशित शुक्रवार, 21 मार्च 2025