बेहतर जनरेटिव एआई वीडियो फ्रेम्स को प्रशिक्षण के दौरान शफल करके

इस सप्ताह अराइव में एक नई पेपर में एक मुद्दे को संबोधित किया गया है जिसका सामना उन सभी लोगों को करना पड़ा होगा जिन्होंने हुन्युआन वीडियो या वान 2.1 एआई वीडियो जनरेटर्स को अपनाया है: समयिक विचलन, जहां जनरेटिव प्रक्रिया अचानक तेज हो जाती है, महत्वपूर्ण क्षणों को मिला देती है या छोड़ देती है या एक जनरेटेड वीडियो में अन्यथा खराब कर देती है:

प्ले करने के लिए क्लिक करें. कुछ समयिक ग्लिच जो नए जनरेटिव वीडियो सिस्टम के उपयोगकर्ताओं के लिए परिचित हो रहे हैं, नए पेपर में हाइलाइट किए गए हैं। दाईं ओर, नए फ्लक्सफ्लो दृष्टिकोण का सुधारात्मक प्रभाव। स्रोत: https://haroldchen19.github.io/FluxFlow/

उपरोक्त वीडियो में परियोजना साइट के लिए उदाहरण परीक्षण वीडियो के अंश हैं (चेतावनी: काफी अराजक)। हम कई बढ़ती परिचित मुद्दों को देख सकते हैं जिन्हें लेखकों की विधि द्वारा समाधान किया जा रहा है (वीडियो में दाईं ओर चित्रित), जो मूल रूप से एक डेटासेट प्रीप्रोसेसिंग तकनीक है जो किसी भी जनरेटिव वीडियो आर्किटेक्चर पर लागू की जा सकती है।

पहले उदाहरण में, जिसमें ‘दो बच्चे एक गेंद के साथ खेलते हैं’ शामिल है, जो कोगवीडियोक्स -5 बी द्वारा उत्पन्न किया गया है, हम देखते हैं कि मूल जनरेशन तेजी से कई आवश्यक माइक्रो-आंदोलनों के माध्यम से कूदती है, बच्चों की गतिविधि को ‘कार्टून’ पिच तक तेज कर देती है। इसके विपरीत,同 एक ही डेटासेट और विधि बेहतर परिणाम देती है जब नई प्रीप्रोसेसिंग तकनीक, जिसे फ्लक्सफ्लो कहा जाता है, का उपयोग किया जाता है:

प्ले करने के लिए क्लिक करें.

दूसरे उदाहरण में (नोवा-0.6बी का उपयोग करके) हम देखते हैं कि एक केंद्रीय गति जिसमें एक बिल्ली शामिल है, किसी तरह से प्रशिक्षण चरण में भ्रष्ट या महत्वपूर्ण रूप से अंडर-सैंपल हो गई है, जिससे जनरेटिव सिस्टम ‘पैरालाइज्ड’ हो जाता है और विषय को हिलाने में असमर्थ होता है:

प्ले करने के लिए क्लिक करें.

यह सिंड्रोम, जहां गति या विषय ‘अटक’ जाता है, हुन्युआन वीडियो और वान 2.1 के विभिन्न छवि और वीडियो संश्लेषण समूहों में सबसे अधिक रिपोर्ट की जाने वाली समस्याओं में से एक है।

कुछ समस्याएं स्रोत डेटासेट में वीडियो कैप्शनिंग मुद्दों से संबंधित हैं, जिन पर हमने इस सप्ताह एक नज़र डाली; लेकिन नए काम के लेखक अपने प्रयासों को प्रशिक्षण डेटा के समयिक गुणों पर केंद्रित करते हैं और एक मजबूत तर्क देते हैं कि इन चुनौतियों का सामना करने से उपयोगी परिणाम मिल सकते हैं।

जैसा कि पहले लेख में वीडियो कैप्शनिंग के बारे में उल्लेख किया गया है, कुछ खेल विशेष रूप से कठिन हैं जिन्हें महत्वपूर्ण क्षणों में परिष्कृत किया जा सकता है, जिसका अर्थ है कि महत्वपूर्ण घटनाएं (जैसे कि एक स्लैम डंक) प्रशिक्षण समय पर आवश्यक ध्यान नहीं पाती हैं:

प्ले करने के लिए क्लिक करें.

उपरोक्त उदाहरण में, जनरेटिव सिस्टम नहीं जानता कि अगले चरण में कैसे पहुंचे, और एक अव्यवस्थित तरीके से एक मुद्रा से दूसरी मुद्रा में संक्रमण करता है, खिलाड़ी के दृष्टिकोण और ज्यामिति को बदल देता है।

वे बड़े आंदोलन हैं जो प्रशिक्षण में खो गए हैं – लेकिन समान रूप से कमजोर बहुत छोटे लेकिन निर्णायक आंदोलन हैं, जैसे कि एक तितली के पंखों का फड़फड़ाना:

प्ले करने के लिए क्लिक करें.

स्लैम डंक के विपरीत, पंखों का फड़फड़ाना एक ‘दुर्लभ’ घटना नहीं है, बल्कि एक स्थिर और एकरूप घटना है। हालांकि, इसकी निरंतरता नमूनाकरण प्रक्रिया में खो जाती है, क्योंकि आंदोलन इतना तेज है कि इसे समयिक रूप से स्थापित करना बहुत मुश्किल है।

वे विशेष रूप से नई समस्याएं नहीं हैं, लेकिन अब उन्हें अधिक ध्यान मिल रहा है क्योंकि शक्तिशाली जनरेटिव वीडियो मॉडल अब उत्साही लोगों के लिए स्थानीय स्थापना और नि:शुल्क पीढ़ी के लिए उपलब्ध हैं।

रेडिट और डिस्कॉर्ड के समुदायों ने शुरू में इन मुद्दों को ‘उपयोगकर्ता-संबंधित’ के रूप में माना। यह एक समझने योग्य धारणा है, क्योंकि प्रश्न में सिस्टम बहुत नए और न्यूनतम दस्तावेज हैं। इसलिए, विभिन्न विशेषज्ञों ने कुछ ग्लिचों के लिए विभिन्न (और हमेशा प्रभावी) उपचार सुझाए हैं जो यहां दस्तावेज किए गए हैं, जैसे कि हुन्युआन वीडियो (एचवी) और वान 2.1 के लिए विभिन्न प्रकार के कॉम्फी यूआई वर्कफ्लोज़ में सेटिंग्स को बदलना।

कुछ मामलों में, तेजी से गति के बजाय, दोनों एचवी और वान धीमी गति का उत्पादन करेंगे। रेडिट और चैटजीपीटी (जो मुख्य रूप से रेडिट का लाभ उठाता है) के सुझावों में अनुरोधित पीढ़ी में फ्रेमों की संख्या को बदलना या फ्रेम दर को काफी कम करना शामिल है*।

यह सब हताशा भरा है; उभरती सच्चाई यह है कि इन मुद्दों का कारण उपयोगकर्ता त्रुटि नहीं है, संस्थागत चूक नहीं है, या धन सीमाएं नहीं हैं, बल्कि एक शोध फोकस है जिसने समझने योग्य रूप से अधिक तत्काल चुनौतियों को प्राथमिकता दी है, जैसे कि समयिक संगति और स्थिरता, इन कम चिंताओं पर।

अब तक, मुफ्त और डाउनलोड करने योग्य जनरेटिव वीडियो सिस्टम के परिणाम इतने खराब थे कि उत्साही समुदाय से इन मुद्दों को दूर करने के लिए कोई बड़ा प्रयास नहीं हुआ (कम से कम इसलिए नहीं कि मुद्दे मौलिक थे और आसानी से हल नहीं हुए)।

अब जब हम शुद्ध रूप से एआई-जनित फोटोरियलिस्टिक वीडियो आउटपुट की उम्र के इतने करीब हैं, तो यह स्पष्ट है कि शोध और आकस्मिक समुदाय दोनों शेष मुद्दों को हल करने में गहरी और अधिक उत्पादक रुचि ले रहे हैं; उम्मीद है, वे असाध्य बाधाएं नहीं हैं।

तो، इस सप्ताह वीडियो कैप्शनिंग को प्रभावित करने के तरीके को देखने के अलावा, आइए नए पेपर पर एक नज़र डालें जो समयिक नियमितीकरण के बारे में है और यह वर्तमान जनरेटिव वीडियो दृश्य को क्या सुधार प्रदान कर सकता है।

मूल विचार बहुत सरल और संक्षिप्त है, और इसके लिए कुछ भी कम नहीं है; हालांकि, पेपर को आठ पृष्ठों तक पहुंचाने के लिए थोड़ा पैड किया गया है, और हम आवश्यकतानुसार इस पैडिंग को छोड़ देंगे।

वीडियोक्राफ्टर फ्रेमवर्क के मूल जनरेशन में मछली स्थिर है, जबकि फ्लक्सफ्लो-संशोधित संस्करण आवश्यक परिवर्तनों को पकड़ता है। स्रोत: https://arxiv.org/pdf/2503.15417

नया काम टेम्पोरल रेगुलराइजेशन मेक्स योर वीडियो जेनरेटर स्ट्रॉन्गर शीर्षक से है, और इसमें एवरलिन एआई, हांगकांग विश्वविद्यालय ऑफ साइंस एंड टेक्नोलॉजी (HKUST), सेंट्रल फ्लोरिडा विश्वविद्यालय (UCF), और हांगकांग विश्वविद्यालय (HKU) से आठ शोधकर्ता शामिल हैं।

(लेखन के समय, पेपर की साथी परियोजना साइट के साथ कुछ मुद्दे हैं)

फ्लक्सफ्लो

फ्लक्सफ्लो के पीछे का मूल विचार, लेखकों की नई प्री-प्रशिक्षण योजना, समयिक विचलन और समयिक असंगति जैसी व्यापक समस्याओं को दूर करने के लिए प्रशिक्षण प्रक्रिया के दौरान ब्लॉक और ब्लॉक समूहों को समयिक फ्रेम क्रम में शफल करना है:

फ्लक्सफ्लो के पीछे का मूल विचार असंगत और गैर-时间िक स्थितियों में ब्लॉक और ब्लॉक समूहों को स्थानांतरित करना है, जैसे कि डेटा वृद्धि के रूप में।[/em>

पेपर में कहा गया है:

‘[आर्टिफैक्ट] एक मौलिक सीमा से उत्पन्न होते हैं:尽管 बड़े पैमाने पर डेटासेट का लाभ उठाने के बावजूद, वर्तमान मॉडल अक्सर प्रशिक्षण डेटा में सरलीकृत समयिक पैटर्न (जैसे कि निश्चित चलने की दिशा या पुनरावृत्ति फ्रेम संक्रमण) पर निर्भर करते हैं, न कि विविध और संभव समयिक गतिविधियों को सीखने के लिए।

‘यह मुद्दा समयिक वृद्धि की कमी के कारण और भी बढ़ जाता है, जिससे मॉडल स्प्यूरियस समयिक संबंधों (जैसे कि “फ्रेम #5 को #4 का पालन करना चाहिए”) के लिए ओवरफिटिंग हो जाता है, न कि विविध गति परिदृश्यों में सामान्यीकरण के लिए। ‘

अधिकांश वीडियो पीढ़ी मॉडल, लेखकों के अनुसार, अभी भी छवि संश्लेषण से बहुत अधिक उधार लेते हैं, जबकि स्थानिक विश्वास्यता पर ध्यान केंद्रित करते हुए समयिक अक्ष को मोटे तौर पर अनदेखा करते हैं। हालांकि तकनीकों जैसे कि क्रॉपिंग, फ्लिपिंग और रंग जिटरिंग ने स्थिर छवि गुणवत्ता में सुधार करने में मदद की है, वे वीडियो के लिए पर्याप्त समाधान नहीं हैं, जहां गति का भ्रम फ्रेमों के बीच संगत संक्रमण पर निर्भर करता है।

परिणामी समस्याओं में फ्लिकरिंग टेक्सचर, जarring काटने और पुनरावृत्ति या अत्यधिक सरल गति पैटर्न शामिल हैं।

प्ले करने के लिए क्लिक करें.

पेपर का तर्क है कि हालांकि कुछ मॉडल – जैसे कि स्टेबल वीडियो डिफ्यूजन और लामागेन – जटिल वास्तुकला या इंजीनियर्ड प्रतिबंधों के साथ समस्याओं का समाधान करते हैं, वे कम्प्यूट और लचीलेपन के संदर्भ में लागत पर आते हैं।

चूंकि समयिक डेटा वृद्धि वीडियो समझने के कार्यों (जैसे कि फाइनक्लिपर, सेफार और एसवीफॉर्मर फ्रेमवर्क में) में पहले से ही उपयोगी साबित हुई है, लेखकों का दावा है कि यह आश्चर्यजनक है कि यह रणनीति एक जनरेटिव संदर्भ में शायद ही कभी लागू की जाती है।

विघटनकारी व्यवहार

शोधकर्ता तर्क देते हैं कि प्रशिक्षण के दौरान समयिक क्रम में सरल, संरचित व्यवधान जनरेटिव वीडियो में वास्तविक, विविध गति को सामान्य बनाने में मदद करते हैं:

‘विकारों से बचने के लिए, प्रशिक्षण के दौरान विकारित क्रमों पर प्रशिक्षण देने से जनरेटर वास्तविक त्राज्यों को पुनर्प्राप्त करने के लिए सीखता है, प्रभावी रूप से समयिक एंट्रॉपी को नियमित करता है। फ्लक्सफ्लो विभाजित और जनरेटिव समयिक वृद्धि के बीच की खाई को पुल करता है, एक प्लग-एंड-प्ले उन्नति समाधान प्रदान करता है जो समयिक रूप से विश्वसनीय वीडियो पीढ़ी के लिए जबकि समग्र [गुणवत्ता] में सुधार करता है।

‘मौजूदा विधियों के विपरीत जो वास्तुकला परिवर्तन पेश करती हैं या पोस्ट-प्रोसेसिंग पर निर्भर करती हैं, फ्लक्सफ्लो सीधे डेटा स्तर पर काम करता है, नियंत्रित समयिक विकार प्रशिक्षण के दौरान पेश करता है।’

प्ले करने के लिए क्लिक करें.

फ्रेम-स्तरीय विकार, लेखकों के अनुसार, एक अनुक्रम के भीतर महीन-दाने वाले विकार पेश करते हैं। यह विकार मास्किंग वृद्धि के समान नहीं है, जहां डेटा के खंडों को यादृच्छिक रूप से ब्लॉक किया जाता है, ताकि प्रणाली डेटा बिंदुओं पर ओवरफिटिंग से बच सके और बेहतर सामान्यीकरण को प्रोत्साहित किया जा सके।

परीक्षण

हालांकि केंद्रीय विचार यहां पूरी लंबाई के पेपर के लिए नहीं चलता है, फिर भी एक परीक्षण अनुभाग है जिस पर हम एक नज़र डाल सकते हैं।

लेखकों ने चार प्रश्नों के लिए परीक्षण किया जो बेहतर समयिक गुणवत्ता को बनाए रखने की क्षमता से संबंधित थे, जबकि स्थानिक विश्वास्यता; गति/ऑप्टिकल फ्लो गतिविधियों को सीखने की क्षमता; अतिरिक्त पीढ़ी में समयिक गुणवत्ता को बनाए रखना; और प्रमुख हाइपरपैरामीटर के प्रति संवेदनशीलता।

शोधकर्ताओं ने फ्लक्सफ्लो को तीन जनरेटिव आर्किटेक्चर पर लागू किया: यू-नेट-आधारित, वीडियोक्राफ्टर 2 के रूप में; डीआईटी-आधारित, कोगवीडियोक्स-2बी के रूप में; और एआर-आधारित, नोवा-0.6बी के रूप में।

निष्पक्ष तुलना के लिए, उन्होंने फ्लक्सफ्लो के रूप में एक अतिरिक्त प्रशिक्षण चरण के लिए आर्किटेक्चर के आधार मॉडल को एक पूर्णकालिक, ओपनवीडीएचडी-0.4एम डेटासेट पर फाइन-ट्यून किया।

मॉडल का मूल्यांकन दो लोकप्रिय बेंचमार्क के खिलाफ किया गया था: यूसीएफ-101; और वीबेंच।

यूसीएफ के लिए, फ्रेचेट वीडियो दूरी (एफवीडी) और इन्सेप्शन स्कोर (आईएस) मेट्रिक्स का उपयोग किया गया था। वीबेंच के लिए, शोधकर्ताओं ने समयिक गुणवत्ता, फ्रेम-वार गुणवत्ता और समग्र गुणवत्ता पर ध्यान केंद्रित किया।

फ्लक्सफ्लो-फ्रेम का मात्रात्मक प्रारंभिक मूल्यांकन। "+ मूल" फ्लक्सफ्लो के बिना प्रशिक्षण को इंगित करता है, जबकि "+ नम × 1" विभिन्न फ्लक्सफ्लो-फ्रेम कॉन्फ़िगरेशन दिखाता है। सर्वोत्तम परिणाम छाया हुए हैं; प्रत्येक मॉडल के लिए दूसरा सर्वोत्तम अंडरलाइन है।[/em>

इन परिणामों पर टिप्पणी करते हुए, लेखकों का कहना है:

‘दोनों फ्लक्सफ्लो-फ्रेम और फ्लक्सफ्लो-ब्लॉक समयिक गुणवत्ता में काफी सुधार करते हैं, जैसा कि टेबल 1, 2 (अर्थात, एफवीडी, विषय, फ्लिकर, मोशन, और डायनामिक) में मेट्रिक्स और [नीचे दी गई छवि में] गुणात्मक परिणामों से स्पष्ट है।

‘उदाहरण के लिए, वीसी2 में ड्रिफ्टिंग कार की गति, नोवा में बिल्ली को अपनी पूंछ का पीछा करते हुए, और सीवीएक्स में सर्फर की लहर पर सवारी करने वाली लहर फ्लक्सफ्लो के साथ काफी अधिक तरल हो जाती है। महत्वपूर्ण बात यह है कि ये समयिक सुधार स्थानिक विश्वास्यता को त्यागने के बिना प्राप्त किए जाते हैं, जैसा कि पानी के फव्वारे, धुएं के निशान और लहरों की बनावट के साथ-साथ स्थानिक और समग्र विश्वास्यता मेट्रिक्स के साथ देखा जा सकता है।’

नीचे हम उन गुणात्मक परिणामों के चयन देखते हैं जिन पर लेखक संदर्भित करते हैं (कृपया पूर्ण परिणामों और बेहतर रिज़ॉल्यूशन के लिए मूल पेपर देखें):

गुणात्मक परिणामों के चयन।[/em>

पेपर सुझाव देता है कि जबकि फ्रेम-स्तरीय और ब्लॉक-स्तरीय विकार दोनों समयिक गुणवत्ता में सुधार करते हैं, फ्रेम-स्तरीय विधियां बेहतर प्रदर्शन करती हैं। इसे उनकी महीन-दाने वाली अनुकूलता के लिए जिम्मेदार ठहराया जाता है, जो अधिक सटीक समयिक समायोजन की अनुमति देती है। ब्लॉक-स्तरीय विकार, इसके विपरीत, ब्लॉक के भीतर जटिल रूप से जुड़े स्थानिक और समयिक पैटर्न के कारण शोर पेश कर सकते हैं, जो उनकी प्रभावशीलता को कम कर देता है।

निष्कर्ष

यह पेपर, साथ ही साथ इस सप्ताह जारी बाइटडांस-त्सिंघुआ कैप्शनिंग सहयोग, ने मुझे यह स्पष्ट कर दिया है कि नए जनरेटिव वीडियो मॉडल की कमियां उपयोगकर्ता त्रुटि के कारण नहीं हैं, संस्थागत चूक नहीं हैं, या धन सीमाएं नहीं हैं, बल्कि एक शोध फोकस है जिसने समझने योग्य रूप से अधिक तत्काल चुनौतियों को प्राथमिकता दी है, जैसे कि समयिक संगति और स्थिरता, इन कम चिंताओं पर।

हाल तक, मुफ्त और डाउनलोड करने योग्य जनरेटिव वीडियो सिस्टम के परिणाम इतने खराब थे कि उत्साही समुदाय से इन मुद्दों को दूर करने के लिए कोई बड़ा प्रयास नहीं हुआ (कम से कम इसलिए नहीं कि मुद्दे मौलिक थे और आसानी से हल नहीं हुए)।

अब जब हम शुद्ध रूप से एआई-जनित फोटोरियलिस्टिक वीडियो आउटपुट की उम्र के इतने करीब हैं, तो यह स्पष्ट है कि शोध और आकस्मिक समुदाय दोनों शेष मुद्दों को हल करने में गहरी और अधिक उत्पादक रुचि ले रहे हैं; उम्मीद है, वे असाध्य बाधाएं नहीं हैं।

* वान की मूल फ्रेम दर 16 एफपीएस है, और मेरी अपनी समस्याओं के जवाब में, मैं ध्यान देता हूं कि मंचों ने फ्रेम दर को 12 एफपीएस जितना कम करने और फिर फ्लोफ्रेम्स या अन्य एआई-आधारित री-फ्लोइंग सिस्टम का उपयोग करके इतनी कम संख्या में फ्रेम के बीच के अंतराल को अंतर्पोलेट करने का सुझाव दिया है। पहली बार शुक्रवार, 21 मार्च, 2025 को प्रकाशित