एआई वीडियो बिल्ली सेल्फी को परफेक्ट करता है

एआई वीडियो जनरेटर अक्सर ऐसे परिणाम देते हैं जो करीब होते हैं, लेकिन सिगर के मामले में आपके टेक्स्ट-प्रॉम्प्ट की मांग को पूरा नहीं करते हैं। लेकिन एक नई उच्च-स्तरीय मरम्मत सभी अंतर करती है।

जनरेटिव वीडियो सिस्टम अक्सर वास्तव में रचनात्मक या जंगली वीडियो बनाने में कठिनाई होती है, और अक्सर उपयोगकर्ता के टेक्स्ट-प्रॉम्प्ट की अपेक्षाओं पर खरे नहीं उतरते हैं।

इसका एक कारण जुड़ाव है – यह तथ्य कि दृष्टि/भाषा मॉडल को अपने स्रोत डेटा पर प्रशिक्षण के समय के बारे में समझौता करना होगा। बहुत कम प्रशिक्षण, और अवधारणाएं लचीली होती हैं, लेकिन पूरी तरह से बनाई नहीं जाती हैं – बहुत अधिक, और अवधारणाएं सटीक होती हैं, लेकिन अब और लचीली नहीं होती हैं जो नए संयोजनों में शामिल हो सकती हैं।

आप वीडियो को देखकर इसका अंदाजा लगा सकते हैं जो नीचे एम्बेड किया गया है। बाएं हाथ पर वह तरह का समझौता है जो कई एआई सिस्टम वीडियो के शीर्ष पर चार उदाहरणों में से एक के रूप में मांगने वाले प्रॉम्प्ट के जवाब में देते हैं जो कुछ तत्वों के संयोजन के लिए कहता है जो वास्तविक प्रशिक्षण उदाहरण से बहुत कल्पनाशील है। दाएं हाथ पर, एक एआई आउटपुट है जो प्रॉम्प्ट के अनुसार बहुत बेहतर है:

प्ले करने के लिए क्लिक करें (कोई ऑडियो नहीं)। दाएं हाथ पर, हम ‘फैक्टराइज्ड’ वैन 2.2 को प्रॉम्प्ट पर वास्तव में वितरित करते हुए देखते हैं, ‘वैनिला’ वैन 2.2 की तुलना में जो बाएं हाथ पर है। कृपया बेहतर रिज़ॉल्यूशन और अधिक उदाहरणों के लिए स्रोत वीडियो फ़ाइलों को देखें, हालांकि यहां दिखाए गए क्यूरेटेड संस्करण परियोजना साइट पर मौजूद नहीं हैं और इस लेख के लिए इकट्ठे किए गए हैं। स्रोत

खैर, हालांकि हमें ताली बजाने वाले बतख के मानव हाथों को माफ करना होगा (!), यह स्पष्ट है कि दाएं हाथ पर दिखाए गए उदाहरण मूल टेक्स्ट-प्रॉम्प्ट के अनुसार बहुत बेहतर हैं।

दिलचस्प बात यह है कि दोनों वास्तुकलाएं मूल रूप से समान वास्तुकला हैं – लोकप्रिय और बहुत क्षमतावान वैन 2.2, एक चीनी रिलीज़ जिसने इस साल ओपन सोर्स और शौकीन समुदायों में महत्वपूर्ण जमीन हासिल की है।

अंतर यह है कि दूसरा जनरेटिव पाइपलाइन फैक्टराइज्ड है, जिसका अर्थ है कि एक बड़े भाषा मॉडल (एलएलएम) का उपयोग पहले (बीज) फ्रेम को फिर से व्याख्या करने के लिए किया गया है ताकि यह सुनिश्चित किया जा सके कि सिस्टम उपयोगकर्ता की मांग को पूरा करेगा।

यह ‘दृश्य एंकरिंग’ एक छवि को एक ‘प्रारंभ फ्रेम’ के रूप में जनरेटिव पाइपलाइन में इंजेक्ट करने और एक लोरा व्याख्यात्मक मॉडल का उपयोग करके ‘अवांछित’ फ्रेम को वीडियो निर्माण प्रक्रिया में एकीकृत करने में शामिल है।

परिणाम, प्रॉम्प्ट विश्वास्यता के संदर्भ में, काफी उल्लेखनीय हैं, विशेष रूप से एक समाधान के लिए जो काफी सुंदर लगता है:

प्ले करने के लिए क्लिक करें (कोई ऑडियो नहीं)। ‘फैक्टराइज्ड’ वीडियो पीढ़ी के और उदाहरण वास्तव में स्क्रिप्ट का पालन करते हैं। कृपया बेहतर रिज़ॉल्यूशन और अधिक उदाहरणों के लिए स्रोत वीडियो फ़ाइलों को देखें, हालांकि यहां दिखाए गए क्यूरेटेड संस्करण परियोजना साइट पर मौजूद नहीं हैं और इस लेख के लिए इकट्ठे किए गए हैं।

यह समाधान नए पेपर के रूप में आता है फैक्टराइज्ड वीडियो जनरेशन: टेक्स्ट-टू-वीडियो डिफ्यूजन मॉडल में दृश्य निर्माण और समयिक संश्लेषण को अलग करना, और इसकी वीडियो-लडेन साथी परियोजना वेबसाइट।

जबकि कई वर्तमान प्रणालियां प्रॉम्प्ट सटीकता को बढ़ाने के लिए भाषा मॉडल का उपयोग करके अस्पष्ट या कम विशिष्ट पाठ को पुनः लिखने का प्रयास करती हैं, नए काम का तर्क है कि यह रणनीति अभी भी विफल हो जाती है जब मॉडल का आंतरिक दृश्य प्रतिनिधित्व दोषपूर्ण होता है।

यह पेपर कहता है*:

‘[टेक्स्ट-टू-वीडियो] मॉडल अक्सर वितरित रूप से स्थानांतरित फ्रेम उत्पन्न करते हैं, लेकिन अभी भी आई2वी मॉडल के समान [मूल्यांकन स्कोर] प्राप्त करते हैं, जो यह दर्शाता है कि उनका गति मॉडलिंग अभी भी काफी प्राकृतिक है, भले ही दृश्य विश्वास्यता अपेक्षाकृत खराब हो।

‘[इमेज-टू-वीडियो] मॉडल विपरीत व्यवहार प्रदर्शित करते हैं, मजबूत [मूल्यांकन स्कोर] सटीक प्रारंभिक दृश्यों से और कमजोर समयिक संगति, जबकि आई2वी+पाठ दोनों पहलुओं को संतुलित करता है।’

‘यह विपरीत सुझाव देता है कि वर्तमान टी2वी मॉडल में एक संरचनात्मक मिलान: दृश्य आधार और समयिक संश्लेषण अलग-अलग प्रेरक पूर्वाग्रह से लाभान्वित होते हैं, लेकिन मौजूदा वास्तुकला एक ही मॉडल के भीतर दोनों को एक साथ सीखने का प्रयास करती है।’

एक नैदानिक ​​तुलना ने पाया कि मॉडल जिनमें स्पष्ट दृश्य एंकरिंग नहीं थी, उन्होंने गति पर अच्छा स्कोर किया, लेकिन अक्सर दृश्य लेआउट पर समझौता किया, जबकि छवि-सशर्त दृष्टिकोण ने विपरीत पैटर्न दिखाया:

दो डेटासेट पर वीडियो पीढ़ी मोड की तुलना, जो दर्शाती है कि आई2वी+पाठ सबसे अच्छा फ्रेम गुणवत्ता (एफआईडी) और समयिक संगति (एफवीडी) प्राप्त करता है, दृश्य निर्माण को गति से अलग करने के लाभ को उजागर करता है। स्रोत – https://arxiv.org/pdf/2512.16371

इन निष्कर्षों से पता चलता है कि वर्तमान मॉडल एक संरचनात्मक दोष के कारण दृश्य लेआउट और गति को एक साथ सीखने का प्रयास करते हैं, भले ही दोनों कार्यों को अलग-अलग प्रेरक पूर्वाग्रह की आवश्यकता होती है और उन्हें अलग से संभाला जाना चाहिए।

शायद सबसे दिलचस्प बात यह है कि यह ‘ट्रिक’ स्थानीय रूप से वैन 2.1 और 2.2 जैसे मॉडलों के संस्करणों पर लागू किया जा सकता है, और समान वीडियो डिफ्यूजन मॉडल जैसे हुन्युआन वीडियो। अनुभवजन्य रूप से, क्लिंग और रनवे जैसे व्यावसायिक जनरेटिव पोर्टलों की तुलना में शौकीन आउटपुट की गुणवत्ता में, अधिकांश प्रमुख एपीआई प्रदाता लोरा के साथ वैन जैसे ओपन सोर्स पेशकशों में सुधार कर रहे हैं, और – यह लगता है – इस तरह के तरकीबों के साथ। इसलिए, यह दृष्टिकोण एफओएसएस के लिए एक पकड़ का प्रतिनिधित्व कर सकता है।

इस विधि के लिए किए गए परीक्षणों से पता चलता है कि यह सरल और मॉड्यूलर दृष्टिकोण टी2वी-कॉम्पबेंच बेंचमार्क पर एक नया राज्य-ऑफ-द-आर्ट प्रदान करता है, जो सभी परीक्षण किए गए मॉडलों में काफी सुधार करता है। लेखक निष्कर्ष में उल्लेख करते हैं कि जबकि उनकी प्रणाली विश्वास्यता को काफी बढ़ाती है, यह पहचान ड्रिफ्ट को संबोधित नहीं करती है, जो वर्तमान में जनरेटिव एआई अनुसंधान का अभिशाप है।

नया पेपर स्विट्जरलैंड में इकोले पॉलिटेक्निक फेडेरल डी लॉज़ैन (ईपीएफएल) के चार शोधकर्ताओं से आता है।

विधि और डेटा

नई तकनीक का केंद्रीय प्रस्ताव यह है कि टेक्स्ट-टू-वीडियो (टी2वी) डिफ्यूजन मॉडल को वास्तव में फिट होने वाले प्रारंभिक फ्रेम से ‘एंकर’ किया जाना चाहिए।

मॉडल को प्रारंभिक फ्रेम का सम्मान करने के लिए, नई विधि मानक डिफ्यूजन प्रक्रिया को बाधित करती है एक साफ़ लेटेंट को एंकर छवि से टाइमस्टेप शून्य पर इंजेक्ट करके, जो आमतौर पर शोर वाले इनपुट में से एक को बदल देता है। यह अनजान इनपुट पहले मॉडल को भ्रमित करता है, लेकिन न्यूनतम लोरा फाइन-ट्यूनिंग के साथ, यह इंजेक्ट की गई फ्रेम को एक निश्चित दृश्य एंकर के रूप में मानने के लिए सीखता है, न कि शोर ट्रैजेक्टори का हिस्सा:

दृश्य एंकर के साथ टेक्स्ट-टू-वीडियो पीढ़ी के लिए दो-चरण की विधि: बाएं, मॉडल को हल्के लोरा का उपयोग करके एक इंजेक्ट किए गए साफ़ लेटेंट को एक निश्चित दृश्य प्रतिबंध के रूप में मानने के लिए फाइन-ट्यून किया जाता है। दाएं, प्रॉम्प्ट को पहले फ्रेम के कैप्शन में विभाजित किया जाता है, जिसका उपयोग एंकर छवि को उत्पन्न करने के लिए किया जाता है जो वीडियो का मार्गदर्शन करता है।

अनुमान में, विधि प्रॉम्प्ट को केवल पहले फ्रेम का वर्णन करने के लिए फिर से लिखती है, एक एलएलएम का उपयोग करके एक संभावित प्रारंभिक दृश्य राज्य को निकालने के लिए जो लेआउट और उपस्थिति पर केंद्रित है।

यह पुनः लिखित प्रॉम्प्ट एक छवि जनरेटर को एक उम्मीदवार एंकर फ्रेम (जिसे वैकल्पिक रूप से उपयोगकर्ता द्वारा परिष्कृत किया जा सकता है) का उत्पादन करने के लिए पारित किया जाता है। चयनित फ्रेम को एक लेटेंट में एन्कोड किया जाता है और डिफ्यूजन प्रक्रिया में पहले टाइमस्टेप को बदलकर इंजेक्ट किया जाता है, जिससे मॉडल को प्रारंभिक दृश्य से जुड़े हुए शेष वीडियो का उत्पादन करने की अनुमति मिलती है – एक प्रक्रिया जो मूल वास्तुकला में कोई बदलाव किए बिना काम करती है।

प्रक्रिया का परीक्षण वैन2.2-14बी, वैन2.1-1बी, और कॉगवीडियो1.5-5बी के लिए लोरा बनाकर किया गया था। लोरा प्रशिक्षण रैंक 256 पर, अल्ट्रावीडियो संग्रह से 5000 यादृच्छिक रूप से नमूनाकृत क्लिप पर किया गया था।

प्रशिक्षण 6000 कदम तक चला, और वैन-1बी और कॉगवीडियो-5बी के लिए 48 जीपीयू घंटे^† और वैन-14बी के लिए 96 जीपीयू घंटे की आवश्यकता थी। लेखकों का उल्लेख है कि वैन-5बी मूल रूप से टेक्स्ट-ओनली और टेक्स्ट-इमेज कंडीशनिंग (जो इस मामले में पुराने फ्रेमवर्क पर थोपी जा रही है) का समर्थन करता है, और इसलिए किसी भी फाइन-ट्यूनिंग की आवश्यकता नहीं थी।

परीक्षण

प्रक्रिया के लिए चलाए गए प्रयोगों में, प्रत्येक टेक्स्ट-प्रॉम्प्ट को पहले क्वेन2.5-7बी-इन्सट्रक्ट का उपयोग करके परिष्कृत किया गया था, जिसने परिणाम का उपयोग एक विस्तृत ‘बीज छवि’ कैप्शन तैयार करने के लिए किया था जिसमें पूरे दृश्य का वर्णन शामिल था। यह क्वेनइमेज को पारित किया गया था, जिसे ‘जादुई फ्रेम’ उत्पन्न करने के लिए कार्य दिया गया था जिसे डिफ्यूजन प्रक्रिया में डाला जाना था:

बेंचमार्क जिनका उपयोग प्रणाली का मूल्यांकन करने के लिए किया गया था, उनमें टी2वी-कॉम्पबेंच शामिल था, जो मॉडल द्वारा वस्तुओं, विशेषताओं और क्रियाओं को एक सुसंगत दृश्य में संरक्षित करने की क्षमता का परीक्षण करने के लिए स्कोर करता है; और वीबेंच 2.0, जो 18 मेट्रिक्स में व्यापक तर्क और संगति का मूल्यांकन करता है, जो रचनात्मकता, सामान्य ज्ञान तर्क, नियंत्रणीयता, मानव विश्वास्यता, और भौतिकी में समूहीकृत हैं:

टी2वी-कॉम्पबेंच के सभी सात मूल्यांकन श्रेणियों में, फैक्टराइज्ड टी2वी विधि ने मानक और अपसैंपल्ड टी2वी बेसलाइन दोनों के लिए प्रत्येक परीक्षण किए गए मॉडल को पार किया, जिसमें 53.25% तक की वृद्धि हुई। उच्चतम स्कोरिंग वेरिएंट अक्सर प्रोप्राइटरी पिक्सवर्स-वी3 बेंचमार्क को मिलान या पार करने में सफल रहे।

इस प्रारंभिक परीक्षण दौर के संबंध में, लेखकों का उल्लेख है*:

‘सभी मॉडलों में, एक एंकर छवि जोड़ने से लगातार रचनात्मक प्रदर्शन में सुधार होता है। सभी छोटे फैक्टराइज्ड मॉडल (कॉगवीडियो 5बी, वैन 5बी और वैन 1बी) बड़े वैन 14बी टी2वी मॉडल को पार करते हैं।

‘हमारा फैक्टराइज्ड वैन 5बी भी व्यावसायिक पिक्सवर्स-वी3 बेसलाइन को पार करता है, जो बेंचमार्क पर सबसे अच्छा बताया गया मॉडल है। यह दर्शाता है कि दृश्य आधार दृश्य और क्रिया समझ में काफी सुधार कर सकता है, यहां तक ​​कि छोटे क्षमता वाले मॉडलों में भी।

‘प्रत्येक मॉडल परिवार के भीतर, फैक्टराइज्ड संस्करण मूल मॉडल को पार करता है। उल्लेखनीय रूप से, हमारा हल्का एंकर-ग्राउंडेड लोरा वैन 14बी पर प्रीट्रेन्ड आई2वी 14बी वेरिएंट (0.661 बनाम 0.666) के समान प्रदर्शन तक पहुंच जाता है, बिना किसी पूर्ण पुनः प्रशिक्षण के।’

इसके बाद वीबेंच 2.0 दौर आया:

फैक्टराइज्ड टी2वी दृष्टिकोण ने वीबेंच 2.0 प्रदर्शन में लगातार सुधार किया, संरचना, सामान्य ज्ञान तर्क, नियंत्रणीयता, और भौतिकी में, कुछ लाभ 60% से अधिक – हालांकि मानव विश्वास्यता प्रोप्राइटरी वियो 3 बेसलाइन से नीचे रही।

सभी वास्तुकलाओं में, फैक्टराइज्ड दृष्टिकोण ने वीबेंच की प्रत्येक श्रेणी में स्कोर में वृद्धि की, मानव विश्वास्यता को छोड़कर, जो थोड़ी कम हो गई। वैन 5बी ने बड़े वैन 14बी को पार किया, जो पहले के टी2वी-कॉम्पबेंच परिणामों को पुष्ट करता है जो दृश्य आधार ने पैमाने से अधिक योगदान दिया।

वीबेंच पर लाभ निरंतर थे, लेकिन टी2वी-कॉम्पबेंच की तुलना में छोटे थे, और लेखकों ने इसका श्रेय वीबेंच के सख्त द्विआधारी स्कोरिंग शासन को दिया।

गुणात्मक परीक्षणों के लिए, पेपर स्थिर छवियों की आपूर्ति करता है, लेकिन हम पाठक को इस लेख में एम्बेडेड संयुक्त वीडियो के लिए संदर्भित करते हैं, एक स्पष्ट विचार के लिए, यह ध्यान देते हुए कि स्रोत वीडियो अधिक विविध और उच्च रिज़ॉल्यूशन वाले हैं। उन्हें यहां ढूंढें। गुणात्मक परिणामों के संबंध में, पेपर कहता है:

‘एंकर वीडियो में लगातार अधिक सटीक दृश्य संरचना, मजबूत वस्तु-विशेषता बंधन, और स्पष्ट कालानुक्रमिक प्रगति दिखाई देती है।’

फैक्टराइज्ड विधि 50 से 15 तक डिफ्यूजन चरणों की संख्या में कटौती के बावजूद स्थिर रही, टी2वी-कॉम्पबेंच पर लगभग कोई प्रदर्शन हानि नहीं दिखाई दी। इसके विपरीत, दोनों टेक्स्ट-ओनली और अपसैंपल्ड बेसलाइन ने समान स्थितियों में तेजी से गिरावट दिखाई।

हालांकि चरणों को कम करने से सैद्धांतिक रूप से गति को तीन गुना बढ़ाया जा सकता है, पूर्ण पीढ़ी पाइपलाइन केवल 2.1x तेजी से हो गई, एंकर-छवि पीढ़ी से निश्चित लागतों के कारण। फिर भी, परिणामों से पता चलता है कि एंकरिंग न केवल नमूना गुणवत्ता में सुधार करता है, बल्कि डिफ्यूजन प्रक्रिया को भी स्थिर करता है, जिससे तेजी से और अधिक कुशल पीढ़ी को सक्षम किया जा सकता है बिना सटीकता में कमी के।

परियोजना वेबसाइट अपसैंपल्ड और नए तरीके के जनरेशन के उदाहरण प्रदान करती है, जिनमें से हम यहां कुछ (कम रिज़ॉल्यूशन) संपादित उदाहरण प्रदान करते हैं:

प्ले करने के लिए क्लिक करें (कोई ऑडियो नहीं)। अपसैंपल्ड शुरुआती स्रोत बनाम लेखकों के फैक्टराइज्ड दृष्टिकोण。

लेखक निष्कर्ष निकालते हैं:

‘हमारे परिणाम सुझाव देते हैं कि सुधारित आधार, क्षमता में वृद्धि के अलावा, समान रूप से महत्वपूर्ण हो सकता है। टी2वी डिफ्यूजन में हाल की प्रगति मॉडल के आकार और प्रशिक्षण डेटा में वृद्धि पर बहुत अधिक निर्भर करती है, लेकिन यहां तक ​​कि बड़े मॉडल भी अक्सर एक सुसंगत प्रारंभिक दृश्य का अनुमान लगाने में संघर्ष करते हैं क्योंकि पाठ से अकेले।

‘यह वीडियो मॉडल के विपरीत है, जहां स्केलिंग अपेक्षाकृत सीधी है; वीडियो मॉडल में, प्रत्येक वास्तुकला सुधार को एक अतिरिक्त कालानुक्रमिक आयाम पर संचालित करने की आवश्यकता होती है, जिससे स्केलिंग काफी अधिक संसाधन गहन हो जाती है।

‘हमारे निष्कर्षों से पता चलता है कि सुधारित आधार एक अलग बोतलनेक को संबोधित कर सकता है: दृश्य की स्थापना जो गति संश्लेषण शुरू होने से पहले होती है।

‘वीडियो पीढ़ी को दृश्य निर्माण और समयिक मॉडलिंग में फैक्टराइज़ करके, हम कुछ सामान्य विफलता मोड को शांत करते हैं बिना कि हमें बहुत बड़े मॉडल की आवश्यकता हो। हम इसे एक पूरक डिज़ाइन सिद्धांत के रूप में देखते हैं जो भविष्य की वास्तुकला को अधिक विश्वसनीय और संरचित वीडियो संश्लेषण की ओर मार्गदर्शन कर सकता है।’

निष्कर्ष

हालांकि जुड़ाव की समस्याएं बहुत वास्तविक हैं, और उन्हें समर्पित समाधानों (जैसे प्रशिक्षण से पहले सुधार और वितरण मूल्यांकन) की आवश्यकता हो सकती है, यह देखना एक आंख खोलने वाला अनुभव रहा है कि फैक्टराइजेशन ने कुछ जिद्दी और ‘जammed’ अवधारणा प्रॉम्प्ट-ऑर्केस्ट्रेशन को अधिक सटीक प्रस्तुतियों में बदल दिया – केवल मध्यम लोरा कंडीशनिंग के साथ, और एक उल्लेखनीय रूप से सुधारित प्रारंभ/बीज छवि के हस्तक्षेप के साथ।

स्थानीय शौकीन अनुमान और व्यावसायिक समाधानों के बीच संसाधनों में अंतर उतना बड़ा नहीं हो सकता है, जितना कि माना जाता है, क्योंकि लगभग सभी प्रदाता अपने महत्वपूर्ण जीपीयू संसाधन निर्गम को उपभोक्ताओं के लिए तर्कसंगत बनाने की कोशिश कर रहे हैं।

अनुभवजन्य रूप से, वर्तमान फसल के अधिकांश जनरेटिव वीडियो प्रदाता व्यावसायिक रूप से ब्रांडेड और सामान्य रूप से ‘सुप्ड-अप’ संस्करणों का उपयोग करते हैं चीनी फॉस मॉडल। मध्यस्थ प्रणालियों का मुख्य ‘मोआत’ यह प्रतीत होता है कि उन्होंने लोरा को प्रशिक्षित करने का प्रयास किया है, या – अधिक खर्च और थोड़े अधिक पुरस्कार के साथ – वास्तव में मॉडल वजन को पूरी तरह से फाइन-ट्यून किया है।

इस तरह के अंतर्दृष्टि फॉस दृश्य में अंतर को और बंद करने में मदद कर सकते हैं, जहां चीनी निश्चित रूप से जेन एआई को लोकप्रिय बनाने के लिए निर्धारित हैं, जबकि पश्चिमी व्यावसायिक हित शायद पसंद करेंगे कि बढ़ते मॉडल आकार और नियमन अंततः अच्छे मॉडलों को एपीआई के पीछे और सामग्री फिल्टर की कई परतों के पीछे घेर लें।

* लेखकों का जोर, मेरा नहीं।

^† पेपर यह निर्दिष्ट नहीं करता है कि कौन सा जीपीयू चुना गया था, या कितने जीपीयू का उपयोग किया गया था।

^†† हालांकि लोरा मार्ग अधिक संभावना है, दोनों के लिए आर्थिक रूप से आसान उपयोग के लिए, और क्योंकि पूर्ण वजन, क्वांटाइज्ड वजन के बजाय, हमेशा उपलब्ध नहीं होते हैं।

पहली बार शुक्रवार, 19 दिसंबर, 2025 को प्रकाशित।