जनरेटिव एआई कुछ समय से अब तक एआई समुदाय में एक महत्वपूर्ण बल रहा है, और जनरेटिव इमेज मॉडलिंग के क्षेत्र में विशेष रूप से डिफ्यूजन मॉडल्स का उपयोग करके किए गए प्रगति ने न केवल शोध में बल्कि वास्तविक दुनिया के अनुप्रयोगों में भी जनरेटिव वीडियो मॉडल्स को महत्वपूर्ण रूप से आगे बढ़ाया है। परंपरागत रूप से, जनरेटिव वीडियो मॉडल्स या तो शुरू से प्रशिक्षित होते हैं, या वे आंशिक रूप से या पूरी तरह से प्री-प्रशिक्षित छवि मॉडल्स से फ़ाइन-ट्यून किए जाते हैं जिनमें अतिरिक्त समय संबंधी परतें होती हैं, छवि और वीडियो डेटासेट के मिश्रण पर।

जनरेटिव वीडियो मॉडल्स में प्रगति को आगे बढ़ाते हुए, इस लेख में, हम स्थिर वीडियो डिफ्यूजन मॉडल के बारे में बात करेंगे, जो एक लेटेंट वीडियो डिफ्यूजन मॉडल है जो उच्च-रिज़ॉल्यूशन, राज्य-ऑफ-द-आर्ट इमेज से वीडियो और टेक्स्ट से वीडियो सामग्री उत्पन्न करने में सक्षम है। हम यह चर्चा करेंगे कि कैसे 2D छवियों के संश्लेषण के लिए प्रशिक्षित लेटेंट डिफ्यूजन मॉडल्स ने जनरेटिव वीडियो मॉडल्स की क्षमताओं और दक्षता में सुधार किया है समय संबंधी परतें जोड़कर और छोटे डेटासेट पर मॉडल्स को फ़ाइन-ट्यून करके जो उच्च-गुणवत्ता वाले वीडियो से बने हैं। हम स्थिर वीडियो डिफ्यूजन मॉडल की वास्तुकला और कार्यों में गहराई से जाएंगे और विभिन्न मेट्रिक्स पर इसके प्रदर्शन का मूल्यांकन करेंगे और इसे वर्तमान राज्य-ऑफ-द-आर्ट वीडियो पीढ़ी के लिए फ्रेमवर्क के साथ तुलना करेंगे। तो आइए शुरू करें।

स्थिर वीडियो डिफ्यूजन मॉडल और जनरेटिव वीडियो मॉडल्स: एक परिचय

इसकी लगभग असीमित संभावना के कारण, जनरेटिव एआई अब तक एआई और एमएल प्रैक्टिशनर्स के लिए प्राथमिक विषय रहा है, और पिछले कुछ वर्षों में जनरेटिव इमेज मॉडल्स की दक्षता और प्रदर्शन में तेजी से प्रगति हुई है। जनरेटिव इमेज मॉडल्स से सीखने ने शोधकर्ताओं और विकासकर्ताओं को जनरेटिव वीडियो मॉडल्स पर प्रगति करने में मदद की है, जिससे व्यावहारिकता और वास्तविक दुनिया के अनुप्रयोगों में वृद्धि हुई है। हालांकि, अधिकांश शोध जो जनरेटिव वीडियो मॉडल्स की क्षमताओं में सुधार करने का प्रयास करते हैं, मुख्य रूप से समय संबंधी और स्थानिक परतों की सटीक व्यवस्था पर केंद्रित होते हैं, प्रशिक्षण मॉडल्स के परिणाम पर डेटा के चयन के प्रभाव की जांच करने के लिए कम ध्यान दिया जाता है।

जनरेटिव इमेज मॉडल्स की प्रगति के कारण, शोधकर्ताओं ने यह देखा है कि प्रशिक्षण डेटा वितरण का जनरेटिव मॉडल्स के प्रदर्शन पर प्रभाव वास्तव में महत्वपूर्ण और विवादित है। इसके अलावा, शोधकर्ताओं ने यह भी देखा है कि एक बड़े और विविध डेटासेट पर एक जनरेटिव इमेज मॉडल को प्री-प्रशिक्षित करना और फिर इसे एक छोटे डेटासेट पर फ़ाइन-ट्यून करना जो बेहतर गुणवत्ता वाला है, अक्सर प्रदर्शन में महत्वपूर्ण सुधार का परिणाम होता है। परंपरागत रूप से, जनरेटिव वीडियो मॉडल्स सफल जनरेटिव इमेज मॉडल्स से सीखने को लागू करते हैं, और शोधकर्ता अभी भी डेटा और प्रशिक्षण रणनीतियों के प्रभाव का अध्ययन करने के लिए हैं। स्थिर वीडियो डिफ्यूजन मॉडल जनरेटिव वीडियो मॉडल्स की क्षमताओं को बढ़ाने का एक प्रयास है जो पहले से अनुसंधानित क्षेत्रों में विशेष रूप से डेटा के चयन पर ध्यान केंद्रित करता है।

हाल के जनरेटिव वीडियो मॉडल्स डिफ्यूजन मॉडल्स और टेक्स्ट कंडीशनिंग या इमेज कंडीशनिंग दृष्टिकोण पर निर्भर करते हैं ताकि कई सुसंगत वीडियो या इमेज फ्रेम संश्लेषित किए जा सकें। डिफ्यूजन मॉडल्स अपनी क्षमता के लिए जाने जाते हैं कि वे एक नमूने को सामान्य वितरण से धीरे-धीरे शोर मुक्त करने के लिए एक पुनरावृत्ति सुधार प्रक्रिया को लागू करके कैसे सीखते हैं, और उन्होंने उच्च-रिज़ॉल्यूशन वीडियो और टेक्स्ट से इमेज संश्लेषण पर वांछनीय परिणाम दिए हैं। उसी सिद्धांत का उपयोग करते हुए, स्थिर वीडियो डिफ्यूजन मॉडल अपने वीडियो डेटासेट पर एक लेटेंट वीडियो डिफ्यूजन मॉडल को प्रशिक्षित करता है, साथ ही जेनरेटिव एडवर्सेरियल नेटवर्क्स या जीएनएस और स्व-सरंक्षक मॉडल्स का भी उपयोग करता है।

स्थिर वीडियो डिफ्यूजन मॉडल एक अनोखी रणनीति का पालन करता है जो किसी भी जनरेटिव वीडियो मॉडल द्वारा पहले लागू नहीं की गई है, क्योंकि यह एक निश्चित वास्तुकला और एक निश्चित प्रशिक्षण रणनीति के साथ लेटेंट वीडियो डिफ्यूजन बेसलाइन्स पर निर्भर करता है, और फिर डेटा के क्यूरेशन के प्रभाव का मूल्यांकन करता है। स्थिर वीडियो डिफ्यूजन मॉडल जनरेटिव वीडियो मॉडलिंग के क्षेत्र में निम्नलिखित योगदान करने का प्रयास करता है:

1. एक व्यवस्थित और प्रभावी डेटा क्यूरेशन वर्कफ्लो प्रस्तुत करने का प्रयास करना ताकि एक बड़े अनक्यूरेटेड वीडियो नमूनों के संग्रह को एक उच्च-गुणवत्ता वाले डेटासेट में बदला जा सके जो तब जनरेटिव वीडियो मॉडल्स द्वारा उपयोग किया जाता है।
2. इमेज से वीडियो और टेक्स्ट से वीडियो मॉडल्स को प्रशिक्षित करने का प्रयास करना जो मौजूदा फ्रेमवर्क की तुलना में बेहतर प्रदर्शन करते हैं।
3. डोमेन-विशिष्ट प्रयोग करने का प्रयास करना ताकि मॉडल की 3D समझ और गति के मजबूत पूर्वज्ञान का परीक्षण किया जा सके।

अब, स्थिर वीडियो डिफ्यूजन मॉडल लेटेंट वीडियो डिफ्यूजन मॉडल्स और डेटा क्यूरेशन तकनीकों को अपने मूल के核心 में लागू करता है।

लेटेंट वीडियो डिफ्यूजन मॉडल्स

लेटेंट वीडियो डिफ्यूजन मॉडल्स या वीडियो-एलडीएमएस एक प्राथमिक जनरेटिव मॉडल को एक लेटेंट स्पेस में कम गणनात्मक जटिलता के साथ प्रशिक्षित करने की दृष्टिकोण का पालन करते हैं, और अधिकांश वीडियो-एलडीएमएस एक प्री-प्रशिक्षित टेक्स्ट से इमेज मॉडल को लागू करते हैं जिसमें प्री-प्रशिक्षण वास्तुकला में समय संबंधी मिश्रण परतें जोड़ी जाती हैं। इसके परिणामस्वरूप, अधिकांश वीडियो लेटेंट डिफ्यूजन मॉडल्स या तो केवल समय संबंधी परतों को प्रशिक्षित करते हैं या प्रशिक्षण प्रक्रिया को पूरी तरह से छोड़ देते हैं, जबकि स्थिर वीडियो डिफ्यूजन मॉडल पूरे फ्रेमवर्क को फ़ाइन-ट्यून करता है। इसके अलावा, टेक्स्ट से वीडियो डेटा के संश्लेषण के लिए, स्थिर वीडियो डिफ्यूजन मॉडल सीधे एक टेक्स्ट प्रोम्प्ट पर स्वयं को स्थिति देता है, और परिणाम यह दर्शाते हैं कि परिणामी फ्रेमवर्क को आसानी से एक मल्टी-व्यू सिंथेसिस या एक इमेज से वीडियो मॉडल में फ़ाइन-ट्यून किया जा सकता है।

डेटा क्यूरेशन

डेटा क्यूरेशन स्थिर वीडियो डिफ्यूजन मॉडल के लिए एक आवश्यक घटक है, और सामान्य तौर पर जनरेटिव मॉडल्स के लिए भी, क्योंकि यह बड़े मॉडल्स को बड़े पैमाने पर डेटासेट पर प्रशिक्षित करने के लिए आवश्यक है ताकि विभिन्न कार्यों में प्रदर्शन में सुधार हो सके, जैसे कि भाषा मॉडलिंग, या विवेचक टेक्स्ट से इमेज जनरेशन, और बहुत कुछ। डेटा क्यूरेशन को जनरेटिव इमेज मॉडल्स पर सफलतापूर्वक लागू किया गया है कुशल भाषा-इमेज प्रतिनिधित्व की क्षमताओं का लाभ उठाकर, हालांकि ऐसी चर्चाएं जनरेटिव वीडियो मॉडल्स के विकास पर ध्यान केंद्रित नहीं की गई हैं। जनरेटिव वीडियो मॉडल्स के लिए डेटा क्यूरेट करने में कई बाधाएं हैं जिनका सामना डेवलपर्स करते हैं, और इन चुनौतियों का सामना करने के लिए, स्थिर वीडियो डिफ्यूजन मॉडल एक तीन-चरण प्रशिक्षण रणनीति लागू करता है, जिसके परिणामस्वरूप बेहतर परिणाम और प्रदर्शन में महत्वपूर्ण सुधार होता है।

उच्च-गुणवत्ता वाले वीडियो संश्लेषण के लिए डेटा क्यूरेशन

जैसा कि पिछले खंड में चर्चा की गई है, स्थिर वीडियो डिफ्यूजन मॉडल एक तीन-चरण प्रशिक्षण रणनीति लागू करता है, जिसके परिणामस्वरूप बेहतर परिणाम और प्रदर्शन में महत्वपूर्ण सुधार होता है। चरण I एक इमेज प्री-प्रशिक्षण चरण है जो एक 2D टेक्स्ट से इमेज डिफ्यूजन मॉडल का उपयोग करता है। चरण II वीडियो प्री-प्रशिक्षण के लिए है, जिसमें फ्रेमवर्क एक बड़ी मात्रा में वीडियो डेटा पर प्रशिक्षित होता है। अंत में, हमारे पास चरण III है वीडियो फ़ाइन-ट्यूनिंग के लिए, जिसमें मॉडल को एक छोटे सबसेट पर परिष्कृत किया जाता है जो उच्च-गुणवत्ता और उच्च-रिज़ॉल्यूशन वाले वीडियो से बना होता है।

हालांकि, स्थिर वीडियो डिफ्यूजन मॉडल इन तीन चरणों को लागू करने से पहले, यह महत्वपूर्ण है कि डेटा को संसाधित और अन्नोट किया जाए, क्योंकि यह चरण II या वीडियो प्री-प्रशिक्षण चरण के लिए आधार के रूप में कार्य करता है और फ्रेमवर्क के प्रदर्शन को अनुकूलित करने में एक महत्वपूर्ण भूमिका निभाता है। प्रदर्शन को अधिकतम करने के लिए, फ्रेमवर्क पहले 3 अलग-अलग फ्रेम प्रति सेकंड (एफपीएस) स्तरों पर एक कैस्केडेड कट डिटेक्शन पाइपलाइन लागू करता है, और इस पाइपलाइन की आवश्यकता निम्नलिखित छवि में प्रदर्शित की गई है।

इसके बाद, स्थिर वीडियो डिफ्यूजन मॉडल तीन अलग-अलग सिंथेटिक कैप्शनिंग विधियों का उपयोग करके प्रत्येक वीडियो क्लिप को अन्नोट करता है। निम्नलिखित तालिका स्थिर डिफ्यूजन फ्रेमवर्क में उपयोग किए जाने वाले डेटासेट की तुलना करती है फिल्टरेशन प्रक्रिया से पहले और बाद में।

चरण I: इमेज प्री-प्रशिक्षण

स्थिर वीडियो डिफ्यूजन मॉडल में लागू की गई तीन-चरण पाइपलाइन का पहला चरण इमेज प्री-प्रशिक्षण है, और इसे प्राप्त करने के लिए, प्रारंभिक स्थिर वीडियो डिफ्यूजन मॉडल फ्रेमवर्क को एक प्री-प्रशिक्षित इमेज डिफ्यूजन मॉडल के खिलाफ मापा जाता है, विशेष रूप से स्थिर डिफ्यूजन 2.1 मॉडल, जो इसे मजबूत दृश्य प्रतिनिधित्व प्रदान करता है।

चरण II: वीडियो प्री-प्रशिक्षण

दूसरा चरण वीडियो प्री-प्रशिक्षण चरण है, और यह उन निष्कर्षों पर आधारित है कि बहुमोडल जनरेटिव इमेज मॉडल्स में डेटा क्यूरेशन का उपयोग अक्सर बेहतर परिणामों और दक्षता में सुधार के साथ-साथ शक्तिशाली विवेचक इमेज जनरेशन का परिणाम होता है। हालांकि, जनरेटिव वीडियो मॉडल्स के लिए ऑफ-द-शेल्फ प्रतिनिधित्व की कमी के कारण, जो अवांछित नमूनों को फिल्टर आउट करने के लिए उपयोग किया जा सकता है, स्थिर वीडियो डिफ्यूजन मॉडल मानव प्राथमिकताओं को इनपुट सिग्नल के रूप में उपयोग करता है ताकि एक उपयुक्त डेटासेट बनाया जा सके जो फ्रेमवर्क को प्री-प्रशिक्षित करने के लिए उपयोग किया जाता है। निम्नलिखित आंकड़ा दर्शाता है कि फ्रेमवर्क को एक क्यूरेटेड डेटासेट पर प्री-प्रशिक्षित करने का सकारात्मक प्रभाव जो छोटे डेटासेट पर वीडियो प्री-प्रशिक्षण के लिए समग्र प्रदर्शन को बढ़ाने में मदद करता है।

विशेष रूप से, फ्रेमवर्क विभिन्न तरीकों से लेटेंट वीडियो डिफ्यूजन के सबसेट को क्यूरेट करता है और एलवीडी मॉडल्स को इन डेटासेट पर प्रशिक्षित करने की रैंकिंग पर विचार करता है। इसके अलावा, स्थिर वीडियो डिफ्यूजन फ्रेमवर्क यह भी पाता है कि फ्रेमवर्क को प्रशिक्षित करने के लिए क्यूरेटेड डेटासेट का उपयोग करने से फ्रेमवर्क के प्रदर्शन में सुधार होता है, और डिफ्यूजन मॉडल्स में सामान्य रूप से। इसके अलावा, डेटा क्यूरेशन रणनीति बड़े, अधिक प्रासंगिक और अत्यधिक व्यावहारिक डेटासेट पर भी काम करती है। निम्नलिखित आंकड़ा दर्शाता है कि फ्रेमवर्क को एक क्यूरेटेड डेटासेट पर प्री-प्रशिक्षित करने का सकारात्मक प्रभाव जो छोटे डेटासेट पर वीडियो प्री-प्रशिक्षण के लिए समग्र प्रदर्शन को बढ़ाने में मदद करता है।

चरण III: उच्च-गुणवत्ता वाली फ़ाइन-ट्यूनिंग

चरण II तक, स्थिर वीडियो डिफ्यूजन फ्रेमवर्क वीडियो प्री-प्रशिक्षण से पहले प्रदर्शन में सुधार पर केंद्रित होता है, और तीसरे चरण में, फ्रेमवर्क उच्च-गुणवत्ता वाली वीडियो फ़ाइन-ट्यूनिंग के बाद फ्रेमवर्क के प्रदर्शन को अनुकूलित करने पर जोर देता है, और फ्रेमवर्क में चरण II से चरण III तक कैसे संक्रमण होता है। चरण III में, फ्रेमवर्क लेटेंट इमेज डिफ्यूजन मॉडल्स से उधार ली गई प्रशिक्षण तकनीकों पर निर्भर करता है, और प्रशिक्षण उदाहरणों के रिज़ॉल्यूशन को बढ़ाता है। इस दृष्टिकोण की प्रभावशीलता का विश्लेषण करने के लिए, फ्रेमवर्क इसे तीन समान मॉडल्स के साथ तुलना करता है जो केवल अपने प्रारंभिककरण में भिन्न होते हैं। पहला समान मॉडल अपने वजनों को प्रारंभिक करता है, और वीडियो प्रशिक्षण प्रक्रिया को छोड़ देता है, जबकि शेष दो समान मॉडल्स को अन्य लेटेंट वीडियो मॉडल्स से उधार लिए गए वजनों के साथ प्रारंभिक किया जाता है।

परिणाम और निष्कर्ष

अब समय आ गया है कि हम देखें कि स्थिर वीडियो डिफ्यूजन फ्रेमवर्क वास्तविक दुनिया के कार्यों पर कैसा प्रदर्शन करता है, और यह वर्तमान राज्य-ऑफ-द-आर्ट फ्रेमवर्क की तुलना में कैसा है। स्थिर वीडियो डिफ्यूजन फ्रेमवर्क पहले एक आधार मॉडल को प्रशिक्षित करने के लिए ऑप्टिमल डेटा दृष्टिकोण का उपयोग करता है, और फिर फ़ाइन-ट्यूनिंग करता है ताकि कई राज्य-ऑफ-द-आर्ट मॉडल्स उत्पन्न किए जा सकें, जिनमें से प्रत्येक एक विशिष्ट कार्य करता है।

उपरोक्त छवि फ्रेमवर्क द्वारा उत्पन्न उच्च-रिज़ॉल्यूशन इमेज से वीडियो नमूनों का प्रतिनिधित्व करती है, जबकि निम्नलिखित आंकड़ा फ्रेमवर्क की क्षमता को दर्शाता है उच्च-गुणवत्ता वाले टेक्स्ट से वीडियो नमूनों का उत्पादन करने के लिए।

प्री-प्रशिक्षित आधार मॉडल

जैसा कि पहले चर्चा की गई है, स्थिर वीडियो डिफ्यूजन मॉडल स्थिर डिफ्यूजन 2.1 फ्रेमवर्क पर आधारित है, और हाल के निष्कर्षों के आधार पर, यह विकासकर्ताओं के लिए महत्वपूर्ण था कि वे शोर अनुसूची को अपनाएं और इमेज डिफ्यूजन मॉडल्स को प्रशिक्षित करने के लिए शोर को बढ़ाएं ताकि बेहतर रिज़ॉल्यूशन वाली छवियों को प्राप्त किया जा सके। इस दृष्टिकोण के कारण, स्थिर वीडियो डिफ्यूजन आधार मॉडल शक्तिशाली गति प्रतिनिधित्व सीखता है, और प्रक्रिया में, शून्य-शॉट सेटिंग में टेक्स्ट से वीडियो पीढ़ी के लिए बेसलाइन मॉडल्स को पार करता है, और परिणाम निम्नलिखित तालिका में प्रदर्शित किए गए हैं।

फ्रेम इंटरपोलेशन और मल्टी-व्यू पीढ़ी

स्थिर वीडियो डिफ्यूजन फ्रेमवर्क मल्टी-व्यू डेटासेट पर इमेज से वीडियो मॉडल को फ़ाइन-ट्यून करता है ताकि एक वस्तु के कई नए दृश्य प्राप्त किए जा सकें, और इस मॉडल को एसवीडी-एमवी या स्थिर वीडियो डिफ्यूजन-मल्टी-व्यू मॉडल के रूप में जाना जाता है। मूल एसवीडी मॉडल को दो डेटासेट का उपयोग करके फ़ाइन-ट्यून किया जाता है ताकि फ्रेमवर्क एकल छवि को इनपुट के रूप में ले और एक मल्टी-व्यू छवि अनुक्रम को आउटपुट के रूप में दे।

जैसा कि निम्नलिखित छवियों में देखा जा सकता है, स्थिर वीडियो डिफ्यूजन मल्टी-व्यू फ्रेमवर्क स्क्रैच मल्टी-व्यू फ्रेमवर्क के समान उच्च प्रदर्शन प्रदान करता है, और परिणाम स्पष्ट रूप से एसवीडी-एमवी की क्षमता को प्रदर्शित करते हैं मूल एसवीडी फ्रेमवर्क से सीखे गए ज्ञान का लाभ उठाने के लिए मल्टी-व्यू छवि पीढ़ी के लिए। इसके अलावा, परिणाम यह भी दर्शाते हैं कि मॉडल को एक अपेक्षाकृत छोटी संख्या में पुनरावृत्तियों के लिए चलाने से अक्सर इष्टतम परिणाम प्राप्त होते हैं, जैसा कि एसवीडी फ्रेमवर्क से फ़ाइन-ट्यून किए गए अधिकांश मॉडल्स के साथ होता है।

उपरोक्त आंकड़े में, मेट्रिक्स बाएं हाथ की ओर संकेत किए गए हैं और जैसा कि देखा जा सकता है, स्थिर वीडियो डिफ्यूजन मल्टी-व्यू फ्रेमवर्क स्क्रैच-एमवी और एसडी2.1 मल्टी-व्यू फ्रेमवर्क को एक सभ्य मार्जिन से पार करता है। दूसरी छवि फ्रेमवर्क के प्रदर्शन पर प्रशिक्षण पुनरावृत्तियों की संख्या के प्रभाव को दर्शाती है क्लिप स्कोर के संदर्भ में, और एसवीडी-एमवी फ्रेमवर्क टिकाऊ परिणाम प्रदान करता है।

अंतिम विचार

इस लेख में, हमने स्थिर वीडियो डिफ्यूजन के बारे में बात की है, जो एक लेटेंट वीडियो डिफ्यूजन मॉडल है जो उच्च-रिज़ォल्यूशन, राज्य-ऑफ-द-आर्ट इमेज से वीडियो और टेक्स्ट से वीडियो सामग्री उत्पन्न करने में सक्षम है। स्थिर वीडियो डिफ्यूजन मॉडल एक अनोखी रणनीति का पालन करता है जो किसी भी जनरेटिव वीडियो मॉडल द्वारा पहले लागू नहीं की गई है, क्योंकि यह एक निश्चित वास्तुकला और एक निश्चित प्रशिक्षण रणनीति के साथ लेटेंट वीडियो डिफ्यूजन बेसलाइन्स पर निर्भर करता है, और फिर डेटा के क्यूरेशन के प्रभाव का मूल्यांकन करता है।

हमने यह भी चर्चा की है कि कैसे 2D छवियों के संश्लेषण के लिए प्रशिक्षित लेटेंट डिफ्यूजन मॉडल्स ने जनरेटिव वीडियो मॉडल्स की क्षमताओं और दक्षता में सुधार किया है समय संबंधी परतें जोड़कर और छोटे डेटासेट पर मॉडल्स को फ़ाइन-ट्यून करके जो उच्च-गुणवत्ता वाले वीडियो से बने हैं। हमने स्थिर वीडियो डिफ्यूजन मॉडल की वास्तुकला और कार्यों में गहराई से जाने का प्रयास किया है और विभिन्न मेट्रिक्स पर इसके प्रदर्शन का मूल्यांकन किया है और इसे वर्तमान राज्य-ऑफ-द-आर्ट वीडियो पीढ़ी के लिए फ्रेमवर्क के साथ तुलना की है।

इसके अलावा, स्थिर वीडियो डिफ्यूजन फ्रेमवर्क तीन विशिष्ट वीडियो मॉडल प्रशिक्षण चरणों को लागू करता है जिन्हें स्वतंत्र रूप से उनके प्रभाव का मूल्यांकन करने के लिए विश्लेषित किया जाता है फ्रेमवर्क के प्रदर्शन पर। फ्रेमवर्क अंततः एक वीडियो प्रतिनिधित्व का उत्पादन करता है जो वीडियो संश्लेषण के लिए मॉडल्स को फ़ाइन-ट्यून करने के लिए पर्याप्त शक्तिशाली है, और परिणाम वर्तमान में उपयोग में आने वाले राज्य-ऑफ-द-आर्ट वीडियो पीढ़ी मॉडल्स के समान हैं।