जनरेटिव वीडियो सिस्टम पूर्ण फिल्में क्यों नहीं बना सकते हैं?

जनरेटिव एआई वीडियो के आगमन और प्रगति ने कई आकस्मिक पर्यवेक्षकों को यह भविष्यवाणी करने के लिए प्रेरित किया है कि मशीन लर्निंग फिल्म उद्योग को उसके वर्तमान रूप में मार देगी – इसके बजाय, एकल निर्माता स्थानीय या क्लाउड-आधारित जीपीयू सिस्टम पर घर पर हॉलीवुड-शैली की फिल्में बना सकते हैं।

क्या यह संभव है? यदि यह संभव है, तो क्या यह आने वाला है, जैसा कि कई लोग मानते हैं?

व्यक्तियों द्वारा फिल्में बनाने की संभावना, जैसा कि हम उन्हें जानते हैं, निरंतर पात्रों, कथा निरंतरता और पूर्ण फोटोरियलिज्म के साथ, बहुत संभव है – और शायद यह अनिवार्य भी है।

हालांकि, जनरेटिव वीडियो सिस्टम के साथ कई मूलभूत कारण हैं जिनकी वजह से यह नहीं हो सकता है, खासकर लेटेंट डिफ्यूजन मॉडल पर आधारित सिस्टम के साथ।

यह तथ्य महत्वपूर्ण है क्योंकि वर्तमान में, यह श्रेणी में प्रत्येक लोकप्रिय टेक्स्ट-टू-वीडियो (टी2) और इमेज-टू-वीडियो (आई2वी) सिस्टम शामिल है, जिनमें मिनिमैक्स, क्लिंग, सोरा, इमेजन, लुमा, अमेज़न वीडियो जेनरेटर, रनवे एमएल, काइबर (और, जैसा कि हम बता सकते हैं, एडोब फायरफ्लाई की आगामी वीडियो कार्यक्षमता); कई अन्य लोगों के बीच।

यहां, हम व्यक्तिगत रूप से निर्मित पूर्ण-लंबाई वाली जेन-एआई फिल्मों की संभावना पर विचार कर रहे हैं, जिनमें निरंतर पात्र, सिनेमैटोग्राफी, और दृश्य प्रभाव शामिल हैं जो कम से कम हॉलीवुड की वर्तमान स्थिति के बराबर हैं।

आइए कुछ बड़े व्यावहारिक रोडब्लॉक्स पर एक नज़र डालें जो इन चुनौतियों से जुड़े हैं।

1: आप एक सटीक अनुवर्ती शॉट नहीं प्राप्त कर सकते

कथा असंगति इन रोडब्लॉक्स में सबसे बड़ी है। तथ्य यह है कि वर्तमान में उपलब्ध किसी भी वीडियो जेनरेशन सिस्टम में एक真正 सटीक ‘अनुवर्ती’ शॉट नहीं बनाया जा सकता है।

इसका कारण यह है कि डीनोइज़िंग डिफ्यूजन मॉडल इन सिस्टम के दिल में यादृच्छिक शोर पर निर्भर करता है, और यह मूल सिद्धांत दो बार एक ही सामग्री की व्याख्या करने के लिए उपयुक्त नहीं है (अर्थात, विभिन्न कोणों से या पिछले शॉट को विकसित करके एक अनुवर्ती शॉट बनाने के लिए जो पिछले शॉट के साथ संगतता बनाए रखता है)।

जब टेक्स्ट प्रॉम्प्ट का उपयोग किया जाता है, तो अकेले या अपलोड किए गए ‘सीड’ छवियों के साथ (मल्टीमोडल इनपुट), प्रॉम्प्ट से प्राप्त टोकन प्रशिक्षित लेटेंट स्पेस से सेमैंटिक रूप से उपयुक्त सामग्री को प्राप्त करेंगे।

हालांकि, ‘यादृच्छिक शोर’ कारक से और अधिक बाधित, यह कभी भी ऐसा नहीं करेगा.

इसका मतलब है कि वीडियो में लोगों की पहचान बदलने की प्रवृत्ति होगी, और वस्तुएं और पर्यावरण प्रारंभिक शॉट से मेल नहीं खाएंगे।

यही कारण है कि असाधारण दृश्यों और हॉलीवुड-स्तर के आउटपुट को दर्शाने वाले वायरल क्लिप अक्सर एकल शॉट होते हैं या सिस्टम की क्षमताओं का एक ‘शोकेस मॉन्टेज’ होता है, जहां प्रत्येक शॉट में अलग-अलग पात्र और पर्यावरण होते हैं।

मार्को वैन हिल्कामा व्लीग द्वारा जनरेटिव एआई मॉन्टेज के अंश – स्रोत: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

इन अधिक वीडियो जेनरेशन संग्रहों में यह अर्थ निहित है कि अंतर्निहित सिस्टम सक्षम है संगत और सुसंगत कथाएं बनाने के लिए।

यहां उपयोग की जाने वाली तुलना एक मूवी ट्रेलर है, जिसमें केवल एक या दो मिनट का फुटेज होता है, लेकिन दर्शकों को यह विश्वास दिलाने के लिए कि पूरी फिल्म मौजूद है।

वर्तमान में जो सिस्टम कथा संगतता प्रदान करते हैं वे वे हैं जो स्थिर छवियां उत्पन्न करते हैं। इनमें एनवीडिया का कॉन्सिस्टोरी शामिल है, और वैज्ञानिक साहित्य में विभिन्न परियोजनाएं, जैसे कि थिएटरजेन, ड्रीमस्टोरी, और स्टोरीडिफ्यूजन।

हाल के मॉडलों से ‘स्थिर’ कथा संगतता के दो उदाहरण: स्रोत: https://research.nvidia.com/labs/par/consistory/ और https://arxiv.org/pdf/2405.01434

सिद्धांत रूप में, आप एक बेहतर संस्करण का उपयोग कर सकते हैं लो रैंक एडैप्टेशन (LoRA) मॉडल, जो पात्रों, चीजों या पर्यावरण पर विशेष रूप से प्रशिक्षित होते हैं, ताकि शॉट्स में बेहतर संगतता बनाई जा सके।

हालांकि, यदि एक पात्र को एक नए पोशाक में दिखना है, तो आमतौर पर एक नए LoRA को प्रशिक्षित करने की आवश्यकता होगी जो उस पात्र को उस पोशाक में दर्शाता है (हालांकि उप-धारणाएं जैसे ‘लाल पोशाक’ को व्यक्तिगत LoRAs में प्रशिक्षित किया जा सकता है, साथ ही उपयुक्त छवियां, वे हमेशा काम करने में आसान नहीं होती हैं)।

यह एक खोलने के दृश्य में भी काफी जटिलता जोड़ता है, जहां एक व्यक्ति बिस्तर से बाहर निकलता है, एक ड्रेसिंग गाउन पहनता है, जोर से चीखता है, बेडरूम की खिड़की से बाहर देखता है, और अपने दांतों को ब्रश करने के लिए बाथरूम जाता है।

एक ऐसा दृश्य, जिसमें लगभग 4-8 शॉट होते हैं, को पारंपरिक फिल्म निर्माण प्रक्रियाओं द्वारा एक सुबह में फिल्माया जा सकता है; जनरेटिव एआई में, यह संभवतः कई सप्ताह का काम है, कई प्रशिक्षित LoRAs (या अन्य सहायक प्रणाली), और बहुत सारे पोस्ट-प्रोसेसिंग का काम है।

वैकल्पिक रूप से, वीडियो-से-वीडियो का उपयोग किया जा सकता है, जहां सामान्य या सीजीआई फुटेज को टेक्स्ट-प्रॉम्प्ट के माध्यम से वैकल्पिक व्याख्याओं में बदल दिया जाता है। रनवे ऐसी प्रणाली प्रदान करता है, उदाहरण के लिए।

ब्लेंडर से सीजीआई (बाएं) को मैथ्यू विसनजेवेक द्वारा रनवे वीडियो-से-वीडियो प्रयोग में टेक्स्ट-सहायता प्राप्त किया गया – स्रोत: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

यहां दो समस्याएं हैं: आप पहले से ही मूल फुटेज बना रहे हैं, इसलिए आप पहले से ही फिल्म दो बार बना रहे हैं, भले ही आप एक सिंथेटिक सिस्टम जैसे अनरील के मेटाह्यूमन का उपयोग कर रहे हों।

यदि आप सीजीआई मॉडल (जैसा कि ऊपर के क्लिप में) बनाते हैं और उन्हें वीडियो-से-इमेज ट्रांसफॉर्मेशन में उपयोग करते हैं, तो शॉट्स में उनकी संगतता पर भरोसा नहीं किया जा सकता है।

इसका कारण यह है कि वीडियो डिफ्यूजन मॉडल ‘बड़ी तस्वीर’ को नहीं देखते हैं – बल्कि, वे पिछले फ्रेम/फ्रेम्स के आधार पर एक नया फ्रेम बनाते हैं, और कुछ मामलों में, एक निकट भविष्य के फ्रेम पर विचार करते हैं; लेकिन, एक शतरंज के खेल की तुलना में, वे ‘दस कदम आगे’ नहीं सोच सकते हैं, और न ही वे ‘दस कदम पीछे’ याद रख सकते हैं।

दूसरा, एक डिफ्यूजन मॉडल अभी भी शॉट्स में संगत दिखने के लिए संघर्ष करेगा, भले ही आप पात्रों, पर्यावरण और प्रकाश शैली के लिए कई LoRAs शामिल करें, जैसा कि इस खंड की शुरुआत में उल्लेख किया गया है।

2: आप एक शॉट को आसानी से संपादित नहीं कर सकते

यदि आप पारंपरिक सीजीआई विधियों का उपयोग करके एक पात्र को सड़क पर चलते हुए दिखाते हैं, और आप शॉट के कुछ पहलू को बदलना चाहते हैं, तो आप मॉडल को समायोजित कर सकते हैं और इसे फिर से रेंडर कर सकते हैं।

यदि यह एक वास्तविक जीवन का शूट है, तो आप बस रीसेट करें और इसे फिर से शूट करें, साथ ही साथ उपयुक्त परिवर्तन करें।

हालांकि, यदि आप एक जेन-एआई वीडियो शॉट बनाते हैं जिसे आप पसंद करते हैं, लेकिन आप इसे एक पहलू बदलना चाहते हैं, तो आप केवल पिछले 30-40 वर्षों में विकसित की गई जटिल पोस्ट-प्रोडक्शन विधियों द्वारा ऐसा कर सकते हैं: सीजीआई, रोटोस्कोपिंग, मॉडलिंग और मैटिंग – सभी श्रमसाध्य और महंगे हैं।

जेन-एआई वीडियो में, सीजीआई, रोटोस्कोपिंग, मॉडलिंग और मैटिंग जैसी जटिल पोस्ट-प्रोडक्शन विधियों का उपयोग करके एक शॉट में एक पहलू को बदलना संभव है, लेकिन यह एक जटिल और समय लेने वाली प्रक्रिया है।

3: आप भौतिकी के नियमों पर भरोसा नहीं कर सकते

पारंपरिक सीजीआई विधियों में तरल गतिविधि, गैसीय गति, विपरीत ज्ञान, मानव गति का सटीक मॉडलिंग, कपड़े की गतिविधि, विस्फोट, और विभिन्न अन्य वास्तविक दुनिया की घटनाओं को अनुकरण करने के लिए कई अल्गोरिदमिक भौतिकी आधारित मॉडल होते हैं।

हालांकि, डिफ्यूजन-आधारित विधियों में, जैसा कि हमने देखा है, एक सीमित स्मृति और मोशन प्रायर (प्रशिक्षण डेटासेट में शामिल क्रियाओं के उदाहरण) होते हैं।

ओपनएआई के सोरा जेनरेटिव सिस्टम के लिए एक पूर्व संस्करण में, कंपनी ने स्वीकार किया कि सोरा में इस मामले में सीमाएं हैं (हालांकि यह पाठ अब हटा दिया गया है):

‘[सोरा] जटिल दृश्यों के भौतिकी को अनुकरण करने में संघर्ष कर सकता है, और विशिष्ट कारण और प्रभाव की घटनाओं (जैसे कि एक पात्र द्वारा काटे जाने के बाद एक कुकी पर एक निशान) को समझने में असमर्थ हो सकता है। ‘

‘मॉडल स्पेसियल विवरणों को भी भ्रमित कर सकता है जो प्रॉम्प्ट में शामिल हैं, जैसे कि बाएं और दाएं के बीच अंतर, या समय के साथ विकसित होने वाली घटनाओं के सटीक विवरणों के साथ संघर्ष कर सकता है, जैसे कि विशिष्ट कैमरा ट्रैजेक्टरी।’

विभिन्न एपीआई-आधारित जेनरेटिव वीडियो सिस्टम का व्यावहारिक उपयोग भी इसी तरह की सीमाओं को दर्शाता है। हालांकि, कुछ सामान्य भौतिक घटनाएं, जैसे कि विस्फोट, उनके प्रशिक्षण डेटासेट में बेहतर ढंग से प्रतिनिधित्व की जाती हैं।

पोस्ट में सुधार

जनरेटिव वीडियो के साथ एकल उपयोगकर्ता द्वारा उत्पन्न की जाने वाली अन्य कमियों में तेजी से गति को चित्रित करने में कठिनाई और आउटपुट वीडियो में समय संगतता प्राप्त करने की अधिक दबाव वाली समस्या शामिल है।

इसके अलावा, विशिष्ट चेहरे के प्रदर्शन को बनाना जनरेटिव वीडियो में लगभग भाग्य की बात है, जैसा कि संवाद के लिए होंठ सिंक्रोनाइजेशन है।

दोनों मामलों में, लाइवपोर्ट्रेट और एनिमेटेडिफ जैसी सहायक प्रणालियों का उपयोग वीएफएक्स समुदाय में बहुत लोकप्रिय हो रहा है, क्योंकि यह कम से कम व्यापक चेहरे के भाव और होंठ सिंक्रोनाइजेशन को मौजूदा उत्पन्न आउटपुट में स्थानांतरित करने की अनुमति देता है।

एक्सप्रेशन ट्रांसफर (निचले बाएं में ड्राइविंग वीडियो) को लाइवपोर्ट्रेट के साथ एक लक्ष्य वीडियो में लागू किया जा रहा है। वीडियो जेनरेटिव जेड ट्यूनीशिया जेनरेटिव से है। पूरी लंबाई वाला संस्करण बेहतर गुणवत्ता में https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/? पर देखें

इसके अलावा, स्टेबल डिफ्यूजन जीयूआई कॉम्फीयूआई और पेशेवर कम्पोजिटिंग और मैनिपुलेशन एप्लिकेशन न्यूक जैसे उपकरणों का उपयोग करके चेहरे के भाव और दिशा पर अधिक नियंत्रण प्राप्त करने के लिए जटिल समाधानों की एक श्रृंखला है।

हालांकि वह वर्णन करता है कि कॉम्फीयूआई में चेहरे की एनिमेशन प्रक्रिया ‘यातना’ है, वीएफएक्स पेशेवर फ्रांसिस्को कंट्रेरास ने एक ऐसी प्रक्रिया विकसित की है जो होंठ फोनीम्स और चेहरे/सिर के अन्य पहलुओं को लागू करने की अनुमति देती है।

स्टेबल डिफ्यूजन, न्यूक-पावर्ड कॉम्फीयूआई वर्कफ्लो की मदद से, वीएफएक्स प्रो फ्रांसिस्को कंट्रेरास को चेहरे के पहलुओं पर असामान्य नियंत्रण प्राप्त करने की अनुमति दी। पूरा वीडियो बेहतर रिज़ॉल्यूशन में https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/ पर जाएं

निष्कर्ष

इनमें से कोई भी जनरेटिव वीडियो सिस्टम के साथ एकल उपयोगकर्ता द्वारा सुसंगत और फोटोरियलिस्टिक ब्लॉकबस्टर-शैली की पूर्ण लंबाई वाली फिल्में बनाने की संभावना के लिए आशाजनक नहीं है।

इसके अलावा, यहां वर्णित बाधाएं, कम से कम डिफ्यूजन-आधारित जेनरेटिव वीडियो मॉडल के संबंध में, निश्चित रूप से हल करने योग्य नहीं हैं,尽管 फोरम टिप्पणियों और मीडिया ध्यान देते हैं जो इस मामले को बनाते हैं। ये प्रतिबंध संरचना के लिए प्रतीत होते हैं।

एआई सिंथेसिस अनुसंधान में, जैसा कि सभी वैज्ञानिक अनुसंधान में, उत्कृष्ट विचार समय-समय पर हमें उनकी संभावना से चकित करते हैं, केवल आगे के शोध के लिए उनकी मूलभूत सीमाओं को उजागर करने के लिए।

जनरेटिव/सिंथेसिस स्थान में, यह पहले से ही जेनरेटिव एडवर्सेरियल नेटवर्क (जीएएन) और न्यूरल रेडिएंस फील्ड (नेर्फ) के साथ हो चुका है, जो अंततः प्रदर्शन करने में बहुत मुश्किल साबित हुए व्यावसायिक प्रणाली में सामग्री,尽管 उन्हें उस लक्ष्य की ओर वर्षों के शोध के साथ विकसित किया गया था। ये प्रौद्योगिकियां अब वैकल्पिक संरचनाओं में सहायक घटक के रूप में सबसे अधिक दिखाई देती हैं।

जैसा कि फिल्म स्टूडियो उम्मीद कर सकते हैं कि लाइसेंस प्राप्त फिल्म कैटलॉग पर प्रशिक्षण एआई को वीएफएक्स कलाकारों और विशेष प्रभाव चालक दल को समाप्त कर सकता है, एआई वास्तव में वर्तमान में कार्यबल में भूमिकाएं जोड़ रहा है।

यह देखने के लिए कि क्या डिफ्यूजन-आधारित वीडियो सिस्टम वास्तव में कथा-संगत और फोटोरियलिस्टिक मूवी जेनरेटर में बदले जा सकते हैं, या यह सिर्फ एक और अल्केमिक पीछा है, अगले 12 महीनों में स्पष्ट होना चाहिए।

यह संभव है कि हमें एक पूरी तरह से नए दृष्टिकोण की आवश्यकता है; या यह हो सकता है कि गॉसियन स्प्लैटिंग (जीएसप्लैट), जिसे 1990 के दशक की शुरुआत में विकसित किया गया था और हाल ही में छाया में ले जाया गया है छवि संश्लेषण स्थान, एक संभावित विकल्प का प्रतिनिधित्व कर सकता है डिफ्यूजन-आधारित वीडियो जेनरेशन के लिए।

चूंकि जीएसप्लैट को आगे बढ़ने में 34 वर्ष लगे, इसलिए यह संभव है कि पुराने प्रतियोगी जैसे नेर्फ और जीएएन – और यहां तक कि लेटेंट डिफ्यूजन मॉडल भी – अपने दिन की प्रतीक्षा कर रहे हैं।

* हालांकि काइबर की एआई स्टोरीबोर्ड सुविधा इस प्रकार की कार्यक्षमता प्रदान करती है, मैंने जो परिणाम देखे हैं वे उत्पादन गुणवत्ता के नहीं हैं।

मार्टिन एंडरसन मेटाफिज़िक.एआई में वैज्ञानिक अनुसंधान सामग्री के पूर्व प्रमुख हैं।
सोमवार, 23 सितंबर, 2024 को पहली बार प्रकाशित