एआई वीडियो को अतीत की कुछ यादें देना

मार्च में हमने देखा कि जनरेटिव एआई वीडियो के लिए देखी हुई चीज़ों और जगहों को याद रखना कितना मुश्किल है, ताकि वह उन्हें दोबारा दिखा सके और दृश्य निरंतरता बनाए रखे।

इस समस्या का नतीजा यह हो सकता है कि आप एआई के विश्व-मॉडल में किसी दरवाज़े से गुज़रें, दस सेकंड बाद मुड़कर देखें और पाएँ कि जिस दरवाज़े से आप आए थे, वह अब वहाँ है ही नहीं।

इस गड़बड़ी को ठीक करना कोई मामूली बात नहीं है: जनरेटिव एआई वीडियो को लगातार उस ‘अगली चीज़’ की कल्पना करनी पड़ती है जिसका उसे सामना करना है, इसलिए वह बहुत पीछे की कोई बात या अपनी सीमित संदर्भ विंडो से बाहर हो चुकी कोई चीज़ सचमुच याद नहीं रख सकता।

इसका मतलब है कि किसी प्रशिक्षित एआई विश्व-मॉडल को खंगालना मॉडल किए गए सीजीआई परिवेश में घूमने जैसा नहीं है, जहाँ बनावट और ज्यामिति तय होती हैं और वेक्टर तथा बिटमैप डेटा के रूप में सहेजी जाती हैं; बल्कि यह अनुमानित संभावनाओं के सपने में चलने जैसा है—हो सकता है कि आपको ठीक वही चीज़ दो बार दिख जाए, लेकिन ऐसा केवल इसलिए होगा कि संदर्भ के ज़रिए उसे लेटेंट स्पेस से दूसरी बार सामने लाया गया; इसलिए नहीं कि मॉडल को उसे बनाने या देखने की सचमुच याद है।

इस तरह, औसत जनरेटिव एआई वीडियो विश्व-मॉडल ऐसे व्यक्ति जैसा है जिसे अग्रगामी स्मृतिलोप हो: उसे मस्तिष्क की किसी घटना—जैसे स्ट्रोक या चोट—से पहले की हर बात पूरी तरह याद रहती है, लेकिन वह उस घटना के बाद नई यादें नहीं बना पाता (इस स्थिति को क्रिस्टोफर नोलन की फ़िल्म Memento में गाइ पियर्स के किरदार के इससे पीड़ित होने के कारण प्रसिद्धि मिली [2000], जिसे इस लेख की मुख्य छवि में दिखाया गया है)।

इस तरह, वीडियो मॉडल कई क्षेत्रों की गहरी और बुनियादी समझ बनाए रखते हैं, लेकिन उनमें कोई नई बात याद रखने की क्षमता नहीं होती।

सुरागों की लड़ी

मार्च में जिस HyDRA समाधान पर हमने चर्चा की थी, वह संपीड़ित दृश्य टोकन के ‘मेमोरी बैंक’ पर आधारित था। इससे एआई-जनित किरदार पर्दे से बाहर जा सकते थे और उसी रूप में लौट सकते थे, जिसमें वे पहली बार दिखाई दिए थे।

‘सुराग’ पर आधारित ऐसे कई अन्य तरीके भी हैं; लेकिन जटिल 3डी ज्यामिति बनाकर पीछे छोड़ने से समस्या तो हल होती है, पर इसके लिए अधिक फ़ाइल आकार की कीमत चुकानी पड़ती है, साथ ही प्रतिक्रिया, विलंबता और अन्य संभावित बाधाएँ भी बढ़ती हैं।

इन ‘3डी-आधारित विश्व-मॉडल’ में NVIDIA के नेतृत्व वाला Gen3C भी शामिल है। इसकी HyDRA पद्धति इस खास समस्या को हल करने का सबसे आम तरीका अपनाती है—जो कुछ वह ‘देखती’ है, उसे बिंदु-समूहों में बदलना, जो मूलतः 3डी ज्यामिति के सरलीकृत रूप होते हैं:

चलाने के लिए क्लिक करें। HyDRA पद्धति वीडियो निर्माण का मार्गदर्शन करने के लिए एक स्थायी 3डी बिंदु-समूह कैश का उपयोग करती है। इससे कैमरे के हिलने और पहले देखे गए क्षेत्रों के फिर सामने आने पर दृश्य की निरंतरता बनी रहती है। स्रोत

इसी तरह की अन्य पद्धतियों में ऑक्सफ़र्ड विश्वविद्यालय का 2025 का VMEM और उसी अवधि का स्टैनफ़र्ड के नेतृत्व वाला सहयोग SPMem शामिल हैं:

चलाने के लिए क्लिक करें। स्टैनफ़र्ड के नेतृत्व वाले सहयोग SPMem से। यह स्थिर दृश्यों का एक स्थायी 3डी नक्शा, गति दिखाने के लिए हाल के वीडियो फ़्रेम और दृश्य विवरण के लिए चुने हुए पुराने फ़्रेम जोड़ता है। इससे मॉडल को जगहों पर दोबारा जाने पर उन्हें याद रखने में मदद मिलती है। स्रोत 

लेकिन 3डी ज्यामिति तैयार करने में बहुत मेहनत लगती है और इससे अनुमान लगाने की गणनागत ज़रूरतें भी बढ़ जाती हैं। किसी परिवेश में घूमते हुए उसे लगातार ‘बनाते’ जाना आसान नहीं है, जैसा कोई सीजी कलाकार कर सकता है। इसके अलावा, बाद में किसी भी अन्य क्लिप, दृष्टिकोण या टेक को बनाई गई ज्यामिति का संदर्भ लेने में सक्षम होना होगा—और यह एक बड़ी चुनौती है।

कम जगह घेरने वाली स्मृतियाँ

‘एआई वीडियो मेमोरी’ के क्षेत्र में नवीनतम पहल एक नया सहयोग है, जिसका नेतृत्व Tsinghua University कर रही है। इसका शीर्षक है वीडियो विश्व-मॉडलों के लिए स्थायी समतलीय स्मृति:

चलाने के लिए क्लिक करें। Tsinghua के नेतृत्व वाली PPMem पहल की परियोजना वेबसाइट से, यह सिस्टम के काम करने का एक उदाहरण है। PPMem, पिछली परियोजना SPMem में इस्तेमाल की गई आयतनिक 3डी मेमोरी की जगह सपाट सतहों का अधिक संक्षिप्त संग्रह रखता है। कैमरे के हिलने पर यह इन सतहों को अपडेट और दोबारा इस्तेमाल करता है, ताकि पहले देखे गए परिवेश में निरंतरता बनी रहे। स्रोत 

ऊपर दिए गए वीडियो अंश* में दिखाए अनुसार, PPMem 3डी परिवेश के अधिक संक्षिप्त निरूपण का इस्तेमाल करके पिछली पद्धतियों में सुधार करता है। पहले देखे गए परिवेशों को फिर से बनाने के लिए लाखों अलग-अलग बिंदु सहेजने के बजाय, यह सिस्टम दीवारों, फ़र्श और फ़र्नीचर जैसी सपाट सतहों की पहचान करता है और उन्हें दोबारा इस्तेमाल किए जा सकने वाले ज्यामितीय समतलों के रूप में सहेजता है, जिन्हें समतल मूल इकाइयाँ कहा जाता है; परिवेश के नए हिस्से बनते जाने के साथ इन्हें लगातार स्थायी स्थानीय मेमोरी में जोड़ा जाता है:

PPMem द्वारा स्थायी 3D मेमोरी बनाते हुए वीडियो तैयार करने के दो उदाहरण। हर उदाहरण की शुरुआत बाईं ओर एक इनपुट छवि से होती है, जिसके नीचे कैमरे का नियोजित मार्ग दिखाया गया है। पहली पंक्ति में बाएँ से दाएँ और फिर दूसरी पंक्ति में क्रमांकित फ़्रेम देखने पर कैमरा किसी दुकान या बगीचे की खोज करता दिखाई देता है। छोटे रंगीन इनसेट दिखाते हैं कि यात्रा आगे बढ़ने के साथ संग्रहित 3D सतहें कैसे जुड़ती जाती हैं और पहले देखे जा चुके दृश्य कैसे सुरक्षित रहते हैं। स्रोत

जब कैमरा पहले देखी गई किसी जगह पर लौटता है, तो संग्रहित समतलों को उसके दृश्य-क्षेत्र में फिर से प्रक्षेपित किया जाता है। इससे नए फ़्रेम तैयार करने में मदद मिलती है और स्थानिक जानकारी को सहेजने तथा संसाधित करने की आवश्यकता घटती है। इससे परिचित वस्तुओं और परिवेश के दोबारा आने पर बदल जाने या गायब हो जाने से रोकने में भी मदद मिलती है।

समतल आदिमों—गणितीय सदिशों से परिभाषित प्राचलीय वस्तुओं—का उपयोग ‘ब्रेडक्रंब दृष्टिकोण’ का अधिक लचीला और कुशल समाधान देता है, लेखकों का कहना है:

‘ऐसा मॉडल, जो केवल छोटे क्लिप नहीं बल्कि पूरी दुनिया तैयार करता है, उसे अपनी बनाई हुई चीज़ों की एक समान रूप से संक्षिप्त और सुव्यवस्थित स्मृति चाहिए। समतल आदिम इस भूमिका के लिए स्वाभाविक विकल्प हैं।

‘हर आदिम को केवल 7 संख्याओं (केंद्र की गहराई, आयत के दो विस्तार और एक घूर्णन क्वाटर्नियन) से प्राचलीकृत किया जाता है। ये संख्याएँ 3D ज्यामितीय संरचना को स्पष्ट रूप से दर्शाती हैं और प्रति-पिक्सेल निरूपणों की तुलना में कई गुना अधिक संक्षिप्त हैं।’

ज़रूरत पड़ने पर चलाने के लिए क्लिक करें। PPMem द्वारा तैयार किए गए समतल आदिमों के हल्के समूह, विश्व मॉडल में कैमरे के आगे बढ़ने के साथ, बारीकियों और व्यापक ज्यामितीय संरचना—दोनों को दर्ज करके सहेज सकते हैं। ऊपर दिखाए गए हरे हिस्से मेमोरी में बने रहते हैं, क्योंकि उन्हें गहरे>हरे रंग के रूप में मैप किया जाता है।

ऐसे समतल किसी खोजी गई दुनिया को किस हद तक दर्शा सकते हैं, यह स्वाभाविक रूप से मेमोरी और अन्य अनुमानित सीमाओं से बंधा है। इसका अर्थ है कि दुनिया में घंटों घूमकर लौटने पर हर चीज़ को पहले जैसी पाना संभव नहीं होगा। लेकिन ‘स्तर-आधारित’ इस तरह की पाबंदी वीडियो गेम के शौकीनों के लिए जानी-पहचानी होगी: उनके शक्तिशाली, लेकिन सीमित स्थानीय संसाधन सबसे अच्छे नतीजे आम तौर पर अधिक सीमित परिस्थितियों में देते हैं:

चलाने के लिए क्लिक करें। PPMem में, जब कैमरा किसी परिवेश से होकर गुजरता है, तो वह हल्के ‘समतल’ (हरे क्षेत्रों से दिखाए गए) छोड़ता जाता है, जो उसके देखे हुए दृश्य को दर्शाते हैं और कैमरे के फिर से वहाँ लौटने पर भी मौजूद रहते हैं।

इसलिए, ऊपर हम देख सकते हैं कि ऐसे स्तर को कमरे-दर-कमरे ‘मैप’ किया जा रहा है, जब तक कि पूरा फ़र्श हरा न हो जाए और उसे स्वतंत्र रूप से खोजा न जा सके। इसके बाद और समतल तैयार करने की ज़रूरत कम (लेकिन शून्य नहीं) रह जाती है।

विधि

PPMem को HyDRA में इस्तेमाल किए गए Wan2.1-T2V-1.3B के बजाय Wan2.2-TI2V-5B से विकसित किया गया। यह पाँच अरब पैरामीटर वाला वीडियो डिफ्यूज़न मॉडल है, जिसमें Plana3R से अनुकूलित ज्यामिति-अनुमान प्रणाली जोड़ी गई। मौजूदा वीडियो बैकबोन को बरकरार रखा गया, जबकि उसकी आंतरिक निरूपणों से ज्यामितीय जानकारी निकालने के लिए एक अलग प्रसंस्करण मार्ग जोड़ा गया:

PPMem की वीडियो निर्माण और 3D मेमोरी प्रणाली का आरेख। ऊपरी मार्ग वीडियो तैयार करता है, जबकि निचला मार्ग दिखाई देने वाली सतहों के आकार और स्थिति दर्ज करता है। इन्हें दाईं ओर संग्रहित मेमोरी में जोड़ा जाता है, जिसका इस्तेमाल फिर वीडियो के अगले हिस्से को निर्देशित करने के लिए होता है। नीचे दिए गए तीर दिखाते हैं कि यह जानकारी सिस्टम में वापस कैसे भेजी जाती है।

प्रशिक्षण के दो चरणों में से पहले चरण में, कैमरा-नियंत्रित वीडियो निर्माण के लिए Wan 2.2 को फ़ाइन-ट्यून किया गया। इसके लिए स्रोत छवि और पहले के फ़्रेमों के प्रक्षेपित दृश्यों का इस्तेमाल करके कैमरे की इच्छित गति तय की गई। इसके बाद वीडियो बैकबोन को फ़्रीज़ कर दिया गया और नए ज्यामिति घटकों को स्वतंत्र रूप से प्रशिक्षित किया गया।

प्रशिक्षण के लिए DL3DV और RealEstate10K से 80,000 से अधिक क्लिप 576×1024 के रिज़ॉल्यूशन पर इस्तेमाल किए गए। संदर्भ गहराई की जानकारी MoGe-2 से प्राप्त की गई, और अनुमानित दूरियों को VGGT द्वारा तैयार किए गए 3D पुनर्निर्माणों के साथ संरेखित किया गया।

इस तरह PPMem की समतल-अनुमान प्रणाली को सतह की गहराई और अभिविन्यास का अनुमान लगाने के लिए प्रशिक्षित किया गया, और इसके आउटपुट की जाँच संदर्भ ज्यामिति से की गई। पुनर्निर्मित दृश्यों से उनका मेल बेहतर करने के लिए रेंडर की गई सतहों पर अतिरिक्त प्रशिक्षण भी दिया गया।

अंतर्निहित वीडियो मॉडल में बदलाव किए बिना, ज्यामिति-विशिष्ट प्रसंस्करण जोड़ने के लिए लो-रैंक अनुकूलन (LoRA) का उपयोग किया गया।

अनुमान के दौरान, सामान्य वीडियो-निर्माण प्रक्रिया इन अनुकूलनों को निष्क्रिय रखकर पूरी की जाती है। इसके बाद ज्यामिति निकालने के लिए एक अलग प्रसंस्करण चरण चलाया जाता है, जिससे दोनों प्रक्रियाएँ मूलतः स्वतंत्र रहती हैं।

इसके बाद वीडियो लगभग 25 फ़्रेम के खंडों में बनाया जाता है। हर नए अनुक्रम के लिए ज़रूरी दृश्य और स्थानिक जानकारी तैयार करने हेतु कैमरे की नियोजित गतियों का इस्तेमाल किया जाता है। इसमें पहले बनाए गए दृश्यों के प्रक्षेपित दृश्य, दिखाई देने वाले क्षेत्रों को दर्शाने वाले मास्क और संचित ज्यामिति से प्राप्त गहराई की जानकारी शामिल हैं।

नई सतहों के पूर्वानुमान को बेहतर बनाने के लिए, संग्रहित गहराई की जानकारी को दृश्य ट्रांसफ़ॉर्मर की मदद से दृश्य के बारे में मॉडल की मौजूदा समझ के साथ जोड़ा जाता है। यह ट्रांसफ़ॉर्मर DINOv2-Base पर आधारित है।

प्रशिक्षण के दौरान, चुनिंदा मास्क लगाकर गहराई मानचित्रों के कुछ हिस्से छिपा दिए गए। इससे मॉडल को अधूरे स्थानिक डेटा के आधार पर सतहों की ज्यामिति का अनुमान लगाना पड़ा और उसकी सामान्यीकरण क्षमता बेहतर हुई।

नई ज्यामिति तैयार होने के बाद, एक-दूसरे पर चढ़ी और ढकी हुई सतहों की जाँच करके समतल-आकृति संग्रह को परिष्कृत किया जाता है। बेहतर अवलोकन उपलब्ध होने पर कम विश्वसनीय अनुमानों को हटा दिया जाता है। इससे कैमरे के आगे बढ़ने के साथ संग्रहित निरूपण में क्रमशः सुधार किया जा सकता है, न कि सतहों के हर पूर्वानुमान को अनिश्चित काल तक जमा करते रहा जाता है।

परिणाम

परीक्षणों में इस विधि को Gen3C, Voyager, VMEM और SPMem के सामने परखा गया। सभी को उनके रिपॉज़िटरी के डिफ़ॉल्ट कोड और पैरामीटर के साथ इस्तेमाल किया गया।

इस्तेमाल किए गए मापदंड थे पीक सिग्नल-टू-नॉइज़ अनुपात (PSNR), सीखे गए अवधारणात्मक समानता मापदंड (LPIPS), CLIP समानता और DINOv2 समानता (विस्तृत अपवादों के लिए शोधपत्र देखें)।

पहले परीक्षण में PPMem की तुलना DL3DV और RealEstate10K डेटासेट पर अन्य मॉडलों से की गई। वीडियो की गुणवत्ता का आकलन 49 और 121 फ़्रेम वाले अनुक्रमों में किया गया:

DL3DV और RealEstate10K पर 49 और 121 फ़्रेमों के दौरान PPMem, Gen3C, Voyager, VMem और SPMem की वीडियो गुणवत्ता की तुलना। PPMem ने चारों मापदंडों पर सबसे बेहतर या संयुक्त रूप से सबसे बेहतर स्कोर हासिल किए। लंबे अनुक्रमों में इसका लाभ आम तौर पर और बढ़ गया।

इन नतीजों के बारे में लेखकों का कहना है:

‘PPMem दोनों डेटासेट और फ़्रेम की दोनों सीमाओं पर सभी मापदंडों में सबसे बेहतर नतीजे देता है, जबकि इसका आधार मॉडल Gen3C (Cosmos 7B) और Voyager (HunyuanVideo ∼13B) की तुलना में छोटा (Wan 2.2 5B) है। T’

PPMem को कैमरे से वस्तुओं और सतहों की दूरी का अनुमान लगाने की क्षमता के लिए भी परखा गया। लेखक बताते हैं कि DL3DV के 121 फ़्रेमों में इससे Voyager की तुलना में अधिक सटीक गहराई-अनुमान मिले। Voyager एकमात्र प्रतिस्पर्धी मॉडल है जो वीडियो और गहराई की जानकारी, दोनों एक साथ तैयार कर सकता है।

दूसरे, गुणात्मक परीक्षण में यह तुलना की गई कि DL3DV के दृश्यों में कैमरे के 300–400 फ़्रेम तक आगे बढ़ने के दौरान कौन-सा मॉडल दृश्यों की निरंतरता बनाए रख सकता है। PPMem ने प्रतिस्पर्धी मॉडलों की तुलना में पहले देखे गए परिवेश के रूप और संरचना को अधिक सफलतापूर्वक बनाए रखा। अनुक्रम आगे बढ़ने के साथ इसका लाभ और बढ़ता गया:

चलाने के लिए क्लिक करें। हालाँकि हम नतीजों को मूल वीडियो से कम रिज़ॉल्यूशन में ही दिखा सकते हैं, फिर भी हमें लगा कि शोधपत्र के स्थिर नतीजों की तुलना में वीडियो उन्हें बेहतर ढंग से दर्शाता है। बेहतर गुणवत्ता वाला संस्करण देखने के लिए PPMem की परियोजना साइट पर जाएँ।

यहाँ लेखक कहते हैं:

‘PPMem पूरे समय सबसे अधिक अवधारणात्मक निष्ठा बनाए रखता है और समय के साथ दूसरे मॉडलों से उसका अंतर बढ़ता जाता है—यह बढ़त DINOv2 पर सबसे स्पष्ट है, जहाँ फ़्रेम 300 पर PPMem अगले सर्वश्रेष्ठ तरीके से ∼0.27 आगे है।’

288-फ़्रेम वाले अनुक्रम के छह बिंदुओं पर Gen3C, VMem, SPMem, Voyager और PPMem द्वारा बनाए गए वीडियो फ़्रेमों की तुलना, साथ में मूल फ़ुटेज (Ground Truth)। कैमरा आगे बढ़ने पर PPMem फूलों की क्यारी और आसपास के दृश्यों का रूप अधिक निरंतरता से बनाए रखता है, जबकि प्रतिस्पर्धी तरीके धीरे-धीरे विवरणों को बिगाड़ते या खोते जाते हैं।

शोधपत्र के अनुसार, वीडियो के लगभग 400 फ़्रेमों के बाद PPMem में पूरे खोजे गए दृश्य को लगभग 100,000 समतल-आकृति मूल अवयवों के रूप में निरूपित किया जा सकता है, और इसके लिए केवल 5MB मेमोरी चाहिए।

चूँकि घने 3D पॉइंट क्लाउड में उसी दृश्य को अलग-अलग बिंदुओं के रूप में संग्रहित करने की तुलना में यह लगभग एक हज़ार गुना अधिक संक्षिप्त है, इसलिए साहित्य में स्थापित शोध-धारा के तहत मामूली प्रगति माने जा सकने वाले इस शोधपत्र से इस आर्किटेक्चर के संसाधन-प्रबंधन में ठोस सुधार होता दिखता है।

निष्कर्ष

हालाँकि यह नया शोधपत्र लक्षित समस्या की सीमाओं और दायरे के भीतर एक रोमांचक प्रगति है, फिर भी हम ऐसे प्रतिमान में काम कर रहे हैं जहाँ विश्व मॉडल के अव्यक्त स्थान की यादृच्छिक खोज लगातार बने रहने वाले झाग की तरह चारों ओर ज्यामिति बिखेरती है; ऐसी ज्यामिति, जिसे बाद के दृश्यों या भविष्य के संदर्भों के लिए फिर से प्राप्त करना पड़ सकता है।

इस ज्यामिति को फिर से प्राप्त करने की प्रक्रिया पारंपरिक CGI मेश और उन पर चढ़ाई गई टेक्सचर सामग्री को शामिल करने से कहीं अधिक उलझी हुई है। इस पूरे दृष्टिकोण को ‘कुछ हद तक उलटा’ कहा जा सकता है: आदर्श रूप से, AI मॉडल को किसी न किसी RAG या लुकअप प्रणाली के ज़रिए स्थिर संपत्तियों को ढूँढ़ने और उनका संदर्भ लेने में सक्षम होना चाहिए, साथ ही अव्यक्त स्थान में आगे बढ़ने की लचक और रचनात्मक स्वतंत्रता भी बनाए रखनी चाहिए।

यह बहुत बड़ी अपेक्षा है, लेकिन ‘ब्रेडक्रम्ब’ विधि मुझे राइट बंधुओं से पहले के अनोखे समाधानों के समकक्ष लगती है।

पूरा वीडियो देखने के लिए परियोजना की वेबसाइट देखें।

पहली बार प्रकाशित: मंगलवार, 20 अक्टूबर 2026