एआई से बने वीडियो के लिए एक वीडियो कोडेक

एआई के असीमित इस्तेमाल का दौर समाप्त होने के साथ, एआई से वीडियो बनाने का एक नया किफायती तरीका टोकन और समय की उल्लेखनीय बचत का वादा करता है।

एआई इन्फरेंस की वास्तविक लागत, मौजूदा एआई क्रांति की तेज़ रफ़्तार के बीच अधिक व्यावहारिक सोच^[1] (संबंधित संदर्भ) ला रही है। साथ ही मशीन लर्निंग की लागत को तर्कसंगत बनाने में दिलचस्पी बढ़ रही है। एआई को संस्थान के भीतर चलाने की संभावनाओं और निजी एआई के बढ़ते चलन के अलावा, बहुत अधिक वीआरएएम और अन्य संसाधन इस्तेमाल करने वाली मशीन लर्निंग प्रक्रियाओं को भी बेहतर बनाना होगा।

इस क्षेत्र में वीडियो निर्माण शायद सबसे अधिक संसाधन इस्तेमाल करता है। अगर आपने कभी किसी फ़िल्म को दोबारा संपीड़ित किया है या वीडियो संपादन सॉफ़्टवेयर से निर्यात किया है, तो आप जानते हैं कि यह गैर-एआई कार्य हार्डवेयर पर कितना बोझ डालता है। यह रैम और सीपीयू चक्रों का इस्तेमाल करता है और अक्सर कंप्यूटर को दूसरे कामों के लिए रोक देता है, जब तक संपीड़न एल्गोरिथ्म के असर को सीमित न किया जाए।

कल्पना कीजिए कि एआई वीडियो का विस्तार दुनिया भर के डेटा सेंटरों में भारी कंप्यूटिंग शक्ति माँगने वाली इस प्रक्रिया को किस पैमाने पर दोहराता है। इतने बड़े स्तर पर बहुत छोटे सुधार भी जुड़कर तुरंत महत्वपूर्ण हो जाते हैं।

फ़्रेम पर ध्यान

इसी संदर्भ में शंघाई का एक नया शोध, JD.com (JD ) के सहयोग से, ऐसा वीडियो कोडेक प्रस्तावित करता है जिसका लक्ष्य अंतिम रेंडरिंग, यानी बड़े कच्चे फ़्रेमों को छोटी वीडियो फ़ाइल में संपीड़ित करना नहीं, बल्कि एआई से वीडियो बनाने की प्रक्रिया ही है।

सामान्य वीडियो कोडेक हर फ़्रेम को पूर्ण छवि के रूप में नहीं सहेजता। वह कम संख्या में पूर्ण छवियाँ बनाता है, जिन्हें आई-फ्रेम कहते हैं, और फिर फ़्रेमों के बीच के बदलावसहेजता है।

मसलन, वीडियो में कोई व्यक्ति थोड़ा हिलता है तो कोडेक पूरी दृश्य सामग्री फिर से सहेजने के बजाय केवल बदले हुए हिस्से दर्ज करता है। इसके लिए पी-फ्रेम होते हैं, जो पिछले फ़्रेमों से बनते हैं, और बी-फ्रेमहोते हैं, जो बाद के फ़्रेमों की जानकारी भी इस्तेमाल कर सकते हैं:

वीडियो कोडेक की संरचना: ऊपर समय के क्रम में आई, पी और बी फ़्रेम हैं। पूरी तरह सहेजे गए आई-फ़्रेम पूर्ण रंगों में दिखते हैं, जबकि पुनर्निर्मित पी और बी फ़्रेम हल्के रंगों में हैं। तीर दिखाते हैं कि पहले के फ़्रेम, बाद के फ़्रेम या दोनों इस्तेमाल होते हैं। नीचे पूरे सहेजे गए फ़्रेम (आई, बाएँ), पिछले फ़्रेम से बने फ़्रेम (पी, बाएँ से दूसरा) और पिछले तथा बाद के फ़्रेमों से बने फ़्रेम (बी, दाएँ) के चित्र हैं।

आसपास की जानकारी का दोबारा इस्तेमाल वीडियो फ़ाइलें छोटी रखता है। अधिकतर फ़्रेम नई छवियाँ नहीं, बल्कि पिछले फ़्रेम में हुए बदलाव बताने वाले निर्देश होते हैं। इसलिए आई-फ़्रेम पूर्ण छवियाँ हैं, जो असंपीड़ित या बहुत कम संपीड़ित होती हैं और अधिक जगह घेरती हैं। बीच के फ़्रेमों में केवल आई-फ़्रेमों से और एक-दूसरे से अंतर होता है।

जब हर फ़्रेम पूर्ण असंपीड़ित छवि हो तो फ़िल्म में मूलतः कोई संपीड़न नहीं होता। दो घंटे की फ़िल्म इस तरह सहेजने के लिए लगभग एक टेराबाइट या उससे अधिक डिस्क स्थान चाहिए। फिर भी एआई इसी तरह फ़िल्में बनाता है^†: वीडियो कैसे तैयार करना है, इसकी गणना करते समय हर फ़्रेम को बराबर संसाधन और टोकन देता है।

बड़े पैमाने पर बचत

इस नई शोध-रचना का शीर्षक AdaCodec: A Predictive Visual Code for Video MLLMs है। यह सामान्य वीडियो कोडेक की पारंपरिक संपीड़न पद्धति को एआई वीडियो निर्माण में अपनाती है।

AdaCodec पूर्ण दृश्य टोकन केवल संदर्भ फ़्रेमों, यानी आई-फ्रेम, पर इस्तेमाल करता है। सभी बीच के फ़्रेम कॉम्पैक्ट पी-टोकन के रूप में दिखाए जाते हैं।

इस आंतरिक संपीड़न के बाद एआई से बना वीडियो सामान्य तरीके से भी संपीड़ित किया जा सकता है। सैद्धांतिक रूप से सारी बचत सर्वर की ओर होती है:

AdaCodec का अवलोकन। बाएँ वीडियो को अनुकूलनीय फ़्रेम समूहों में बाँटा जाता है। जिन क्षणों का पूर्वानुमान कठिन है उनके लिए पूर्ण आई-फ़्रेम रखे जाते हैं, जबकि बीच के पी-फ़्रेम संक्षिप्त गति और अवशेष जानकारी से दर्शाए जाते हैं। दाएँ प्रणाली ग्यारह बेंचमार्क पर Qwen3-VL-8B के बराबर या बेहतर है, अलग-अलग टोकन बजटों पर लंबे वीडियो की अधिक सटीक समझ बनाए रखती है और बहुत कम वीडियो टोकन संसाधित करते हुए प्रतिक्रिया में देरी घटाती है। स्रोत

AdaCodec के बताए गए परीक्षण परिणामों के अनुसार, इस बचत के लिए प्रयास करना सार्थक है। शोध-पत्र बताता है कि प्रणाली ने समान गणना का इस्तेमाल करते हुए सभी प्रमुख बेंचमार्क पर अपरिवर्तित Qwen3-VL-8B^[1] मॉडल से बेहतर प्रदर्शन किया। वीडियो टोकन लगभग 86% घटाने के बाद भी वह उस मॉडल के बराबर या उससे बेहतर रही।

लेखक कहते हैं*:

“हम प्रेडिक्टिव कोडिंग से प्रेरित हैं, जिसमें प्रणाली कच्चे संकेत के बजाय पूर्वानुमान की त्रुटियाँ भेजती है। इस सिद्धांत का जैविक आधार है: माना जाता है कि दृश्य प्रणाली पूर्वानुमान की त्रुटियाँ, यानी अपेक्षित और देखे गए इनपुट के बीच का अंतर, कोड करती है, न कि स्वयं इनपुट को।”

“आधुनिक वीडियो कोडेक इंजीनियरिंग में इसी अवशेष-कोडिंग विचार का उपयोग करते हैं: संदर्भ फ़्रेम पूरी सामग्री देते हैं, जबकि पूर्वानुमानित फ़्रेम संदर्भ फ़्रेम के सापेक्षगति और अवशेष संकेत देते हैं।”

“इन प्रणालियों के लक्ष्य अलग हैं, लेकिन सशर्त संरचना एक जैसी है: जब आसपास के नमूनों में अनावश्यक दोहराव हो, तो चैनल को वह जानकारी भेजनी चाहिए जिसे पूर्वानुमान समझा नहीं पाता।”

“लेकिन मानक कोडेक बिटस्ट्रीम और मनुष्यों के देखने लायक छवि के पुनर्निर्माण के लिए अनुकूलित होते हैं, एलएलएम के इस्तेमाल वाले दृश्य टोकन के लिए नहीं। इसलिए हम इस व्यवस्था को वीडियो समझने के लिए एमएलएलएम इंटरफ़ेस के रूप में फिर से तैयार करते हैं।”

यह शोध Shanghai Jiao Tong University, Shanghai Innovation Institute और JD.com के 11 शोधकर्ताओं ने लिखा है। इसके साथ परियोजना का पृष्ठ है और स्रोत कोड जारी करने का वादा किया गया है।

विधि

जैसा बताया गया, प्रणाली हर फ़्रेम को बिल्कुल नई छवि मानने के बजाय लगातार दो फ़्रेमों के बीच बदलाव खोजती है। नीचे चित्र के बाएँ हिस्से में वर्तमान फ़्रेम के छोटे क्षेत्र का मिलान पिछले किसी फ़्रेम के सबसे समान क्षेत्र से किया जाता है:

AdaCodec की संरचना का चित्र।

दो स्थितियों के बीच की दूरी गति सदिश बनती है और बाकी दृश्य अंतर अवशेष संकेत बनाते हैं। ये संक्षिप्त विवरण पूर्ण छवि सहेजने की ज़रूरत का स्थान लेते हैं।

दाएँ हिस्से में प्राप्त जानकारी एआई मॉडल में जाती है। महत्वपूर्ण संदर्भ फ़्रेम अभी भी पूर्ण छवियों के रूप में संसाधित होते हैं, लेकिन बीच के फ़्रेम बहुत छोटे गति और अवशेष टोकन से दर्शाए जाते हैं। ऐसा लगता है कि इससे मॉडल बहुत कम दृश्य डेटा संसाधित करते हुए भी वीडियो समझने के लिए पर्याप्त जानकारी बचाए रखता है।

एक दिलचस्प चुनौती यह तय करना है कि किन फ़्रेमों को पूरा सहेजना चाहिए। पारंपरिक वीडियो कोडेक नियमित अंतराल पर संदर्भ फ़्रेम रखते हैं, चाहे वे ज़रूरी हों या नहीं। AdaCodec सबसे महत्वपूर्ण क्षण पहचानने की कोशिश करता है।

एक अपार्टमेंट में दो लोगों की लगभग स्थिर बातचीत की कल्पना करें। अचानक स्वाट टीम खिड़की से अंदर घुसती है। कैमरे के कोण और संपादन कट तुरंत बढ़ जाते हैं और नियमित संदर्भ-फ़्रेम अंतराल से मिलने वाली जानकारी के मुकाबले कहीं अधिक डेटा चाहिए:

यही परिवर्तनशील बिटरेट जैसी परिवर्तनशील संपीड़न विधियों का तर्क है। वे मूल वीडियो में अधिक बदलाव वाले हिस्से तलाशती हैं और जहाँ ज़रूरत हो वहाँ अधिक डेटा देती हैं। इसमें समय और संसाधनों की अच्छी-खासी लागत लगती है।

AdaCodec किसी फ़्रेम का सही पूर्वानुमान आसपास के फ़्रेमों से लगा सके तो संक्षिप्त गति और अवशेष टोकन का इस्तेमाल जारी रखता है। दृश्य काफी बदल जाए, जैसे स्वाट टीम वाला उदाहरण या उससे कम नाटकीय बदलाव, तो पूर्ण संदर्भ फ़्रेम डाला जाता है। इससे उपलब्ध गणना बजट का अधिक हिस्सा महत्वपूर्ण दृश्य जानकारी पर लगाया जा सकता है, न कि पूरे वीडियो में बराबर बाँटना पड़ता है।

डेटा और परीक्षण

शोधकर्ताओं ने बताए गए Qwen3-VL-8B को आधार मॉडल बनाया और वीडियो समझने के तीन क्षेत्रों के ग्यारह बेंचमार्क पर AdaCodec का मूल्यांकन किया: लंबे वीडियो का प्रदर्शन का मूल्यांकन MLVU, LongVideoBench और LVBench के साथ किया गया था; समय संबंधी समझ TempCompass, MotionBench और TOMATO के साथ; और सामान्य वीडियो समझ Video-MME, MVBench, NExT-QA, PerceptionTest और EgoSchema के साथ।

जाँचे गए ओपन-सोर्स मॉडल थे InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; और Molmo2-O-7B।

GPT-5, Gemini और Claude के विभिन्न संस्करण नीचे तालिका में केवल तुलना के आधार के तौर पर दिए गए हैं। CoPE-VideoLM-7B और ReMoRa-7B पहले के वीडियो-भाषा मॉडल हैं जो कोडेक से प्रेरित संपीड़न के ज़रिए दृश्य टोकन का इस्तेमाल घटाते हैं। इसलिए ये AdaCodec के सबसे करीबी प्रत्यक्ष प्रतिस्पर्धी हैं:

लंबे वीडियो की समझ, समय संबंधी तर्क और सामान्य वीडियो समझ के ग्यारह बेंचमार्क के मुख्य परिणाम। अधिक अंक बेहतर प्रदर्शन दर्शाते हैं। LVB = LongVideoBench; V-MME = Video-MME। मोटे और रेखांकित मान ओपन-सोर्स मॉडलों के क्रमशः सबसे अधिक और दूसरे सबसे अधिक अंक दिखाते हैं। बंद-स्रोत मॉडलों के अंक उपलब्ध आधिकारिक रिपोर्टों से लिए गए; अनुपलब्ध परिणाम Molmo2 से लिए गए या लेखकों ने उनका मूल्यांकन किया।

निष्पक्ष तुलना के लिए AdaCodec और मानक Qwen3-VL-8B प्रणाली को बराबर संख्या में दृश्य टोकन दिए गए। इसलिए परिणाम संपीड़न विधि का प्रभाव दिखाते हैं, गणना संसाधनों का अंतर नहीं।

सबसे अधिक संपीड़न वाली सेटिंग में AdaCodec ने दृश्य टोकन का इस्तेमाल लगभग 86% घटाया, फिर भी लंबे वीडियो, समय संबंधी समझ और सामान्य वीडियो समझ के कार्यों में आधार प्रणाली के बराबर या थोड़ा बेहतर प्रदर्शन किया।

जब बचाए गए टोकन से अधिक वीडियो फ़्रेम संसाधित किए गए, तो हर लंबे-वीडियो बेंचमार्क और हर समय-संबंधी बेंचमार्क में प्रदर्शन सुधरा। सुधार LongVideoBench पर +5.4 अंक और TOMATO पर +4.3 अंक तक पहुँचा, जिससे अध्ययन के कुछ सबसे अच्छे ओपन-सोर्स परिणाम मिले।

निष्कर्ष

हालाँकि ऐसी परियोजनाएँ आम तौर पर हाइपरस्केल प्रदाताओं के लिए होती हैं, यह काम शौकिया उपयोगकर्ताओं और छोटे तथा मझोले उद्यमों को भी आकर्षित करेगा। यह स्थानीय, अधिक तर्कसंगत एआई परिनियोजन के इर्द-गिर्द संभावित नए सार्वजनिक संयम का हिस्सा हो सकता है।

r/stablediffusion जैसे समुदायों में यह पुराना चलन है: हर बड़ा ओपन-सोर्स मॉडल आने पर उसे बेहद अनुकूलित संस्करण (GGUF, क्वांटाइज़ किए गए भार आदि) में बदला जाता है, जो थोड़े धैर्य के साथ कम क्षमता वाले ग्राफ़िक्स कार्ड पर भी चल सकता है।

अगर एआई की इस तीसरी लहर का दिखावे वाला दौर सचमुच समाप्त हो गया है और हम मान लें कि कंपनियाँ इन्फरेंस की वास्तविक लागत से हतोत्साहित होंगी, तो AdaCodec जैसी पहल आगामी “बड़े अनुकूलन” का हिस्सा हो सकती है। संबंधित संदर्भ: ^{[1] [2] [3]}

^† यह वीडियो को उपयोगकर्ता के लिए सुविधाजनक प्रारूप और फ़ाइल आकार में अंतिम रूप से निर्यात करने जैसा नहीं है। इसका संबंध इन्फरेंस के समय एआई मॉडल के अंदर फ़्रेम बनाने और एकत्र करने से है।

* मैंने उचित सीमा में लेखकों के पाठ के भीतर दिए संदर्भों को हाइपरलिंक में बदला है।

पहली बार गुरुवार, 4 जून, 2026 को प्रकाशित