एक वीडियो कोडेक एआई-जेनरेटेड फुटेज के लिए

एआई के सभी खाने के युग के बंद होने के साथ, एआई वीडियो जेनरेशन के लिए एक नए और आर्थिक दृष्टिकोण से टोकन और समय में उल्लेखनीय बचत का वादा किया जा रहा है।

एआई अनुमान की वास्तविक लागत एक नए संयम के नोट को वर्तमान एआई क्रांति की तेज गति में ला रही है, जिसमें मशीन लर्निंग की लागत को तर्कसंगत बनाने में बढ़ती दिलचस्पी है। इसके अलावा, एआई को घर लाने की संभावना है, और निजी एआई का सामान्य उदय, वीआरएएम-भूखी और संसाधन-गोब्बलिंग मशीन लर्निंग रूटीन को भी अनुकूलन की आवश्यकता होगी।

वीडियो जेनरेशन शायद इस संबंध में सबसे बड़ा अपराधी है। यदि आपने कभी एक फिल्म को पुनः संकुचित किया है या इसे एक वीडियो-संपादन सूट से निर्यात किया है, तो आप पहले से ही जानते हैं इस विशेष (गैर-एआई) कार्य का आपके हार्डवेयर पर क्या प्रभाव पड़ता है – रैम और सीपीयू चक्रों को खाने और अक्सर मशीन को किसी भी अन्य उपयोग के लिए ब्लॉक करना, जब तक कि संपीड़न एल्गोरिथ्म के प्रभाव को सीमित करने के लिए कोई उपाय नहीं किए जाते हैं।

इसलिए, एआई वीडियो के उदय को दुनिया भर के डेटा सेंटर में इस ‘पावर-मैड’ प्रक्रिया को पुनः चलाने की सीमा का अनुमान लगाने की आवश्यकता ही नहीं है। उस संचालन के पैमाने पर, सबसे छोटे लाभ तुरंत महत्वपूर्ण हो जाते हैं।

फ्रेम में

इस बात को ध्यान में रखते हुए, शंघाई से एक नए शोध प्रस्ताव, जेडी.कॉम के सहयोग से, एक वीडियो कोडेक प्रस्तावित कर रहा है जो रेंडरिंग-आउट प्रक्रिया (विशाल, कच्चे फ्रेमों को एक छोटे वीडियो फ़ाइल आकार में संपीड़ित करने की प्रक्रिया) पर नहीं, बल्कि वास्तविक एआई वीडियो जेनरेशन प्रक्रिया पर केंद्रित है।

एक सामान्य वीडियो कोडेक काम करता है जो हर फ्रेम को एक पूरी छवि के रूप में संग्रहीत नहीं करता है, बल्कि पूर्ण चित्रों की एक छोटी संख्या बनाता है, जिसे आई-फ्रेम कहा जाता है, और फिर संग्रहीत फ्रेम के बीच परिवर्तन।

उदाहरण के लिए, यदि एक व्यक्ति एक वीडियो में थोड़ा चलता है, तो कोडेक केवल उन फ्रेम के हिस्सों को रिकॉर्ड करता है जो उस परिवर्तन को पंजीकृत करते हैं, पूरे दृश्य को पुनः लिखने के बजाय। ये पी-फ्रेम हैं, जो पहले के फ्रेम से व्युत्पन्न होते हैं, और बी-फ्रेम, जो भविष्य के फ्रेम में जानकारी की भी भविष्यवाणी कर सकते हैं:

वीडियो कोडेक का एनाटॉमी: शीर्ष पंक्ति में आई, पी, और बी लेबल वाले फ्रेम समय के साथ दिखाए गए हैं, जिसमें आई-फ्रेम पूर्ण रंग में पूरी तरह से संग्रहीत होते हैं और पी- और बी-फ्रेम फीके होते हैं ताकि पुनर्निर्माण का संकेत मिल सके; तीर दिखाते हैं कि फ्रेम पहले के फ्रेम, बाद के फ्रेम, या दोनों का उपयोग करते हैं; निचले पैनल एक पूरी तरह से संग्रहीत फ्रेम (आई-फ्रेम, बाएं), एक फ्रेम (पी-फ्रेम, दूसरा बाएं) को दिखाते हैं जो एक पिछले फ्रेम से बना है, और एक फ्रेम (बी-फ्रेम, दाएं) जो एक पिछले और एक भविष्य के फ्रेम से बना है।

निकटवर्ती जानकारी का यह पुनः उपयोग यही कारण है कि वीडियो फ़ाइलें छोटी रहती हैं, जिसमें अधिकांश फ्रेम नए छवियों के रूप में कार्य नहीं करते हैं, बल्कि पिछले फ्रेम में परिवर्तन का वर्णन करने वाले निर्देशों के रूप में कार्य करते हैं। इसलिए, आई-फ्रेम ‘पूर्ण-फैट’, स्थान-ग्रस्त, अनसंपीड़ित (या न्यूनतम संपीड़ित) छवियों का गठन करते हैं, जबकि उनके बीच के फ्रेम केवल आई-फ्रेम (और उनके बीच) के बीच के अंतर का गठन करते हैं।

जब प्रत्येक एकल फ्रेम एक पूरी तरह से अनसंपीड़ित छवि होती है, तो फिल्म मूल रूप से कोई संपीड़न नहीं होती है। इस तरह से एक फिल्म को सहेजने से एक 2-घंटे की फिल्म को लगभग (या अधिक) एक टेराबाइट डिस्क स्थान की आवश्यकता होगी। यही कारण है कि एआई फिल्में बनाता है – प्रत्येक फ्रेम के लिए समान संसाधनों और टोकन को समर्पित करता है, जब यह यह तय करने की कोशिश कर रहा होता है कि वीडियो को कैसे बनाना है।

आर्थिक मॉडल

शंघाई से यह नया शोध, जेडी.कॉम के सहयोग से, एक नया काम प्रस्तावित कर रहा है, जिसे एडाकोडेक: एक प्रेडिक्टिव विज़ुअल कोड कहा जाता है, जो पारंपरिक संपीड़न द्वारा नियोजित किए गए एक ही सिद्धांत को अपनाता है, लेकिन एआई वीडियो जेनरेशन प्रक्रिया के लिए एक वीडियो कोडेक के रूप में कार्य करता है।

आम तौर पर, एक वीडियो कोडेक काम करता है जो हर फ्रेम को एक पूरी छवि के रूप में संग्रहीत नहीं करता है, बल्कि पूर्ण चित्रों की एक छोटी संख्या बनाता है, जिसे आई-फ्रेम कहा जाता है, और फिर संग्रहीत फ्रेम के बीच परिवर्तन।

उदाहरण के लिए, यदि एक व्यक्ति एक वीडियो में थोड़ा चलता है, तो कोडेक केवल उन फ्रेम के हिस्सों को रिकॉर्ड करता है जो उस परिवर्तन को पंजीकृत करते हैं, पूरे दृश्य को पुनः लिखने के बजाय। ये पी-फ्रेम हैं, जो पहले के फ्रेम से व्युत्पन्न होते हैं, और बी-फ्रेम, जो भविष्य के फ्रेम में जानकारी की भी भविष्यवाणी कर सकते हैं:

एडाकोडेक का अवलोकन। बाएं, वीडियो को चित्रों के अनुकूल समूहों में विभाजित किया जाता है, जिसमें पूर्ण आई-फ्रेम को कठिनाई से पूर्वानुमानित क्षणों के लिए आरक्षित किया जाता है और मध्यवर्ती पी-फ्रेम को कompact गति और शेष जानकारी का उपयोग करके प्रस्तुत किया जाता है। दाएं, परिणामी प्रणाली ग्यारह बेंचमार्क में क्यूवेन3-वीएल-8बी से मेल खाती है या उसे पार करती है, टोकन बजट में लंबी वीडियो सटीकता को बनाए रखती है, और प्रतिक्रिया विलंबता को कम करती है जबकि महत्वपूर्ण रूप से कम वीडियो टोकन संसाधित करती है। स्रोत

परिणाम, एडाकोडेक के लिए रिपोर्ट किए गए परिणामों के अनुसार, पीछा करने लायक हैं; पत्र में कहा गया है कि प्रणाली ग्यारह बेंचमार्क में क्यूवेन3-वीएल-8बी मॉडल से बेहतर प्रदर्शन करती है, जबकि समान मात्रा में प्रोसेसिंग का उपयोग करती है; और फिर भी वीडियो टोकन को लगभग 86% तक कम करने के बाद भी उस मॉडल के प्रदर्शन से मेल खाती है या उसे पार करती है।

लेखक कहते हैं*:

‘हम प्रेडिक्टिव कोडिंग से प्रेरणा लेते हैं, जहां एक प्रणाली एक पूर्वानुमान से त्रुटियों को प्रसारित करती है, न कि कच्चे संकेत को। यह सिद्धांत जैविक आधार पर है: दृश्य प्रणाली को पूर्वानुमान त्रुटियों को एनकोड करने के लिए सोचा जाता है, पूर्वानुमानित और देखे गए इनपुट के बीच असंगति।

‘आधुनिक वीडियो कोडेक इंजीनियरिंग में भी उसी शेष-कोडिंग विचार का उपयोग करते हैं: संदर्भ फ्रेम पूर्ण सामग्री ले जाते हैं, जबकि पूर्वानुमानिक फ्रेम संदर्भ के सापेक्ष गति और शेष संकेत।

‘इन प्रणालियों के अलग-अलग उद्देश्य हैं, लेकिन वे एक ही सशर्त संरचना साझा करती हैं: जब निकटवर्ती नमूने अतिरिक्त होते हैं, तो चैनल को बताना चाहिए कि पूर्वानुमान क्या विफल रहता है।

‘मानक कोडेक, हालांकि, बिटस्ट्रीम और मानव-दृश्य पुनर्निर्माण के लिए अनुकूलित होते हैं, न कि दृश्य टोकन के लिए जो एक एलएलएम द्वारा खपत होते हैं। इसलिए, हम इस तंत्र को एक एमएलएलएम इंटरफ़ेस के रूप में फिर से डिज़ाइन करते हैं वीडियो समझने के लिए।’

नया काम, शंघाई जियाओ टोंग विश्वविद्यालय, शंघाई इनोवेशन इंस्टीट्यूट, और जेडी.कॉम के 11 शोधकर्ताओं द्वारा लिखा गया है, जिसमें संबंधित परियोजना पृष्ठ है, जिसमें स्रोत कोड की रिलीज़ का वादा किया गया है।

विधि

जैसा कि चर्चा की गई है, प्रत्येक फ्रेम को एक पूरी तरह से नए छवि के रूप में मानने के बजाय, प्रणाली एक फ्रेम और अगले फ्रेम के बीच क्या बदला है, इसकी तलाश करती है। बाएं, नीचे दी गई छवि में, हम वर्तमान फ्रेम का एक छोटा सा क्षेत्र देखते हैं जो एक पिछले फ्रेम में सबसे समान क्षेत्र के खिलाफ मेल खाता है:

एडाकोडेक के लिए स्कीमा अवलोकन。

दो स्थानों के बीच की दूरी एक मोशन वेक्टर बन जाती है, जबकि कोई भी शेष दृश्य अंतर एक शेष बन जाता है, जिसमें ये कompact विवरण एक पूरी छवि को संग्रहीत करने की आवश्यकता को प्रतिस्थापित करते हैं।

दाएं, हम देखते हैं कि परिणामी जानकारी को एआई मॉडल में खिलाया जाता है: महत्वपूर्ण संदर्भ फ्रेम अभी भी पूरी छवियों के रूप में संसाधित किए जाते हैं, लेकिन मध्यवर्ती फ्रेम मोशन-एंड-शेष टोकन द्वारा प्रस्तुत किए जाते हैं – जो मॉडल को वीडियो को समझने के लिए पर्याप्त जानकारी बनाए रखने की अनुमति देता है, जबकि कम दृश्य डेटा को संसाधित करता है।

एक दिलचस्प चुनौती यह तय करना है कि कौन से फ्रेम पूरी तरह से संग्रहीत किए जाने चाहिए: पारंपरिक वीडियो कोडेक आमतौर पर नियमित अंतराल पर संदर्भ फ्रेम रखते हैं, चाहे वे आवश्यक हों या नहीं। एडाकोडेक, इसके बजाय, उन क्षणों की पहचान करने का प्रयास करता है जो सबसे ज्यादा मायने रखते हैं।

उदाहरण के लिए, एक दृश्य को देखें जो मुख्य रूप से एक स्थिर बातचीत को दो लोगों के बीच एक अपार्टमेंट में दिखाता है – और अचानक एक एसडब्ल्यूएटी टीम खिड़की से अंदर आती है। तुरंत ही कैमरा दृश्य और संपादन कट बढ़ जाते हैं और एक नियमित संदर्भ फ्रेम अंतराल की तुलना में बहुत अधिक डेटा की आवश्यकता होगी:

यह विचार वेरिएबल बिटरेट संपीड़न विधियों के पीछे तर्क है, जो स्रोत वीडियो को ‘व्यस्त’ अवधियों के लिए विश्लेषण करते हैं और जहां आवश्यक हो वहां अधिक डेटा निर्दिष्ट करते हैं – समय और संसाधनों की कोई छोटी लागत के बिना।

एडाकोडेक में, यदि एक फ्रेम निकटवर्ती फ्रेम से सटीक रूप से अनुमानित किया जा सकता है, तो प्रणाली कompact मोशन-एंड-शेष टोकन का उपयोग जारी रखती है; यदि दृश्य में काफी परिवर्तन होता है (उदाहरण के लिए, एसडब्ल्यूएटी उदाहरण ऊपर, या कुछ कम नाटकीय), एक पूर्ण संदर्भ फ्रेम डाला जाता है। यह महत्वपूर्ण दृश्य जानकारी पर उपलब्ध प्रोसेसिंग बजट को अधिक खर्च करने की अनुमति देता है, न कि पूरे वीडियो में समान रूप से वितरित करने की।

डेटा और परीक्षण

परीक्षण में, शोधकर्ताओं ने उल्लिखित क्यूवेन3-वीएल-8बी को आधार मॉडल के रूप में उपयोग किया और एडाकोडेक का मूल्यांकन ग्यारह बेंचमार्क में किया, जो वीडियो समझने के तीन क्षेत्रों में फैला हुआ है: लंबी वीडियो प्रदर्शन का मूल्यांकन एमएलवीयू, लॉन्गवीडियोबेंच, और एलवीबेंच के साथ किया गया था; कालिक समझ टेम्पकंपास, मोशनबेंच, और टोमाटो के साथ; और सामान्य वीडियो समझ वीडियो-एमएमई, एमवीबेंच, नेक्स्ट-क्यूए, परसेप्शनटेस्ट, और एगोस्कीमा के साथ।

परीक्षण किए गए ओपन-सोर्स मॉडल इंटरनवीएल3.5-8बी थे; केई-वीएल-1.5-8बी; जीएलएम-4.1वी-9बी; मिनीसीपीएम-वी-4.5-8बी; ईगल2.5-8बी; पीएलएम-8बी; एलएलएवीए-वीडियो-7बी; वीडियोचैट-फ्लैश-7बी; मोल्मो2-8बी; और मोल्मो2-ओ-7बी.

जीपीटी-5, जेमिनी, और क्लॉड वरिएशन केवल तुलना बेसलाइन के रूप में टेबल में दिखाई देते हैं। कोपे-वीडियोलएम-7बी और रेमोरा-7बी वीडियो-भाषा मॉडल हैं जो कोडेक-प्रेरित संपीड़न के माध्यम से दृश्य-टोकन उपयोग को कम करते हैं, जो उन्हें एडाकोडेक के लिए सबसे निकटतम प्रत्यक्ष प्रतिद्वंद्वी बनाते हैं:

लंबी वीडियो समझ, कालिक तर्क, और सामान्य वीडियो समझ को कवर करने वाले ग्यारह बेंचमार्क में मुख्य परिणाम। उच्च स्कोर बेहतर प्रदर्शन को दर्शाते हैं। एलवीबी = लॉन्गवीडियोबेंच; वी-एमएमई = वीडियो-एमएमई। बोल्ड और अंडरलाइन मान ओपन-सोर्स मॉडलों में उच्चतम और दूसरे उच्चतम स्कोर को दर्शाते हैं। बंद-सोर्स मॉडलों के लिए स्कोर आधिकारिक रिपोर्ट से लिए गए थे, जहां उपलब्ध थे, और गायब परिणाम मोल्मो2 से लिए गए थे या लेखकों द्वारा मूल्यांकन किए गए थे।

एक निष्पक्ष तुलना सुनिश्चित करने के लिए, एडाकोडेक और मानक क्यूवेन3-वीएल-8बी प्रणाली दोनों को समान संख्या में दृश्य टोकन आवंटित किए गए थे, जिससे परिणाम संपीड़न दृष्टिकोण की प्रभावशीलता को प्रतिबिंबित करें, न कि गणना संसाधनों में किसी भी अंतर को।

सबसे आक्रामक सेटिंग पर, एडाकोडेक ने दृश्य-टोकन उपयोग को लगभग 86% तक कम कर दिया, जबकि अभी भी लंबी वीडियो, कालिक, और सामान्य वीडियो समझ कार्यों पर बेसलाइन प्रणाली के साथ मेल खाती या थोड़ी बेहतर प्रदर्शन करती है।

जब बचाए गए टोकन को अधिक वीडियो फ्रेम संसाधित करने में फिर से निवेश किया गया, तो प्रदर्शन में सुधार हुआ हर लंबी वीडियो बेंचमार्क में और हर कालिक बेंचमार्क में, लॉन्गवीडियोबेंच पर +5.4 अंक और टोमाटो पर +4.3 अंक तक की वृद्धि हुई, जबकि अध्ययन में कुछ सबसे मजबूत ओपन-सोर्स परिणाम भी उत्पादित किए गए।

निष्कर्ष

हालांकि इस तरह की परियोजनाएं आमतौर पर हाइपरस्केल प्रदाताओं के लिए लक्षित होती हैं, यह वह प्रयास है जो शौकियों और एसएमई के लिए भी रुचिकर होगा, स्थानीय, तर्कसंगत एआई तैनाती के चारों ओर एक संभावित नए ‘सार्वजनिक संयम’ के हिस्से के रूप में।

र / स्टेबलडिफ्यूजन जैसे समुदायों में, यह बहुत पुरानी खबर है, क्योंकि हर एक मुख्य ओपन-सोर्स रिलीज़ जो वहां आती है नियमित रूप से हाइपर-ऑप्टिमाइज्ड (जीजीयूएफ, क्वांटाइज्ड वेट, आदि) संस्करण में बदल दी जाती है जो निम्न-एंड ग्राफिक्स कार्ड पर चलती है।

यदि एआई के इस तीसरे उत्थान का प्रदर्शन चरण वास्तव में समाप्त हो गया है, और यह मान लिया जाता है कि निगम एआई अनुमान की वास्तविक लागत से प्रतिबंधित होंगे, तो एडाकोडेक जैसी पहल एक आगामी ‘ग्रैंड ऑप्टिमाइजेशन’ का हिस्सा हो सकती है।

^† यह वीडियो को एक उपयोगकर्ता-मित्र फ़ाइल आकार/फ़ाइल आकार में रेंडर करने के समान नहीं है; बल्कि, यह एआई मॉडल में अंतर्निहित फ्रेम के निर्माण और संग्रह के साथ संबंधित है अनुमान समय पर।

* लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदलने के लिए मेरा रूपांतरण, युक्ति के भीतर।

पहली बार गुरुवार, 4 जून, 2026 को प्रकाशित