वीडियो को 1fps से अधिक पर कैप्शन करने की चुनौती

मशीन लर्निंग सिस्टम की वीडियो के भीतर होने वाली घटनाओं को पहचानने की क्षमता एआई-आधारित वीडियो जेनरेशन के भविष्य के लिए महत्वपूर्ण है – न केवल इसलिए कि वीडियो डेटासेट को उपयोगकर्ता के अनुरोध के अनुसार मॉडल का उत्पादन करने और अत्यधिक हॉलुसिनेट नहीं करने के लिए सटीक कैप्शन की आवश्यकता होती है।

गूगल के विड्रेकप परियोजना से कैप्शनिंग स्कीमा का एक उदाहरण। स्रोत: https://sites.google.com/view/vidrecap

वीडियो को मैन्युअल रूप से कैप्शन करना एक असंभव काम है। हालांकि वीडियो को ऑटो-कैप्शन करने के लिए एआई सिस्टम को प्रशिक्षित किया जा सकता है, लेकिन ग्राउंड ट्रुथ के रूप में बहुत सारे मानव-निर्मित उदाहरणों की आवश्यकता होती है, विविधता और कवरेज के लिए।

अधिक महत्वपूर्ण बात यह है कि लगभग हर वर्तमान एआई-आधारित वीडियो-कैप्शनिंग मॉडल 1fps पर काम करता है, जो कई परिदृश्यों में भिन्नताओं को निर्धारित करने के लिए पर्याप्त घना कैप्चर दर नहीं है: भावना-प्रतिक्रिया प्रणालियों के लिए अचानक माइक्रो-अभिव्यक्ति परिवर्तन; उच्च-गति वाले खेलों में तेजी से घटनाएं जैसे बास्केटबॉल; तेजी से आंदोलन; नाटकीय फिल्मों में तेजी से कट, जहां प्रणालियां जैसे पीसीनेडिटेक्ट उन्हें पहचानने में विफल हो सकती हैं (या उनका उपयोग नहीं किया जा रहा है); और कई अन्य परिदृश्य जहां ध्यान की खिड़की स्पष्ट रूप से अधिक तीव्र होने की आवश्यकता है।

प्ले करने के लिए क्लिक करें। दुनिया के सबसे धीमे खेलों में से एक में तेजी से लेकिन जीवन बदलने वाली कार्रवाई, जैसा कि एलेक्स हिगिंस 1982 में रे रीडन के खिलाफ विश्व चैंपियनशिप जीतते हैं। स्रोत: https://www.youtube.com/watch?v=_1PuqKno_Ok

तेजी से आगे बढ़ें और तर्क तोड़ें

यह कम दर विभिन्न लॉजिस्टिक कारणों से मानक है। एक कारण यह है कि वीडियो-कैप्शनिंग एक संसाधन-गहन गतिविधि है, चाहे प्रणाली एक समय में एक अनुक्रमिक फ्रेम का अध्ययन कर रही हो या विभिन्न तरीकों से एक फ्रेम की श्रृंखला को एक व्याख्यात्मक कैप्शन अनुक्रम में सेमेन्टिक रूप से सहमत करने के लिए। दोनों मामलों में, संदर्भ खिड़की अंततः हार्डवेयर प्रतिबंधों द्वारा सीमित होती है।

1fps के वर्तमान मानक होने का एक और कारण यह है कि वीडियो आमतौर पर तेजी से घटनाओं से भरे नहीं होते हैं; इसलिए, 300 फ्रेम स्थिर स्नूकर टेबल को उसी ध्यान से देना जितना कि चैंपियनशिप जीतने वाले ब्लैक बॉल को पॉट करने के लिए एक सेकंड में होता है (ऊपर देखें)।

वीडियो में महत्वपूर्ण क्षणों की पहचान करने के लिए बास्केटबॉल गेम में तेजी से स्लैम-डंक के लिए स्थायी रूप से भीड़ की प्रतिक्रिया जैसे व्यापक माध्यमिक संकेतों का उपयोग किया जा सकता है। हालांकि, ऐसे संकेत अन्य कारणों से भी हो सकते हैं (जैसे कि अप्रत्याशित खिलाड़ी चोटें), और उन पर भरोसा नहीं किया जा सकता है। यह एक उदाहरण है कि कैसे एक गलत लेबल वाला वीडियो डेटासेट एक जनरेटिव वीडियो मॉडल का कारण बन सकता है जो हॉलुसिनेट या निर्देशों को गलत तरीके से व्याख्या करता है, अर्थात्, क्योंकि मॉडल एक प्लेयर चोट को दिखा सकता है जब यह एक स्लैम-डंक को जनरेट करने के लिए कहा जाता है (क्योंकि ‘माध्यमिक संकेत’ भीड़-उत्तेजना किसी विशिष्ट प्रकार की घटना के लिए विशिष्ट नहीं था)।

यह कई तरह से एक ‘बजट’ समस्या है, और अन्य तरह से एक प्रक्रियात्मक समस्या है। अब तक के फ्रेमवर्क ने इस सिद्धांत पर काम किया है कि कुंजी फ्रेम को प्रभावी ढंग से आवश्यक जानकारी को कैप्चर करने के लिए पतला किया जा सकता है, लेकिन यह वीडियो के विषय के अन्य पहलुओं को स्थापित करने में अधिक प्रभावी है, क्योंकि उस मामले में साक्ष्य कई फ्रेमों में बना रहता है।

F-16

चीन से एक नई पेपर एक समाधान प्रदान कर रही है, जो पहले मल्टीमॉडल लार्ज लैंग्वेज मॉडल (एमएलएलएम, या बस एलएलएम) के रूप में आती है जो 1fps के बजाय 16fps पर वीडियो का विश्लेषण कर सकती है, जबकि विश्लेषण दर बढ़ाने के प्रमुख जाल से बचती है।

परीक्षण में, लेखकों का दावा है कि नया सिस्टम, एफ-16 नामक, प्रोप्राइटरी स्टेट-ऑफ-द-आर्ट मॉडल जैसे जीपीटी-4ओ और गूगल के जेमिनी-1.5 प्रो को बेहतर प्रदर्शन करता है। जबकि अन्य वर्तमान मॉडल परीक्षण में एफ-16 के परिणामों को मिलाने या उससे अधिक हासिल करने में सक्षम थे, प्रतिस्पर्धी मॉडल बहुत बड़े और अधिक जटिल थे।

हालांकि एफ-16 को कुछ गंभीर हार्डवेयर (जैसा कि हम जल्द ही देखेंगे) पर प्रशिक्षित किया गया था, अनुमान आमतौर पर प्रशिक्षण की तुलना में बहुत कम मांग वाला होता है। इसलिए हमें उम्मीद है कि कोड (निकट भविष्य में रिलीज़ का वादा किया गया है) मध्यम या उच्च-स्तरीय घरेलू जीपीयू पर चलने में सक्षम होगा।

शौकिया दृश्य (और यह पेशेवर वीएफएक्स दृश्य के अधिकांश समय के लिए भी है) के लिए जो जरूरी है वह इस प्रकार का एक वीडियो-कैप्शनिंग मॉडल है जो संभवतः क्वांटाइज्ड हो, उपभोक्ता प्रणालियों पर संचालित हो सकता है, ताकि पूरा जनरेटिव वीडियो दृश्य व्यावसायिक एपीआई-आधारित प्रणालियों या उपभोक्ताओं को स्थानीय फ्रेमवर्क को व्यावसायिक ऑनलाइन जीपीयू सेवाओं से जोड़ने के लिए मजबूर न करे।

स्केलिंग अप के परे

लेखकों का观察 है कि इस प्रकार का दृष्टिकोण डेटासेट को स्केल करने के लिए एक व्यावहारिक विकल्प है। हम यह भी अनुमान लगा सकते हैं कि यदि आप समस्या को अधिक डेटा देने जा रहे हैं, तो यह अभी भी इस प्रकार का दृष्टिकोण हो सकता है, क्योंकि नया सिस्टम घटनाओं को अधिक विस्तृत तरीके से पहचानता है।

वे कहते हैं:

‘कम फ्रेम दर नमूनाकरण महत्वपूर्ण दृश्य जानकारी के नुकसान का कारण बन सकता है, विशेष रूप से तेजी से बदलते दृश्यों वाले वीडियो, जटिल विवरण या तेजी से गति वाले वीडियो में। इसके अलावा, यदि कुंजी फ्रेम छूट जाती हैं, लेकिन मॉडल कुंजी फ्रेम जानकारी पर निर्भर लेबल पर प्रशिक्षित होता है, तो यह अपनी भविष्यवाणियों को अपेक्षित सामग्री के साथ संरेखित करने में संघर्ष कर सकता है, संभावित रूप से हॉलुसिनेशन और खराब प्रदर्शन का कारण बनता है…

‘… एफ-16 सामान्य वीडियो क्यूए में समान आकार के मॉडलों में एसओटीए प्रदर्शन प्राप्त करता है और उच्च-फ्रेम-दर वीडियो समझने में स्पष्ट लाभ प्रदर्शित करता है, जीपीटी-4ओ जैसे व्यावसायिक मॉडलों को पार करता है। यह काम मल्टीमॉडल एलएलएम अनुसंधान में उच्च-फ्रेम-दर वीडियो समझने को आगे बढ़ाने के लिए नए दिशानिर्देश खोलता है।’

नई पेपर का शीर्षक 16 फ्रेम प्रति सेकंड के साथ एलएलएम वीडियो समझ में सुधार है, और यह त्सिंगहुआ विश्वविद्यालय और बाइटडांस से आठ लेखकों द्वारा लिखा गया है।

विधि

चूंकि अनुक्रमिक फ्रेम अक्सर अतिरिक्त जानकारी को निहित करते हैं, एफ-16 एक उच्च-फ्रेम-दर संरेखक लागू करता है जो कुंजी मोशन विवरण को संकुचित और एन्कोड करता है, जबकि दृश्य सेमेन्टिक्स को बनाए रखता है। प्रत्येक फ्रेम को पहले एक पूर्व-प्रशिक्षित छवि एन्कोडर द्वारा संसाधित किया जाता है, जो विशेषता प्रतिनिधित्व निकालता है इससे पहले कि यह एक संरेखक को पारित किया जाता है जो गॉसियन त्रुटि रेखीय इकाइयों (जीईएलयू) पर आधारित होता है।

एफ-16 की वास्तुकला 16 एफपीएस पर वीडियो को संसाधित करती है, पारंपरिक कम-फ्रेम-दर मॉडल की तुलना में अधिक फ्रेम कैप्चर करती है, और इसका उच्च-फ्रेम-दर संरेखक दृश्य सेमेन्टिक्स को बनाए रखते हुए मोशन डायनामिक्स को कुशलता से एन्कोड करता है, बिना अतिरिक्त दृश्य टोकन जोड़े। स्रोत: https://arxiv.org/pdf/2503.13956

बढ़ी हुई फ्रेम गणना को कुशलता से संभालने के लिए, एफ-16 फ्रेम को छोटे प्रसंस्करण खिड़कियों में समूहित करता है, एक तीन-परत मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) का उपयोग करके दृश्य विशेषताओं को मिलाता है, जो केवल सबसे प्रासंगिक मोशन विवरण को बनाए रखने में मदद करता है, और अनावश्यक दोहराव को कम करता है, जबकि क्रियाओं के समयबद्ध प्रवाह को बनाए रखता है। एक स्थानिक मैक्स-पूलिंग परत टोकन गणना को और कम करती है, कम्प्यूटेशनल लागत को सीमा के भीतर रखती है।

संसाधित वीडियो टोकन को तब क्वेन2-7बी एलएलएम में डाला जाता है, जो निकाले गए दृश्य विशेषताओं और एक दिए गए उपयोगकर्ता प्रॉम्प्ट के आधार पर पाठ्य उत्तर उत्पन्न करता है।

इस प्रकार वीडियो इनपुट को संरचित करके, एफ-16 सक्षम बनाता है, लेखकों का दावा है, गतिशील दृश्यों में अधिक सटीक घटना मान्यता के लिए, जबकि अभी भी कुशलता बनाए रखने के लिए।

संक्षिप्त संस्करण

एफ-16 एक पूर्व-प्रशिक्षित छवि एलएलएम, एलएलएवीए-वनविजन को वीडियो को संसाधित करने के लिए विस्तारित करता है जो इसकी दृश्य इनपुट पाइपलाइन को बदलकर। जबकि मानक छवि एलएलएम अलग-अलग फ्रेम को संभालते हैं, एफ-16 का उच्च-फ्रेम-दर संरेखक कई फ्रेम को एक फॉर्मेट में पुनर्गठित करता है जिसे मॉडल अधिक कुशलता से संसाधित कर सकता है; यह प्रणाली को अतिरिक्त जानकारी से अभिभूत किए बिना कुंजी मोशन संकेतों को संरक्षित करता है।

संगतता सुनिश्चित करने के लिए, एफ-16 अपने संरेखक को सब-मैट्रिक्स में पुनर्गठित करता है, जो इसे एकल-फ्रेम मॉडल से ज्ञान को पुनर्प्राप्त करने और क्रमिक वीडियो इनपुट के अनुकूल बनाने की अनुमति देता है।

संरेखक पहले फ्रेम अनुक्रम को एलएलएम के लिए अनुकूलित प्रारूप में संकुचित करता है, सबसे जानकारीपूर्ण विशेषताओं को संरक्षित करता है और अनावश्यक विवरण को त्यागता है। वास्तुकला डिजाइन वीडियो को उच्च-फ्रेम-दर पर संसाधित करने की अनुमति देता है, जबकि कम्प्यूटेशनल मांगों को नियंत्रित करने के लिए, जिसे लेखकों को स्केलिंग के अलावा आगे बढ़ने के लिए साक्ष्य के रूप में प्रस्तुत करते हैं।

गति को बदलना

चूंकि 16 एफपीएस पर वीडियो को संसाधित करना मोशन समझ में सुधार करता है लेकिन कम्प्यूटेशनल लागत को बढ़ाता है, विशेष रूप से अनुमान के दौरान, एफ-16 एक परिवर्तनीय-फ्रेम-दर डिकोडिंग विधि पेश करता है, जो इसे गति को गतिशील रूप से समायोजित करने की अनुमति देता है बिना पुनः प्रशिक्षण के।

एफ-16 के लिए उपलब्ध एकल-फ्रेम और उच्च-फ्रेम-दर संरेखक।

यह लचीलापन मॉडल को कम एफपीएस पर कुशलता से काम करने की अनुमति देता है जब उच्च सटीकता की आवश्यकता नहीं होती है, और कम्प्यूटेशनल ओवरहेड को कम करता है।

परीक्षण के समय, जब एक कम फ्रेम दर चुना जाता है, तो एफ-16 पूर्व-प्रशिक्षित संरेखक पैरामीटर को दोहराकर इनपुट फ्रेम को अपेक्षित आयामों से मेल खाने के लिए दोहराता है। यह सुनिश्चित करता है कि मॉडल अभी भी वीडियो को प्रभावी ढंग से संसाधित कर सकता है बिना अपनी वास्तुकला को संशोधित किए।

निष्क्रिय डाउनसैम्पलिंग (अर्थात, बस फ्रेम हटाने) के विपरीत, जो महत्वपूर्ण मोशन विवरण खोने का जोखिम उठाता है, यह विधि संरेखक के सीखे गए मोशन प्रतिनिधित्वों को बनाए रखती है, यहां तक कि कम फ्रेम दर पर भी सटीकता को बनाए रखती है। सामान्य वीडियो समझ के लिए, एक कम एफपीएस सेटिंग अनुमान को तेज कर सकती है बिना महत्वपूर्ण प्रदर्शन हानि के, जबकि उच्च-गति वाली मोशन विश्लेषण अभी भी 16 एफपीएस की क्षमता का लाभ उठा सकता है।

डेटा और परीक्षण

क्यूवेन2-7बी पर आधारित, एफपी-16 एलएवीए-वनविजन का उपयोग सिगलिप के रूप में एक छवि एन्कोडर के रूप में करता है। 16 एफपीएस पर वीडियो फ्रेम को नमूनाकरण करने से प्रत्येक वीडियो से 1,760 फ्रेम प्राप्त किए जा सकते हैं। लंबे वीडियो क्लिप के लिए, फ्रेम एकसमान रूप से (अर्थात, अधिक दुर्लभ) नमूनाकरण किए गए थे।

प्रशिक्षण के लिए, एफ-16 ने एलएवीए-वीडियो के समान सामान्य वीडियो डेटासेट का उपयोग किया, जिसमें एलएवीए-वीडियो-178के, नेक्स्ट-क्यूए, एक्टिविटीनेट-क्यूए, और परसेप्शनटेस्ट शामिल हैं।

एफ-16 को अतिरिक्त रूप से फाइनगिम, डाइविंग48, और सोकcernet जैसे उच्च-गति वाले खेल डेटासेट पर फाइन-ट्यून किया गया था। लेखकों ने 13 नवंबर और 25 नवंबर, 2024 के बीच खेले गए 276 एनबीए गेम्स का एक संग्रह भी तैयार किया, जिसमें यह देखने पर ध्यान केंद्रित किया गया कि क्या एक शॉट सफल था (एक कार्य जिसके लिए उच्च-फ्रेम-दर प्रसंस्करण की आवश्यकता होती है)।

मॉडल का एनएसवीए टेस्ट सेट का उपयोग करके मूल्यांकन किया गया था, जिसमें प्रदर्शन को एफ1 स्कोर द्वारा मापा गया था।

जिमनास्टिक्स और डाइविंग मॉडल का मूल्यांकन इवेंट मान्यता सटीकता के आधार पर किया गया था, जबकि सॉकर और बास्केटबॉल मॉडल पास और शॉट परिणामों को ट्रैक करते थे।

मॉडल को 1 प्रकरण के लिए 128 एनवीडिया एच100 जीपीयू (और मानक 80जीबी वीआरएएम प्रति जीपीयू, यह 10,24 टेराबाइट जीपीयू मेमोरी का उपयोग करने के लिए निकला, जो हाल के मानकों द्वारा भी यह सबसे उच्च-स्पेक्ड जीपीयू क्लस्टर है जिसे मैंने कंप्यूटर विजन अनुसंधान साहित्य के साथ तालमेल बिठाया है) का उपयोग करके प्रशिक्षित किया गया था। प्रशिक्षण के दौरान 2×10⁻⁵ की सीखने की दर का उपयोग किया गया था।

इसके अलावा, लोरा को खेल डेटा पर 64 जीपीयू के साथ 5 प्रकरणों के लिए फाइन-ट्यून किया गया था। यहां, केवल एलएलएम को प्रशिक्षित किया गया था, छवि एन्कोडर को जमे हुए छोड़ दिया गया था।

प्रारंभिक दौर में परीक्षण किए गए प्रतिद्वंद्वी फ्रेमवर्क ‘सामान्य वीडियो समझ’ के लिए जीपीटी-4ओ; जेमिनी-1.5-प्रो; क्यूवेन2-वीएल-7बी; वीडियोलामा2-7बी; वीडियोचैट2-एचडी-7बी; एलएवीए-ओवी-7बी; मिनीसीपीएम-वी2.6-8बी; एलएवीए-वीडियो-7बी; और एनवीआईएलए-7बी थे।

मॉडल का वीडियो-एमएमई; वीडियोविस्टा; टेम्पोरलबेंच; मोशनबेंच; नेक्स्ट-क्यूए; एमएलवीयू; और लॉन्गवीडियोबेंच पर मूल्यांकन किया गया था।

मॉडल के वीडियो क्यूए परिणामों की तुलना, एफपीएस सीमा और कई बेंचमार्क पर प्रदर्शन को दिखा रहा है। एफ-16 वीडियो-एमएमई, एनक्यूए, टीपीबी, और एमबी पर 7बी मॉडलों में एसओटीए हासिल करता है, जो जीपीटी-4ओ और जेमिनी-1.5-प्रो जैसे व्यावसायिक मॉडलों के बराबर है।

इन परिणामों में, लेखक कहते हैं:

‘वीडियो-एमएमई शॉर्ट, मीडियम, और नेक्स्ट-क्यूए डेटासेट पर – प्रत्येक छोटे वीडियो समझ के लिए डिज़ाइन किया गया – हमारा मॉडल पिछले 7बी एसओटीए मॉडल से 3.2%, 1.0%, और 0.9% की सटीकता में आगे निकल जाता है, जो इसके छोटे वीडियो पर मजबूत प्रदर्शन को दर्शाता है। ‘

‘लंबे वीडियो समझ का मूल्यांकन करने वाले बेंचमार्क के लिए, जैसे कि वीडियो-एमएमई लॉन्ग, लॉन्गवीडियोबेंच, और एमएलवीयू, चुनौती अधिक है क्योंकि फ्रेम का नमूनाकरण अधिक दुर्लभ है, जिससे प्रसंस्करण खिड़की में फ्रेम में महत्वपूर्ण भिन्नताएं हो सकती हैं। ‘

‘यह मॉडैलिटी संरेखक के लिए मॉडल की भविष्यवाणियों को प्रभावी ढंग से एन्कोड करने में कठिनाई पैदा करता है, सीमित टोकन प्रतिनिधित्व के भीतर समयिक परिवर्तन। परिणामस्वरूप, एफ-16 एलएवीए-वीडियो-7बी की तुलना में प्रदर्शन में एक छोटी सी गिरावट का अनुभव करता है, जो समान वीडियो डेटासेट पर प्रशिक्षित है।’

एफ-16 के उच्च-फ्रेम-दर प्रसंस्करण ने टेम्पोरलबेंच पर 13.5% की सुधार और मोशनबेंच पर 2.5% की सुधार का परिणाम दिया, जो मौजूदा 7बी मॉडलों की तुलना में है, और जीपीटी-4ओ और जेमिनी-1.5-प्रो जैसे व्यावसायिक मॉडलों के समान स्तर पर प्रदर्शन किया।

उच्च गति खेल वीडियो समझ

एफ-16 का मूल्यांकन फाइनगिम, डाइविंग48, सॉकरनेट, और एनबीए डेटासेट पर किया गया था ताकि इसकी उच्च-गति वाली खेल क्रियाओं को समझने की क्षमता का मूल्यांकन किया जा सके।

10,000 मैन्युअल रूप से एनोटेटेड एनबीए क्लिप का उपयोग करके, प्रशिक्षण गेंद की गति और खिलाड़ी की क्रियाओं पर केंद्रित था, और मॉडल यह निर्धारित करने में सक्षम था कि क्या एक शॉट सफल था या नहीं, एनएसवीए टेस्ट सेट का उपयोग करके एफ1 स्कोर के साथ मूल्यांकन किया गया था।

उच्च गति खेल वीडियो विश्लेषण के परिणाम। एफ-16 ने उच्च-फ्रेम-दर संरेखक के साथ सभी खेल कार्यों में अपने निम्न-फ्रेम-दर समकक्ष की तुलना में बेहतर प्रदर्शन किया। जीपीटी-4ओ और जेमिनी-1.5-प्रो का भी एनबीए और सॉकरनेट क्यूए पर मूल्यांकन किया गया था, जहां डोमेन-विशिष्ट प्रशिक्षण ज्ञान की आवश्यकता नहीं थी।

फाइनगिम पर, जो जिमनास्टिक्स क्रिया मान्यता को मापता है, एफ-16 ने पिछले 7बी एसओटीए मॉडल से 13.8% बेहतर प्रदर्शन किया, जो बारीक मोशन समझ में सुधार को दर्शाता है।

डाइविंग48 ने जटिल मोशन क्रम जैसे टेकऑफ, सोमरसॉल्ट, ट्विस्ट, और फ्लाइट चरणों की पहचान करने की आवश्यकता थी, और एफ-16 ने इन संक्रमणों को पहचानने में उच्च सटीकता दिखाई।

सॉकरनेट के लिए, मॉडल ने 10-सेकंड क्लिप विश्लेषण किया, गेंद पास की पहचान की, और परिणामों ने मौजूदा 7बी मॉडलों पर सुधार दिखाया, जो दर्शाता है कि उच्च एफपीएस छोटे और तेजी से आंदोलनों को ट्रैक करने में योगदान देता है।

एनबीए डेटासेट में, एफ-16 की शॉट परिणामों का निर्धारण करने की क्षमता जीपीटी-4ओ और जेमिनी-1.5-प्रो जैसे बड़े व्यावसायिक मॉडलों की सटीकता के करीब थी, जो आगे सुझाव देता है कि उच्च फ्रेम दर इसकी गतिशील मोशन प्रसंस्करण क्षमता को बढ़ाती है।

परिवर्तनीय फ्रेम दर

एफ-16 का परीक्षण विभिन्न फ्रेम दर पर किया गया था ताकि इसकी अनुकूलन क्षमता को मापा जा सके। इसके बजाय पुनः प्रशिक्षण के, यह फ्रेम को दोहराकर अपने संरेखक के इनपुट संरचना से मेल खाने के लिए संभाला。

परिणामों से पता चलता है कि एफपीएस को कम करने से मोशन मान्यता पर कुछ प्रभाव पड़ा, लेकिन एफ-16 ने अभी भी निम्न-फ्रेम-दर मॉडलों को पार किया और 16 एफपीएस से नीचे भी मजबूत परिणाम दिखाए।

बाएं, वीडियो-एमएमई लॉन्ग सेट के 300 वीडियो पर विभिन्न परीक्षण एफपीएस और अनुक्रम लंबाई पर विभिन्न एफ-16 मॉड्यूल के दौरान अनुमान के समय की खपत। दाएं, मॉडल के प्रशिक्षण और परीक्षण एफपीएस के बीच तुलना के साथ वीडियो-एमएमई प्रदर्शन। ठोस रेखा मॉडल को एक ही एफपीएस पर प्रशिक्षित और परीक्षण का प्रतिनिधित्व करती है, जबकि डैश्ड रेखा 16 एफपीएस पर प्रशिक्षित मॉडल के प्रदर्शन को एक कम एफपीएस पर दिखाती है।

एफ-16 के उच्च-फ्रेम-दर प्रसंस्करण ने कम्प्यूटेशनल आवश्यकताओं को बढ़ाया, हालांकि इसके संरेखक ने लागत को प्रबंधित करने में मदद की bằng दृश्य टोकन को संकुचित करके।

मॉडल ने प्रति वीडियो कम एफपीएस मॉडल की तुलना में अधिक फ्लॉप्स की आवश्यकता थी, लेकिन यह प्रति टोकन भी बेहतर सटीकता हासिल की, जो सुझाव देता है कि इसकी फ्रेम चयन और टोकन संपीड़न रणनीतियों ने जोड़े गए गणना को ऑफसेट करने में मदद की।

निष्कर्ष

यह विशेष शोध शाखा के महत्व और चुनौतियों को कम करना मुश्किल है – विशेष रूप से इस वर्ष, जो जनरेटिव वीडियो के लिए ब्रेकथ्रू वर्ष होने वाला है, जो वीडियो डेटासेट क्यूरेशन और कैप्शनिंग गुणवत्ता की कमियों को तेजी से राहत दिला रहा है।

यह भी जोर दिया जाना चाहिए कि वीडियो के आंतरिक विवरणों के सटीक विवरण प्राप्त करने में शामिल चुनौतियों को विशेष रूप से वीआरएएम, समय, या डिस्क स्थान पर फेंककर हल नहीं किया जा सकता है। घटनाओं को लंबे और उबाऊ वीडियो ट्रैक (जैसे गोल्फ या स्नूकर वीडियो क्लिप) से अलग करने और निकालने के तरीके से लाभ होगा वर्तमान एसओटीए समाधानों द्वारा प्रभुत्व वाले सेमेन्टिक दृष्टिकोण और तंत्र की पुनः समीक्षा से – क्योंकि कुछ सीमाएं अधिक संसाधन-गरीब समय में स्थापित की गई थीं।

(गौरतलब है कि यदि 16fps 2025 के लिए बहुत कम फ्रेम दर लगती है, तो यह भी ध्यान देने योग्य है कि यह वान 2.1 जनरेटिव वीडियो मॉडल के लिए वीडियो क्लिप का मूल प्रशिक्षण गति है, और यह वह गति है जिस पर यह सबसे कम समस्याओं के साथ काम करता है। आशा है कि शोध दृश्य ‘मानक एंट्रोपी’ पर नजर रखेगा; कभी-कभी पुराने प्रतिबंध भविष्य के मानकों को बनाए रखने में मदद कर सकते हैं)

पहली बार बुधवार, 19 मार्च, 2025 को प्रकाशित