एआई को किताब पढ़ना ज्यादा पसंद है फिल्म देखने की तुलना में

यह आश्चर्यजनक रूप से मुश्किल है कि एआई मॉडल वास्तविक वीडियो सामग्री पर टिप्पणी करने के लिए प्राप्त किया जाए, भले ही वे इस कार्य के लिए बनाए गए हों। वे लिखित शब्द में अधिक रुचि रखते हैं।

यदि आपने कभी ChatGPT या किसी अन्य लोकप्रिय दृष्टि/भाषा मॉडल में एक छोटा वीडियो क्लिप अपलोड करने की कोशिश की है, तो आपको यह महसूस हो सकता है कि वे वास्तव में वीडियो को पार्स नहीं कर सकते हैं। जबकि मॉडल जैसे ChatGPT-4o+ व्यक्तिगत फ्रेमों का विश्लेषण करने में सक्षम हैं – छवियों के रूप में, जैसे JPEG और PNG – वे उपयोगकर्ता को अपने फ्रेम निकालने और उन्हें छवियों के रूप में अपलोड करने के लिए पसंद करते हैं (जिन पर वे टिप्पणी करने के लिए तैयार हैं)।

ओपनएआई जीपीटी श्रृंखला के मामले में, एक वीडियो क्लिप से पूरे फ्रेम को निकालना और उन्हें ChatGPT को खिलाना संभव है, उदाहरण के लिए, वीडियो के लिए एक एआई-निर्मित कथा ट्रैक बनाने के उद्देश्य से:

ओपनएआई जीपीटी ट्यूटोरियल से छवियां और कोड वीडियो क्लिप के लिए एक एआई-निर्मित टिप्पणी विकसित करने के उद्देश्य से कई निकाले गए फ्रेम को पार्स करने के लिए। [ स्रोत ] https://cookbook.openai.com/examples/gpt_with_vision_for_video_understanding

लेकिन यह उपयोगकर्ता पर निर्भर करता है कि वीडियो से फ्रेम में रूपांतरण करे, या तो एक बड़े रूटीन में कार्यों को कॉल करके, जैसा कि ऊपर दिए गए उदाहरण में, या FFMPEG या विभिन्न नि:शुल्क और भुगतान वीडियो संपादन समाधानों के साथ फ्रेम निकालकर।

एक हद तक, शायद एक बड़े हद तक, उच्च-स्तरीय उत्पादों जैसे ChatGPT में वीडियो विश्लेषण पर सीमाएं संसाधन उपयोग पर निर्भर करती हैं: एक ही एआई उदाहरण को सबसे लोकप्रिय वीडियो कोडेक्स के चयन के साथ सुसज्जित करना और निकाली गई फ्रेम के डिस्क-भारी और सीपीयू-थ्रॉटलिंग प्रक्रिया के लिए कंप्यूटे संसाधनों को प्रतिबद्ध करना कोई छोटी बात नहीं है, यदि सैकड़ों मिलियन उपयोगकर्ता प्रतिदिन इन सुविधाओं का उपयोग करना शुरू कर दें।

इसके अलावा, समयिक विश्लेषण एक बहुत अलग चित्र पेंट कर सकता है एक एकल फ्रेम की तुलना में (कल्पना कीजिए कि कोई खुश मूड में एक घर में प्रवेश करता है और फिर एक शरीर की खोज करता है); इसलिए, यहां तक कि एक छोटे वीडियो क्लिप के पूरे समयिक ‘चेकसम’ पर विचार करना एक मांग और संसाधन-गहन कार्य है – साथ ही साथ अनुसंधान साहित्य का एक विशेषज्ञ क्षेत्र, उदाहरण के लिए, ऑप्टिकल फ्लो जैसे फ्रेमवर्क के निरंतर विकास के साथ – जो मूल रूप से एक वीडियो को ‘अनफोल्ड’ करता है ताकि यह एक स्थिर दस्तावेज की तरह माना जा सके और कार्रवाई की जा सके:

ऑप्टिकल फ्लो आरेख यह दिखाते हैं कि वीडियो अनुक्रम में फ्रेम के माध्यम से गति कैसे ट्रैक की जाती है, जिसमें हरे वेक्टर गति दिशा और तीव्रता दिखाते हैं। ये मैपिंग वीएलएम के लिए आवश्यक समयिक निरंतरता प्रदान करते हैं और वीएफएक्स कार्य प्रवाहों में संरचनात्मक मार्गदर्शक के रूप में भी कार्य कर सकते हैं। [ स्रोत ] https://www.researchgate.net/figure/Optical-flow-field-vectors-shown-as-green-vectors-with-red-end-points-before-and-after_fig6_290181771

क्लिफ की नोट्स के लिए बसना

फिर भी, चूंकि मॉडल जैसे गूगल के नोटबुक एलएम और हाल के चैटजीपीटी प्रवेश वीडियो से जुड़े मेटाडेटा (अर्थात, वीडियो को कुछ तरीके से संदर्भित करने वाली एम्बेडेड पाठ सामग्री) को पढ़ सकते हैं, वे वीडियो फ़ाइल अपलोड पर प्रतिबंध नहीं लगाते हैं; और कभी-कभी, वे एक वीडियो की व्याख्या करने का प्रयास भी करेंगे जिसमें ऐसा कोई डेटा नहीं है。

निम्नलिखित मामले में, मैंने नोटबुक एलएम में इटैलियन मूवी द हैंड ऑफ गॉड (2021) का 6-सेकंड का रैंडम क्लिप अपलोड किया, यह सुनिश्चित करते हुए कि क्लिप में शून्य उपयोगी पाठ था, चाहे वह मेटाडेटा में हो या फ़ाइल नाम में।

नोटबुक एलएम तब वीडियो से संबंधित किसी भी सामग्री के बिना सामग्री को विस्तार से कल्पना करने के लिए आगे बढ़ा, जिसमें एक असंबंधित और असंबंधित पांच मिनट का हेड-टू-हेड पॉडकास्ट शामिल था:

एक इतालवी फिल्म के छह-सेकंड के क्लिप में एक साधारण क्षण को नोटबुक एलएम द्वारा जंगली रूप से गलत व्याख्या की जाती है। स्रोत: गूगल नोटबुक एलएम

हालांकि नोटबुक, चैटजीपीटी की तरह, यूट्यूब वीडियो को इनपुट के रूप में स्वीकार करेगा, यह केवल तभी करेगा जब वीडियो में एक व्याख्या योग्य पाठ परत वाली एनोटेशन और/या उपशीर्षक हों (न कि रैस्टराइज्ड उपशीर्षक जो वीडियो में जलाए गए हों)।

इस तरह, वीडियो की सामग्री को वास्तव में देखने और सुनने और इसका सेमेंटिक व्याख्या करने (यूट्यूब के लिए एक कानूनी आवश्यकता है, इसके कॉपीराइट सुरक्षा उपायों के कारण, और इसके आगामी पहचान सुरक्षा प्रणाली के कारण), का कठिन काम उपयोगकर्ता अपलोड के बाद आराम से किया जाता है, जब और जब क्लिप को आवश्यक प्रसंस्करण संसाधनों को आवंटित किया जा सकता है।

वास्तविक वीडियो व्याख्या महंगी और थकाऊ है, और यह पता चलता है कि यहां तक कि विशेष रूप से इस कार्य को करने के लिए प्रशिक्षित मॉडल भी वीडियो को देखने की तुलना में पाठ पढ़ना पसंद करते हैं।

टीएल;डब्ल्यू

यह, यूके के ब्रिस्टल विश्वविद्यालय से एक नए पत्र के अनुसार, जिसका शीर्षक है एक वीडियो एक हजार शब्दों के लायक नहीं है, जिसमें दो लेखक निष्कर्ष निकालते हैं कि वर्तमान राज्य-ऑफ-द-आर्ट विजन भाषा मॉडल (वीएलएम) – मॉडल जो वीडियो का विश्लेषण करने में सक्षम होने के लिए विशेष रूप से डिज़ाइन किए गए हैं और वीडियो प्रश्न उत्तर देने (वीक्यूए) में भाग लेने के लिए – भी तब टेक्स्ट-आधारित जानकारी पर चुनते हैं जब वे कर सकते हैं।

जब दोनों चलती तस्वीरें और लिखित प्रश्न और बहुविकल्पी उत्तर दिए गए, तो पत्र के लेखकों ने पाया कि मॉडल आमतौर पर पाठ में पैटर्न पर अपनी पसंद के आधार पर निर्णय लेते हैं, न कि स्क्रीन पर होने वाली चीजों पर – कई मामलों में तब भी उतना ही अच्छा प्रदर्शन किया जब प्रश्न पूरी तरह से हटा दिया गया था।

जो लगता है वह एक प्रकार का शॉर्टकट या धोखाधड़ी का एक रूप है, जिसमें सबसे महत्वपूर्ण बात यह है कि मॉडल के लिए पैटर्न को संभावित उत्तरों में पहचानना; केवल जब कार्य को अधिक कठिन बनाया गया, तो अधिक उत्तर विकल्प जोड़कर, एआई ने वीडियो पर अधिक ध्यान देना शुरू किया।

लेखकों ने विभिन्न संदर्भ लंबाई वाले छह वीएलएम मॉडल पर विभिन्न परीक्षण चलाए; और पाया कि परिणाम मॉडल की वीडियो सामग्री पर निर्भरता की कमी को दर्शाते हैं।

अध्ययन से एक उदाहरण जो दिखाता है कि एक वीडियो-विश्लेषण मॉडल वीडियो की तुलना में पढ़ने के लिए क्या महत्व देता है। क्लिप में एक व्यक्ति बांस बुनने को दिखाया गया है, लेकिन मॉडल लिखित प्रश्न और उत्तर पाठ पर वीडियो फ्रेम की तुलना में बहुत अधिक महत्व देता है। नीले हाइलाइट्स उन तत्वों को दर्शाते हैं जो चुने गए उत्तर का समर्थन करते हैं, जबकि लाल वे जो इसके विपरीत दिशा में खींचते हैं, यह दर्शाते हुए कि मॉडल का तर्क पाठ पर केंद्रित है, न कि गतिमान छवियों पर। [ स्रोत ] https://arxiv.org/pdf/2510.23253

नया पत्र गिटहब रिपॉजिटरी के साथ आता है जिसमें रनटाइम और डेटा है।

विधि

मॉडल के निर्णय में प्रत्येक इनपुट का कितना योगदान है, यह समझने के लिए नए काम में गेम थ्योरी से एक विधि का उपयोग किया जाता है जिसे शैपले मूल्य कहा जाता है। मूल रूप से एक गठबंधन में खिलाड़ियों के बीच एक भुगतान को न्यायपूर्ण रूप से विभाजित करने के लिए डिज़ाइन किया गया, शैपले मूल्य प्रत्येक ‘खिलाड़ी’ को उनके व्यक्तिगत प्रभाव के आधार पर श्रेय देते हैं।

प्रभावी रूप से, इस दृश्य में खिलाड़ी या तो वीडियो फ्रेम हैं या वीक्यूए कार्य (एनोटेशन, उपशीर्षक, कैप्शन, आदि) के पाठ घटक; और ‘भुगतान’ मॉडल का अंतिम उत्तर है। प्रत्येक भाग को जोड़कर या हटाकर परीक्षण करके, तकनीक यह दर्शाती है कि कौन सा तत्व चुने गए उत्तर में कितना महत्वपूर्ण था।

इस मामले में, शैपले मूल्यों को वीडियो और पाठ घटकों को विभिन्न रूप से व्यवहार करने के लिए अनुकूलित किया गया था, और उनके प्रभाव को मॉडल के आउटपुट पर मापा गया था, यह दर्शाते हुए कि क्या वीडियो सामग्री वास्तव में व्याख्या की जा रही थी या लिखित संकेतों का उपयोग शॉर्टकट के रूप में किया जा रहा था।

मेट्रिक्स

दो सरल मेट्रिक्स को परिभाषित किया गया था ताकि यह तुलना की जा सके कि प्रत्येक मोडलिटी (अर्थात, वीडियो, प्रश्न, या उत्तर) मॉडल के निर्णय में कितना योगदान करती है: मोडलिटी योगदान मापता है कि कितना कुल व्याख्या प्रत्येक प्रकार के इनपुट से आती है; यहां, सभी उपलब्ध शैपले मूल्यों को जोड़कर, और प्रत्येक मोडलिटी के हिस्से को कुल के प्रतिशत के रूप में गणना की जाती है।

दूसरा, प्रति-विशेषता योगदान यह सही करता है कि कुछ मोडलिटी, जैसे वीडियो, अन्य लोगों की तुलना में अधिक विशेषताओं की संख्या होती है। इसके बजाय, प्रत्येक विशेषता के लिए औसत शैपले मूल्य की गणना की जाती है, और वे औसत एक दूसरे के साथ तुलना किए जाते हैं ताकि यह निर्धारित किया जा सके कि कौन सी मोडलिटी का प्रभाव प्रमुख है।

डेटा और परीक्षण

लेखकों ने छह वीएलएम का परीक्षण किया जो विभिन्न विशेषताओं के साथ थे जो यह सुनिश्चित करने के लिए डिज़ाइन किए गए थे कि परीक्षणों के सिद्धांत व्यापक रूप से लागू और सामान्य हैं। इसलिए, मॉडल का चयन विभिन्न संदर्भ लंबाई, विभिन्न उम्र (अर्थात, यह जारी होने के बाद से कितना समय बीत चुका है), और विभिन्न आर्किटेक्चर कॉन्फ़िगरेशन के लिए किया गया था।

प्रतियोगियों में फ्रोजनबिल्म; इंटरनवीडियो; वीडियोलामा2; वीडियोलामा3; एलएवा-वीडियो (जो क्वेन2 का लाभ उठाता है); और लॉन्गवीए (जो क्वेन2 का भी उपयोग करता है) शामिल थे।

विविधता की同 उद्देश्य के साथ, चार लक्ष्य डेटासेट एगोस्कीमा थे, एक वीक्यूए डेटासेट जो वीडियो को पूरी तरह से देखे बिना पूरा करना असंभव है; एचडी-एपिक, एक रसोई पर केंद्रित डेटासेट जिसमें कुछ असामान्य रूप से लंबे वीडियो हैं; एमवीबेंच, अन्य डेटासेट से योगदान का एक क्यूरेटेड असेंबल; और एलवीबेंच, जो बहुत लंबे वीडियो के लिए वीक्यूए प्रश्न प्रस्तुत करता है।

इनसे, लेखकों ने दस प्रत्येक प्रश्न प्रकार से 60 प्रश्न तैयार किए।

योगदान मेट्रिक्स ने स्पष्ट किया कि अधिकांश मॉडल वीडियो की तुलना में पाठ पर कम निर्भर थे, विशेष रूप से फ्रेम-दर-फ्रेम। यहां तक कि जहां वीडियो ने समग्र योगदान में एक उचित प्रदर्शन किया, इसका प्रति-विशेषता प्रभाव अक्सर न्यूनतम था, यह सुझाव देते हुए कि जबकि मॉडल समग्र रूप से वीडियो का उपयोग कर सकता था, यह व्यक्तिगत फ्रेम पर बहुत कम ध्यान दे रहा था। वीडियोलामा3 मुख्य अपवाद था, जिसमें लंबी अनुक्रम में एलवीबेंच पर विशेष रूप से भारी दृश्य निर्भरता थी:

मॉडल और डेटासेट के माध्यम से मोडलिटी योगदान (एमसी) और प्रति-विशेषता योगदान (पीएफसी) स्कोर, वीडियो (वी), प्रश्न (क्यू), और उत्तर (ए) इनपुट के सापेक्षिक वजन को दर्शाते हैं। ठंडे रंग मजबूत योगदान को दर्शाते हैं; गर्म रंग कमजोर या नगण्य प्रभाव को दर्शाते हैं। अधिकांश सेटिंग्स में, भाषा स्पष्ट रूप से प्रमुख है, वीडियो अक्सर हाशिए पर – विशेष रूप से प्रति-फ्रेम प्रभाव में।

प्रश्न की तुलना में उत्तर को अक्सर अधिक महत्व दिया जाता था, विशेष रूप से मजबूत मॉडल में। यह सबसे ज्यादा एगोस्कीमा जैसे डेटासेट में स्पष्ट था, जहां प्रश्न लंबे और अधिक प्राकृतिक थे, जबकि उत्तर छोटे और कभी-कभी योजनाबद्ध थे। एमवीबेंच ने इसे कुछ हद तक उलट दिया, क्योंकि इसकी द्विआधारी उत्तर संरचना ने उत्तर टोकन के स्पष्ट महत्व को बढ़ा दिया।

सभी मॉडल और डेटासेट में, हालांकि, दृष्टि को लगातार हाशिए पर रखा गया था, भाषा ने अधिकांश भारी उठाया था।

पत्र में कहा गया है:

‘[लंबे संदर्भ मॉडल के लिए, वीडियो में योगदान काफी कम हो जाता है, जिसका अर्थ है कि प्रति-फ्रेम शैपले मूल्य उनके पाठ सुविधा समकक्षों की तुलना में बहुत छोटे हैं।

‘वीडियो के रूप में एक मोडलिटी स्पष्ट रूप से अभी भी बहुत प्रासंगिक है, लेकिन यह साक्ष्य है कि इसके व्यक्तिगत फ्रेम के शैपले मूल्य शून्य के आसपास केंद्रित हैं, और मॉडल का ध्यान उन पर बहुत कम निर्देशित है।’

शोधकर्ताओं ने मॉडल की सटीकता कितनी बदल जाती है यह देखने के लिए कि प्रत्येक इनपुट (वीडियो, पाठ, आदि) मॉडल की सटीकता में कितना योगदान करता है, अतिरिक्त परीक्षण मास्किंग का उपयोग किया – जानबूझकर एक या एक से अधिक इनपुट को छुपाना और देखना कि मॉडल की सटीकता कितनी बदलती है जब परिणामस्वरूप।

यदि प्रदर्शन तेजी से गिरता है जब एक विशिष्ट इनपुट को हटा दिया जाता है, तो यह संभवतः महत्वपूर्ण है; यदि मॉडल लगभग समान रूप से प्रदर्शन करता है, तो यह सुझाव देता है कि हटाए गए टुकड़े पर बहुत अधिक निर्भर नहीं था। इस अर्थ में, मास्किंग परीक्षण एक प्रकार का अभिलाक्षणिक अध्ययन है।

चार वीक्यूए बेंचमार्क पर वीडियो, प्रश्न, या उत्तर इनपुट को मास्किंग के प्रदर्शन प्रभाव। स्कोर अपमास्क्ड बेसलाइन से परिवर्तन को दर्शाते हैं। लाल कम सटीकता को दर्शाता है, हरा उच्च सटीकता को दर्शाता है। मॉडल अक्सर वीडियो के बिना उच्च स्कोर बनाए रखते हैं, लेकिन जब (पाठ) उत्तर को हटा दिया जाता है तो बहुत अधिक खो देते हैं। प्रश्न को मास्क करने से आमतौर पर न्यूनतम प्रभाव पड़ता है।

परिणाम (ऊपर दिखाया गया है) यह दर्शाते हैं कि उत्तर (पाठ उत्तरों में से एक) सभी के लिए सबसे अधिक वजन रखते हैं। उत्तर को मास्क करने से आमतौर पर सटीकता में सबसे बड़ी गिरावट आती है, अक्सर मॉडल को यादृच्छिक प्रदर्शन तक ले जाती है।

हालांकि, प्रश्न को मास्क करने से आमतौर पर बहुत कम प्रभाव पड़ता है, जो पहले के निष्कर्ष का समर्थन करता है कि मॉडल अक्सर प्रश्न को कम आंकते हैं।

कुछ मामलों में, सटीकता वास्तव में प्रश्न को हटाने पर बढ़ जाती है, जो यह सुझाव देती है कि मॉडल कभी-कभी उत्तरों को दृश्य या पाठ संकेतों की तुलना में पाठ पैटर्न से मेल खाने के बजाय मिलान के आधार पर मेल खाते हैं।

मॉडल वीडियो पर अपनी निर्भरता में भिन्न थे: कुछ ने इसके बिना उचित सटीकता बनाए रखी, जो वीडियो सुविधाओं के सीमित योगदान की पुष्टि करता है।

शोधकर्ताओं ने बाद में यह परीक्षण किया कि क्या मॉडल को वीडियो पर निर्भर करने के लिए मजबूर किया जा सकता है bằng जोड़ने के लिए अतिरिक्त गलत उत्तर जोड़कर।

जब विकर्ण आसान और अन्य प्रश्नों से पुनर्नवीनता थे, तो प्रदर्शन में सुधार हुआ, क्योंकि मॉडल पाठ पैटर्न से मेल खाते थे बिना बहुत सारे तर्क के। लेकिन दस या अधिक असंबंधित उत्तरों के साथ, वे वीडियो और प्रश्न पर अधिक निर्भर हो गए:

प्रति-विशेषता योगदान और सटीकता वीडियो, प्रश्न, और उत्तर इनपुट के लिए, प्रत्येक वीक्यूए परीक्षण में जोड़े गए अतिरिक्त गलत उत्तरों की संख्या के साथ, यह दिखाते हुए कि उत्तरों की संख्या में वृद्धि से पाठ की प्रमुखता कम हो जाती है और दृश्य और प्रश्न सुविधाओं का सापेक्ष प्रभाव बढ़ जाता है।

वीडियोलामा3 के लिए, वीडियो को मास्क करने से ईगोस्कीमा पर 40% और एलवीबेंच पर 15% की सटीकता में कमी आई, जो यह दर्शाता है कि उत्तरों की संख्या में एक सरल वृद्धि मॉडल को पाठ शॉर्टकट से दूर और वास्तविक बहुसंवेदी तर्क की ओर ले जा सकती है।

शोधकर्ताओं ने यह भी खोजा कि इनपुट में वितरित कैसे है:

चार डेटासेट के लिए शैपले मूल्य हीटमैप, जहां प्रत्येक पंक्ति एक वीक्यूए-टपल को दर्शाती है, और प्रत्येक कॉलम एक विशेषता को दर्शाती है। वीडियो सुविधाएं बाएं हाथ पर दिखाई देती हैं, इसके बाद पाठ है। पाठ क्षेत्रों (लाल) में बहुत मजबूत मूल्यों की पुष्टि करता है कि मॉडल वीडियो की तुलना में भाषा पर बहुत अधिक निर्भर करते हैं।

परिणामों पर टिप्पणी करते हुए, लेखक कहते हैं:

‘हीटमैप के दाहिने हाथ की ओर मूल्यों की तीव्रता बहुत अधिक है, जो प्रश्न और उत्तर विशेषताओं को दर्शाता है। यह सीमा है जहां वीडियो फ्रेम समाप्त होते हैं और पाठ सुविधाएं शुरू होती हैं, यह प्रदर्शित करते हुए कि वीडियो मोडलिटी योगदान प्रश्न/उत्तर की तुलना में बहुत कम है। ‘

सारांश में, सभी डेटासेट में, मूल्य पाठ के अंत में बहुत मजबूत हैं, जो यह दर्शाते हैं कि मॉडल वास्तव में भाषा पर बहुत अधिक निर्भर करते हैं। यहां तक कि जब वीडियो का उपयोग किया जाता है, तो योगदान विभिन्न फ्रेम में फैला होता है, अक्सर कोई सुसंगत पैटर्न के बिना।

नीचे हम एगोस्कीमा का एक उदाहरण देखते हैं। शैपले मूल्यों का उपयोग करके 16 सबसे ‘महत्वपूर्ण’ फ्रेम का चयन किया गया था और उनके प्रभाव के अनुसार रंगीन किया गया था, नीला सकारात्मक योगदान और लाल नकारात्मक को दर्शाता है:

एक एकल एगोस्कीमा उदाहरण के लिए शैपले विशेषताएं, 16 सबसे प्रभावशाली फ्रेम और सभी पाठ इनपुट दिखा रहे हैं। वीडियो योगदान पाठ की तुलना में न्यूनतम है, जो मॉडल के तर्क को नियंत्रित करता है। नीला और लाल चुने गए उत्तर पर सकारात्मक और नकारात्मक प्रभाव को दर्शाता है।