एक पूरी फिल्म का पालन करने में सक्षम एक एआई की तलाश में

एआई मॉडल अभी भी यह नहीं समझ पाते हैं कि कौन कौन है और फिल्म में क्या हो रहा है। एक नए सिस्टम में फेस रिकग्निशन और स्टेज्ड समरी को ऑर्केस्ट्रेट किया जाता है, जो पात्रों को सीधा रखता है और पूरी फिल्म में प्लॉट को सुसंगत बनाए रखता है।

हॉलीवुड शैली की फिल्मों को देखने और समझने के लिए कृत्रिम बुद्धिमत्ता को प्रशिक्षित करना एक विशिष्ट या हाशिए पर पड़ा कार्य प्रतीत हो सकता है; लेकिन एक ऐसी प्रणाली जो एक पूरी फिल्म को शुरू से अंत तक देख सकती है, सभी पात्रों की प्रगति को ट्रैक कर सकती है, और प्लॉट पर नियंत्रण रख सकती है, ने न केवल कई सीधे अनुप्रयोगों को संभव बनाया है जो ऐसी क्षमताओं से लाभान्वित हो सकते हैं, बल्कि विभिन्न डोमेन में कई परिधीय या असंबंधित चुनौतियों को भी संभव बनाया है।

मूवी-वॉचिंग एआई मॉडल के लिए कम-लटकते फल रिकमेंडर सिस्टम हैं, जैसे कि नेटफ्लिक्स, अमेज़ॅन प्राइम, और एचबीओ मैक्स जैसे स्ट्रीमिंग प्लेटफ़ॉर्म में। प्लॉट विकास और पात्र-क्रियाओं की एक विस्तृत समझ दर्शकों की पसंद और उत्साह के साथ एक करीबी मेल खाती है।

इसके अलावा, एक फिल्म की गहरी समझ कीवर्ड जेनरेशन और अधिक सटीक वर्गीकरण को सक्षम बनाती है, न कि अक्सर-कॉपी की गई फिल्म विवरणों को बढ़ावा देने के लिए जो दशकों पहले लिखे गए हो सकते हैं। ऐसे अंतर्दृष्टि यह भी सामने ला सकते हैं कि एक फिल्म में ‘वयस्क’ विषय हो सकते हैं जो संवाद या दृश्यों से स्पष्ट नहीं हो सकते हैं।

इसके अलावा, कैटलॉग में पुरानी फिल्में पुराने रेटिंग और ओवरव्यू हो सकते हैं; उदाहरण के लिए, 1950 के दशक की एक फिल्म में भाषा और मुहावरे जो सामान्य थे, अब अधिक ध्यान देने योग्य हो सकते हैं। लेकिन संदर्भ की समग्र समझ के बिना, जो एक लंबी फिल्म कथा का पालन करके प्राप्त की जाती है, ऐसे घटनाएं अधिक या कम जोर दी जा सकती हैं।

व्यापक रूप से, फिल्म विश्लेषण दृष्टिकोण में सुधार इवेंट रिकग्निशन की समस्या में बहुत योगदान कर सकता है, जो सुरक्षा निगरानी, स्वचालित खेल टिप्पणियों और विभिन्न प्रकार के मीडिया में सारांश के लिए आवश्यक है।

इस प्रकार, ‘एआई-आधारित फिल्म देखने’ कंप्यूटर विजन साहित्य में एक आश्चर्यजनक रूप से अच्छी तरह से सब्सक्राइब की गई शैली है।

बड़ा चित्र देखना

इस शैली का नवीनतम प्रवेश मूवीटेलर है – चीन से एक अकादमिक-उद्योग सहयोग जो विभिन्न एआई अनुप्रयोगों को विभाजित करके प्रगति करता है जो इन चुनौतियों का सामना करने के लिए उपयुक्त हैं, इसके बजाय एक एकल लेटेंट स्पेस से सभी आवश्यक कार्यों को पूरा करने का प्रयास करता है।

लेखकों का अवलोकन है कि पिछले विजन-लैंग्वेज मॉडल (वीएलएम) जो इसी कार्य का सामना करते हैं, वे एकल-फ्रेम विश्लेषण से परे बहुत अधिक प्रगति नहीं कर पाए हैं; और उनकी कमी संदर्भ को बनाए रखने में कठिन बनाती है जो ऐसी प्रणाली की सबसे आवश्यक विशेषता है:

लेखकों का कहना है कि सामान्य-उद्देश्य वीएलएम अक्सर विशिष्ट पात्रों को पहचानने और एक लंबी कथा में लगातार ट्रैक करने के लिए संघर्ष करते हैं। वे एक प्रमुख प्रोटागोनिस्ट को एक दृश्य में “एक आदमी” और दूसरे दृश्य में “एक व्यक्ति” के रूप में वर्णित कर सकते हैं, विज़ुअल प्रतिनिधित्व को एक सुसंगत पहचान से बांधने में विफल रहते हैं।

इसके बजाय, नया सिस्टम एक ऑर्केस्ट्रेटेड ट्रेनिंग-फ्री पाइपलाइन का उपयोग करता है, जिसमें फेस रिकग्निशन और मेमोरी की स्थिरता को संबोधित करने के लिए समर्पित उपकरण हैं।

मूवीटेलर को पिछले दृष्टिकोणों के खिलाफ 60 पूर्ण-लंबाई वाली फिल्मों का उपयोग करके परीक्षण किया गया था, जो 10,000 मिनट के फुटेज के बराबर है। लेखकों का कहना है कि उनके दृष्टिकोण ने पिछली प्रणालियों द्वारा उपयोग किए जाने वाले डिफ़ॉल्ट वातावरण और धारणाओं में काफी सुधार किया है।

विधि

मूवीटेलर स्कीमा में तीन चरण होते हैं: दृश्य विभाजन और कीफ्रेम निष्कर्षण, जो पीसीनेडिटेक्ट परियोजना द्वारा संभाले जाते हैं; तथ्य-आधारित दृश्य विवरण जनरेशन क्वेन2.5-वीएल-7बी-इन्स्ट्रक्ट वीएलएम के अनुकूलन के माध्यम से; और प्रगतिशील सारांश, जो विस्तृत दृश्य विवरणों को अध्याय सारांश में और फिर एक सुसंगत सिनोप्सिस में संक्षेपित करता है – और यह भी क्वेन2.5 मॉडल द्वारा किया जाता है:

प्रारंभिक चरण पीसीनेडिटेक्ट का उपयोग करके फिल्म को विभिन्न दृश्यों में तोड़ता है, जो स्पष्ट दृश्य परिवर्तनों पर आधारित होते हैं, प्रत्येक दृश्य को एक एकल कीफ्रेम द्वारा प्रतिनिधित्व किया जाता है।

चेहरा रखना

एक फेस डेटाबेस को सार्वजनिक रूप से उपलब्ध कास्ट जानकारी^† से बनाया गया था, जिसमें प्रत्येक मुख्य पात्र का नाम एक संख्यात्मक फेस एम्बेडिंग के साथ संग्रहीत किया गया था। जब एक चेहरा एक कीफ्रेम में दिखाई देता है, तो इसकी एम्बेडिंग को डेटाबेस के खिलाफ मिलान किया जाता है, और यदि यह एक विश्वास मतभेद को पार करता है, तो सबसे करीबी परिणाम स्वीकार किया जाता है। यह ‘तथ्यात्मक आधार’ बनाता है, जो नामों को विशिष्ट बाउंडिंग बॉक्स से जोड़ता है।

इन उद्देश्यों के लिए, इनसाइटफेस का उपयोग किया जाता है, जो एक आर्कफेस लॉस-आधारित पहचान सिर का लाभ उठाता है:

चिह्नित कीफ्रेम को क्वेन मॉडल के साथ एक प्रॉम्प्ट के साथ पास किया जाता है जो पता लगाए गए पात्रों और उनकी स्थिति को सूचीबद्ध करता है:

चूंकि विजन-लैंग्वेज मॉडल एक पूरी फिल्म को एक बार में अवशोषित नहीं कर सकते हैं, मूवीटेलर शुरू में सामग्री को दृश्य विवरण में तोड़ता है। ये दृश्य विवरण समूहीकृत होते हैं और फिर क्वेन2.5 को पास किए जाते हैं, जो प्रत्येक अध्याय को सारांशित करता है, प्लॉट विकास, पात्र प्रेरणा और मोड़ को संक्षेपित करता है, जबकि पहले से सत्यापित पात्र नामों को बनाए रखता है:

डेटा और परीक्षण

प्रणाली का परीक्षण करने के लिए, लेखकों ने 100 पूर्ण-लंबाई वाली फिल्मों का एक अनुकूलित (और स्रोत-अनुप्रमाणित) डेटासेट तैयार किया, जो लगभग 166 घंटे के रनटाइम के बराबर है। फिल्मों में आयरन मैन 3, फेयरवेल माई कॉन्क्यूबाइन, ईट ड्रिंक मैन वुमन, और द क्रोनिकल्स ऑफ नार्निया शामिल थीं। शोधकर्ताओं ने आवश्यकता की कि सभी शामिल फिल्में आईएमडीबी पर 5.0 से अधिक रेटिंग प्राप्त करें:

व्यापक शैलियों की श्रृंखला (उपरोक्त ग्राफ देखें) को किसी एक शैली के प्रति पूर्वाग्रह से बचने के लिए डिज़ाइन किया गया था।

प्रत्येक फिल्म के लिए फेस डेटासेट में मुख्य अभिनेताओं की दो तस्वीरें शामिल थीं – एक फिल्म स्टिल से और एक संबंधित प्रचार फोटो से:

पाइथन में लागू किए गए परीक्षणों को चार एनवीडिया ए40 जीपीयू पर चलाया गया था, प्रत्येक में 48GB का वीआरएएम था, और क्वेन2.5 वैरिएंट के साथ केंद्रीय वीएलएम के रूप में:

लेखकों ने दो अभिलाक्षणिक रूप से रूपांतरित वेरिएंट के खिलाफ नया फ्रेमवर्क परीक्षण किया: एक नो-हिंट बेसलाइन, जिसमें विजन-लैंग्वेज मॉडल ने कीफ्रेम से दृश्य विवरण उत्पन्न किए, बिना किसी पात्र पहचान के लिए पाठ्य संकेतों के; और एक नाम-ओनली हिंट सेटिंग, जहां मॉडल को पता लगाए गए पात्र नाम दिए गए थे, लेकिन उनके बाउंडिंग बॉक्स नहीं, जिससे लेखकों को स्थानिक आधार के विशिष्ट योगदान को पहचान की स्थिरता और कथा सुसंगतता में अलग करने की अनुमति मिली:

मीट्रिक्स के संबंध में, जैसा कि पहले उल्लेख किया गया है, जमीनी सच्चाई विधियों को लंबे प्लॉट सारांश पर लागू करने में कठिनाई को देखते हुए, मानक n-ग्राम ओवरलैप मीट्रिक्स जैसे कि रोग और ब्लू को बर्टस्कोर के साथ बदल दिया गया था

इसके अलावा, जेमिनी 2.5 फ्लैश का उपयोग प्रत्येक सिनोप्सिस को तथ्यात्मक विश्वास, आईडी स्थिरता और पूर्णता, कथा सुसंगतता और प्रवाह, और संक्षिप्तता के लिए स्कोर करने के लिए किया गया था; स्कोर को आयामों में औसत किया गया था।

अंत में, 50 यादृच्छिक रूप से नमूनाकृत सारांशों का एक मानव मूल्यांकन किया गया था, जिसमें तीन-तरफ़ा तुलना की जा रही थी, जो स्वचालित मूल्यांकन पर एक व्यावहारिक जांच प्रदान करती थी:

निष्कर्ष

हालांकि अधिकांश नए परियोजनाएं कंप्यूटर विजन साहित्य में समाप्त होती हैं, एआई-जनित फिल्म सारांशीकरण कई अन्य अनुशासनों और क्षेत्रों में मशीन लर्निंग शोध को शामिल करता है – और यह बताना मुश्किल है कि इनमें से कौन सा टुकड़ा गुम हो सकता है; हालांकि मूवीटेलर सही दिशा में एक कदम बढ़ाता है, विभिन्न मॉड्यूल में कार्यों को विभाजित करके इसके बजाय एक विचार को विचार करने का प्रयास करता है एक लेटेंट स्पेस में सभी को हल करने की कोशिश कर रहा है, यह अभी भी एक बाद के अधिक सुंदर समाधान से पहले एक ‘कोब्बल्ड-टुगेदर’ महसूस करता है।

* मैं इस संस्थान की पहचान नहीं कर सकता, यहां तक कि कुछ खोज के बाद भी।

^† कोई ऐसी चीज़ के बारे में अनुमान लगा सकता है जैसे कि आईएमडीबी या ओएमडीबी, लेकिन स्रोत निर्दिष्ट नहीं है।

^†† कृपया व्यापक अभिलाक्षणिक अध्ययन के लिए स्रोत पत्र देखें, क्योंकि हम केवल असाधारण मामलों में पूर्ण अभिलाक्षणिक को कवर करते हैं। मैं यह ध्यान दूंगा कि यहां उल्लिखित अनुपचारित अभिलाक्षणिक अध्ययन पत्र के सामान्य निष्कर्षों को कमजोर नहीं करते हैं।

पहली बार शुक्रवार, 27 फरवरी, 2026 को प्रकाशित।