Anderson का एंगल
पूरी फिल्म का अनुसरण कर सकने वाले AI की तलाश

मुख्य बिंदुमूवीटेलर पूरी फिल्मों में पात्रों को ट्रैक करने के लिए समर्पित चेहरा पहचान और चरणबद्ध…
और देखें
- मूवीटेलर पूरी फिल्मों में पात्रों को ट्रैक करने के लिए समर्पित चेहरा पहचान और चरणबद्ध सारांशीकरण का उपयोग करता है।
- यह सिस्टम फिल्मों को दृश्यों और अध्यायों में विभाजित करके ट्रांसफॉर्मर की सीमाओं को दूर करने वाली एक सुनियोजित पाइपलाइन प्रदान करता है।
- मानव मूल्यांकन से पता चलता है कि नाम-मात्र या बिना-संकेत दृष्टिकोणों की तुलना में सुस्पष्ट पात्र पहचान अधिक सुसंगत कथानक उत्पन्न करती है।
AI मॉडल अभी भी यह भूल जाते हैं कि फिल्म में कौन कौन है और क्या हो रहा है। नई प्रणाली चेहरा-पहचान और चरणबद्ध सारांशीकरण का समन्वय करती है, ताकि पूरी लंबाई की फिल्मों में पात्रों की पहचान स्पष्ट और कथानक सुसंगत रहे।
कृत्रिम बुद्धिमत्ता को हॉलीवुड शैली की फिल्में देखना और समझना सिखाना एक सीमित या गौण प्रयास लग सकता है। लेकिन ऐसी प्रणाली, जो पूरी फिल्म शुरू से अंत तक देख सके, सभी पात्रों की प्रगति पर नज़र रखे और कथानक समझती रहे, कई प्रत्यक्ष अनुप्रयोगों के साथ अलग-अलग क्षेत्रों की अनेक परोक्ष या असंबद्ध चुनौतियों के लिए भी उपयोगी हो सकती है।
फिल्म देखने वाले AI मॉडलों का सबसे सहज उपयोग Netflix, Amazon Prime और HBO Max जैसे स्ट्रीमिंग मंचों की अनुशंसा प्रणालियाँ हैं। कथानक के विकास और पात्रों के कार्यों की बारीक समझ दर्शकों की अक्सर ऊपरी या भ्रामक दिखने वाली पसंद और उत्साह से बेहतर मेल बैठाने देती है।
फिल्म की गहरी समझ कीवर्ड बनाने और अधिक सटीक वर्गीकरण में भी मदद करती है, बजाय उन बार-बार नकल किए गए विवरणों को दोहराने के जो दशकों पहले लिखे गए हों। इससे फिल्म के ऐसे वयस्क विषय भी सामने आ सकते हैं जो संवाद या दृश्य देखकर स्पष्ट न हों।
पुरानी सूचीबद्ध फिल्मों की रेटिंग और संक्षिप्त विवरण भी पुराने पड़ सकते हैं। उदाहरण के लिए, 1950 के दशक की फिल्म में सामान्य मानी गई भाषा और मुहावरों पर आज कहीं अधिक ध्यान देने की आवश्यकता हो सकती है। लेकिन लंबे फिल्म-वृत्तांत को वास्तव में समझने से मिलने वाले समग्र संदर्भ के बिना ऐसे प्रसंगों को जरूरत से ज्यादा या कम महत्व दिया जा सकता है।
व्यापक रूप से, बेहतर फिल्म-विश्लेषण विधियाँ घटना-पहचान की कहीं बड़ी समस्या में योगदान कर सकती हैं। सुरक्षा निगरानी, स्वचालित खेल कमेंट्री और अनेक प्रकार के मीडिया के सारांशों के लिए यह अत्यंत आवश्यक है।
इसलिए AI द्वारा फिल्म देखना कंप्यूटर विज़न के शोध-साहित्य में आश्चर्यजनक रूप से लोकप्रिय क्षेत्र है।
बड़ी तस्वीर देखना
नवीनतम प्रणाली MovieTeller है। चीन का यह अकादमिक-औद्योगिक सहयोग अलग-अलग उपकार्यों को उनके अनुकूल AI अनुप्रयोगों में बाँटकर आगे बढ़ता है, बजाय उस सामान्य प्रयास के जिसमें अलग, अपने भीतर बंद मॉडल को एक ही अव्यक्त स्थान से सभी आवश्यक काम करना सिखाया जाता है।
लेखकों के अनुसार, पहले के दृश्य-भाषा मॉडल (VLM) इसी काम में एकल फ्रेम के विश्लेषण से बहुत आगे नहीं बढ़ पाए। संदर्भ की कमी उन्हें पात्रों की पहचान लगातार बनाए रखने से रोकती है, जबकि यही ऐसी प्रणाली का संभवतः सबसे जरूरी गुण है:

नई MovieTeller प्रणाली एक समर्पित चेहरा-पहचान प्रणाली की मदद से दृश्यों में लोगों की पहचान लगातार बनाए रखती है। लेकिन संदर्भ पर उसका व्यापक ध्यान ही उसे कथानक के विकास पर नज़र रखने देता है। स्रोत
लेखक कहते हैं:
‘सामान्य प्रयोजन वाले VLM अक्सर लंबी कथा में विशिष्ट पात्रों को पहचानने और लगातार उनका पीछा करने में कठिनाई महसूस करते हैं। वे किसी प्रमुख नायक को एक दृश्य में “एक आदमी” और दूसरे में “एक व्यक्ति” कह सकते हैं, और दृश्य निरूपण को एक स्थिर पहचान से नहीं जोड़ पाते।’
लेखक बताते हैं कि Transformer का self-attention तंत्र वर्गात्मक जटिलता रखता है। इसलिए पूरी लंबाई की फिल्म के हर फ्रेम को एक साथ संसाधित करना गणनात्मक रूप से बहुत महँगा पड़ता है। समान अंतराल पर फ्रेम चुनने या उन्हें सीधे जोड़ने वाली विधियाँ कहानी का प्रवाह तोड़कर सुसंगत कथा के बजाय खंडित सारांश देती हैं।
इसके स्थान पर नई प्रणाली एक समन्वित, प्रशिक्षण-रहित प्रक्रिया है, जिसमें चेहरा-पहचान और स्मृति बनाए रखने के लिए विशेष उपकरण हैं, ताकि कथा से बाहर जाकर लौटने वाले पात्रों को भी पहचाना जा सके।
MovieTeller को पूर्व विधियों के विरुद्ध 60 पूर्ण फिल्मों, यानी 10,000 मिनट के फुटेज, पर परखा गया। मात्रात्मक घटक-हटाव परीक्षणों और मानव अध्ययनों में लेखकों के अनुसार इसने पुराने सिस्टमों के डिफॉल्ट परिवेशों और मान्यताओं की तुलना में उल्लेखनीय सुधार किया।
नए शोधपत्र का शीर्षक MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction है। इसके पाँच लेखक हांगझोउ की Zhejiang University, सरकारी China Media Group और Watch AI Group* से हैं; अंतिम दोनों बीजिंग में स्थित हैं।
विधि
MovieTeller की तीन अवस्थाएँ हैं: PySceneDetect से दृश्य-विभाजन और मुख्य फ्रेम निकालना; अनुकूलित Qwen2.5-VL-7B-Instruct VLM से तथ्य-आधारित दृश्य विवरण बनाना; और क्रमिक अमूर्तन, जिसमें विस्तृत दृश्य-विवरण अध्याय-सारांशों में तथा फिर एक अंतिम सुसंगत कहानी-सार में संक्षिप्त होते हैं। यह अंतिम प्रक्रिया भी Qwen2.5 करता है:

MovieTeller ढाँचे का अवलोकन: पूरी फिल्म को पहले दृश्यों में बाँटकर उच्च गुणवत्ता वाले मुख्य फ्रेम निकाले जाते हैं। बाहरी चेहरा-पहचान उपकरण पात्रों के नामों को सीमांकन बक्सों से जोड़कर तथ्यात्मक आधार देता है। इससे दृश्य-भाषा मॉडल पहचान-सुसंगत दृश्य विवरण बनाता है। इन विवरणों को क्रमशः अध्याय-सारांशों में संक्षिप्त कर एक सुसंगत अंतिम फिल्म-सारांश में जोड़ा जाता है।
पहले चरण में PySceneDetect स्पष्ट दृश्य बदलावों के आधार पर फिल्म को अलग दृश्यों में बाँटता है। प्रत्येक दृश्य का प्रतिनिधित्व एक मुख्य फ्रेम करता है।
लेकिन हर फ्रेम अच्छा प्रतिनिधि चित्र नहीं होता। संक्रमण, धीरे-धीरे काला पड़ते दृश्य और अँधेरे फ्रेम आगे के विश्लेषण को उलझा सकते हैं। इसलिए सरल गुणवत्ता-जाँच संभावित फ्रेमों की चमक और दृश्य परिवर्तन मापकर उन्हें छाँटती है, ताकि विवरण के लिए केवल सूचना-समृद्ध चित्र चुने जाएँ।
चेहरे की पहचान स्थापित करना
सार्वजनिक कलाकार-सूचना† से चेहरा डेटाबेस बनाया गया, जिसमें हर मुख्य पात्र का नाम और एक संख्यात्मक चेहरे का एम्बेडिंग रखा गया। मुख्य फ्रेम में दिखने वाले चेहरे के एम्बेडिंग का डेटाबेस से मिलान किया जाता है और निकटतम परिणाम तभी स्वीकार होता है जब वह विश्वास-सीमा पार करे। इससे नाम विशिष्ट सीमांकन बक्सों से जुड़कर तथ्यात्मक आधार बनाते हैं।
इस काम में InsightFace प्रयोग होता है, जिसका पहचान घटक ArcFace की हानि-फलन पद्धति पर आधारित है:

Additive Angular Margin Loss (ArcFace) पद्धति द्वारा अच्छी तरह पहचाने गए दो परिचित चेहरे। MovieTeller परियोजना में इसे बहुत मिलते-जुलते तरीके से उपयोग किया जाता है। स्रोत
टिप्पणी किए गए मुख्य फ्रेम Qwen को एक ऐसे प्रॉम्प्ट के साथ दिए जाते हैं जो पहचाने गए पात्रों और उनकी स्थितियों की सूची देता है।
दृश्य-भाषा मॉडल पूरी फिल्म एक बार में समाहित नहीं कर सकते, इसलिए MovieTeller पहले दृश्य-विवरण बनाता है। इन्हें लगातार अध्याय-जैसे खंडों में समूहित कर Qwen2.5 को दिया जाता है। वह हर अध्याय के कथानक-विकास, पात्रों की प्रेरणाओं और मोड़ों को संक्षिप्त करता है, जबकि पहले सत्यापित नाम बनाए रखता है।
इन संक्षिप्त अध्याय-सारों को जोड़कर मॉडल को नए प्रॉम्प्ट के साथ लौटाया जाता है, जो एक संपूर्ण कहानी-सार माँगता है:

पूरी कहानी का सार माँगने वाले प्रॉम्प्ट की तरह यह उदाहरण दृश्य विवरण बनाने के लिए है। सत्यापित पात्र-नाम और सीमांकन बक्से स्पष्ट रूप से जोड़कर दृश्य-भाषा मॉडल को सीमित किया जाता है और पहचान-सुसंगत वर्णन सुनिश्चित होता है।
प्रक्रिया सफल हो तो अंतिम परिणाम फिल्म की कथा-यात्रा को सुसंगत रूप से व्यक्त करना चाहिए। यह मशीन लर्निंग की खास तौर पर कठिन समस्या है, क्योंकि संभावित कथानक-सारों और उनकी लेखन-शैलियों की विविधता तथा इन डेटा बिंदुओं की जरूरी लंबाई के कारण सामान्य वास्तविक-संदर्भ-आधारित विधियाँ अपनाना लगभग असंभव हो जाता है।
डेटा और परीक्षण
परीक्षण के लिए लेखकों ने 100 पूर्ण फिल्मों का विशेष डेटासेट बनाया, जिसका स्रोत नहीं बताया गया और कुल अवधि लगभग 166 घंटे थी। इनमें Iron Man 3, Farewell My Concubine, Eat Drink Man Woman और The Chronicles of Narnia शामिल थे। सभी फिल्मों की IMDB रेटिंग 5.0 से अधिक होना आवश्यक था:

100 फिल्मों वाले डेटासेट की संरचना: 1992 से 2025 तक संतुलित समयगत कवरेज, गैर-अंग्रेज़ी फिल्मों का हल्का बहुमत और नाटक तथा एक्शन के नेतृत्व में व्यापक शैली-वितरण। इसमें विज्ञान-कथा, हॉरर, कॉमेडी, रोमांस और इतिहास भी शामिल हैं।
शैलियों का व्यापक विस्तार, जो ऊपर के चित्र में है, किसी एक शैली के प्रति पक्षपात रोकने के लिए रखा गया था।
हर फिल्म का चेहरा डेटासेट मुख्य अभिनेताओं की दो तस्वीरों से बना था: एक फिल्म के स्थिर दृश्य से और दूसरी उससे जुड़ी प्रचार तस्वीर से।
Python में लागू परीक्षण चार NVIDIA A40 GPU पर चले, जिनमें प्रत्येक के पास 48GB VRAM था। ऊपर बताया Qwen2.5 संस्करण केंद्रीय VLM था। वैकल्पिक अत्याधुनिक मॉडलों InternVL3-8B और WeThink-Qwen2.5VL-7B के साथ भी घटक-हटाव अध्ययन†† किए गए।
नए ढाँचे की तुलना दो घटक-हटाव†† रूपों से हुई: No-Hint आधार, जिसमें VLM केवल मुख्य फ्रेम से दृश्य विवरण बनाता था और पात्रों की पहचान का कोई पाठ संकेत नहीं मिलता था; तथा Name-Only Hint, जिसमें पहचाने गए पात्रों के नाम मिलते थे लेकिन सीमांकन बक्से नहीं। इससे पहचान की निरंतरता और कथा की सुसंगति में स्थानगत आधार के विशिष्ट योगदान को अलग किया जा सका।
लंबे कथानक-सारों पर वास्तविक-संदर्भ-आधारित मूल्यांकन की कठिनाई देखते हुए ROUGE और BLEU जैसी सामान्य n-ग्राम समानता मेट्रिक के बजाय BERTScore और F1 स्कोर चुने गए। इससे सार्वजनिक विश्वकोश से लिए गए संदर्भ कहानी-सार के साथ अर्थगत समानता मापी गई।
Gemini 2.5 Flash ने हर कहानी-सार की तथ्यात्मक निष्ठा, पहचान की सुसंगति और पूर्णता, कथात्मक सुसंगति और प्रवाह तथा संक्षिप्तता को अंक दिए। इन आयामों के अंकों का औसत लिया गया।
अंत में, 50 यादृच्छिक रूप से चुने गए सारांशों का मानव मूल्यांकन जोड़ीवार तुलना से किया गया, ताकि स्वचालित आकलनों की व्यावहारिक जाँच हो सके।
नीचे Qwen2.5-VL, InternVL3 और WeThink के BERTScore (F1) परिणाम हैं। प्रत्येक को No-Hint, Name-Only और पूर्ण MovieTeller, इन तीन सेटिंगों में परखा गया:

तीन आधार दृश्य-भाषा मॉडलों और तीन प्रयोगात्मक सेटिंगों में BERTScore (F1) की तुलना। पात्रों के नाम जोड़ने से लगातार सुधार और स्थानगत आधार जोड़ने से अतिरिक्त सुधार मिलता है। MovieTeller सभी मामलों में सर्वोच्च अंक प्राप्त करता है।
लेखकों के अनुसार तीनों आधार मॉडलों में एक ही क्रम दिखता है: केवल मूल मुख्य फ्रेम सबसे कमजोर, पात्रों के नाम जोड़ना थोड़ा बेहतर और नाम के साथ सीमांकन बक्से देना सबसे अच्छा परिणाम देता है। लाभ क्रमिक हैं, नाटकीय नहीं, लेकिन पूर्ण आधार वाली सेटिंग हर स्थिति में संदर्भ कहानी-सार के साथ सर्वोच्च अर्थगत मेल रखती है।
LLM-आधारित कथा-गुणवत्ता मूल्यांकन में No-Hint आधार पहचान की सुसंगति में सबसे कमजोर है, जिससे कुल अंक घटते हैं। केवल नाम देने से, खासकर पहचान संबंधी आयामों में, स्पष्ट सुधार होता है। फिर भी पूर्ण MovieTeller तीनों आधार मॉडलों में सर्वोच्च स्थान पर है:

तीन आधार मॉडलों पर LLM-as-a-Judge मूल्यांकन, 1–5 के पैमाने पर। पात्रों के नाम पहचान-सुसंगति और समग्र गुणवत्ता सुधारते हैं, जबकि पूर्ण MovieTeller तथ्यात्मक निष्ठा, सुसंगति, संक्षिप्तता और अंतिम रेटिंग में सर्वोच्च है।
सबसे बड़ा लाभ पहचान की सुसंगति और अंतिम औसत स्कोर में दिखता है। इससे संकेत मिलता है कि स्थानगत आधार मॉडल को स्पष्ट रखता है कि कथानक के आगे बढ़ने पर कौन क्या कर रहा है।
50 यादृच्छिक सारांशों के मानव मूल्यांकन में प्रतिभागियों को एक बार में तीन सारांश दिखाकर सर्वश्रेष्ठ चुनने को कहा गया:

तीन विकल्पों में से एक चुनने वाले मानव मूल्यांकन में पसंद का अनुपात। पूर्ण आधार वाले MovieTeller सारांश तीनों आधार मॉडलों में सबसे अधिक चुने जाते हैं और No-Hint तथा Name-Only दोनों से काफी बेहतर रहते हैं।
अंत में The Bullet Vanishes (2012) पर एक गुणात्मक परीक्षण किया गया:

मूल शोधपत्र की यह पूरी आकृति यहाँ प्रस्तुत नहीं की जा सकती, क्योंकि यह बहुत ऊँची और पाठ से भरी हुई है। कृपया इसके बजाय स्रोत शोधपत्र देखें।
यहाँ No-Hint आधार अस्पष्ट कहानी-सार बनाता है जो पात्रों का सामान्य शब्दों में उल्लेख कर उनकी भूमिकाएँ मिला देता है, जिससे घटना-क्रम समझना कठिन होता है। केवल नाम देने से ऊपरी स्तर की स्मृति सुधरती है, लेकिन कथा भटकती रहती है और पात्रों के संबंध व प्रेरणाएँ सपाट हो जाती हैं।
इसके विपरीत पूर्ण आधार वाला MovieTeller पूरे कहानी-सार में पहचान स्थिर रखता है और कार्य सही पात्रों से जोड़ता है, जिससे जाँच-कथानक का कारणात्मक ढाँचा स्पष्ट होता है। विशिष्ट तनाव और भूमिकाओं की गतिशीलता अमूर्त कर हटाने के बजाय बनी रहती है। परिणाम एक असंबद्ध रूपरेखा के बजाय फिल्म की केंद्रीय कथा का सुसंगत पुनर्कथन लगता है:

अंतिम तुलना का एक हिस्सा, जिसे यहाँ पूरा प्रस्तुत नहीं किया जा सकता। इसमें घटक हटाए गए संस्करण और पूर्ण MovieTeller का सारांश दिखता है। कृपया इसके बजाय स्रोत शोधपत्र देखें।
निष्कर्ष
इस प्रकार की अधिकांश नई परियोजनाएँ कंप्यूटर विज़न के शोध-साहित्य में आती हैं, लेकिन AI-निर्मित फिल्म-सारांशीकरण मशीन लर्निंग की कई अन्य शाखाओं को भी समेटता है। यह कहना कठिन है कि इनमें से कौन अनजाने में पहेली का गायब टुकड़ा देगी। MovieTeller अलग-अलग काम उचित मॉड्यूलों में बाँटकर सही दिशा में जाता है, बजाय सब कुछ एक अव्यक्त स्थान में स्वतंत्र रूप से हल करने की आशा के। फिर भी इसमें वह जोड़-जाड़कर बनाई गई प्रणाली जैसा आभास बना रहता है, जो अक्सर बाद के अधिक सुरुचिपूर्ण समाधान से पहले आता है।
* कुछ खोजने के बाद भी मैं इस संस्था की पहचान नहीं कर पाया।
† संभवतः IMDB या OMDB जैसा स्रोत होगा, लेकिन स्रोत बताया नहीं गया है।
†† संपूर्ण घटक-हटाव अध्ययन के लिए स्रोत शोधपत्र देखें, क्योंकि हम केवल असाधारण मामलों में पूरा अध्ययन प्रस्तुत करते हैं। यहाँ जिन अध्ययनों को नहीं समझाया गया है, वे शोधपत्र के सामान्य निष्कर्षों को कमजोर नहीं करते।
पहली बार शुक्रवार, 27 फ़रवरी 2026 को प्रकाशित












