Αναζήτηση ενός AI που μπορεί να ακολουθήσει μια ολόκληρη ταινία

Τα μοντέλα AI vẫn χάνουν το νήμα για το ποιος είναι ποιος και τι συμβαίνει σε μια ταινία. Ένα νέο σύστημα διευθύνει την αναγνώριση προσώπου και τη σταδιακή σύνοψη, διατηρώντας τους χαρακτήρες σωστούς και τις πλοκές συνεπείς σε ολόκληρες ταινίες.

Η δημιουργία ενός συστήματος που μπορεί να παρακολουθήσει και να κατανοήσει ταινίες του Χόλιγουντ μπορεί να φαίνεται σαν μια περιφερειακή ή περιθωριακή προσπάθεια, αλλά ένα σύστημα που μπορεί να παρακολουθήσει μια ολόκληρη ταινία από την αρχή μέχρι το τέλος, να παρακολουθήσει την πρόοδο όλων των χαρακτήρων και να παραμείνει στην κορυφή της πλοκής, έχει κάνει δυνατές πολλές άμεσες εφαρμογές που θα μπορούσαν να επωφεληθούν από τέτοιες ικανότητες, καθώς και πολλές περιφερειακές ή μη συναφείς προκλήσεις, σε διαφορετικά πεδία.

Ο χαμηλός κάρπος για τα μοντέλα AI που παρακολουθούν ταινίες είναι τα συστήματα σύστασης, σε πλατφόρμες όπως το Netflix, το Amazon Prime και το HBO Max. Μια λεπτομερής κατανόηση της εξέλιξης της πλοκής και των ενεργειών των χαρακτήρων επιτρέπει μια πιο στενή αντιστοίχιση με τις (συχνά αμφιβόλου) προτιμήσεις και ενθουσιασμούς των θεατών.

Επιπλέον, μια βαθύτερη κατανόηση μιας ταινίας επιτρέπει τη δημιουργία λέξεων-κλειδιών και μια πιο ακριβή κατηγοριοποίηση, αντί να διαιωνίζει τις συχνά αντιγραπτές περιγραφές ταινιών που μπορεί να έχουν γραφτεί πριν από δεκαετίες. Αυτές οι εντυπώσεις θα μπορούσαν επίσης να επιφέρουν την παρουσία “ενηλίκων” θεμάτων σε μια ταινία, τα οποία μπορεί να μην είναι εμφανή από το διάλογο ή από τις οπτικές.

Επιπλέον, οι παλαιότερες ταινίες σε ένα κατάλογο μπορεί να έχουν ξεπερασμένες βαθμολογίες, καθώς και επισκοπήσεις. Για παράδειγμα, η γλώσσα και τα ιδίωμα που ήταν κανονικά σε μια ταινία της δεκαετίας του 1950 θα μπορούσαν να απαιτήσουν πολύ περισσότερη προσοχή τώρα. Αλλά χωρίς μια συνολική κατανόηση του контέξτ, που εξαγόρασε από την πραγματική παρακολούθηση μιας μακράς αφηγηματικής ταινίας, τέτοιες περιπτώσεις θα μπορούσαν να υπερβολικά ή να υποβολικά υπογραμμιστούν.

Περισσότερο, οι βελτιωμένες προσεγγίσεις ανάλυσης ταινιών θα μπορούσαν να συνεισφέρουν πολύ στη πολύ ευρύτερη πρόκληση της αναγνώρισης συμβάντων, η οποία είναι απαραίτητη για καινοτομίες στη διακοπή παρακολούθησης, αυτοματοποιημένα αθλητικά σχόλια και συνοψίσεις όλων των ειδών, σε ένα τεράστιο εύρος μέσων.

Έτσι, η “παρακολούθηση ταινιών με βάση το AI” είναι ένα περίεργο είδος στο λογοτεχνικό έργο του Computer Vision.

Βλέποντας το Μεγάλο Πλάνο

Ο τελευταίος εισαγόμενος είναι ο MovieTeller – μια ακαδημαϊκή/βιομηχανική συνεργασία από την Κίνα που κάνει νέο προχώρημα με το να διαιρεί τις διάφορες υπο-πρόκλησεις στην πρόκληση σε διάφορες εφαρμογές AI που ταιριάζουν σε αυτές τις προκλήσεις, αντί να προσπαθούν να εκπαιδεύσουν διακριτά και εγκλεισμένα μοντέλα που μπορούν να εκτελέσουν όλες τις απαραίτητες εργασίες από ένα λατινικό χώρο.

Οι συγγραφείς παρατηρούν ότι τα προηγούμενα Vision-Language Models (VLMs) που αντιμετωπίζουν την ίδια πρόκληση δεν έχουν μπορέσει να προχωρήσουν πολύ πέρα από την ανάλυση ενός πλαισίου. Και ότι η έλλειψη контέξτ τους κάνει δύσκολο να αναγνωρίσουν συνεχώς τους χαρακτήρες – ίσως το πιο απαραίτητο χαρακτηριστικό ενός τέτοιου συστήματος:

Το νέο σύστημα, MovieTeller, είναι σε θέση να αναγνωρίσει συνεχώς τους ανθρώπους στις σκηνές, χάρη στη χρήση ενός αφιερωμένου συστήματος αναγνώρισης προσώπου. Αλλά είναι η περισσότερο περιεκτική αφοσίωση στο контέξτ που επιτρέπει στο πλαίσιο να παραμείνει στην κορυφή της εξέλιξης της πλοκής. Πηγή

Οι συγγραφείς δηλώνουν:

‘Τα γενικά Vision-Language Models συχνά δυσκολεύονται να αναγνωρίσουν και να παρακολουθήσουν συνεχώς συγκεκριμένους χαρακτήρες σε μια μακρά αφήγηση. Μπορούν να περιγράψουν einen κεντρικό πρωταγωνιστή ως “έναν άνδρα” σε μια σκηνή και “ένα άτομο” σε μια άλλη, χωρίς να συνδέσουν την οπτική αναπαράσταση με μια συνεχή ταυτότητα.’

Οι συγγραφείς σημειώνουν ότι επειδή η αυτο-προσοχή του Transformers χρησιμοποιεί κουαδρική πολυπλοκότητα, η επεξεργασία κάθε πλαισίου μιας ολόκληρης ταινίας同時 γίνεται πολύ υπολογιστικά ακριβή. Ως αποτέλεσμα, οι προσεγγίσεις που βασίζονται σε ομοιόμορφη δειγματοληψία πλαισίων ή απλή συνένωση tend να σπάσουν τη ροή της ιστορίας, παράγοντας θραυσματικές περιλήψεις αντί για μια συνεχή αφήγηση.

Αντίθετα, το νέο σύστημα αποτελείται από μια Pipeline χωρίς εκπαίδευση, με αφιερωμένα εργαλεία για την αντιμετώπιση της αναγνώρισης προσώπου και της διατήρησης της μνήμης (ως οι χαρακτήρες εγκαταλείπουν και επανέρχονται στην αφήγηση μιας ταινίας).

Το MovieTeller δοκιμάστηκε ενάντια σε προηγούμενες προσεγγίσεις χρησιμοποιώντας 60 ολόκληρες ταινίες, ισοδύναμες με 10.000 λεπτά βίντεο. Σε ποσοτικές δοκιμές ablation και ανθρώπινες μελέτες, οι συγγραφείς αναφέρουν ότι η προσέγγισή τους μπόρεσε να βελτιώσει σημαντικά τις προεπιλεγμένες περιβάλλοντες και υποθέσεις που χρησιμοποιούνται από προηγούμενα συστήματα.

Το νέο έγγραφο έχει τον τίτλο MovieTeller: Tool-αυξήθηκε Movie Synopsis με ID Consistent Progressive Abstraction, και προέρχεται από πέντε συγγραφείς σε διάφορες πανεπιστημιούπολεις και εταιρείες.

Μέθοδος

Το MovieTeller schema αποτελείται από τρία στάδια: διαίρεση σκηνών και εξαγωγή κλειδιών, τα οποία χειρίζονται μέσω του PySceneDetect project. Factual-Grounded Scene Description Generation μέσω της προσαρμογής του Qwen2.5-VL-7B-Instruct VLM. Και Progressive Abstraction, που συνθέτει λεπτομερείς περιγραφές σκηνών σε περιλήψεις κεφαλαίων και στη συνέχεια σε μια τελική συνεχή σύνοψη – και αυτό πραγματοποιείται επίσης από το Qwen2.5 model:

Επισκόπηση του MovieTeller framework: μια ολόκληρη ταινία διαχωρίζεται πρώτα σε σκηνές και συμπυκνώνεται σε υψηλής ποιότητας κλειδιά. Στη συνέχεια, ένα εξωτερικό εργαλείο αναγνώρισης προσώπου.injects фактиκά ερείσματα, συνδέοντας ονόματα χαρακτήρων με bounding boxes, τα οποία οδηγούν ένα Vision-Language Model στην παραγωγή ID-συνεπούς περιγραφών σκηνών. Αυτές οι περιγραφές στη συνέχεια συμπυκνώνονται σε περιλήψεις κεφαλαίων και ενσωματώνονται σε μια συνεχή τελική σύνοψη ταινίας.

Το αρχικό στάδιο χρησιμοποιεί το PySceneDetect για να διαχωρίσει την ταινία σε διακριτές σκηνές, με βάση σαφείς οπτικές αλλαγές, με κάθε σκηνή να αντιπροσωπεύεται από ένα μόνο κλειδί.

Ωστόσο, δεν κάθε πλαισίο κάνει μια καλή περίληψη εικόνας,既然 transitional moments, fade-outs, και dark frames μπορούν να μπερδέψουν την επόμενη ανάλυση. Έτσι, ένας απλός έλεγχος ποιότητας εκτελείται σε υποψήφια πλαισία, μετρώντας την φωτεινότητα και την οπτική ποικιλία, διασφαλίζοντας ότι μόνο εικόνες πλούσιες σε πληροφορίες επιλέγονται για περιγραφή.

Τοποθετώντας το Πρόσωπο

Ένα βάση δεδομένων προσώπων χτίστηκε από δημόσια διαθέσιμες πληροφορίες για το καστ, αποθηκεύοντας το όνομα κάθε κύριου χαρακτήρα μαζί με một αριθμητική εμφύτευση. Όταν ένα πρόσωπο εμφανίζεται σε ένα κλειδί, η εμφύτευση του αντιστοιχεί στο βάση δεδομένων και η πιο κοντινή απόσταση αποδεκτείται εάν ξεπερνάει einen κατώτατο όριο εμπιστοσύνης. Αυτό δημιουργεί “fakta ερείσματα”, συνδέοντας ονόματα με συγκεκριμένα bounding boxes.

Για τους σκοπούς αυτούς, το InsightFace χρησιμοποιείται, εκμεταλλευόμενο ένα ArcFace loss-βασισμένο αναγνωριστικό κεφάλι:

Δύο οικείες φυσιογνωμίες που θυμάται καλά η Additive Angular Margin Loss (ArcFace) πρωτοβουλία, χρησιμοποιημένη με παρόμοιο τρόπο για το MovieTeller project. Πηγή

Τα σχολιασμένα κλειδιά στη συνέχεια περνάνε στο Qwen model με ένα prompt που αναφέρει τα ανιχνευμένα πρόσωπα και τις θέσεις τους.:

Καθώς τα Vision-Language Models δεν μπορούν να απορροφήσουν μια ολόκληρη ταινία σε μια seule διαδικασία, το MovieTeller αρχικά διαχωρίζει το υλικό σε περιγραφές σκηνών. Αυτές ομαδοποιούνται σε συνεχόμενες, κεφαλαίες μπλοκ, τα οποία στη συνέχεια περνάνε στο Qwen2.5, το οποίο συνοψίζει κάθε κεφάλαιο, συμπυκνώνει την εξέλιξη της πλοκής, τις ενέργειες των χαρακτήρων και τα σημεία στροφής, διατηρώντας τα προηγουμένως επικυρωμένα ονόματα χαρακτήρων.

Αυτές οι συμπυκνωμένες περιλήψεις κεφαλαίων στη συνέχεια συνδυάζονται και επιστρέφονται στο μοντέλο με ένα νέο prompt που ζητά μια ολοκληρωμένη σύνοψη:

Παρόμοιο με το prompt που ζητά μια ολόκληρη σύνοψη, αυτό το δείγμα χρησιμοποιείται για τη δημιουργία περιγραφών σκηνών, ρίχνοντας явно τα ονόματα χαρακτήρων και τις bounding boxes για να περιορίσει το Vision-Language Model και να επιβάλει ID-συνεχή αφήγηση.

Υποθέτοντας ότι η διαδικασία έχει επιτύχει, η τελική έξοδος πρέπει να αντανακλά συνεχή την αφηγηματική καμπύλη της ταινίας. Αυτό είναι ένα ιδιαίτερα δύσκολο έργο στη μηχανική μάθηση,既然 η ποικιλία των πιθανών περιλήψεων πλοκής και ο τρόπος με τον οποίο θα μπορούσαν να παρουσιαστούν, μαζί με το απαραίτητο μήκος αυτών των δεδομένων, καθιστά σχεδόν αδύνατο να υιοθετηθούν οι συνήθεις προσεγγίσεις ground truth.

Δεδομένα και Δοκιμές

Για να δοκιμάσουν το σύστημα, οι συγγραφείς δημιούργησαν ένα ειδικό (και μη πηγαίο) σύνολο δεδομένων 100 ολόκληρων ταινιών, ισοδύναμων με περίπου 166 ώρες χρόνου εκτέλεσης. Οι ταινίες περιελάμβαναν Iron Man 3, Farewell My Concubine, Eat Drink Man Woman, και The Chronicles of Narnia. Οι ερευνητές απαιτούσαν ότι όλες οι περιλαμβανόμενες ταινίες να έχουν βαθμολογία πάνω από 5.0 στο IMDB:

Σύνθεση του συνόλου δεδομένων σε 100 ταινίες, δείχνοντας ισορροπημένη χρονολογική κάλυψη από το 1992 έως το 2025, μια ελαφριά πλειοψηφία μη αγγλικών τίτλων και μια ευρεία εξάπλωση ειδών με επικεφαλής το Δράμα και την Δράση, με αντιπρόσωπο σε Sci-Fi, Horror, Κωμωδία, Ρομαντική και Ιστορία.

Η ευρεία γκάμα ειδών που αντιμετωπίστηκε (βλ. γράφημα παραπάνω) σχεδιάστηκε για να αποφευχθεί η προκατάληψη προς οποιοδήποτε ένα είδος.

Το σύνολο δεδομένων προσώπων για κάθε ταινία αποτελούνταν από δύο εικόνες των βασικών ηθοποιών – μια από μια κινηματογραφική εικόνα και μια από μια σχετική φωτογραφία δημοσιότητας.

Υλοποιημένο σε Python, οι δοκιμές εκτελέστηκαν σε τέσσερις NVIDIA A40 GPUs, κάθε μία με 48GB VRAM, και με την προαναφερθείσα Qwen2.5 παραλλαγή ως το κεντρικό VLM. Δοκιμές ablation^†† cũng διεξήχθησαν με εναλλακτικά state-of-the-art μοντέλα InternVL3-8B και WeThink-Qwen2.5VL-7B.

Το νέο πλαίσιο δοκιμάστηκε ενάντια σε δύο δοκιμές ablation^††: μια No-Hint βάση, στην οποία το Vision-Language Model παρήγαγε περιγραφές σκηνών από το κλειδί μόνο, χωρίς κανένα κείμενο ερεθίσματα για τα ονόματα χαρακτήρων. Και μια Name-Only Hint ρύθμιση, όπου το μοντέλο έλαβε τα ανιχνευμένα ονόματα χαρακτήρων, αλλά όχι τις bounding boxes, επιτρέποντας στους συγγραφείς να απομονώσουν τη συγκεκριμένη συνεισφορά της χωρικής ερμηνείας στην ταυτότητα και την αφηγηματική συνεκτικότητα

Σχετικά με τα μετρικά, λαμβάνοντας υπόψη τη δυσκολία εφαρμογής μεθόδων ground truth σε μακρές περιλήψεις πλοκής, τα τυπικά n-gram overlap μετρικά όπως ROUGE και BLEU απορρίφθηκαν υπέρ του BERTScore με F1 score, για να μετρήσει τη σεμαντική ομοιότητα έναντι μιας αναφοράς σύνοψης από “μια δημόσια εγκυκλοπαίδεια”.

Επιπλέον, το Gemini 2.5 Flash χρησιμοποιήθηκε για να βαθμολογήσει κάθε σύνοψη για την πιστότητα των γεγονότων. ID-συνεκτικότητα και πληρότητα. Αφηγηματική συνεκτικότητα και ροή. Και συντομία, με βαθμολογίες που μετρήθηκαν σε διάφορες διαστάσεις.

Τέλος, μια ανθρώπινη αξιολόγηση 50 τυχαία δειγμάτων περιλήψεων διεξήχθη χρησιμοποιώντας διαζευκτική σύγκριση, παρέχοντας μια πρακτική έλεγχο στις αυτοματοποιημένες αξιολογήσεις.

Παρακάτω βλέπουμε τα αποτελέσματα BERTScore (F1) για τα τρία μοντέλα: Qwen2.5-VL, InternVL3, και WeThink. Κάθε ένα δοκιμάζεται σε τρεις ρυθμίσεις: No-Hint, Name-Only, και το πλήρες MovieTeller σύστημα:

Σύγκριση BERTScore (F1) σε τρία βασικά Vision-Language Models και τρεις πειραματικές ρυθμίσεις, δείχνοντας συνεχείς κέρδη από την προσθήκη ονομάτων χαρακτήρων και περαιτέρω βελτιώσεις όταν η χωρική ερμηνεία περιλαμβάνεται, με το MovieTeller να επιτυγχάνει τα υψηλότερα σκορ σε όλες τις περιπτώσεις.

Οι συγγραφείς σημειώνουν ότι το μοτίβο είναι συνεπές σε όλα τα τρία βασικά μοντέλα: η χρήση μόνο του κλειδιού αποδίδει την πιο αδύναμη απόδοση. Η προσθήκη ονομάτων χαρακτήρων παράγει μια μετρήσιμη βελτίωση. Και η συνδυασμένη χρήση ονομάτων και bounding boxes αποδίδει τα ισχυρότερα αποτελέσματα. Αν και τα κέρδη είναι σταδιακά και όχι δραματικά, η πλήρως ερμηνεία ρύθμιση επιτυγχάνει την υψηλότερη σεμαντική ευθυγράμμιση με την αναφορά σύνοψης, σε κάθε ρύθμιση.

Σχετικά με την αξιολόγηση LLM-βασισμένη της αφηγηματικής ποιότητας: όπως βλέπουμε στα αποτελέσματα παρακάτω, η No-Hint βάση δυσκολεύεται περισσότερο με την ταυτότητα-συνεκτικότητα, η οποία τραβεί το γενικό της σκορ. Αλλά η προσθήκη ονομάτων μόνο παράγει μια αξιοσημείωτη άνοδο, ιδιαίτερα στις διαστάσεις που σχετίζονται με την ταυτότητα. Και το πλήρες MovieTeller σύστημα κατατάσσεται υψηλότερα σε όλες τις διαστάσεις:

Αξιολόγηση LLM-ως-δικαστής (1–5 κλίμακα) σε τρία βασικά μοντέλα, δείχνοντας ότι η προσθήκη ονομάτων χαρακτήρων βελτιώνει την ταυτότητα-συνεκτικότητα και την γενική ποιότητα, ενώ το πλήρες MovieTeller σύστημα επιτυγχάνει τα υψηλότερα σκορ σε όλες τις διαστάσεις.

Τα ισχυρότερα κέρδη εμφανίζονται στην ταυτότητα-συνεκτικότητα, και στο τελικό μέσο σκορ, υποδεικνύοντας ότι η χωρική ερμηνεία βοηθά το μοντέλο να παραμείνει σαφές για το ποιος κάνει τι καθώς η πλοκή εξελίσσεται.

Στην ανθρώπινη αξιολόγηση 50 τυχαία δειγμάτων περιλήψεων, οι συμμετέχοντες έδειξαν τρεις περιλήψεις κάθε φορά και ζητήθηκαν να επιλέξουν την καλύτερη:

Ποσοστά ανθρώπινης προτίμησης σε μια τριπλή αναγκαστική σύγκριση, δείχνοντας ότι οι πλήρως ερμηνεία MovieTeller περιλήψεις επιλέγονται πιο συχνά σε όλα τα τρία βασικά μοντέλα, υπερβαίνοντας σημαντικά cả τις No-Hint και Name-Only παραλλαγές.

Τέλος, μια ποιοτική δοκιμή διεξήχθη στην ταινία The Bullet Vanishes (2012):

Δεν μπορούμε να αναπαράγουμε το σύνολο της εικόνας από το αρχικό έγγραφο,既然 είναι πολύ ψηλή και πυκνή σε κείμενο. Παρακαλούμε ανατρέξτε στο αρχικό έγγραφο.

Εδώ, η No-Hint βάση παράγει μια αόριστη σύνοψη που αναφέρεται σε χαρακτήρες με γενικές όρους και μπερδεύει τους ρόλους τους, καθιστώντας την αλυσίδα των γεγονότων πιο δύσκολο να ακολουθηθεί. Η προσθήκη ονομάτων μόνο βελτιώνει την επιφανειακή ανάκληση, αλλά η αφήγηση εξακολουθεί να διασκορπίζεται, με τις σχέσεις και τις προθέσεις των χαρακτήρων να περιγράφονται με έναν κάπως “επιπεδοποιημένο” τρόπο.

Αντίθετα, η πλήρως ερμηνεία MovieTeller εκδοχή διατηρεί τις ταυτότητες σταθερές σε όλη τη σύνοψη και συνδέει τις ενέργειες με τους σωστούς χαρακτήρες, επιτρέποντας στην έρευνα πλοκή να εξελιχθεί με σαφέστερη αιτιότητα. Συγκεκριμένες εντάσεις και δυναμικές ρόλων διατηρούνται αντί να αφαίρεθούν, οδηγώντας σε μια σύνοψη που διαβάζεται λιγότερο σαν μια αποσυνδεμένη περίληψη και περισσότερο σαν μια συνεχή αφήγηση της κεντρικής καμπύλης της ταινίας:

Μέρος της τελικής σύγκρισης, η οποία δεν μπορούμε να αναπαράγουμε εδώ, δείχνοντας μια ablated και πλήρως ερμηνεία MovieTeller σύνοψη. Παρακαλούμε ανατρέξτε στο αρχικό έγγραφο.

Συμπέρασμα

Αν και τα περισσότερα νέα έργα αυτού του είδους τελειώνουν στο λογοτεχνικό έργο του Computer Vision, η αυτοματοποιημένη σύνοψη ταινιών περιλαμβάνει πολλά άλλα πεδία και περιοχές της έρευνας μηχανικής μάθησης – και είναι δύσκολο να προβλεφθεί ποιο από αυτά θα συνεισφέρει την λείπουσα πiece του puzzle. Αν και το MovieTeller κάνει ένα βήμα προς την σωστή κατεύθυνση, διαιρώντας τις εργασίες σε κατάλληλες εφαρμογές, διατηρεί ακόμη την αίσθηση του “συναρμολογημένου” που προηγείται μιας μεταγενέστερης, πιο εύκολης λύσης.

* Δεν μπορώ να αναγνωρίσω αυτή την εταιρεία, ακόμη και μετά από κάποια αναζήτηση.

^† Θα υποθέταγα κάτι σαν το IMDB ή OMDB, αλλά η πηγή δεν αναφέρεται.

^†† Παρακαλούμε ανατρέξτε στο αρχικό έγγραφο για μια πλήρη ablation,既然 μόνο καλύπτουμε πλήρη ablation σε εξαιρετικές περιπτώσεις. Θα σημειώσω ότι οι μη-επεξεργασμένες μελέτες ablation που αναφέρονται εδώ δεν υπονομεύουν τις γενικές ευρήματα του εγγράφου.

Πρώτη δημοσίευση Παρασκευή, 27 Φεβρουαρίου 2026