Auf der Suche nach einem KI-System, das einen ganzen Film verfolgen kann

KI-Modelle verlieren noch immer die Übersicht, wer wer ist und was in einem Film passiert. Ein neues System orchestriert Gesichtserkennung und inszenierte Zusammenfassung, um Charaktere gerade zu halten und Handlungen kohärent über volle Film-Längen hinweg zu machen.

Es erscheint vielleicht wie eine Nische oder ein marginale Aufgabe, künstliche Intelligenz dazu zu bringen, Hollywood-Style-Filme zu beobachten und zu verstehen; aber ein System, das einen vollen Film von Anfang bis Ende beobachten, den Fortschritt aller Charaktere verfolgen und die Handlung im Griff behalten kann, hat nicht nur direkte Anwendungen ermöglicht, die von solchen Fähigkeiten profitieren könnten, sondern auch eine ganze Reihe von peripheren oder unabhängigen Herausforderungen in verschiedenen Bereichen.

Die low-hanging Frucht für Film-beobachtende KI-Modelle sind Empfehlungssysteme, in Streaming-Plattformen wie Netflix, Amazon Prime und HBO Max. Ein detailliertes Verständnis von Handlungsentwicklungen und Charakter-Aktionen ermöglicht eine genauere Übereinstimmung mit den (oft spezifischen) Vorlieben und Enthusiasmen der Zuschauer.

Weiterhin ermöglicht ein tieferes Verständnis eines Films die Generierung von Schlüsselwörtern und eine genauere Kategorisierung, anstatt oft kopierte Film-Beschreibungen zu perpetuieren, die vor Jahrzehnten geschrieben wurden. Solche Erkenntnisse könnten auch die Anwesenheit von “Erwachsenen-Themen” in einem Film aufdecken, die nicht offensichtlich aus dem Dialog oder den visuellen Elementen hervorgehen.

Zusätzlich können ältere Filme in einem Katalog veraltete Bewertungen und Übersichten haben; zum Beispiel könnten Sprache und Idiome, die in einem Film der 1950er Jahre normal waren, heute viel mehr Aufmerksamkeit verdienen. Aber ohne ein umfassendes Verständnis des Kontexts, das aus der tatsächlichen Verfolgung einer langen Film-Erzählung gewonnen wird, könnten solche Vorfälle über- oder unterbetont werden.

Im weiteren Sinne könnten verbesserte Film-Analyse-Ansätze viel zur Lösung des viel umfassenderen Problems der Ereignis-Erkennung beitragen, die für Innovationen in der Sicherheitsüberwachung, automatisierten Sport-Kommentaren und Zusammenfassungen aller Art in einer riesigen Bandbreite von Medien von entscheidender Bedeutung ist.

Daher ist “KI-basierte Film-Beobachtung” ein überraschend gut abonniertes Genre in der Computer-Vision-Literatur.

Das große Bild sehen

Der neueste Eintrag heißt MovieTeller – eine akademische/industrielle Zusammenarbeit aus China, die neue Fortschritte macht, indem sie die verschiedenen Teilaufgaben in der Herausforderung auf verschiedene KI-Anwendungen aufteilt, die diesen Herausforderungen entsprechen, anstatt – wie oft der Fall – zu versuchen, diskrete und abgeschlossene Modelle zu trainieren, die alle notwendigen Aufgaben aus einem einzigen latenten Raum ausführen können.

Die Autoren bemerken, dass vorherige Vision-Language-Modelle (VLMs) bei der gleichen Aufgabe nicht viel weiter als die Analyse einzelner Frames gekommen sind; und dass ihr Mangel an Kontext es ihnen schwer macht, Charaktere konsistent zu identifizieren – vielleicht die wichtigste Eigenschaft eines solchen Systems:

Das neue System, MovieTeller, kann Menschen in Szenen konsistent identifizieren, dank der Verwendung eines dedizierten Gesichtserkennungssystems; aber es ist die umfassendere Hingabe an den Kontext, die es dem Framework ermöglicht, die Handlungsentwicklungen im Griff zu behalten. Quelle

Die Autoren stellen fest:

‘Allgemeine VLMs haben oft Schwierigkeiten, spezifische Charaktere über eine lange Erzählung hinweg konsistent zu erkennen und zu verfolgen. Sie können einen wichtigen Protagonisten in einer Szene als “ein Mann” beschreiben und in einer anderen Szene als “eine Person”, ohne die visuelle Darstellung an eine konsistente Identität zu binden.’

Die Autoren bemerken, dass die Selbst-Aufmerksamkeits-Mechanik der Transformer eine quadratische Komplexität verwendet, was die Verarbeitung jedes Frames eines vollen Films auf einmal zu teuer macht. Als Ergebnis neigen Ansätze, die auf einheitlicher Frame-Stichproben oder einfacher Konkatenation basieren, dazu, den Fluss der Geschichte zu unterbrechen und fragmentierte Zusammenfassungen anstelle einer kohärenten Erzählung zu produzieren.

Stattdessen besteht das neue System aus einer orchestrierten, trainingsfreien Pipeline, mit dedizierten Tools, um Gesichtserkennung und Persistenz des Gedächtnisses (wenn Charaktere die Erzählung eines Films verlassen und wieder betreten) anzugehen.

MovieTeller wurde gegen vorherige Ansätze mit 60 vollständigen Filmen getestet, was etwa 10.000 Minuten Filmmaterial entspricht. In quantitativen Ablations-Tests und Human-Studien berichten die Autoren, dass ihr Ansatz deutlich verbessert wurde im Vergleich zu den Standard-Umgebungen und Annahmen, die von vorherigen Systemen verwendet wurden.

Das neue Papier heißt MovieTeller: Tool-augmentierte Film-Zusammenfassung mit ID-konsistenter progressiver Abstraktion und stammt von fünf Autoren aus der Zhejiang-Universität in Hangzhou, der staatlichen China Media Group und der Watch AI Group* (die beiden letzteren mit Sitz in Peking).

Methode

Das MovieTeller-Schema besteht aus drei Stufen: Szene-Segmentierung und Schlüsselbild-Extraktion, die durch das PySceneDetect-Projekt gehandhabt werden; Faktisch-basierte Szene-Beschreibung-Generierung durch die Anpassung des Qwen2.5-VL-7B-Instruct-VLM; und progressive Abstraktion, die detaillierte Szene-Beschreibungen in Kapitel-Zusammenfassungen und dann in eine finale kohärente Synopsis kondensiert – und dies wird auch durch das Qwen2.5-Modell durchgeführt:

Überblick über das MovieTeller-Framework: Ein vollständiger Film wird zunächst in Szenen segmentiert und in hochwertige Schlüsselbilder destilliert; dann injiziert ein externes Gesichtserkennungstool faktische Grundlagen, die Charakter-Namen mit Begrenzungsboxen verbinden, die ein Vision-Language-Modell anleiten, um ID-konsistente Szene-Beschreibungen zu produzieren. Diese Beschreibungen werden dann progressiv abstrahiert in Kapitel-Zusammenfassungen und in eine kohärente finale Film-Zusammenfassung integriert.

Die erste Stufe verwendet PySceneDetect, um den Film in diskrete Szenen zu unterteilen, basierend auf klaren visuellen Änderungen, wobei jede Szene durch ein einzelnes Schlüsselbild repräsentiert wird.

Allerdings ist nicht jeder Frame ein gutes Zusammenfassungsbild, da Übergangsmomente, Ausblenden und dunkle Frames die spätere Analyse verwirren können. Daher führt eine einfache Qualitätsprüfung einen Filterlauf auf Kandidaten-Frames durch, indem sie Helligkeit und visuelle Variation misst, um sicherzustellen, dass nur informationsreiche Bilder für die Beschreibung ausgewählt werden.

Gesichter platzieren

Eine Gesichts-Datenbank wurde aus öffentlich zugänglichen Cast-Informationen^† aufgebaut, die jeden Hauptcharakter-Namen neben einer numerischen Gesichts-Einbettung speichert. Wenn ein Gesicht in einem Schlüsselbild erscheint, wird seine Einbettung mit der Datenbank abgeglichen, und das nächste Ergebnis wird akzeptiert, wenn es eine Konfidenz-Schwelle überschreitet. Dies erzeugt “faktische Grundlagen”, die Namen mit spezifischen Begrenzungsboxen verbinden.

Zu diesem Zweck wird InsightFace verwendet, das eine ArcFace-Verlust-basierte Erkennung verwendet:

Zwei vertraute Gesichter, die von der Additive Angular Margin Loss (ArcFace)-Initiative gut erkannt werden, die auf ähnliche Weise für das MovieTeller-Projekt verwendet wird. Quelle

Die annotierten Schlüsselbilder werden dann an das Qwen-Modell mit einem Prompt übergeben, der die erkannten Charaktere und ihre Positionen auflistet.

Da Vision-Language-Modelle nicht den gesamten Film auf einmal absorbieren können, bricht MovieTeller den Film zunächst in Szene-Beschreibungen auf. Diese werden in aufeinanderfolgende, kapitelähnliche Blöcke gruppiert, die dann an Qwen2.5 übergeben werden, das jede Kapitel-Zusammenfassung komprimiert, Handlungs-Entwicklungen, Charakter-Motivationen und Wendepunkte zusammenfasst, während es die zuvor verifizierten Charakter-Namen beibehält.

Die komprimierten Kapitel-Zusammenfassungen werden dann verkettet und dem Modell mit einem neuen Prompt übergeben, der eine vollständige Synopsis anfordert:

Ähnlich wie der Prompt, der eine vollständige Synopsis anfordert, wird dieser Beispiel-Prompt verwendet, um Szene-Beschreibungen zu generieren, indem er verifizierte Charakter-Namen und Begrenzungsboxen injiziert, um das Vision-Language-Modell zu leiten und ID-konsistente Erzählung zu erzwingen.

Angenommen, der Prozess war erfolgreich, sollte die endgültige Ausgabe kohärent die Erzählung des Films widerspiegeln. Dies ist eine besonders schwierige Aufgabe in der maschinellen Lerntheorie, da die Vielfalt möglicher Handlungs-Zusammenfassungen und die Art und Weise, in der sie präsentiert werden, zusammen mit der notwendigen Länge dieser Datenpunkte, es fast unmöglich macht, die üblichen Ground-Truth-Methoden anzuwenden.

Daten und Tests

Um das System zu testen, haben die Autoren eine spezielle (und nicht genannte) Datenbank von 100 vollständigen Filmen kuratiert, was etwa 166 Stunden Laufzeit entspricht. Die Filme umfassten Eisenmann 3, Abschied, meine Konkubine, Iss, trinke, Mann, Frau und Die Chroniken von Narnia. Die Forscher verlangten, dass alle aufgenommenen Filme eine Bewertung von über 5,0 auf der IMDB haben:

Datenbank-Zusammensetzung über 100 Filme, mit ausgewogener zeitlicher Abdeckung von 1992 bis 2025, einer leichten Mehrheit von nicht-englischen Titeln und einer breiten Genre-Verteilung, angeführt von Drama und Action, mit Vertretung in Sci-Fi, Horror, Komödie, Romantik und Geschichte.

Die breite Palette von Genres (siehe Grafik oben) wurde so gestaltet, dass sie keine Voreingenommenheit gegenüber einem bestimmten Genre aufweist.

Die Gesichts-Datenbank für jeden Film bestand aus zwei Bildern der Hauptdarsteller – einem aus einem Film-Still und einem aus einem verwandten Pressefoto.

Implementiert in Python, wurden die Tests auf vier NVIDIA A40-GPUs durchgeführt, jede mit 48 GB VRAM, und mit dem oben genannten Qwen2.5-Modell als zentralem VLM. Ablations-Studien^†† wurden auch mit alternativen State-of-the-Art-Modellen InternVL3-8B und WeThink-Qwen2.5VL-7B durchgeführt.

Das neue Framework wurde gegen zwei Ablations-^††-Varianten getestet: eine Kein-Hinweis-Baseline, bei der das Vision-Language-Modell Szene-Beschreibungen aus dem Schlüsselbild allein generierte, ohne jegliche textuelle Hinweise auf Charakter-Identitäten; und eine Namen-Only-Hinweis-Einstellung, bei der das Modell die erkannten Charakter-Namen erhielt, aber nicht ihre Begrenzungsboxen, was es den Autoren ermöglichte, den spezifischen Beitrag der räumlichen Verankerung zur Identitäts-Konsistenz und Erzählung-Kohärenz zu isolieren

In Bezug auf Metriken, unter Berücksichtigung der oben genannten Schwierigkeit, Ground-Truth-Methoden auf lange Handlungs-Zusammenfassungen anzuwenden, wurden standardmäßige n-Gramm-Übereinstimmungsmetriken wie ROUGE und BLEU durch BERTScore mit F1-Score ersetzt, um semantische Ähnlichkeit mit einer Referenz-Synopsis aus einer “öffentlichen Enzyklopädie” zu messen.

Außerdem wurde Gemini 2.5 Flash verwendet, um jede Synopsis auf faktische Treue, ID-Konsistenz und Vollständigkeit, Erzählung-Kohärenz und Fluss sowie Kürze zu bewerten, wobei die Bewertungen über die Dimensionen gemittelt wurden.

Schließlich wurde eine menschliche Bewertung von 50 zufällig ausgewählten Zusammenfassungen durchgeführt, bei der die Teilnehmer aufgefordert wurden, die beste Zusammenfassung auszuwählen:

Menschliche Präferenzraten in einer dreifachen erzwungenen Wahl, die zeigt, dass die vollständig verankerten MovieTeller-Zusammenfassungen am häufigsten ausgewählt werden, was die beiden anderen Varianten deutlich übertrifft.

Schließlich wurde ein qualitatives Test durchgeführt, auf dem Film The Bullet Vanishes (2012):

Wir können die gesamte Abbildung aus dem ursprünglichen Papier nicht reproduzieren, da sie sehr hoch und text-dicht ist. Bitte verweisen Sie auf das ursprüngliche Papier.

Dabei produziert die Kein-Hinweis-Baseline eine vage Synopsis, die Charaktere in generischen Begriffen beschreibt und ihre Rollen verwischt, was die Ereignis-Kette schwerer zu verfolgen macht. Die Angabe von Namen allein verbessert die oberflächliche Erinnerung, aber die Erzählung driftet noch immer, mit Charakter-Beziehungen und Motivationen, die auf eine eher “flache” Weise beschrieben werden.

Im Gegensatz dazu hält die vollständig verankerte MovieTeller-Version die Identitäten über die gesamte Synopsis hinweg stabil und bindet Handlungen an die richtigen Charaktere, was es der Ermittlungs-Handlung ermöglicht, mit klarerer kausaler Struktur zu verlaufen. Spezifische Spannungen und Rollen-Dynamiken werden erhalten, anstatt abstrahiert zu werden, was zu einer Zusammenfassung führt, die weniger wie eine unzusammenhängende Übersicht und mehr wie eine kohärente Wiedergabe der zentralen Erzählung des Films liest:

Teil des finalen Vergleichs, den wir hier nicht vollständig reproduzieren können, der eine abgeblähte und eine vollständig verankerte MovieTeller-Zusammenfassung zeigt. Bitte verweisen Sie auf das ursprüngliche Papier.

Schlussfolgerung

Obwohl die meisten neuen Projekte dieser Art in der Computer-Vision-Literatur enden, umfasst die KI-generierte Film-Zusammenfassung viele andere Disziplinen und Bereiche in der maschinellen Lernforschung – und es ist schwer vorherzusagen, welcher von ihnen ungewollt den fehlenden Teil des Puzzles beitragen wird; obwohl MovieTeller einen Schritt in die richtige Richtung macht, indem es die Aufgaben auf geeignete Module aufteilt, anstatt zu versuchen, alles diskret in einem latenten Raum zu lösen, hat es noch den “zusammengeflickten” Charakter, der oft einer späteren, eleganteren Lösung vorausgeht.

* Ich kann diese Institution nicht identifizieren, auch nach einiger Recherche.

^† Man würde annehmen, dass es sich um etwas wie die IMDB oder OMDB handelt, aber die Quelle ist nicht angegeben.

^†† Bitte verweisen Sie auf das ursprüngliche Papier für umfassende Ablation, da wir hier nur die vollständige Ablation in Ausnahmefällen abdecken. Ich werde bemerken, dass die unbehandelten Ablations-Studien, auf die hier Bezug genommen wird, die allgemeinen Ergebnisse des Papiers nicht untergraben.

Erstveröffentlichung: Freitag, 27. Februar 2026