KI würde lieber das Buch lesen als den Film ansehen

Es ist erstaunlich schwierig, KI-Modelle dazu zu bringen, tatsächlich Videoinhalte anzusehen und zu kommentieren, auch wenn sie für diese Aufgabe entwickelt wurden. Sie sind eher an dem geschriebenen Wort interessiert.

Wenn Sie jemals versucht haben, ein kleines Video auf ChatGPT oder ein ähnliches beliebtes Vision-/Sprachmodell hochzuladen, haben Sie vielleicht festgestellt, dass sie tatsächlich kein Video parsen können. Während Modelle wie ChatGPT-4o+ in der Lage sind, einzelne Frames zu analysieren – in Form von Bildern, wie JPEG und PNG – bevorzugen sie es, wenn der Benutzer seine eigenen Frames extrahiert und als Bilder hochlädt (auf die sie sich vorbereitet sind).

Im Falle der OpenAI-GPT-Serie kann man, ziemlich mühsam, eine komplette Folge von Frames aus einem Videoclip extrahieren und sie ChatGPT für Zwecke wie das Erstellen einer von der KI erstellten Erzählspur für das Video übergeben:

Bilder und Code aus einem OpenAI-Tutorial zum Parsen mehrerer extrahierter Frames zum Zwecke der Entwicklung einer von der KI erstellten Kommentierung für einen Videoclip. Quelle

Aber es obliegt dem Benutzer, die Umwandlung von Video in Frames vorzunehmen, entweder durch Aufrufen von Funktionen in einer größeren Routine, wie im obigen Beispiel, oder durch Extrahieren der Frames mit FFMPEG oder verschiedenen kostenlosen und kostenpflichtigen Video-Editierlösungen.

In gewissem Maße, vielleicht sogar in großem Maße, hängen die Einschränkungen bei der Videoanalyse in groß angelegten Produkten wie ChatGPT von der Ressourcennutzung ab: Es ist keine Kleinigkeit, ein einzelnes KI-Modell mit einer Auswahl der beliebtesten Video-Codecs auszustatten und Rechenressourcen für den ressourcenintensiven Prozess der Extraktion bereitzustellen, sollte sich herausstellen, dass Hunderte von Millionen von Benutzern beschließen, diese Funktionen täglich zu nutzen.

Zusätzlich kann die temporale Analyse ein völlig anderes Bild zeichnen als ein einzelnes Frame (stellt sich vor, jemand betritt ein Haus in guter Stimmung und entdeckt dann eine Leiche); daher ist es eine anspruchsvolle und ressourcenintensive Aufgabe, die gesamte temporale “Prüfsumme” auch nur eines kurzen Videoclips zu berücksichtigen – sowie ein spezielles Forschungsgebiet, zum Beispiel mit der laufenden Entwicklung von Frameworks wie Optical Flow –, die im Wesentlichen ein Stück Video “entfaltet”, damit es wie ein statisches Dokument behandelt und darauf reagiert werden kann:

Optische Flussdiagramme zeigen, wie die Bewegung über Frames in einer Videosequenz verfolgt wird, wobei grüne Vektoren die Bewegungsrichtung und -intensität anzeigen. Diese Zuordnungen liefern die für VLMs erforderliche zeitliche Kontinuität und können auch als strukturelle Leitfäden in VFX-Workflows dienen. Quelle

Die Kurzfassung

Trotzdem akzeptieren Modelle wie Google’s Notebook LM und die neueren ChatGPT-Einträge assoziierte Metadaten (d. h. in die Videosequenz eingebettete Textinhalte, die den Videoinhalt in irgendeiner Weise kontextualisieren) und verbieten daher keine Video-Datei-Uploads; und manchmal versuchen sie sogar, ein Video zu interpretieren, das keine solchen Daten enthält.

Im folgenden Fall habe ich einen 6-Sekunden-Clip aus dem italienischen Film Die Hand Gottes (2021) auf NotebookLM hochgeladen und michergewiss, dass der Clip null nützlichen Text enthielt, weder in Metadaten noch in der Dateiname.

NotebookLM hat dann ausführlich Material erfunden, das völlig unabhängig vom Video war, komplett mit einem unsinnigen und unzusammenhängenden fünfminütigen Kopf-an-Kopf-Podcast:

Ein alltäglicher Moment in einem 6-Sekunden-Clip aus einem italienischen Film wird von NotebookLM wild missverstanden. Quelle: Google NotebookLM

Obwohl Notebook, wie ChatGPT, einen YouTube-Video-Clip als Eingabe akzeptiert, tut es dies nur, wenn das Video eine interpretierbare Textschicht-Anmerkung und/oder Untertitel (nicht gerasterte Untertitel, die in das Video eingebettet sind) enthält.

Auf diese Weise ist die harte Arbeit der tatsächlichen Betrachtung des Videoinhalts und der Durchführung einer semantischen Interpretation (eine gesetzliche Notwendigkeit für YouTube aufgrund seiner Urheberrechtsmaßnahmen und seines identitätsbasierten Schutzsystems) nach dem Benutzer-Upload durchgeführt worden, sobald der Clip die notwendigen Verarbeitungsressourcen zugewiesen bekommen hat.

Die tatsächliche Video-Interpretation ist teuer und anstrengend, und es stellt sich heraus, dass sogar Modelle, die speziell für diese Aufgabe trainiert wurden, lieber Text lesen als tatsächlich auf das Video schauen.

TL;DW

Dies, gemäß einem neuen Paper der Universität Bristol im Vereinigten Königreich, mit dem Titel Ein Video ist nicht gleichbedeutend mit tausend Wörtern, in dem die beiden Autoren zu dem Schluss kommen, dass aktuelle State-of-the-Art-Vision-Sprachmodelle (VLMs) – Modelle, die speziell entwickelt wurden, um Videoinhalte zu analysieren und an Video-Frage-Beantwortung (VQA) teilzunehmen – standardmäßig auf textbasierte Informationen zurückgreifen, wenn immer möglich.

Wenn ihnen sowohl bewegte Bilder als auch schriftliche Fragen und Multiple-Choice-Antworten präsentiert wurden, fanden die Autoren des Papiers heraus, dass die Modelle ihre Auswahlmöglichkeiten in der Regel auf Basis von Mustern im Text und nicht auf dem Geschehen auf dem Bildschirm treffen – in vielen Fällen sogar dann, wenn die Frage völlig entfernt wurde.

Es scheint, als ob die Modelle eine Art Abkürzung oder Betrug anwenden, bei dem das Wichtigste für die meisten Modelle darin besteht, Muster in den möglichen Antworten zu erkennen; erst wenn die Aufgabe durch Hinzufügen mehrer Antwortmöglichkeiten erschwert wird, beginnen die KIs, dem Video mehr Aufmerksamkeit zu schenken.

Die Autoren führten VQA-Tests unter verschiedenen Bedingungen mit sechs VLM-Modellen mit unterschiedlichen Kontextlängen durch, auf vier geeigneten Datensätzen; und fanden heraus, dass die Ergebnisse auf die Abhängigkeit der Modelle von Text anstelle von Videoinhalten hinwiesen.

Beispiel aus der Studie, das zeigt, wie ein Videoanalyse-Modell das Gesehene mit dem Gelesenen abwägt. Der Clip zeigt eine Person, die Bambus webt, doch das Modell legt viel mehr Wert auf den schriftlichen Frage- und Antworttext als auf die Video-Frames selbst. Blaue Hervorhebungen markieren Elemente, die die gewählte Antwort unterstützen, während rote Markierungen diejenigen anzeigen, die in die entgegengesetzte Richtung ziehen, und verdeutlichen, wie die Argumentation des Modells auf die Wortwahl und nicht auf die bewegten Bilder fokussiert ist. Quelle

Methode

Um zu verstehen, wie viel jeder Eingabe zur Entscheidung des Modells beiträgt, verwendet die neue Arbeit eine Methode aus der Spieltheorie namens Shapley-Werte. Ursprünglich entwickelt, um eine faire Aufteilung der Gewinne unter den Spielern in einer Koalition zu gewährleisten, weisen Shapley-Werte jedem “Spieler” einen Anteil basierend auf seinem individuellen Einfluss zu.

Effektiv sind in diesem Szenario die Spieler entweder die Video-Frames oder die Textkomponenten (Anmerkungen, Untertitel, Kapitel usw.) einer VQA-Aufgabe; und der “Gewinn” ist die endgültige Antwort des Modells. Durch systematisches Testen, was passiert, wenn jeder Teil hinzugefügt oder entfernt wird, zeigt die Technik, wie wichtig jedes Element für die gewählte Antwort war.

In dem Fall der neuen Arbeit wurden Shapley-Werte angepasst, um gemischte Modalitäten zu handhaben, wobei Video- und Textkomponenten separat behandelt und ihre unterschiedlichen Einflüsse auf die Modellausgaben gemessen wurden, um zu zeigen, ob der Video-Inhalt tatsächlich interpretiert wurde oder ob schriftliche Hinweise als Abkürzungen verwendet wurden.

Metriken

Zwei einfache Metriken wurden definiert, um zu vergleichen, wie viel jeder Modus (d. h. Video, Frage oder Antwort) zur Entscheidung des Modells beiträgt: Modus-Beitrag misst, wie viel von der gesamten Erklärung von jedem Typ Eingabe kam; hier werden alle verfügbaren Shapley-Werte summiert und der Anteil, der jeder Modus zuzurechnen ist, als Prozentsatz des Gesamtwerts berechnet.

Zweitens korrigiert Beitrag pro Merkmal den Umstand, dass einige Modalitäten, wie Video, mehr Merkmale enthalten als andere. Stattdessen wird der Durchschnittswert von Shapley berechnet und diese Durchschnittswerte verglichen, um zu bestimmen, welche Modus-Beiträge dominant sind.

Daten und Tests

Die Autoren testeten den Ansatz an sechs VLMs mit verschiedenen Merkmalen, die so konzipiert waren, dass die Prinzipien der Tests allgemein anwendbar und verallgemeinerbar waren. Daher wurden die Modelle für unterschiedliche Kontextlängen, unterschiedliche Alter (d. h. wie lange seit der Veröffentlichung des Frameworks) und unterschiedliche Architekturkonfigurationen ausgewählt.

Die Kandidaten waren FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (das Qwen2 nutzt); und LongVA (ebenfalls mit Qwen2).

Um eine vielfältige Vielfalt zu gewährleisten, wurden die vier Ziel-Datensätze EgoSchema, ein VQA-Datensatz, der so konzipiert ist, dass er ohne vollständige Ansicht der zugehörigen Videos nicht abgeschlossen werden kann; HD-EPIC, ein auf die Küche fokussierter Datensatz mit einigen ungewöhnlich langen Videos; MVBench, eine kuratierte Sammlung von Beiträgen aus anderen Datensätzen; und LVBench, der VQA-Anfragen für sehr lange Videos stellt, ausgewählt.

Daraus entwickelten die Autoren 60 Fragen – zehn von jeder Frageart.

Die Beitrag-Metriken zeigten klar, dass die meisten Modelle weniger auf das Video als auf den Text angewiesen waren, insbesondere wenn sie Frame für Frame bewertet wurden. Selbst wenn das Video in der Gesamtbewertung eine vernünftige Leistung zeigte, war sein pro-Merkmal-Einfluss oft minimal, was darauf hindeutet, dass das Modell, obwohl es das Video insgesamt nutzte, einzelne Frames kaum beachtete. VideoLLaMA3 war der Haupt-Ausreißer hier, mit einer stärkeren visuellen Abhängigkeit, insbesondere bei den längeren Sequenzen in LVBench:

Modus-Beitrag- (MC-) und pro-Merkmal-Beitrag- (PFC-) Werte über Modelle und Datensätze hinweg, die das relative Gewicht von Video- (V), Frage- (Q) und Antwort- (A) -Eingaben zeigen. Kühle Farben zeigen stärkere Beiträge; warme Farben zeigen schwächere oder vernachlässigbare Einflüsse. In den meisten Einstellungen ist die Sprache eindeutig dominant, wobei Video oft auf die Seite geschoben wird – insbesondere bei pro-Frame-Einfluss.

Was den Text betrifft, war die Frage tendenziell wichtiger als die Antwort, insbesondere bei stärkeren Modellen. Dies war am deutlichsten in Datensätzen wie EgoSchema, wo die Fragen länger und natürlicher waren, während die Antworten kurz und manchmal schematisch waren. MVBench kehrte dies teilweise um, da seine binäre Antwortstruktur die scheinbare Bedeutung der Antworttoken aufbläht.

Über alle Modelle und Datensätze hinweg wurde die Vision jedoch konsequent auf die Seite geschoben, wobei die Sprache die meiste Arbeit leistete.

Das Papier besagt:

‘[Für] Modelle mit langem Kontext zeigt das Video stark verringerte Beiträge, was bedeutet, dass die Shapley-Werte pro Frame viel kleiner sind als ihre textbasierten Gegenstücke.

‘Das Video als Ganzes ist immer noch eindeutig sehr relevant, aber dies ist der Beweis, dass die Shapley-Werte seiner einzelnen Frames mehr um Null zentriert sind und dass die Aufmerksamkeit des Modells ihnen gegenüber viel weniger gerichtet ist als bei Text.’

Um zu testen, wie jeder Teil der Eingabe (Video, Text usw.) zur Genauigkeit des Modells beiträgt, führten die Forscher zusätzliche Tests mit Maskierung durch – sie versteckten absichtlich einen oder mehrere Teile der Eingabe und beobachteten, wie sehr sich die Genauigkeit des Modells änderte.

Wenn die Leistung stark abfällt, wenn eine bestimmte Eingabe entfernt wird, ist diese Eingabe wahrscheinlich wichtig; fällt die Leistung des Modells nicht wesentlich ab, deutet dies darauf hin, dass das fehlende Stück nicht stark genutzt wurde. In diesem Sinne sind Maskierungstests eine Art iterativer Ablationsstudie.

Leistungsänderung durch Maskierung von Video-, Frage- oder Antwort-Eingaben über vier VQA-Benchmarks. Punktzahlen zeigen die Änderung vom unmaskierten Baseline. Rot bedeutet geringere Genauigkeit, Grün bedeutet höhere Genauigkeit. Modelle behielten oft hohe Punktzahlen ohne Video, aber verloren mehr, wenn die (textbasierte) Antwort entfernt wurde. Die Frage konnte in der Regel maskiert werden, ohne wesentliche Auswirkungen zu haben.

Die Ergebnisse (siehe oben) zeigen, dass die Antworten (textbasierte Antworten in den Multiple-Choice-Daten) das meiste Gewicht überall tragen. Das Maskieren der Antwort führte typischerweise zu dem größten Rückgang der Genauigkeit, oft reduzierte es die Modelle auf eine nahezu zufällige Leistung.

Das Maskieren der Frage hatte jedoch in der Regel viel weniger Auswirkungen, was die frühere Feststellung unterstützt, dass Modelle die Frage oft unterschätzen.

In einigen Fällen verbesserte sich die Genauigkeit sogar als die Frage entfernt wurde, was darauf hindeutet, dass Modelle manchmal einfach Antworten mit visuellen oder textbasierten Hinweisen abgestimmt haben, anstatt die Frage ordnungsgemäß zu bewerten.

Modelle variierten auch in ihrer Abhängigkeit von Video: Einige behielten eine vernünftige Genauigkeit ohne es, was die begrenzte Rolle von Video-Funktionen in vielen aktuellen Einrichtungen bestätigte.

Die Autoren testeten anschließend, ob Modelle dazu gebracht werden könnten, sich auf Video zu verlassen, indem sie zusätzliche falsche Antworten zu den Multiple-Choice-Optionen hinzufügten.

Wenn die Ablenker einfach und aus anderen Fragen wiederverwendet wurden, verbesserte sich die Leistung, da Modelle Textmuster ohne viel Nachdenken abgestimmt haben. Aber mit zehn oder mehr unzusammenhängenden Antworten begannen sie, sich mehr auf das Video und die Frage zu verlassen:

Beitrag pro Merkmal und Genauigkeit für Video-, Frage- und Antwort-Eingaben, wenn zusätzliche falsche Antworten zu jedem VQA-Test hinzugefügt werden, was zeigt, dass das Hinzufügen von Ablenkern die Textdominanz verringert und den relativen Einfluss visueller und Frage-Merkmale erhöht.

Für VideoLLaMA3 reduzierte die Maskierung des Videos die Genauigkeit um 40 % auf EgoSchema und 15 % auf LVBench, was darauf hindeutet, dass eine einfache Erhöhung der Antwortzahl Modelle von Text-Abkürzungen weg und hin zu echter multimodaler Argumentation lenken kann.

Die Forscher untersuchten auch, wie die Zuschreibung über Eingaben verteilt wird, und unten sehen wir Heatmaps von Shapley-Werten für jeden Modell-Eingabe:

Shapley-Wert-Heatmaps für vier Datensätze, wobei jede Zeile ein VQA-Tupel und jede Spalte ein einzelnes Merkmal darstellt. Video-Merkmale erscheinen links, gefolgt von Text. Die viel stärkeren Werte in den (roten) Textbereichen bestätigen, dass Modelle viel stärker auf Sprache als auf Video angewiesen sind.

In Bezug auf die oben genannten Ergebnisse äußern sich die Autoren wie folgt:

‘Die Größe der Shapley-Werte ist viel größer auf der rechten Seite jeder Heatmap, die die Frage- und Antwort-Attributionen darstellt. Diese auffällige Grenze ist der Punkt, an dem die Video-Frames enden und die Text-Merkmale beginnen, was zeigt, dass der Beitrag der Video-Modalität viel geringer ist als der von Frage und Antwort. ‘

Zusammenfassend lässt sich sagen, dass die Werte über alle Datensätze hinweg viel stärker zum Text hin tendieren, was stark darauf hindeutet, dass Modelle viel stärker auf Sprache als auf visuelle Hinweise angewiesen sind. Selbst wenn das Video genutzt wird, ist der Beitrag dünn über viele Frames verteilt, oft ohne konsistentes Muster.

Unten sehen wir ein annotiertes Beispiel aus EgoSchema. Die 16 “wichtigsten” Frames wurden mithilfe von Shapley-Werten ausgewählt und entsprechend ihrer Wirkung eingefärbt, wobei Blau einen positiven Beitrag und Rot einen negativen Beitrag anzeigt:

Shapley-Attributionen für ein einzelnes EgoSchema-Beispiel, das die 16 einflussreichsten Frames und alle Text-Eingaben zeigt. Video-Beiträge sind minimal im Vergleich zu Text, der die Argumentation des Modells dominiert. Blau und Rot zeigen positive und negative Einflüsse auf die ausgewählte Antwort.

Das Ergebnis ist, dass fast jeder Frame nur einen schwachen Einfluss im Vergleich zu den Wörtern in der Frage und den Antworten hat. Visuelle Hinweise sind spärlich und inkonsistent, während Nomen wie “Stuhl” und “Zaun” das Modell auf die richtige Wahl oder von ihr weg lenken – je nach Kontext.

Schlussfolgerung

Jeder, der jemals mit Video-Bearbeitung oder Video-Analyse experimentiert hat, weiß bereits, wie ressourcenintensiv diese Prozesse sind, und versteht, warum Unternehmen, die Millionen von AI-basierten Anfragen pro Tag bearbeiten, es sich nicht leisten können, Benutzern zu erlauben, willkürliche Video-Editier- und Interpretierprozesse durchzuführen.

Ein wichtiger Punkt in diesem Zusammenhang ist, dass fast jede API-AI-Schnittstelle, die Sie jemals ausprobieren (mit der möglichen Ausnahme eines brandneuen und kurzlebigen Demos im Rahmen neuer wissenschaftlicher Forschung), darauf abzielt, die Wünsche der Benutzer mit dem Mindestmaß an Ressourcenaufwand zu erfüllen.

Das bedeutet, dass sie, wenn möglich, auf vorhandene Metadaten aus Benutzerdaten oder RAG-Abrufen zurückgreifen und Metadaten für besser parsbare Formate wie PDF, Dokumente und einzelne Bilder extrahieren (wenn absolut notwendig).

Was nicht in Frage kommt, ist, Ihr hochgeladenes Video durch CLIP oder die neueste YOLO-Version zu jagen oder durch ein ressourcenintensives und zeitaufwändiges VLM, das tatsächlich erkennen kann, was in den Frames passiert, und das in der bereitgestellten Videosequenz Geschehende berücksichtigen kann, unter Berücksichtigung der Zeitlichkeit.

Es bedeutet jedoch nicht, dass die Phänomene, die das aktuelle Papier dokumentiert, notwendigerweise aus sparsamen architektonischen Ansätzen resultieren. Die Autoren bemerken, dass Text in aktuellen State-of-the-Art-Multimodal-Trainingsparadigmen ohnehin dominant ist, was darauf hindeutet, dass “visuelle Sprache” in einem Multimodal-Kontext weniger entwickelt, weniger wichtig oder informativ oder (zumindest im Moment) weniger gut verstanden ist,

* Interessanterweise scheint das Material, das NotebookLM erstellt hat, entweder völlig originell oder völlig von Google unindexiert zu sein, da ich keine Suchergebnisse finden kann, die in die Trainingsdaten gelangt und diese Ausgabe ausgelöst sein könnten.

Erstveröffentlicht am Freitag, dem 31. Oktober 2025; bearbeitet am 14:20 für die Formatierung