Selbst State-of-the-Art-Sprachmodelle haben Schwierigkeiten, Temporale Logik zu verstehen

Die Vorhersage zukünftiger Zustände ist eine kritische Mission in der Computer-Vision-Forschung – nicht zuletzt in der Robotik, wo reale Situationen berücksichtigt werden müssen. Machine-Learning-Systeme, die mit mission-kritischen Aufgaben betraut sind, benötigen daher ein angemessenes Verständnis der physischen Welt.

Es gibt jedoch Fälle, in denen ein scheinbar beeindruckendes Wissen über temporale Realität täuschen kann: Eine neue Studie aus den Vereinigten Arabischen Emiraten hat festgestellt, dass State-of-the-Art-Multimodale-Großsprachmodelle (MLLMs), einschließlich der Branchenführer GPT-4o und Google Gemini, bei der Interpretation, wie Zeit in Bildern dargestellt wird, versagen.

Beispielsweise sequenzielle Paare (siehe Bild unten), die für Menschen auch dann nicht herausfordernd wären, wenn sie in der falschen Reihenfolge präsentiert würden, können fortgeschrittene MLLMs verwirren, wenn sie in unerwarteten Kontexten oder Konfigurationen präsentiert werden (wie z.B. zweites Bild zuerst, zu einem einzigen Bild zusammengefügt, mehrere Bilder, die möglicherweise die richtige temporale Reihenfolge darstellen oder nicht).

Beispiele aus einem der für die neue Studie zusammengestellten Datensätze, die sequenzielle Ereignisse in Form von “vorher” und “nachher”-Bildern zeigen. Die Forscher haben diese Daten unter https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer verfügbar gemacht

Die Forscher beauftragten die Modelle mit grundlegenden temporalen Denkaufgaben, wie der Bestimmung der Reihenfolge von Ereignissen oder der Schätzung von Zeitabständen, und fanden heraus, dass die sieben getesteten MLLMs deutlich unter der menschlichen Genauigkeit lagen:

„Insgesamt zeigen die Ergebnisse, dass alle aktuellen MLLMs, einschließlich GPT-4o – dem fortschrittlichsten Modell in unserer Bewertung – mit dem vorgeschlagenen Benchmark Schwierigkeiten haben. Trotz der überlegenen Leistung von GPT-4o im Vergleich zu anderen Modellen kann es nicht konsistent genaue temporale Denkfähigkeiten in verschiedenen Szenarien demonstrieren.

„Die konsistenten Genauigkeitswerte sind für alle Modelle deutlich niedrig, was auf signifikante Einschränkungen in ihrer Fähigkeit hinweist, temporale Sequenzen aus visuellen Eingaben zu verstehen und zu interpretieren. Diese Mängel sind sogar dann offensichtlich, wenn den Modellen multi-image-Eingaben oder optimierte Prompts zur Verfügung gestellt werden, was darauf hindeutet, dass die aktuellen Architekturen und Trainingsmethoden für robuste temporale Reihenfolgen-Verständnis unzureichend sind.“

Machine-Learning-Systeme sind darauf ausgelegt, die genauesten, aber auch die effizientesten und menschenfreundlichsten Ergebnisse zu optimieren*. Da sie ihre Argumentation nicht explizit offenlegen, kann es schwierig sein, zu erkennen, wenn sie betrügen oder „Abkürzungen“ verwenden.

In einem solchen Fall kann das MLLM die richtige Antwort durch die falsche Methode erreichen. Die Tatsache, dass eine solche Antwort korrekt sein kann, kann falsches Vertrauen in das Modell erzeugen, das möglicherweise durch die gleiche Methode in späteren Aufgaben, die es erhält, falsche Ergebnisse produziert.

Schlimmer noch, diese Fehlleitung kann sich noch tiefer in die Entwicklungsphase einnisten, wenn Menschen von ihr beeindruckt sind und positive Rückmeldungen in Tests und Annotationssitzungen geben, die möglicherweise zur Richtung beitragen, die die Daten und/oder das Modell nehmen.

In diesem Fall wird angenommen, dass MLLMs eine wahre Verständnis von Chronologie und temporalen Phänomenen „vortäuschen“, indem sie sekundäre Indikatoren beobachten und verankern (wie z.B. Zeitstempel in Video-Daten, die Reihenfolge von Bildern in einer Layout oder sogar – potenziell – sequenziell nummerierte Dateinamen).

Es zeigt auch, dass MLLMs derzeit keine echte Verallgemeinerung eines Konzepts von temporalen Phänomenen erfüllen – zumindest nicht in dem Maße, in dem Menschen dies tun.

Die neue Studie trägt den Titel Können Multimodale MLLMs visuelles Temporales Verständnis und Denken? und stammt von drei Forschern der Mohamed bin Zayed University of Artificial Intelligence und Alibaba International Digital Commerce.

Daten und Tests

Die Autoren bemerken, dass vorherige Benchmarks und Studien, wie MMMU und TemporalBench, sich auf einzelne Bild-Eingaben konzentrieren oder Fragen für die MLLMs formulieren, die möglicherweise zu einfach zu beantworten sind und möglicherweise nicht die Neigung zu Abkürzungsverhalten aufdecken.

Daher bieten die Autoren zwei aktualisierte Ansätze: Temporale Reihenfolgen-Verständnis (TOU) und Zeitabstands-Schätzung (TLE). Der TOU-Ansatz testet die Modelle auf ihre Fähigkeit, die korrekte Reihenfolge von Ereignissen aus Bildpaaren zu bestimmen; der TLE-Ansatz bewertet die Fähigkeit des MLLMs, den Zeitabstand zwischen zwei Bildern zu schätzen, der von Sekunden bis zu Jahren reicht.

Aus der Studie: Die beiden Hauptaufgaben des TemporalVQA-Benchmarks: Im Temporal Order Understanding entscheidet das Modell, welches der beiden Bilder ein Ereignis zeigt, das zuerst auftrat; im Time-lapse Estimation schätzt das Modell, wie viel Zeit zwischen den beiden Bildern vergangen ist, wobei es aus Optionen wie Sekunden, Minuten, Tagen oder Jahren wählt. Diese Aufgaben zielen darauf ab, zu testen, wie gut die MLLMs über die Zeit und die Reihenfolge visueller Ereignisse nachdenken können.

Die Forscher haben 360 Bildpaare für den TOU-Benchmark kuratiert, indem sie Open-Source-Videos von Pixabay und Pexels verwendeten, damit es möglich war, den Datensatz über eine Benutzeroberfläche verfügbar zu machen.

Die Videos deckten eine Vielzahl von Themen ab, von Menschen in alltäglichen Aktivitäten bis hin zu nicht-menschlichen Inhalten wie Tieren und Pflanzen. Aus diesen wurden Bildpaare ausgewählt, um eine Sequenz von Ereignissen mit ausreichender Variation darzustellen, um den Startframe „offensichtlich“ zu machen.

Die temporale Logik dieser beiden Bilder kann nicht entkommen, da der Tee nicht möglicherweise zurück in die Tülle gesaugt werden kann.

Auf diese Weise wurden 360 Bildpaare erhalten.

Für den TLE-Ansatz wurden urheberrechtsfreie Bilder von Google und Flickr ausgewählt, sowie ausgewählte Frames aus urheberrechtsfreien Videos auf YouTube. Die Themen der Videos umfassten Szenen oder Objekte, deren Änderungsintervall von Sekunden bis zu Tagen oder Jahreszeiten reichte – beispielsweise reifendes Obst oder die Änderung der Jahreszeiten in Landschaften.

Auf diese Weise wurden 125 Bildpaare für den TLE-Ansatz kuratiert.

Nicht alle der getesteten MLLMs konnten mehrere Bilder verarbeiten; daher unterschieden sich die Tests, um jedem Modell gerecht zu werden.

Es wurden mehrere Versionen der kuratierten Datensätze generiert, in denen einige der Paare vertikal und andere horizontal zusammengefügt wurden. Weitere Variationen tauschten die wahre und korrekte temporale Reihenfolge der Paare aus.

Zwei Prompt-Typen wurden entwickelt. Der erste folgte diesem Schema:

Trat das Ereignis im (linken / oberen / ersten) Bild vor dem Ereignis im (rechten / unteren / zweiten) Bild ein? Antworte mit wahr oder falsch und gib eine Begründung.

Der zweite folgte diesem Schema:

Zwischen diesen beiden Bildern: Welches Bild zeigt das Ereignis, das zuerst auftrat? Antworte mit (links oder rechts / oben oder unten / erstes oder zweites) und gib eine Begründung.

Für den TLE wurden multiple-choice-Fragen gestellt, die die Modelle aufforderten, den Zeitabstand zwischen den beiden präsentierten Bildern zu schätzen, wobei Sekunden, Stunden, Minuten, Tage, Monate und Jahre als Zeit-Einheiten zur Verfügung standen. In dieser Konfiguration wurde das aktuellste Bild rechts präsentiert.

Der Prompt, der hier verwendet wurde, lautete:

Schätze den Zeitabstand zwischen dem ersten Bild (links) und dem zweiten Bild (rechts).

Wähle eine der folgenden Optionen:

1. 1. Weniger als 15 Sekunden
B. Zwischen 2 Minuten und 15 Minuten
C. Zwischen 1 Stunde und 12 Stunden
D. Zwischen 2 Tagen und 30 Tagen
E. Zwischen 4 Monaten und 12 Monaten
F. Mehr als 3 Jahre

Die getesteten MLLMs waren ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; und LLaVA-CoT.

Temporale Reihenfolgen-Verständnis: Ergebnisse

Ergebnisse des Temporal Order Understanding bei verschiedenen Modellen und Eingabe-Layouts, die Genauigkeit und Konsistenz für verschiedene Einrichtungen und Prompts zeigen.

Im Hinblick auf die oben gezeigten Ergebnisse fanden die Autoren heraus, dass alle getesteten MLLMs, einschließlich GPT-4o (das die beste Gesamtleistung zeigte), erhebliche Schwierigkeiten mit dem TemporalVQA-Benchmark hatten – und sogar GPT-4o konnte nicht konsistent zuverlässige temporale Denkfähigkeiten in verschiedenen Konfigurationen demonstrieren.

Die Autoren argumentieren, dass die konsistent niedrigen Genauigkeitswerte bei den MLLMs auf signifikante Mängel in der Fähigkeit der Modelle hinweisen, temporale Sequenzen aus visuellen Daten zu interpretieren und zu verstehen. Die Forscher bemerken, dass diese Herausforderungen auch bei der Verwendung von multi-image-Eingaben und optimierten Prompts bestehen bleiben, was auf grundlegende Einschränkungen in den aktuellen Modellarchitekturen und Trainingsmethoden hinweist.

Die Tests zeigten signifikante Variationen in der Leistung bei verschiedenen Prompt-Strategien. Während GPT-4o mit optimierten Prompts (erreichte 4% bei single-image und 65,3% bei multi-image-Einstellungen) verbesserte, blieb die Leistung unter akzeptablen Niveaus.

Modelle wie LLaVA-NeXT und Qwen-VL waren noch empfindlicher, mit einer Leistungsverschlechterung, wenn alternative Prompts verwendet wurden, was darauf hindeutet, dass die Prompt-Engineering allein die grundlegenden Einschränkungen der MLLMs bei der temporalen Denkfähigkeit nicht überwinden kann.

Die Tests zeigten auch, dass die Bildlayout (d.h. vertikal vs. horizontal) die Modellleistung erheblich beeinflusste. GPT-4o verbesserte seine Konsistenz bei vertikalen Anordnungen, von 39,2% auf 52,8%; jedoch zeigten andere Modelle, einschließlich der LLaVA-Strains, starke Richtungs-Verzerrungen, mit hervorragenden Ergebnissen in einer Orientierung, aber Versagen in einer anderen.

Das Papier zeigt, dass diese Inkonsistenzen auf eine Abhängigkeit von räumlichen Hinweisen und nicht auf echte temporale Denkfähigkeiten hinweisen, da die MLLMs nicht wirklich die Sequenz von Ereignissen oder die zeitliche Entwicklung analysieren, sondern sich auf Muster oder visuelle Merkmale stützen, die mit der Bildanordnung zusammenhängen, um Entscheidungen zu treffen.

Qualitative Tests heben GPT-4os Vorhersagen bei verschiedenen Eingabe-Reihenfolgen hervor. In der ersten Reihenfolge werden die Bildpaare in ihrer ursprünglichen Reihenfolge präsentiert, während in der zweiten Reihenfolge die Reihenfolge umgekehrt ist. Korrekte Klassifizierungen sind grün markiert, reine Fehlklassifizierungen rot, halluzinierte Begründungen orange und illogische oder „ungültige“ Begründungen braun, was die Inkonsistenzen des Modells bei verschiedenen Eingabe-Konfigurationen aufzeigt.

Die Vergleichstests zwischen single-image- und multi-image-Eingaben zeigten begrenzte Gesamtleistungsverbesserungen, wobei GPT-4o bei multi-image-Eingabe leicht besser abschnitt, von 31,0% auf 43,6% (mit P1) und 46,0% auf 65,3% (mit P2).

Andere Modelle, wie InternVL, zeigten stabile, aber niedrige Genauigkeit, während Qwen-VL geringe Gewinne verzeichnete. Die Autoren schlussfolgern, dass diese Ergebnisse darauf hindeuten, dass zusätzliche visuelle Kontexte die temporale Denkfähigkeit nicht wesentlich verbessern, da die Modelle Schwierigkeiten haben, temporale Informationen effektiv zu integrieren.

Menschliche Studie

In einer menschlichen Studie wurden drei Umfragen durchgeführt, um zu bewerten, wie gut das beste MLLM (GPT-4o) im Vergleich zu menschlichen Schätzungen abschnitt.

Menschen erreichten 90,3% Genauigkeit, was GPT-4os 65,3% um 25% übertraf. Der Datensatz erwies sich als zuverlässig, mit minimalen menschlichen Fehlern und konsistenter Übereinstimmung bei den korrekten Antworten.

Ergebnisse der menschlichen Studie für die erste Runde der Tests.

Zeitabstands-Schätzung: Ergebnisse

Ergebnisse für TLE: Zeitabstands-Schätzung bewertet die Modellgenauigkeit bei der Ermittlung von Intervallen zwischen Bildpaaren, von Sekunden bis zu Jahren. Die Aufgabe bewertet die Fähigkeit jedes Modells, die richtige Zeitskala für den temporalen Abstand zu wählen.

Bei diesen Tests schnitten die MLLMs nur mittelmäßig bei der Zeitabstands-Schätzung ab: GPT-4o erreichte 70% Genauigkeit, aber die anderen Modelle schnitten deutlich schlechter ab (siehe Tabelle oben), und die Leistung variierte auch erheblich bei den verschiedenen Zeitskalen.

Die Autoren bemerken:

„Die Aufgabe der Zeitabstands-Schätzung testet die Fähigkeit von MLLMs, temporale Intervalle zwischen Bildpaaren abzuleiten. [Alle] MLLMs, einschließlich der Top-Performer wie GPT-4o und Gemini1.5-Pro, haben Schwierigkeiten mit dieser Aufgabe und erreichen nur moderate Genauigkeitsniveaus von 60-70%. GPT-4o zeigt inkonsistente Leistung, mit starker Leistung bei Sekunden und Jahren, aber unterdurchschnittlicher Leistung bei Stunden.“

„Ebenso zeigt LLaVA-CoT außergewöhnliche Leistung bei den Zeitspannen von Sekunden und Tagen, während es bei den anderen Zeitspannen deutlich schlechter abschneidet.“

Menschliche Studie

In der menschlichen Studie für TLE verbesserte sich die durchschnittliche menschliche Leistung im Vergleich zu GPT-4o (dem besten Modell in dieser Kategorie) um 12,3%.

Die Autoren bemerken, dass einige der Herausforderungen besonders anspruchsvoll waren und dass in einem Fall alle menschlichen Teilnehmer eine falsche Antwort gaben, zusammen mit allen AI-Teilnehmern.

Die Autoren schlussfolgern, dass GPT-4o „vernünftige Denkfähigkeiten“ zeigt, trotz der Reihenfolge der präsentierten Bilder.

Schlussfolgerung

Wenn MLLMs schließlich genug „Abkürzungsdaten“ sammeln und absorbieren, um sogar die schwierigsten Herausforderungen dieser Art zu meistern, kann es zu einer Frage werden, ob sie tatsächlich menschliche Verallgemeinerungsfähigkeiten in diesem Bereich entwickelt haben oder nicht.

Es ist auch nicht bekannt, wie wir unsere eigenen Fähigkeiten im temporalen Denken erwerben – verwenden wir auch „Abkürzungen“, bis die reine Menge an erlernten Erfahrungen ein Muster aufzeigt, das wie „Instinkt“ in Bezug auf diese Art von Test wirkt?

* Aus der Sicht, dass Modelle zunehmend mit Verlustfunktionen optimiert werden, die von menschlicher Rückmeldung profitieren, und effektiv durch menschliche Tests und anschließende Triage optimiert werden.

Erstveröffentlicht am Montag, 27. Januar 2025