Lehren von KI, um bessere Video-Kritiken zu geben

Während Large Vision-Language-Modelle (LVLMs) nützliche Helfer bei der Interpretation einiger der komplexeren oder anspruchsvolleren Einreichungen in der Computer-Vision-Literatur sein können, gibt es einen Bereich, in dem sie eingeschränkt sind: die Bestimmung der Meriten und der subjektiven Qualität der begleitenden Video-Beispiele in neuen Artikeln*.

Dies ist ein kritischer Aspekt einer Einreichung, da wissenschaftliche Artikel oft versuchen, durch überzeugenden Text oder visuelle Elemente – oder beides – Aufmerksamkeit zu erregen.

Aber im Falle von Projekten, die Video-Synthese beinhalten, müssen die Autoren tatsächliche Video-Ausgaben zeigen oder riskieren, dass ihre Arbeit abgelehnt wird; und es sind diese Demonstrationen, in denen die Lücke zwischen kühnen Behauptungen und realer Leistung am häufigsten offensichtlich wird.

Ich habe das Buch gelesen, aber nicht den Film gesehen

Derzeit werden die meisten populären API-basierten Large Language Models (LLMs) und Large Vision-Language-Modelle (LVLMs) nicht direkt Video-Inhalte analysieren in irgendeiner Weise, qualitativ oder sonstwie. Stattdessen können sie nur verwandte Transkripte analysieren – und vielleicht Kommentarthreads und andere streng textbasierte Nebenmaterial.

Die vielfältigen Einwände von GPT-4o, Google Gemini und Perplexity, wenn sie aufgefordert werden, Video direkt zu analysieren, ohne auf Transkripte oder andere textbasierte Quellen zurückzugreifen.

Ein LLM kann jedoch seine Unfähigkeit, tatsächlich Videos anzusehen, verbergen oder leugnen, es sei denn, man fordert es dazu auf:

Nachdem es aufgefordert wurde, eine subjektive Bewertung der mit einem neuen Forschungsartikel verbundenen Videos zu liefern und nachdem es eine echte Meinung vorgetäuscht hatte, gesteht ChatGPT-4o schließlich, dass es Videos nicht direkt ansehen kann.

Obwohl Modelle wie ChatGPT-4o multimodal sind und zumindest einzelne Fotos analysieren können (wie ein extrahiertes Bild aus einem Video, siehe Bild oben), gibt es einige Probleme damit: Erstens gibt es wenig Grund, der qualitativen Meinung eines LLMs Glauben zu schenken, nicht zuletzt, weil LLMs anfällig für “Menschen-Geheimnisse” sind, anstatt für aufrichtige Diskussion.

Zweitens sind viele, wenn nicht die meisten Probleme eines generierten Videos wahrscheinlich zeitlich und werden in einem Einzelbild völlig verloren – und daher dient die Untersuchung einzelner Bilder keinen Zweck.

Schließlich kann das LLM nur eine angebliche “Werturteil” basierend auf (erneut) textbasiertem Wissen abgeben, beispielsweise in Bezug auf Deepfake-Bilder oder Kunstgeschichte. In einem solchen Fall ermöglicht das trainierte Domänenwissen dem LLM, analysierte visuelle Eigenschaften eines Bildes mit erlernten Einbettungen basierend auf menschlicher Einsicht zu korrelieren:

Das FakeVLM-Projekt bietet gezielte Deepfake-Erkennung über ein spezialisiertes multimodales Vision-Language-Modell. Quelle: https://arxiv.org/pdf/2503.14905

Dies bedeutet nicht, dass ein LLM nicht direkt Informationen aus einem Video erhalten kann; beispielsweise kann ein LLM mit Hilfe von Neben-AI-Systemen wie YOLO Objekte in einem Video identifizieren – oder dies direkt tun, wenn es für eine überdurchschnittliche Anzahl multimodaler Funktionen trainiert wird.

Aber die einzige Möglichkeit, wie ein LLM ein Video subjektiv bewerten könnte (d. h. “Das sieht nicht real aus”), besteht darin, eine Loss-Funktion-basierte Metrik anzuwenden, die entweder bekanntermaßen die menschliche Meinung gut widerspiegelt oder direkt von der menschlichen Meinung informiert wird.

Loss-Funktionen sind mathematische Werkzeuge, die während des Trainings verwendet werden, um zu messen, wie weit die Vorhersagen eines Modells von den richtigen Antworten entfernt sind. Sie liefern Feedback, das das Lernen des Modells leitet: Je größer der Fehler, desto höher der Verlust. Wenn das Training fortschreitet, passt das Modell seine Parameter an, um diesen Verlust zu verringern und seine Fähigkeit zu verbessern, genaue Vorhersagen zu treffen.

Loss-Funktionen werden verwendet, um sowohl das Training von Modellen zu regulieren als auch Algorithmen zu kalibrieren, die für die Bewertung der Ausgabe von KI-Modellen (wie die Bewertung von simulierten photorealistischen Inhalten aus einem generativen Video-Modell) konzipiert sind.

Bedingte Vision

Eine der beliebtesten Metriken/Loss-Funktionen ist die Fréchet-Inception-Distanz (FID), die die Qualität generierter Bilder durch Messen der Ähnlichkeit zwischen ihrer Verteilung (was hier bedeutet, “wie Bilder nach visuellen Merkmalen verteilt oder gruppiert sind“) und der von echten Bildern bewertet.

Insbesondere berechnet FID den statistischen Unterschied unter Verwendung von Mittelwerten und Kovarianzen zwischen Merkmalen, die aus beiden Bildersätzen unter Verwendung des (oft kritisierten) Inception-v3-Klassifizierungsnetzwerks extrahiert werden. Ein niedrigerer FID-Wert zeigt an, dass die generierten Bilder den echten Bildern ähnlicher sind, was eine bessere visuelle Qualität und Vielfalt impliziert.

Die FID ist jedoch im Wesentlichen vergleichend und kann als selbstreferenziell angesehen werden. Um dies zu beheben, unterscheidet sich die spätere Conditional Fréchet-Distanz (CFD, 2021) von FID, indem sie generierte Bilder mit echten Bildern vergleicht und eine Bewertung basierend auf der Übereinstimmung beider Sätze mit einer zusätzlichen Bedingung wie einer (unvermeidlich subjektiven) Klassenbezeichnung oder Eingabe-Bild bewertet.

Auf diese Weise berücksichtigt die CFD, wie genau Bilder die beabsichtigten Bedingungen erfüllen, und nicht nur ihre allgemeine Realistik oder Vielfalt untereinander.

Beispiele aus dem CFD-Ausflug 2021. Quelle: https://github.com/Michael-Soloveitchik/CFID/

Die CFD folgt einem aktuellen Trend, qualitative menschliche Interpretation in Loss-Funktionen und Metriken zu integrieren. Obwohl dieser menschenzentrierte Ansatz garantiert, dass das resultierende Algorithmus nicht “seelenlos” oder rein mechanisch ist, wirft er gleichzeitig eine Reihe von Problemen auf: die Möglichkeit von Voreingenommenheit; die Belastung, den Algorithmus an neue Praktiken anzupassen; und die Tatsache, dass dies die Möglichkeit konsistenter vergleichbarer Standards über einen Zeitraum von Jahren und Projekte hinweg entfernt; und budgetäre Einschränkungen (weniger menschliche Mitwirkende werden die Entscheidungen spezifischer machen, während eine höhere Zahl nützliche Updates aufgrund der Kosten verhindern kann).

cFreD

Dies bringt uns zu einem neuen Artikel aus den USA, der offensichtlich Conditional Fréchet-Distanz (cFreD) anbietet, eine neue Variante der CFD, die darauf ausgelegt ist, menschliche Vorlieben besser widerzuspiegeln, indem sie sowohl die visuelle Qualität als auch die Text-Bild-Übereinstimmung bewertet

Teilweise Ergebnisse des neuen Artikels: Bildbewertungen (1-9) nach verschiedenen Metriken für den Prompt “Ein Wohnzimmer mit einem Sofa und einem Laptop-Computer, der auf dem Sofa ruht.” Grün markiert das top-bewertete Modell (FLUX.1-dev), violett das niedrigste (SDv1.5). Nur cFreD entspricht den menschlichen Bewertungen. Bitte beachten Sie den Quellenartikel für die vollständigen Ergebnisse, die wir hier nicht wiedergeben können. Quelle: https://arxiv.org/pdf/2503.21721

Die Autoren argumentieren, dass bestehende Bewertungsmethoden für Text-Bild-Synthese, wie Inception-Score (IS) und FID, schlecht mit menschlicher Urteilsfähigkeit übereinstimmen, da sie nur die Bildqualität messen, ohne die Übereinstimmung der Bilder mit ihren Prompts zu berücksichtigen:

‘Beispielsweise betrachten wir ein Dataset mit zwei Bildern: einem Hund und einer Katze, jeweils mit ihrem entsprechenden Prompt verbunden. Ein perfektes Text-Bild-Modell, das versehentlich diese Zuordnungen vertauscht (d. h. ein Bild einer Katze für einen Hund-Prompt und umgekehrt), würde einen nahezu Null-FID-Wert erreichen, da die Gesamtdistribution von Katzen und Hunden beibehalten wird, trotz der Fehlzuordnung zu den beabsichtigten Prompts.

‘Wir zeigen, dass cFreD eine bessere Bildqualitätsbewertung und Bedingung auf Eingabe-Text und eine verbesserte Übereinstimmung mit menschlichen Vorlieben liefert.’

Die Tests des Artikels zeigen, dass die von den Autoren vorgeschlagene Metrik, cFreD, konsistent eine höhere Übereinstimmung mit menschlichen Vorlieben als FID, FDDINOv2, CLIPScore und CMMD auf drei Benchmark-Datensätzen (PartiPrompts, HPDv2 und COCO) erreicht.

Konzept und Methode

Die Autoren bemerken, dass der aktuelle Goldstandard für die Bewertung von Text-Bild-Modellen darin besteht, menschliche Vorliebensdaten durch crowdsourcierte Vergleiche zu sammeln, ähnlich wie bei Methoden, die für große Sprachmodelle (wie die LMSys Arena) verwendet werden.

Beispielsweise verwendet die PartiPrompts Arena 1.600 englische Prompts, präsentiert Teilnehmern Bilderpaare aus verschiedenen Modellen und bittet sie, ihr bevorzugtes Bild auszuwählen.

Ähnlich verwendet die Text-to-Image Arena Leaderboard Benutzervergleiche von Modellausgaben, um über ELO-Scores Rankings zu generieren. Allerdings ist die Sammlung dieser Art von menschlicher Bewertungsdaten teuer und langsam, was dazu geführt hat, dass einige Plattformen – wie die PartiPrompts Arena – die Updates eingestellt haben.

Die Artificial Analysis Image Arena Leaderboard, die die derzeitigen Führer in der generativen visuellen KI bewertet. Quelle: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Obwohl alternative Methoden existieren, die auf historischen menschlichen Vorliebensdaten trainiert wurden, bleibt ihre Wirksamkeit für die Bewertung zukünftiger Modelle ungewiss, da menschliche Vorlieben kontinuierlich evolvieren. Folglich scheinen automatisierte Metriken wie FID, CLIPScore und die von den Autoren vorgeschlagene cFreD wahrscheinlich wichtige Bewertungsinstrumente zu bleiben.

Die Autoren gehen davon aus, dass sowohl reale als auch generierte Bilder, die auf einen Prompt konditioniert sind, Gauß-Verteilungen folgen, die jeweils durch konditionale Mittelwerte und Kovarianzen definiert sind. cFreD misst die erwartete Fréchet-Distanz über Prompts zwischen diesen konditionalen Verteilungen. Dies kann entweder direkt in Bezug auf konditionale Statistiken oder durch Kombination von unbedingten Statistiken mit Kreuzkovarianzen, die den Prompt betreffen, formuliert werden.

Durch die Einbeziehung des Prompts auf diese Weise kann cFreD sowohl die Realistik der Bilder als auch ihre Übereinstimmung mit dem gegebenen Text bewerten.

Daten und Tests

Um zu bewerten, wie gut cFreD mit menschlichen Vorlieben übereinstimmt, verwendeten die Autoren Bildbewertungen von mehreren Modellen, die mit dem gleichen Text promptet wurden. Ihre Bewertung basierte auf zwei Quellen: dem Human Preference Score v2 (HPDv2) Testset, das neun generierte Bilder und ein COCO Grundwahrheitsbild pro Prompt enthält; und der bereits erwähnten PartiPrompts Arena, die Ausgaben von vier Modellen über 1.600 Prompts enthält.

Die Autoren sammelten die verstreuten Arena-Datensätze in einen einzigen Datensatz; in Fällen, in denen das reale Bild nicht die höchste Bewertung in menschlichen Bewertungen erhielt, verwendeten sie das top-bewertete Bild als Referenz.

Um neuere Modelle zu testen, sampelten sie 1.000 Prompts aus den Trainings- und Validierungssets von COCO, wobei sie sicherstellten, dass es keine Überschneidung mit HPDv2 gab, und generierten Bilder mit neun Modellen aus der Arena-Leaderboard. Die ursprünglichen COCO-Bilder dienten in diesem Teil der Bewertung als Referenzen.

Der cFreD-Ansatz wurde durch vier statistische Metriken bewertet: FID; FDDINOv2; CLIPScore; und CMMD. Er wurde auch gegen vier gelernte Metriken getestet, die auf menschlichen Vorliebensdaten trainiert wurden: Ästhetik-Score; ImageReward; HPSv2; und MPS.

Die Autoren bewerteten die Übereinstimmung mit menschlicher Urteilsfähigkeit sowohl aus einer Rang- als auch aus einer Bewertungsperspektive: Für jede Metrik wurden Modellbewertungen gemeldet und Rankings berechnet, um ihre Übereinstimmung mit menschlichen Bewertungsergebnissen zu bestimmen, wobei cFreD DINOv2-G/14 für Bild-Einbettungen und den OpenCLIP ConvNext-B Text-Encoder für Text-Einbettungen verwendete†.

Frühere Arbeiten zur Erforschung menschlicher Vorlieben maßen die Leistung unter Verwendung von pro-Item-Rang-Genauigkeit, die die Rang-Genauigkeit für jedes Bild-Text-Paar vor dem Mittelwert berechnet.

Die Autoren bewerteten cFreD hingegen unter Verwendung einer globalen Rang-Genauigkeit, die die Gesamtrang-Leistung über den gesamten Datensatz bewertet; für statistische Metriken leiteten sie Rankings direkt aus rohen Bewertungen ab; und für Metriken, die auf menschlichen Vorlieben trainiert wurden, berechneten sie zunächst die durchschnittlichen Rankings, die jedem Modell über alle Proben zugewiesen wurden, und bestimmten dann die endgültige Rangfolge aus diesen Durchschnittswerten.

Die initialen Tests verwendeten zehn Frameworks: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; und LAFITE.

Modell-Rankings und -Bewertungen auf dem HPDv2-Testset unter Verwendung statistischer Metriken (FID, FDDINOv2, CLIPScore, CMMD und cFreD) und Metriken, die auf menschlichen Vorlieben trainiert wurden (Ästhetik-Score, ImageReward, HPSv2 und MPS). Die besten Ergebnisse sind fett gedruckt, die zweitbesten sind unterstrichen.

Von den initialen Ergebnissen sagen die Autoren:

‘cFreD erreicht die höchste Übereinstimmung mit menschlichen Vorlieben, mit einer Korrelation von 0,97. Unter den statistischen Metriken erreicht cFreD die höchste Korrelation und ist vergleichbar mit HPSv2 (0,94), einem Modell, das explizit auf menschlichen Vorlieben trainiert wurde. Da HPSv2 auf dem HPSv2-Trainingsset trainiert wurde, das vier Modelle aus dem Testset enthält, und die gleichen Annotatoren verwendete, kodiert es inhärente menschliche Vorliebens-Voreingenommenheiten des gleichen Settings.’

‘Im Gegensatz dazu erreicht cFreD eine vergleichbare oder bessere Korrelation mit menschlicher Bewertung ohne jegliche menschliche Vorlieben-Trainingsdaten.

‘Diese Ergebnisse zeigen, dass cFreD zuverlässigere Rankings über diverse Modelle hinweg liefert im Vergleich zu Standard-Automatik-Metriken und Metriken, die explizit auf menschlichen Vorliebensdaten trainiert wurden.’

Unter allen bewerteten Metriken erreichte cFreD die höchste Rang-Genauigkeit (91,1%), was – so argumentieren die Autoren – eine starke Übereinstimmung mit menschlichen Urteilen zeigt.

HPSv2 folgte mit 88,9%, während FID und FDDINOv2 wettbewerbsfähige Bewertungen von 86,7% erzielten. Obwohl Metriken, die auf menschlichen Vorlieben trainiert wurden, im Allgemeinen gut mit menschlichen Bewertungen übereinstimmten, erwies sich cFreD als die robusteste und zuverlässigste Metrik insgesamt.

Unten sehen wir die Ergebnisse der zweiten Testrunde, diesmal auf der PartiPrompts Arena, unter Verwendung von SDXL; Kandinsky 2; Würstchen; und Karlo V1.0.

Modell-Rankings und -Bewertungen auf PartiPrompt unter Verwendung statistischer Metriken (FID, FDDINOv2, CLIPScore, CMMD und cFreD) und Metriken, die auf menschlichen Vorlieben trainiert wurden (Ästhetik-Score, ImageReward und MPS). Die besten Ergebnisse sind fett gedruckt, die zweitbesten sind unterstrichen.

Hier sagt der Artikel:

‘Unter den statistischen Metriken erreicht cFreD die höchste Korrelation mit menschlichen Bewertungen (0,73), während FID und FDDINOv2 eine Korrelation von 0,70 erreichen. Im Gegensatz dazu zeigt der CLIP-Score eine sehr niedrige Korrelation (0,12) mit menschlichen Urteilen.

‘In der Kategorie der Metriken, die auf menschlichen Vorlieben trainiert wurden, erreicht HPSv2 die stärkste Übereinstimmung, mit einer Korrelation von 0,83, gefolgt von ImageReward (0,81) und MPS (0,65). Diese Ergebnisse zeigen, dass cFreD eine robuste automatische Metrik ist, während HPSv2 sich als die effektivste Metrik zur Erfassung von menschlichen Bewertungstrends in der PartiPrompts Arena herausstellt.’

Schließlich führten die Autoren eine Bewertung auf dem COCO-Datensatz unter Verwendung von neun modernen Text-Bild-Modellen durch: FLUX.1[dev]; Playgroundv2.5; Janus Pro; und Stable-Diffusions-Varianten SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 und 1.5.

Menschliche Vorliebens-Rankings wurden aus der Text-to-Image-Leaderboard bezogen und als ELO-Scores angegeben:

Modell-Rankings auf zufällig ausgewählten COCO-Prompts unter Verwendung automatischer Metriken (FID, FDDINOv2, CLIPScore, CMMD und cFreD) und Metriken, die auf menschlichen Vorlieben trainiert wurden (Ästhetik-Score, ImageReward, HPSv2 und MPS). Eine Rang-Genauigkeit unter 0,5 zeigt mehr diskordante als konkorde Paare, und die besten Ergebnisse sind fett gedruckt, die zweitbesten sind unterstrichen.

In Bezug auf diese Runde sagen die Forscher:

‘Unter den statistischen Metriken (FID, FDDINOv2, CLIP, CMMD und unserer vorgeschlagenen cFreD) zeigt nur cFreD eine starke Korrelation mit menschlichen Vorlieben, mit einer Korrelation von 0,33 und einer nicht-trivialen Rang-Genauigkeit von 66,67%. ‘Dieses Ergebnis platziert cFreD als die drittbeste Metrik insgesamt, übertroffen nur von den Metriken, die auf menschlichen Vorlieben trainiert wurden, ImageReward, HPSv2 und MPS.

‘Bemerkenswerterweise zeigen alle anderen statistischen Metriken eine wesentlich schwächere Übereinstimmung mit ELO-Rankings und invertieren als Ergebnis die Rankings, was zu einer Rang-Genauigkeit unter 0,5 führt.

‘Diese Ergebnisse unterstreichen, dass cFreD sowohl auf visuelle Treue als auch auf Prompt-Konsistenz sensitiv ist und seine Bedeutung als praktische, trainingsfreie Alternative für die Bewertung von Text-Bild-Generierung unterstreicht.’

Die Autoren testeten auch Inception V3 als Backbone und wiesen darauf hin, dass es in der Literatur weit verbreitet ist, und fanden heraus, dass InceptionV3 vernünftig abschnitt, aber von transformer-basierten Backbones wie DINOv2-L/14 und ViT-L/16 übertroffen wurde, die konsistenter mit menschlichen Rankings übereinstimmten – und argumentieren, dass dies die Verwendung von InceptionV3 in modernen Bewertungsszenarien unterstützt.

Win-Raten, die zeigen, wie oft die Rankings jedes Bild-Backbones mit den tatsächlichen menschlichen abgeleiteten Rankings auf dem COCO-Datensatz übereinstimmen.

Schlussfolgerung

Es ist klar, dass menschliche Lösungen, die in die Bewertung von Metriken und Loss-Funktionen einbezogen werden, der optimale Ansatz sind, aber die Skala und Häufigkeit der erforderlichen Updates machen sie derzeit unpraktisch – vielleicht bis zu dem Zeitpunkt, an dem eine breite öffentliche Teilnahme an Bewertungen allgemein gefördert wird; oder, wie es bei CAPTCHAs der Fall war, erzwungen wird.

Die Glaubwürdigkeit des neuen Systems der Autoren hängt immer noch von seiner Übereinstimmung mit menschlicher Urteilsfähigkeit ab, wenn auch in einem entfernteren Sinne als viele der jüngsten menschlichen Ansätze; und die Legitimität von cFreD bleibt immer noch von menschlichen Vorliebensdaten abhängig (natürlich, da ohne einen solchen Benchmark der Anspruch, dass cFreD menschliche Urteilsfähigkeit widerspiegelt, unbeweisbar wäre).

Es kann argumentiert werden, dass die Einbettung unserer aktuellen Kriterien für “Realismus” in generativer Ausgabe in eine Metrik-Funktion ein Fehler auf lange Sicht sein könnte, da unsere Definition dieses Konzepts derzeit von der neuen Welle generativer KI-Systeme in Frage gestellt wird und für häufige und erhebliche Überarbeitungen bereitsteht.

* An diesem Punkt würde ich normalerweise ein exemplarisches, illustrierendes Video-Beispiel einfügen, vielleicht aus einer jüngsten akademischen Einreichung; aber das wäre boshaft – jeder, der mehr als 10-15 Minuten damit verbracht hat, die generative KI-Ausgabe von Arxiv zu durchsuchen, ist bereits auf ergänzende Videos gestoßen, deren subjektiv schlechte Qualität darauf hindeutet, dass die zugehörige Einreichung nicht als Meilenstein-Papier gefeiert wird.

† Insgesamt wurden 46 Bild-Backbone-Modelle in den Experimenten verwendet, von denen nicht alle in den grafischen Ergebnissen berücksichtigt werden. Bitte beachten Sie den Anhang des Artikels für eine vollständige Liste; die in den Tabellen und Abbildungen aufgeführten Modelle sind aufgeführt.

Erstveröffentlichung: Dienstag, 1. April 2025