Mit AI-Halluzinationen zur Bewertung der Bildrealität

Neue Forschung aus Russland schlägt eine unkonventionelle Methode vor, um unrealistische AI-generierte Bilder zu erkennen – nicht, indem die Genauigkeit großer Vision-Language-Modelle (LVLMs) verbessert wird, sondern indem ihre Neigung zu Halluzinationen absichtlich ausgenutzt wird.

Der neue Ansatz extrahiert mehrere ‘atomare Fakten’ über ein Bild mithilfe von LVLMs und wendet dann natürliche Sprachinferenz (NLI) an, um systematisch Widersprüche zwischen diesen Aussagen zu messen – effektiv die Schwächen des Modells in ein diagnostisches Werkzeug zur Erkennung von Bildern, die dem gesunden Menschenverstand widersprechen.

Zwei Bilder aus dem WHOOPS!-Dataset neben automatisch generierten Aussagen des LVLM-Modells. Das linke Bild ist realistisch und führt zu konsistenten Beschreibungen, während das ungewöhnliche rechte Bild das Modell dazu bringt, zu halluzinieren und widersprüchliche oder falsche Aussagen zu produzieren. Quelle: https://arxiv.org/pdf/2503.15948

Wenn das LVLM aufgefordert wird, die Realität des zweiten Bildes zu bewerten, kann es erkennen, dass etwas nicht stimmt, da der abgebildete Kamel drei Höcker hat, was in der Natur unbekannt ist.

Das LVLM verbindet jedoch zunächst >2 Höcker mit >2 Tiere, da dies die einzige Möglichkeit ist, drei Höcker in einem ‘Kamel-Bild’ zu sehen. Es halluziniert dann etwas, das noch unwahrscheinlicher ist als drei Höcker (z. B. ‘zwei Köpfe’) und beschreibt nie das, was offensichtlich seine Verdacht ausgelöst hat – den unwahrscheinlichen zusätzlichen Höcker.

Die Forscher der neuen Studie fanden heraus, dass LVLM-Modelle diese Art der Bewertung nativ ausführen können und auf demselben Niveau (oder besser) wie Modelle, die für eine solche Aufgabe fein abgestimmt wurden. Da Feinabstimmung kompliziert, teuer und eher brüchig in Bezug auf die nachgelagerte Anwendbarkeit ist, ist die Entdeckung einer natürlichen Verwendung für eines der größten Hindernisse in der aktuellen AI-Revolution ein erfrischender Twist auf die allgemeinen Trends in der Literatur.

Offene Bewertung

Die Bedeutung des Ansatzes, so behaupten die Autoren, liegt darin, dass er mit Open-Source-Frameworks eingesetzt werden kann. Während ein fortschrittliches und hochinvestitives Modell wie ChatGPT (wie das Papier einräumt) potenziell bessere Ergebnisse in dieser Aufgabe liefern kann, liegt der wahre Wert der Literatur für die meisten von uns (und insbesondere für die Hobby- und VFX-Communities) in der Möglichkeit, neue Durchbrüche in lokalen Implementierungen zu integrieren und zu entwickeln; im Gegenzug unterliegt alles, was für ein proprietäres kommerzielles API-System bestimmt ist, dem Risiko von Rücknahmen, willkürlichen Preiserhöhungen und Zensurpolitiken, die eher den corporate Bedenken eines Unternehmens als den Bedürfnissen und Verantwortungen der Nutzer entsprechen.

Das neue Papier trägt den Titel Don’t Fight Hallucinations, Use Them: Estimating Image Realism using NLI over Atomic Facts und stammt von fünf Forschern aus dem Skolkowo-Institut für Wissenschaft und Technologie (Skoltech), dem Moskauer Institut für Physik und Technologie und den russischen Unternehmen MTS AI und AIRI. Die Arbeit hat eine begleitende GitHub-Seite.

Methode

Die Autoren verwenden das israelisch-amerikanische WHOOPS!-Dataset für das Projekt:

Beispiele für unmögliche Bilder aus dem WHOOPS!-Dataset. Es ist bemerkenswert, wie diese Bilder plausiblere Elemente zusammenstellen und dass ihre Unwahrscheinlichkeit auf der Kombination dieser unvereinbaren Aspekte basiert. Quelle: https://whoops-benchmark.github.io/

Das Dataset umfasst 500 synthetische Bilder und über 10.874 Annotationen, die speziell dafür entwickelt wurden, um die Alltagsvernunft und das kompositionelle Verständnis von AI-Modellen zu testen. Es wurde in Zusammenarbeit mit Designern erstellt, die mit Text-to-Image-Systemen wie Midjourney und der DALL-E-Serie Szenarien generierten, die schwierig oder unmöglich in der Natur zu erfassen sind:

Weitere Beispiele aus dem WHOOPS!-Dataset. Quelle: https://huggingface.co/datasets/nlphuji/whoops

Der neue Ansatz funktioniert in drei Stufen: Zuerst wird das LVLM (speziell LLaVA-v1.6-mistral-7b) aufgefordert, multiple einfache Aussagen – sogenannte ‘atomare Fakten’ – über ein Bild zu generieren. Diese Aussagen werden mithilfe von Diverse Beam Search generiert, um Variabilität in den Ausgaben zu gewährleisten.

Diverse Beam Search produziert eine bessere Vielfalt von Beschriftungsoptionen, indem es für ein diversitätsaugmentiertes Ziel optimiert wird. Quelle: https://arxiv.org/pdf/1610.02424

Als nächstes wird jede generierte Aussage systematisch mit jeder anderen Aussage mithilfe eines Natural Language Inference-Modells verglichen, das Bewertungen zuweist, die anzeigen, ob Paare von Aussagen sich gegenseitig implizieren, widersprechen oder neutral zueinander stehen.

Widersprüche deuten auf Halluzinationen oder unrealistische Elemente im Bild hin:

Schema für die Erkennungspipeline.

Schließlich werden diese paarweisen NLI-Bewertungen in einer einzigen ‘Realitätsbewertung’ aggregiert, die die Gesamtkohärenz der generierten Aussagen quantifiziert.

Die Forscher erforschten verschiedene Aggregationsmethoden, wobei ein clusterbasierter Ansatz am besten funktionierte. Die Autoren wendeten den k-Means-Clustering-Algorithmus an, um einzelne NLI-Bewertungen in zwei Cluster zu unterteilen, und der Schwerpunkt des niedrig bewerteten Clusters wurde dann als endgültiges Maß ausgewählt.

Die Verwendung von zwei Clustern stimmt mit der binären Natur der Klassifizierungsaufgabe überein, d. h. die Unterscheidung zwischen realistischen und unrealistischen Bildern. Die Logik ist ähnlich wie die Auswahl des niedrigsten Bewertungswerts insgesamt; jedoch ermöglicht das Clustering, dass das Maß die durchschnittliche Widersprüchlichkeit über mehrere Fakten darstellt, anstatt sich auf einen einzelnen Ausreißer zu verlassen.

Daten und Tests

Die Forscher testeten ihr System auf dem WHOOPS!-Benchmark, wobei sie rotierende Testaufteilungen (d. h. Cross-Validation) verwendeten. Die getesteten Modelle waren BLIP2 FlanT5-XL und BLIP2 FlanT5-XXL in Aufteilungen und BLIP2 FlanT5-XXL im Zero-Shot-Format (d. h. ohne zusätzliche Schulung).

Als Baseline für die Anweisungsverfolgung forderten die Autoren die LVLMs mit dem Satz ‘Ist dies ungewöhnlich? Bitte erklären Sie kurz mit einem Satz’ auf, den vorherige Forschung als effektiv für die Erkennung unrealistischer Bilder befand.

Die bewerteten Modelle waren LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B und zwei Größen (7/13 Milliarden Parameter) von InstructBLIP.

Das Testverfahren konzentrierte sich auf 102 Paare realistischer und unrealistischer (‘seltsamer’) Bilder. Jedes Paar bestand aus einem normalen Bild und einem Gegenstück, das dem gesunden Menschenverstand widersprach.

Drei menschliche Annotatoren beschrifteten die Bilder und erreichten eine Übereinstimmung von 92 %, was auf eine starke menschliche Übereinstimmung darüber hindeutet, was ‘Seltsamkeit’ ausmacht. Die Genauigkeit der Bewertungsmethoden wurde anhand ihrer Fähigkeit gemessen, realistische und unrealistische Bilder korrekt zu unterscheiden.

Das System wurde mit einer dreifachen Cross-Validation ausgewertet, wobei die Daten mit einem festen Seed zufällig neu angeordnet wurden. Die Autoren justierten die Gewichte für Implikationsbewertungen (Aussagen, die logisch übereinstimmen) und Widerspruchsbewertungen (Aussagen, die logisch widersprechen) während der Schulung, während ‘neutrale’ Bewertungen auf Null festgelegt wurden. Die endgültige Genauigkeit wurde als Durchschnitt über alle Testaufteilungen berechnet.

Vergleich verschiedener NLI-Modelle und Aggregationsmethoden auf einem Teil von fünf generierten Fakten, gemessen an der Genauigkeit.

Was die anfänglichen Ergebnisse betrifft, die oben gezeigt werden, besagt das Papier:

‘Die [‘clust’]-Methode ragt als eine der besten Leistungen hervor. Dies impliziert, dass die Aggregation aller Widerspruchsbewertungen von entscheidender Bedeutung ist, anstatt sich nur auf extreme Werte zu konzentrieren. Darüber hinaus übertrifft das größte NLI-Modell (nli-deberta-v3-large) alle anderen für alle Aggregationsmethoden, was darauf hindeutet, dass es das Wesen des Problems effektiver erfassen kann.’

Die Autoren fanden heraus, dass die optimalen Gewichte konsistent Widersprüche gegenüber Implikationen bevorzugten, was darauf hindeutet, dass Widersprüche informativer für die Unterscheidung unrealistischer Bilder sind. Ihre Methode übertraf alle anderen Zero-Shot-Methoden, die getestet wurden, und näherte sich nahe der Leistung des fein abgestimmten BLIP2-Modells:

Leistung verschiedener Ansätze auf dem WHOOPS!-Benchmark. Fein abgestimmte (ft) Methoden erscheinen oben, während Zero-Shot (zs) Methoden darunter aufgeführt sind. Die Modellgröße gibt die Anzahl der Parameter an, und die Genauigkeit wird als Bewertungsmetrik verwendet.

Sie stellten auch fest, dass InstructBLIP besser abschnitt als vergleichbare LLaVA-Modelle bei demselben Prompt. Während sie die überlegene Genauigkeit von GPT-4o anerkennen, betont das Papier die Vorliebe der Autoren für die Demonstration praktischer, open-source-Lösungen und kann anspruchsvoll behaupten, Neuheit in der expliziten Ausnutzung von Halluzinationen als diagnostisches Werkzeug zu haben.

Schlussfolgerung

Die Autoren erkennen jedoch, dass ihr Projekt eine Schuld gegenüber dem 2024er FaithScore-Ausgang hat, einer Zusammenarbeit zwischen der University of Texas at Dallas und der Johns Hopkins University.

Darstellung, wie FaithScore-Bewertung funktioniert. Zuerst werden beschreibende Aussagen innerhalb einer LVLM-generierten Antwort identifiziert. Als nächstes werden diese Aussagen in einzelne atomare Fakten zerlegt. Schließlich werden die atomaren Fakten mit dem Eingabebild verglichen, um ihre Genauigkeit zu überprüfen. Unterstrichener Text hebt objektiven beschreibenden Inhalt hervor, während blauer Text halluzinierte Aussagen anzeigt, was es FaithScore ermöglicht, ein interpretierbares Maß der faktischen Richtigkeit zu liefern. Quelle: https://arxiv.org/pdf/2311.01477

FaithScore misst die Zuverlässigkeit von LVLM-generierten Beschreibungen, indem es die Konsistenz gegenüber dem Bildinhalt überprüft, während die Methode der neuen Studie LVLM-Halluzinationen explizit ausnutzt, um unrealistische Bilder durch Widersprüche in generierten Fakten mithilfe von Natural Language Inference zu erkennen.

Die neue Arbeit ist natürlich von den Eigenheiten der aktuellen Sprachmodelle und ihrer Neigung zu Halluzinationen abhängig. Wenn die Modellentwicklung jemals ein vollständig nicht-halluzinierendes Modell hervorbringen sollte, würden auch die allgemeinen Prinzipien der neuen Arbeit nicht mehr anwendbar sein. Dies bleibt jedoch eine herausfordernde Perspektive.

Erstveröffentlichung am Dienstag, dem 25. März 2025