Reduzierung von AI-Bildhalluzinationen durch Überbetonung

ChatGPT-ähnliche Bildmodelle “halluzinieren” oft Elemente, die nicht in einem Bild vorhanden sind. Eine neue Methode reduziert diese Fehler, indem sie dem Modell überbetonte Versionen seiner eigenen Halluzinationen auf der Grundlage von Bildunterschriften zeigt und es dann auffordert, es erneut zu versuchen. Dieser Ansatz erfordert keine Neuschulung oder zusätzliche Daten und kann auf eine Vielzahl von Modellen und Modelltypen angewendet werden.

Eine neue Veröffentlichung aus China bietet einen interessanten Ansatz zum persistenten Problem von Halluzinationen in AI-generierten Bildern und Videos – Elemente, die offensichtlich nicht im Bild vorhanden sein sollten, basierend auf der Benutzereingabe und -anforderung.

Im Wesentlichen nimmt das System ein Bild und lässt das Modell es beschreiben, wie üblich; es erstellt dann aus dieser Beschreibung ein neues Bild mithilfe eines Text-Bild-Modells – und alle zusätzlichen Objekte oder Details in diesem zweiten Bild sind direkte Darstellungen der anfänglichen Halluzinationen des Modells. Durch den Vergleich des ursprünglichen und des generierten Bildes lenkt das System das Modell sanft von diesen Fehlern ab, wenn es das nächste Mal versucht:

Eine Illustration, wie die neue Methode Halluzinationen in Bildunterschriften identifiziert und reduziert. Das reguläre Modell beschreibt Vögel, die nicht im ursprünglichen Bild vorhanden sind, was zu einem rekonstruierten Bild führt, das sie hinzufügt. Diese Fehler sind rot markiert. Im Gegensatz dazu vermeidet die vorgeschlagene Methode diese erfundenen Details, während sie die Beschreibung spezifisch und flüssig hält. Quelle: https://arxiv.org/pdf/2509.21997

Die Methode beginnt damit, dem Modell reale Bilder zu zeigen und es dazu zu bringen, sie zu beschreiben, einschließlich einiger Beschreibungen, die Objekte oder Details enthalten, die nicht tatsächlich vorhanden sind. Diese halluzinierten Beschreibungen werden dann verwendet, um synthetische Bilder zu generieren, die die Fehler leichter erkennbar machen. Durch den Vergleich der realen und generierten Bilder lernt das System, welche internen Muster im Modell dazu führen, erfundene Inhalte zu produzieren.

Once diese Fehlermuster identifiziert sind, können sie gespeichert und später verwendet werden. Wenn das Modell ein neues Bild erhält, passt das System seine internen Signale während der Beschreibung an, indem es es von den bekannten Mustern wegnutzt, die Halluzinationen verursachen. Dies funktioniert in einem einzigen Durchgang und erfordert keine zusätzlichen Daten, Neuschulung oder neue Bildgenerierung während der Testphase.

Das verwickelte Netz

In dem oben gezeigten Beispiel aus dem Papier können wir sehen, dass Verflechtung wahrscheinlich dafür verantwortlich ist, “Vögel” in das Eingabebild hineinzufügen, obwohl das erste Bild offensichtlich keine Vögel enthält.

Verflechtung tritt auf, wenn ein Modell bestimmte Konzepte mit anderen Konzepten assoziiert, einfach weil die beiden (oder mehr) Konzepte häufig zusammen im ursprünglichen Datensatz auftauchen, auf dem das Modell trainiert wurde. In diesem Fall kann das Modell viele Bilder von Flugzeugen+Vögel gesehen haben, was eine Assoziation hervorruft, die nicht auf das spezifische Bild anwendbar ist, aber dennoch in die abgeleitete Beschreibung einfließt.

Obwohl Verflechtung durch frühes Stoppen des Trainings gemildert werden kann (was im Allgemeinen das Modell maximally flexibel und anpassungsfähig macht), reduziert dies auch die Detailgenauigkeit und Auflösung aller trainierten Konzepte, was den Modelltrainer mit dem ewigen Dilemma zurücklässt: ein Modell zu erstellen, das sehr flexibel und entflochten ist; oder ein Modell zu erstellen, das leistungsfähiger generativ ist, aber auch eher “assoziative” Halluzinationen produziert?

Wenn die Qualität der Beschreibung und die Aufmerksamkeit für Details in der Kuration der ursprünglichen Daten für ein generatives Modell besser gewesen wären als es die Logistik normalerweise zulässt, wären die Beschreibungen für alle Quellbilder detailliert alle Objekte in jedem Bild enthalten, so dass das trainierte Modell ihnen diskrete und entflochtene Einträge in seinem latenten Raum zuweisen könnte.

Wie es steht, führt die selbstbedienende Praxis von SEO-Beschreibungen, kombiniert mit der Tatsache, dass ad-hoc hyperskalare Web-Scraping bleibt die beste Quelle für die Schulung wirklich leistungsfähiger generativer Modelle, bedeutet, dass Bildbeschreibungen erheblich von diesem Standard abweichen:

Eine Illustration, wie schwache Beschreibungen die Nützlichkeit von LAION-Bildern für die Schulung von Modellen wie Stable Diffusion einschränken. Viele der Textlabels sind oberflächlich, vage oder für SEO optimiert und nicht für genaue Beschreibung, was es dem Modell schwerer macht, feinkörnige visuelle Konzepte wie Gesichtszüge zu lernen. (Die ursprüngliche Quelle war https://rom1504.github.io/, jetzt nicht mehr verfügbar).

Daher, da eine grundlegende Lösung unwahrscheinlich je praktikabel sein wird, ist die Reduzierung von LLM/VLM-Halluzinationen durch Workarounds und Kompromisse jetzt ein starker Unterstrang in der Literatur.

Die neue chinesische Technik, die diese Woche vorgestellt wurde, sagen die Autoren, wurde auf eine Vielzahl von Architekturen in verschiedenen Bedingungen getestet und könnte einen nützlichen Weg zur Reduzierung von “Halluzinationsverschmutzung” anzeigen.

Sie sagen:

‘Umfangreiche Experimente auf mehreren Benchmarks zeigen, dass unsere Methode Halluzinationen auf Objekt-, Attribut- und BeziehungsEbene erheblich reduziert, während sie Erinnerung und Beschreibungsbreite größtenteils erhält. ‘

Die neue Veröffentlichung trägt den Titel Enthüllung von Halluzinationen, um sie zu unterdrücken: VLMs-Representation-Bearbeitung mit generativen Ankern und stammt von drei Forschern der Universität für Wissenschaft und Technologie China und der Nanjing-Universität.

Methode

Die Autoren haben eine End-to-End-Pipeline entwickelt, die unten gezeigt wird, die darauf ausgelegt ist, Halluzinationen in Bildbeschreibungen zu identifizieren und zu unterdrücken:

Eine Illustration der vollständigen Pipeline. Ein Bild-Text-Modell generiert zunächst eine Beschreibung aus dem Eingabebild, die Halluzinationen enthalten kann. Diese Beschreibung wird dann verwendet, um ein rekonstruiertes Bild mithilfe eines Text-Bild-Modells zu erstellen, was Halluzinationen leichter erkennbar macht. Embeddings aus beiden ursprünglichen und rekonstruierten Bildern werden extrahiert und verwendet, um Anpassungen im Decoder zu leiten, was dem Modell hilft, halluzinierte Details zu unterdrücken, während die Beschreibungsqualität erhalten bleibt.

Beginnend mit einem realen Eingabebild generiert ein Bild-Text-Modell eine beschreibende Beschreibung, die erfundene Objekte oder Beziehungen enthalten kann. Diese Beschreibung wird dann in ein Text-Bild-Generator eingegeben, um ein rekonstruiertes Bild zu erstellen, das genau zeigt, was die Beschreibung beschreibt. Durch den Vergleich dieses rekonstruierten Bildes mit dem ursprünglichen Bild werden die erfundenen Inhalte offensichtlich und messbar, was das System ermöglicht, sie zu identifizieren und zu reduzieren.

Um das Modell von der “Erfindung” von Details abzubringen, vergleicht das System zwei Versionen desselben Bildes: das ursprüngliche und ein rekonstruiertes, das auf der Beschreibung basiert. Jedes Bild wird in eine kompakte Embedding umgewandelt, das seinen Inhalt erfasst.

Das ursprüngliche Bild dient als zuverlässige Referenz, während das rekonstruierte Bild zeigt, wo Halluzinationen hereinkommen könnten. Durch Anpassung seiner internen Darstellungen, um näher an das ursprüngliche und weiter von dem rekonstruierten Bild zu kommen, lernt das Modell, sich selbst zu korrigieren. Da dieser Prozess nicht auf handgefertigten Regeln oder externen Daten basiert, bleibt er vollständig selbstüberwacht.

Die Veröffentlichung besagt:

‘Halluzinationen in MLLMs sind intrinsisch schwer zu erkennen, da sie sprachlich gut geformt und oft nicht von treuen Beschreibungen auf der Textebene zu unterscheiden sind. Der Unterschied liegt nicht in der sprachlichen Plausibilität, sondern in der Fehlanpassung an visuelle Beweise, auf die das Modell selbst typischerweise nicht reagiert.

‘Um dies zu bewältigen, führen wir einen Halluzinations-Expositionsmechanismus ein, der generative Rekonstruktion nutzt, um implizite Inkonsistenzen in explizite und beobachtbare Signale umzuwandeln.’

Gegeben ein Eingabebild und seine Beschreibung, verwendet das System das FLUX.1-dev-Text-Bild-Modell, um ein Bild aus der Beschreibung allein zu rekonstruieren. Dieses rekonstruierte Bild neigt dazu, die Bedeutung der Beschreibung zu überbetonen, was Halluzinationen offensichtlicher macht. Diese verstärkten Fehler dienen dann als nützliche Signale, die dem Modell helfen, seine eigenen Fehler zu erkennen und zu korrigieren.

Um ihre Methode zu testen, injizierten die Autoren Halluzinationen in Beschreibungen und verwendeten das Text-Bild-Modell, um rekonstruierte Bilder zu generieren. Diese Bilder wurden dann von LLaVA beschrieben, und die semantische Ähnlichkeit zwischen den ursprünglichen und halluzinierten Beschreibungen wurde ausgewertet:

Eine Illustration, wie der Halluzinations-Verstärkungsmechanismus subtile Fehler sichtbar macht. Jeder Punkt zeigt die Ähnlichkeit zwischen den Beschreibungen der ursprünglichen und rekonstruierten Bilder für ein Bild-Beschreibung-Paar. Die orange Linie stellt die Ähnlichkeit dar, die direkt zwischen den ursprünglichen und halluzinierten Beschreibungen gemessen wird, die hoch bleibt und kleine Fehler maskiert; die blaue Linie stellt die Ähnlichkeit nach der Rekonstruktion dar, die stark abfällt, was zeigt, dass der Prozess verborgene Halluzinationen in klare semantische Marker umwandelt, die erkannt und korrigiert werden können.

Die Ähnlichkeit fällt stark nach der Rekonstruktion ab, was zeigt, dass der Prozess subtile Fehler besser erkennbar macht.

Daten und Tests

Die Validierung der Wirksamkeit der neuen Methode umfasste die Verwendung von drei geeigneten Benchmarks: Bildbeschreibungs-Halluzinationsbewertung mit Bildrelevanz (CHAIR); MLLM-Evaluierung-Benchmark (MME); und Pool-basierte Objekt-Abfrage-Evaluierung (POPE).

Aus dem CHAIR-Veröffentlichungspapier: Beispiele für halluzinierte Objekte, die von zwei führenden Beschreibungssystemen, TopDown und NBT, generiert wurden, wobei jedes Modell visuelle Elemente erfindet, die nicht im Bild vorhanden sind, wie Laptops, Waschbecken oder Surfbretter. Quelle: https://arxiv.org/pdf/1809.02156

Standardmetriken wie Halluzinationsrate oder Erinnerung können irreführend sein, da ein Modell Halluzinationen vermeiden kann, indem es kurze oder vage Beschreibungen produziert. Um den Kompromiss zwischen Erinnerung und Halluzination zu berücksichtigen, wurde ein kombinierter Metrik namens Halluzination und Erinnerung (HAR@β) verwendet, der Beschreibungen basierend auf Genauigkeit und Vollständigkeit bewertet und es ermöglicht, die Balance je nach Bedarf anzupassen.

POPE wurde verwendet, um kontextsensitive Objekthalluzinationen zu bewerten, und MME, um Attribut-Halluzinationen zu bewerten, wobei beide als Ja-oder-Nein-Beurteilungsaufgaben formuliert wurden.

Experimente wurden auf verschiedenen repräsentativen Datensätzen durchgeführt, unter Verwendung des oben genannten Flux-Modells und der LLaVA-v1.5-7B-Variante. Die verwendeten Datensätze waren Microsoft COCO; A-OKVQA; und GQA.

Latente Bearbeitung wurde für die zweite Schicht der Modelle durchgeführt, entsprechend vorheriger verwandter Arbeit, während Hyperparameter und Temperatur über alle Modelle konsistent waren.

Erste Ergebnisse auf CHAIR sind unten dargestellt*:

Leistung auf dem CHAIR-Benchmark für Halluzinationsunterdrückung, ausgewertet mit mehreren Metriken.

Zu diesen Ergebnissen kommentieren die Autoren:

‘Unsere Methode übertrifft andere Baselines auf beiden CHAIR_S und CHAIR_I [*], was ihre überlegene Wirksamkeit bei der Unterdrückung von Halluzinationen zeigt. Während fast alle Methoden unvermeidlich die Erinnerung verringern, während sie Halluzinationen unterdrücken, was einen Kompromiss zwischen Treue und Informativität widerspiegelt, erreicht unsere Methode den geringsten Rückgang.

‘Dies zeigt, dass unsere Methode eine breite Palette von Grundwahrheiten-Objekten erfasst. Mit dem HAR@β-Metrik erreicht unsere Methode den höchsten Score, was ihre Fähigkeit unterstreicht, Halluzinationen zu reduzieren, während sie die Abdeckung beibehält.’

Die Forscher führen diese starken Ergebnisse auf die Doppelsupervision-Setup zurück, bei der saubere Semantik aus dem ursprünglichen Bild verstärkt wurde, während gleichzeitig irreführende Signale aus dem rekonstruierten Bild unterdrückt wurden. Da die Anpassung nur die Richtung zielte, die mit Halluzinationen assoziiert war, blieb der Rest der Darstellung intakt, was es dem System ermöglichte, Fehler zu korrigieren, ohne Details oder Informativität zu opfern.

Vergleich der Leistung auf dem POPE-Benchmark unter verschiedenen Konfigurationen und Datensätzen.

Hinsichtlich der Ergebnisse auf POPE, die in der obigen Tabelle gezeigt werden, behauptet das Papier:

‘Es kann beobachtet werden, dass unsere Methode konsistent die beste Leistung über alle Einstellungen hinweg erzielt. Bemerkenswerterweise kann unsere Methode bis zu +5,95% Genauigkeit und +6,85% F1-Score im Durchschnitt erreichen, was andere trainingsfreie Ansätze um einen großen Betrag übertrifft.

‘Daher zeigen diese Ergebnisse, dass unsere Methode eine zuverlässige und allgemeingültige Lösung über verschiedene Schwierigkeitsgrade hinweg bietet.’

Aus der dritten Testrunde, Leistungsvergleiche über MME.

Der finale Haupttest wurde auf MME durchgeführt, mit den Ergebnissen, die oben gezeigt werden. Allerdings erwähnt es unter anderem die Methode ‘OPERA’, die nirgendwo im Hauptpapier oder im Anhang definiert ist. Obwohl die Autoren starke Leistung auf MME behaupten, sollten wir den Ergebnisteil an diesem Punkt vielleicht beenden, da die Methoden nicht ausreichend definiert sind.

Eine Illustration aus dem MME-Benchmark unter Verwendung von LLaVA-v1.5-7B, die zeigt, wie das Basismodell eine halluzinierte Antwort produzierte, während die vorgeschlagene Methode die korrekte Antwort lieferte, wobei das rekonstruierte Bild die Halluzination offensichtlicher machte.

Schlussfolgerung

Obwohl dieses Papier offensichtlich überhastet ist und unter dem Mangel an Struktur, Fokus und Klarheit leidet, die in der Literatur der letzten 12 Monate zunehmend zu beobachten sind (vielleicht nicht unabhängig von der rapide wachsenden Verwendung von KI in der akademischen Forschung), bleibt der präsentierte Mechanismus genial.

Während dieser End-to-End-Ansatz keine Neuschulung erfordert und auf eine Vielzahl von Architekturen anwendbar zu sein scheint, wäre es interessant gewesen, mehr Testkandidaten zu sehen; und es muss auch berücksichtigt werden, dass ein Zwischensystem dieser Art zumindest Latenz einführen und einen gewissen Mehrbedarf an Leistung erfordern wird – kein unwichtiger Aspekt im großen Maßstab.

* Unkonventionell präsentiert der Hauptteil dieses Papiers Ergebnisse mit Überschriften, die nur im Anhang erklärt werden und nicht im Hauptpapier – ein zunehmend sichtbares schlechtes Verhalten in der Literatur, da Forscher versuchen, die zentrale These auf 8-9 Seiten zu beschränken, auch wenn das Material es nicht zulässt. In jedem Fall basierte der CHAIR-Benchmark, der zur Bewertung von Objekthalluzinationen in Beschreibungen verwendet wurde, auf einem 500-Bild-Teilmenge von MSCOCO aus früherer Arbeit. Zwei Formen wurden verwendet: CHAIR_S, das misst, wie oft Halluzinationen in einer gegebenen Beschreibung auftreten; und CHAIR_I, das misst, wie viele der erwähnten Objekte halluziniert wurden. HAR@β, das im Hauptpapier eingeführt wurde, wurde als F_β-ähnliche Kombination von Halluzinationsunterdrückung und Objekterinnerung definiert.

Erstveröffentlicht am Dienstag, den 30. September 2025