Het gebruik van AI-hallucinaties voor het evalueren van beeldrealisme

Nieuw onderzoek uit Rusland stelt een onconventionele methode voor om onrealistische AI-gegenereerde afbeeldingen te detecteren – niet door de nauwkeurigheid van grote visuele taalmodellen (LVLM’s) te verbeteren, maar door hun neiging tot hallucinaties bewust te benutten.

De novatieve aanpak haalt meerdere ‘atomische feiten’ over een afbeelding op met LVLM’s, en past vervolgens natuurlijke taal inferentie (NLI) toe om systematisch tegenstrijdigheden tussen deze verklaringen te meten – en maakt zo de fouten van het model tot een diagnostisch hulpmiddel voor het detecteren van afbeeldingen die in strijd zijn met het gezond verstand.

Twee afbeeldingen uit de WHOOPS!-dataset naast automatisch gegenereerde verklaringen door het LVLM-model. De linker afbeelding is realistisch, wat leidt tot consistente beschrijvingen, terwijl de ongebruikelijke rechter afbeelding het model ertoe brengt om te hallucineren, waardoor tegenstrijdige of valse verklaringen ontstaan. Bron: https://arxiv.org/pdf/2503.15948

Als men het model vraagt om de realiteit van de tweede afbeelding te beoordelen, kan het LVLM zien dat iets niet in orde is, omdat de afgebeelde kameel drie bulten heeft, wat onbekend is in de natuur.

Echter, het LVLM vermengt >2 bulten met >2 dieren, omdat dit de enige manier is waarop je drie bulten in één ‘kameelafbeelding’ zou kunnen zien. Vervolgens hallucineert het iets nog onwaarschijnlijkers dan drie bulten (d.w.z. ‘twee koppen’) en noemt nooit het feit dat lijkt te hebben zijn vermoedens gewekt – de onwaarschijnlijke extra bult.

De onderzoekers van het nieuwe onderzoek vonden dat LVLM-modellen deze soort evaluatie native kunnen uitvoeren, en op gelijke voet (of beter) presteren dan modellen die zijn fijn afgesteld voor een taak van deze soort. Aangezien fijn afstellen ingewikkeld, duur en broos is in termen van downstream-toepasbaarheid, is de ontdekking van een native toepassing voor een van de grootste obstakels in de huidige AI-revolutie een verfrissende twist op de algemene trends in de literatuur.

Open Assessment

Het belang van de aanpak, beweren de auteurs, is dat deze kan worden ingezet met open source-frameworks. Terwijl een geavanceerd en hoogwaardig model zoals ChatGPT (zoals het artikel toegeeft) potentieel betere resultaten kan bieden in deze taak, is de waarde van de literatuur voor de meeste van ons (en vooral voor de hobbyist- en VFX-gemeenschappen) de mogelijkheid om nieuwe doorbraken te incorporeren en te ontwikkelen in lokale implementaties; omgekeerd is alles dat bestemd is voor een propriëtaire commerciële API-systeem onderhevig aan intrekking, willekeurige prijsstijgingen en censuurbeleid dat meer waarschijnlijk de corporate-concerns van een bedrijf weerspiegelt dan de behoeften en verantwoordelijkheden van de gebruiker.

Het nieuwe artikel heeft als titel Don’t Fight Hallucinations, Use Them: Estimating Image Realism using NLI over Atomic Facts, en komt van vijf onderzoekers uit Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, en Russische bedrijven MTS AI en AIRI. Het werk heeft een accompanying GitHub-pagina.

Methode

De auteurs gebruiken de Israëlische/Amerikaanse WHOOPS!-dataset voor het project:

Voorbeelden van onmogelijke afbeeldingen uit de WHOOPS!-dataset. Het is opvallend hoe deze afbeeldingen plausibele elementen samenstellen, en dat hun onwaarschijnlijkheid moet worden berekend op basis van de concatenatie van deze onverenigbare facetten. Bron: https://whoops-benchmark.github.io/

De dataset bestaat uit 500 synthetische afbeeldingen en meer dan 10.874 annotaties, specifiek ontworpen om de common sense-reasoning en compositionele begrip van AI-modellen te testen. Het is gemaakt in samenwerking met ontwerpers die zijn belast met het genereren van uitdagende afbeeldingen via tekst-naar-afbeelding-systemen zoals Midjourney en de DALL-E-serie – het produceren van scenario’s die moeilijk of onmogelijk zijn om natuurlijk te fotograferen:

Verdere voorbeelden uit de WHOOPS!-dataset. Bron: https://huggingface.co/datasets/nlphuji/whoops

De nieuwe aanpak werkt in drie fasen: eerst wordt het LVLM (specifiek LLaVA-v1.6-mistral-7b) gevraagd om meerdere eenvoudige verklaringen – genaamd ‘atomische feiten’ – te genereren die een afbeelding beschrijven. Deze verklaringen worden gegenereerd met behulp van Diverse Beam Search, waardoor variatie in de uitvoer wordt gewaarborgd.

Diverse Beam Search produceert een betere variatie aan onderschriften door te optimaliseren voor een diversiteit-verhoogd doel. Bron: https://arxiv.org/pdf/1610.02424

Vervolgens wordt elke gegenereerde verklaring systematisch vergeleken met elke andere verklaring met behulp van een Natural Language Inference-model, dat scores toekent die aangeven of paren van verklaringen impliceren, tegenstrijdig zijn of neutraal tegenover elkaar zijn.

Tegenstrijdigheden geven aan dat er hallucinaties of onrealistische elementen in de afbeelding aanwezig zijn:

Schema voor de detectiepijplijn.

Tenslotte wordt de methode deze pairwise NLI-scores geaggregeerd in een enkele ‘realiteitsscore’ die de algehele coherentie van de gegenereerde verklaringen kwantificeert.

De onderzoekers hebben verschillende aggregatiemethoden onderzocht, waarbij een clustering-gebaseerde aanpak het beste presteerde. De auteurs pasten de k-means clustering-algoritme toe om individuele NLI-scores te scheiden in twee clusters, en het centroid van de cluster met de lagere waarden werd vervolgens gekozen als de definitieve meting.

Het gebruik van twee clusters komt rechtstreeks overeen met de binaire aard van de classificatie-taak, d.w.z. het onderscheiden van realistische van onrealistische afbeeldingen. De logica is vergelijkbaar met het kiezen van de laagste score overall; echter stelt clustering de meting in staat om de gemiddelde tegenstrijdigheid over meerdere feiten te vertegenwoordigen, in plaats van te vertrouwen op één outlier.

Gegevens en tests

De onderzoekers testten hun systeem op de WHOOPS!-baseline-benchmark, met roterende test-splits (d.w.z. cross-validatie). De geteste modellen waren BLIP2 FlanT5-XL en BLIP2 FlanT5-XXL in splits, en BLIP2 FlanT5-XXL in zero-shot-formaat (d.w.z. zonder aanvullende training).

Voor een instructie-volgende baseline vroegen de auteurs de LVLM’s om de zin ‘Is dit ongebruikelijk? Leg het korte uit met een korte zin’, die eerder onderzoek effectief bleek te zijn voor het opsporen van onrealistische afbeeldingen.

De geëvalueerde modellen waren LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, en twee maten (7/13 miljard parameters) van InstructBLIP.

De testprocedure was gericht op 102 paren van realistische en onrealistische (‘vreemde’) afbeeldingen. Elk paar bestond uit één normale afbeelding en één tegen het gezond verstand indruisende tegenhanger.

Drie menselijke annotators labelden de afbeeldingen, met een overeenstemming van 92%, wat aangeeft dat er een sterke overeenstemming is over wat ‘vreemdheid’ inhoudt. De nauwkeurigheid van de beoordelingsmethoden werd gemeten door hun vermogen om realistische en onrealistische afbeeldingen correct te onderscheiden.

Het systeem werd geëvalueerd met behulp van driedubbele cross-validatie, waarbij de gegevens willekeurig werden geschud met een vaste seed. De auteurs pasten de gewichten voor implicatie-scores (verklaringen die logisch overeenkomen) en tegenstrijdigheidsscores (verklaringen die logisch in conflict zijn) aan tijdens de training, terwijl ‘neutrale’ scores op nul werden vastgesteld. De definitieve nauwkeurigheid werd berekend als het gemiddelde over alle test-splits.

Vergelijking van verschillende NLI-modellen en aggregatiemethoden op een subset van vijf gegenereerde feiten, gemeten door nauwkeurigheid.

Met betrekking tot de initiële resultaten die hierboven worden getoond, stelt het artikel:

‘De [‘clust’]-methode springt eruit als een van de best presterende. Dit impliceert dat de aggregatie van alle tegenstrijdigheidsscores cruciaal is, in plaats van te focussen op extreme waarden. Bovendien presteert het grootste NLI-model (nli-deberta-v3-large) beter dan alle anderen voor alle aggregatiemethoden, wat suggereert dat het de essentie van het probleem effectiever vat.’

De auteurs vonden dat de optimale gewichten consistent tegenstrijdigheid boven implicatie prefereerden, wat aangeeft dat tegenstrijdigheden meer informatief waren voor het onderscheiden van onrealistische afbeeldingen. Hun methode presteerde beter dan alle andere zero-shot-methoden die werden getest, en naderde de prestaties van het fijn afgestelde BLIP2-model:

Prestatie van verschillende benaderingen op de WHOOPS!-benchmark. Fijn afgestelde (ft) methoden verschijnen bovenaan, terwijl zero-shot (zs) methoden onderaan worden vermeld. Modelgrootte geeft het aantal parameters aan, en nauwkeurigheid wordt gebruikt als evaluatiemetric.

Zij merkten ook op, enigszins onverwacht, dat InstructBLIP beter presteerde dan vergelijkbare LLaVA-modellen met dezelfde prompt. Terwijl zij de superieure nauwkeurigheid van GPT-4o erkenden, benadrukten de auteurs hun voorkeur voor het demonstreren van praktische, open-source-oplossingen, en lijken redelijkerwijs te kunnen claimen dat hun werk nieuw is in het expliciet exploiteren van hallucinaties als diagnostisch hulpmiddel.

Conclusie

Echter, de auteurs erkennen de schuld van hun project aan de 2024 FaithScore-uiting, een samenwerking tussen de University of Texas at Dallas en Johns Hopkins University.

Illustratie van hoe FaithScore-evaluatie werkt. Eerst worden beschrijvende verklaringen binnen een LVLM-gegenereerd antwoord geïdentificeerd. Vervolgens worden deze verklaringen onderverdeeld in individuele atomische feiten. Tenslotte worden de atomische feiten vergeleken met de invoer-afbeelding om hun nauwkeurigheid te verifiëren. Onderstreepte tekst benadrukt objectieve beschrijvende inhoud, terwijl blauwe tekst hallucineerde verklaringen aangeeft, waardoor FaithScore een interpreteerbare maatstaf voor feitelijke correctheid kan bieden. Bron: https://arxiv.org/pdf/2311.01477

FaithScore meet de trouw van LVLM-gegenereerde beschrijvingen door consistentie te verifiëren tegen de afbeeldingsinhoud, terwijl de methode van het nieuwe artikel hallucinaties van LVLM’s expliciet exploiteert om onrealistische afbeeldingen te detecteren door tegenstrijdigheden in gegenereerde feiten met behulp van Natural Language Inference.

Het nieuwe werk is, natuurlijk, afhankelijk van de eigenaardigheden van de huidige taalmodellen, en van hun neiging tot hallucinaties. Als de ontwikkeling van modellen ooit een volledig niet-hallucinerend model zou opleveren, zouden zelfs de algemene principes van het nieuwe werk niet langer van toepassing zijn. Echter, dit blijft een uitdagende vooruitzicht.

First published Tuesday, 25 maart 2025