Het terugdringen van AI-beeldhallucinaties door ze te overdrijven

ChatGPT-achtige visiemodellen ‘hallucineren’ vaak elementen die niet in een beeld thuishoren. Een nieuwe methode vermindert deze fouten door het model overdreven versies van zijn eigen hallucinaties te laten zien, gebaseerd op onderschriften – en vraagt het dan om het opnieuw te proberen. Deze benadering vereist geen opnieuw trainen of extra gegevens en kan worden toegepast op een breed scala aan modellen en modeltypen.

Een nieuwe publicatie uit China biedt een interessante kijk op het hardnekkige probleem van hallucinaties in AI-gegenereerde beelden en video’s – elementen die duidelijk niet in het beeld thuishoren, gebaseerd op de aanvraag en invoer van de gebruiker.

In wezen laat het systeem een beeld zien en laat het model het beschrijven, zoals gebruikelijk; het maakt dan van die onderschrift een nieuw beeld met behulp van een tekst-naar-beeldmodel – en elk extra object of detail in dit tweede beeld zal een directe weergave zijn van de hallucinaties van het model. Vervolgens stuurt het systeem het model zachtjes weg van die fouten de volgende keer dat het probeert:

Een illustratie van hoe de nieuwe methode hallucinaties in beeldonderschriften identificeert en vermindert. Het reguliere model beschrijft vogels die niet in het oorspronkelijke beeld aanwezig zijn, waardoor een gereconstrueerd beeld ontstaat dat ze toevoegt. Deze fouten worden gemarkeerd in rood. In tegenstelling tot de voorgestelde methode, die deze verzonnen details vermijdt terwijl de onderschrift specifiek en vloeiend blijft. Bron: https://arxiv.org/pdf/2509.21997

De methode begint met het laten zien van echte beelden aan het model en het laten beschrijven ervan, inclusief sommige beschrijvingen met objecten of details die niet daadwerkelijk aanwezig zijn. Deze gehallucineerde onderschriften worden vervolgens gebruikt om synthetische beelden te genereren die de fouten gemakkelijker te zien maken. Door de oorspronkelijke en gereconstrueerde beelden te vergelijken, leert het systeem welke interne patronen in het model nep-inhoud produceren.

Once deze foutpatronen zijn geïdentificeerd, kunnen ze worden opgeslagen en later gebruikt. Wanneer het model een nieuw beeld krijgt, past het systeem zijn interne signalen aan tijdens het onderschrijven, het model wegduwend van de bekende patronen die hallucinaties veroorzaken. Dit werkt in één pas en vereist geen extra gegevens, opnieuw trainen of nieuwe beeldgeneratie op testtijd.

Het verwarde web

In het bovenstaande voorbeeld, uit het papier, kunnen we zien dat verstrengeling waarschijnlijk verantwoordelijk is voor het toevoegen van ‘vogels’ aan het invoerbeeld, zelfs als het eerste beeld geen vogels lijkt te bevatten.

Verstrengeling treedt op wanneer een model erop staat bepaalde concepten met andere concepten te associëren, simpelweg omdat de twee (of meer) concepten vaak samen voorkomen in de oorspronkelijke gegevensverdeling waarop het model is getraind. In dit geval kan het model veel afbeeldingen van vliegtuigen+vogels hebben gezien, waardoor een associatie ontstaat die niet van toepassing is op het specifieke beeld in kwestie, maar die desondanks de afgeleide onderschrift binnendringt.

Hoewel verstrengeling kan worden gemilderd door eerder te stoppen met trainen (wat over het algemeen het model maximaal flexibel en aanpasbaar maakt), vermindert dit ook de detail en resolutie van alle getrainde concepten, waardoor de modeltrainer met de eeuwige dilemma zit: een model maken dat zeer flexibel en ontkoppeld is; of een model maken dat krachtiger generatief is, maar ook meer hallucinaties produceert?

Als de kwaliteit van het onderschrijven en de aandacht voor detail in de curatie van de oorspronkelijke gegevens voor een generatief model beter was geweest dan logistiek toelaat, zouden onderschriften voor alle bronbeelden elk object in elk beeld hebben gedetailleerd, zodat het getrainde model discrete en ontkoppelde vermeldingen in zijn latentie-ruimte had kunnen toewijzen.

De zelfbedienende praktijk van SEO-onderschrijven, in combinatie met het feit dat ad hoc hyperschaal-webscraping nog steeds de beste bron is voor het trainen van krachtige generatieve modellen, betekent dat beeldonderschriften vaak ver achterblijven bij deze standaard:

Een illustratie van hoe zwakke onderschriften de bruikbaarheid van LAION-afbeeldingen voor het trainen van modellen zoals Stable Diffusion beperken. Veel van de tekstlabels zijn oppervlakkig, vaag of geoptimaliseerd voor SEO in plaats van een accurate beschrijving, waardoor het voor het model moeilijker wordt om fijne visuele concepten zoals gezichtskenmerken te leren. (Oorspronkelijke bron was https://rom1504.github.io/, nu niet meer beschikbaar).

Daarom, aangezien een fundamentele oplossing onwaarschijnlijk ooit praktisch zal zijn, is de reductie van LLM/VLM-hallucinaties door middel van werk-arounds en compromissen nu een sterke sub-stroom in de literatuur geworden.

De nieuwe Chinese techniek, die deze week werd onthuld, stellen de auteurs, werd getest op een verscheidenheid aan architectuur in diverse omstandigheden en kan een nuttige manier zijn om ‘hallucinatie-vervuiling’ te verminderen.

Zij zeggen:

‘Uitgebreide experimenten op meerdere benchmarks laten zien dat onze methode hallucinaties aanzienlijk vermindert op object-, attribuut- en relatie-niveau, terwijl ze recall en onderschrift-rijkdom grotendeels behoudt.’

De nieuwe paper heeft als titel Hallucinaties blootleggen om ze te onderdrukken: VLM’s Representation Editing With Generative Anchors en komt van drie onderzoekers van de Universiteit van Wetenschap en Technologie van China en de Nanjing Universiteit.

Methode

De auteurs hebben een eind-tot-eind-pijplijn ontwikkeld, die hieronder wordt getoond, om hallucinaties in beeldonderschriften te blootleggen en te onderdrukken:

Een illustratie van de volledige pijplijn. Een visie-taalmodel genereert eerst een onderschrift uit het invoerbeeld, dat hallucinaties kan bevatten. Dit onderschrift wordt vervolgens gebruikt om een gereconstrueerd beeld te produceren via een tekst-naar-beeldmodel, waardoor hallucinaties gemakkelijker te zien zijn. Embeddings van zowel het oorspronkelijke als het gereconstrueerde beeld worden geëxtraheerd en gebruikt om aanpassingen in de decoder te leiden, waardoor het model hallucinaties onderdrukt terwijl het de kwaliteit van het onderschrift behoudt.

Startend vanuit een echt invoerbeeld, genereert een visie-taalmodel een beschrijvend onderschrift dat verzonnen objecten of relaties kan bevatten. Dit onderschrift wordt vervolgens in een tekst-naar-beeldgenerator ingevoerd om een gereconstrueerd beeld te creëren dat exact beschrijft wat het onderschrift beschrijft. Door het oorspronkelijke en het gereconstrueerde beeld te vergelijken, worden de vervalste inhoud en de fouten duidelijk en meetbaar, waardoor het systeem subtiele fouten in tekst kan omzetten in zichtbare verschillen die het systeem kan targeten en verminderen.

Om het model weg te leiden van ‘het verzinnen van details’, vergelijkt het systeem twee versies van hetzelfde beeld: het oorspronkelijke en een gereconstrueerd beeld op basis van het onderschrift. Elk beeld wordt omgezet in een compacte embedding die de inhoud ervan vastlegt.

Het oorspronkelijke beeld fungeert als een betrouwbare referentie, terwijl het gereconstrueerde beeld de hallucinaties benadrukt. Door zijn interne representaties aan te passen om dichter bij het oorspronkelijke beeld te komen en verder van het gereconstrueerde beeld, leert het model zichzelf automatisch te corrigeren. Aangezien dit proces niet afhankelijk is van handmatig aangepaste regels of externe gegevens, blijft het volledig zelf-supervised.

Het papier zegt:

‘Hallucinaties in MLLM’s zijn intrinsiek moeilijk te detecteren omdat ze taalkundig goed gevormd zijn en vaak niet te onderscheiden zijn van trouwe beschrijvingen op tekstniveau. Het verschil ligt niet in taalkundige plausibiliteit, maar in de misalignering met visuele bewijs, waarop het model zelf typisch ongevoelig is.

‘Om dit aan te pakken, introduceren we een hallucinatie-expositiemechanisme dat generatieve reconstructie gebruikt om impliciete inconsistenties om te zetten in expliciete en waarneembare signalen.’

Gegeven een invoerbeeld en zijn onderschrift, gebruikt het systeem de FLUX.1-dev tekst-naar-beeldmodel om een beeld te reconstrueren uit het onderschrift alleen. Dit gereconstrueerde beeld heeft de neiging om de betekenis van het onderschrift te overdrijven, waardoor eventuele valse details duidelijker worden. Deze versterkte fouten dienen vervolgens als nuttige signalen die het model helpen om zijn eigen fouten te herkennen en te corrigeren.

Om hun benadering te testen, voegden de auteurs hallucinaties toe aan onderschriften en gebruikten het tekst-naar-beeldmodel om gereconstrueerde beelden te genereren. Deze beelden werden vervolgens opnieuw onderschreven door LLaVA, en de semantische gelijkenis tussen de oorspronkelijke en gehallucineerde onderschriften werd geëvalueerd:

Een illustratie van hoe de hallucinatie-versterkingsmechanisme subtiele fouten zichtbaar maakt. Elk punt toont de gelijkenis tussen onderschriften van het oorspronkelijke en het gereconstrueerde beeld voor een beeld-onderschrift-paar. De oranje lijn vertegenwoordigt de gelijkenis die rechtstreeks tussen het oorspronkelijke en het gehallucineerde onderschrift wordt gemeten, die hoog blijft en kleine fouten maskeert; de blauwe lijn vertegenwoordigt de gelijkenis na reconstructie, die scherp daalt, waardoor blijkt dat het proces verborgen hallucinaties omzet in duidelijke semantische markers die kunnen worden gedetecteerd en gecorrigeerd.

De gelijkenis daalt scherp na reconstructie, waardoor blijkt dat het proces subtiele fouten beter detecteerbaar maakt.

Gegevens en tests

Het valideren van de effectiviteit van de nieuwe methode omvatte het gebruik van drie geschikte benchmarks: Beeldonderschrift Hallucinatie Beoordeling met Beeldrelevantie (CHAIR); MLLM Evaluatie benchmark (MME); en Pooling-gebaseerde Object Probing Evaluatie (POPE).

Uit het CHAIR-publicatiepaper: voorbeelden van gehallucineerde objecten gegenereerd door twee toonaangevende onderschrijvingsystemen, TopDown en NBT, waarbij elk model visuele elementen verzonnen die niet in het beeld aanwezig zijn, zoals laptops, gootstenen of surfplanken. Bron: https://arxiv.org/pdf/1809.02156

Standaardmetrieken zoals hallucinatiesnelheid of recall kunnen misleidend zijn, aangezien een model hallucinaties kan vermijden door simpelweg korte of vage onderschriften te produceren. Om rekening te houden met het compromis tussen recall en hallucinatie, werd een gecombineerde metriek gebruikt genaamd Hallucinatie en Recall (HAR@β), die onderschriften beoordeelt op basis van zowel nauwkeurigheid als volledigheid, en die het mogelijk maakt om het evenwicht aan te passen afhankelijk van of het vermijden van fouten of het opnemen van meer details belangrijker is.

POPE werd gebruikt om context-gevoelige objecthallucinaties te beoordelen, en MME om attribuut-niveau-hallucinaties te evalueren, beide als ja/nee-oordelen.

Experimenten werden uitgevoerd op diverse representatieve datasets, met behulp van het eerdergenoemde Flux-model en de LLaVA-v1.5-7B variant. De gebruikte datasets waren Microsoft COCO; A-OKVQA; en GQA.

Latente bewerking werd uitgevoerd voor de tweede laag van de modellen, in overeenstemming met eerder verwant werk, terwijl hyperparameters en temperatuur consistent waren over alle modellen.

Initiële resultaten op CHAIR worden hieronder weergegeven:

Prestaties op de CHAIR-benchmark voor hallucinatie-mitigatie, beoordeeld met behulp van meerdere metrieken.

Van deze resultaten merken de auteurs op:

‘[Onze methode presteert consistent beter dan andere baselines op zowel CHAIR_S als CHAIR_I, wat zijn superioriteit in het onderdrukken van hallucinaties aantoont. Ondertussen, hoewel vrijwel alle methoden onvermijdelijk recall verminderen bij het onderdrukken van hallucinaties, wat een compromis tussen trouw en informativiteit weerspiegelt, bereikt onze benadering de kleinste daling.

‘Dit toont aan dat onze methode een breed scala aan grondwaarheden vastlegt. Met de HAR@β-metriek bereikt onze methode de hoogste score, waardoor haar vermogen om hallucinaties te verminderen terwijl het behoudt van dekking wordt benadrukt.’

De onderzoekers schrijven deze sterke resultaten toe aan de dubbele supervisie-opstelling, waarbij schone semantiek van het oorspronkelijke beeld werd versterkt, terwijl tegelijkertijd misleidende signalen van het gereconstrueerde beeld werden onderdrukt. Omdat de aanpassing alleen de richting gericht was op hallucinaties, bleef de rest van de representatie intact, waardoor het systeem fouten kon corrigeren zonder detail of informativiteit op te offeren.

Vergelijking van prestaties op de POPE-benchmark onder verschillende configuraties en datasets.

Met betrekking tot de resultaten op POPE, weergegeven in de resultaatentabel hierboven, stelt het papier:

‘Het kan worden waargenomen dat onze methode consistent de beste prestaties bereikt in alle instellingen. Opvallend bereikt onze methode een verbetering van maximaal +5,95% nauwkeurigheid en +6,85% F1-score gemiddeld, waardoor het andere trainingsvrije benaderingen met een grote marge overtreft.

‘Dit toont aan dat onze methode een betrouwbare en generaliseerbare oplossing biedt over verschillende moeilijkheidsniveaus.’

Uit de derde testronde, prestatievergelijkingen over MME.

De laatste hoofdtest was op MME, met de resultaten hierboven. Echter, onder andere omissies, noemt het de methode ‘OPERA’, die nergens in het hoofdpapier of de bijlage wordt gedefinieerd. Hoewel de auteurs beweren sterk te presteren op MME, zonder adequate definities van de methoden, zouden we het resultaatgedeelte hier misschien moeten beëindigen.

Een illustratie uit de MME-benchmark met LLaVA-v1.5-7B, waaruit blijkt dat het basismodel een gehallucineerd antwoord produceerde, terwijl de voorgestelde methode het correcte antwoord gaf, met het gereconstrueerde beeld dat de hallucinatie nog duidelijker maakte.

Conclusie

Hoewel dit papier duidelijk haastig is en lijdt aan het gebrek aan structuur, focus en duidelijkheid dat de afgelopen 12 maanden in de literatuur is toegenomen (misschien niet ongerelateerd aan het snel groeiende gebruik van AI in academisch onderzoek), blijft de centrale mechanisme die wordt gepresenteerd ingenieus.

Terwijl deze eind-tot-eind-benadering geen opnieuw trainen vereist en toepasbaar lijkt op een breed scala aan architectuur, zou het interessant zijn geweest om meer testkandidaten te zien; en het moet ook in overweging worden genomen dat een tussenliggend systeem van deze soort ten minste enige latentie zal introduceren en enige extra energievraag – niet een klein probleem op grote schaal.

* Ongebruikelijk, presenteert het hoofdlichaam van dit papier resultaten met koppen die alleen in de appendixmateriaal worden uitgelegd, en niet in het hoofdpapier – een steeds vaker voorkomende slechte gewoonte in de literatuur, aangezien onderzoekers proberen de centrale these te beperken tot 8-9 pagina’s, zelfs als het materiaal dit niet toelaat. In elk geval werd de CHAIR-benchmark, gebruikt om objecthallucinaties in onderschriften te evalueren, gebaseerd op een 500-afbeeldingen-MSCOCO-subset uit eerder werk. Twee vormen werden gebruikt: CHAIR_S, metende hoe vaak hallucinaties in een bepaalde onderschrift verschenen; en CHAIR_I, metende hoeveel van de genoemde objecten gehallucineerd waren. HAR@β, geïntroduceerd in het hoofdpapier, werd gedefinieerd als een F_β-stijlcombinatie van hallucinatie-onderdrukking en objectherinnering.

Publicatie op dinsdag 30 september 2025