Reduktion af AI-billedhallucinationer ved at overdrive dem

ChatGPT-lignende visionmodeller “hallucinerer” ofte elementer, der ikke hører til i et billede. En ny metode reducerer disse fejl ved at vise modellen overdrevne versioner af dens egne hallucinationer, baseret på undertekster – og derefter bede den om at prøve igen. Denne tilgang involverer ingen genoptræning eller behov for ekstra data og kan anvendes på en bred vifte af modeller og modeltyper.

En ny publikation fra Kina tilbyder en interessant tilgang til det irriterende og vedvarende problem med hallucinationer i AI-genererede billeder og videoer – elementer, der klart ikke skal være i billedet, baseret på brugerens anmodning og input.

I essensen tager systemet et billede og lader modellen beskrive det, som sædvanligt; det konverterer derefter underteksten til et nyt billede ved hjælp af en tekst-til-billede-model – og eventuelle ekstra objekter eller detaljer i dette andet billede vil være direkte repræsentationer af modellens oprindelige hallucinationer. Derefter vejrer systemet modellen forsigtigt væk fra disse fejl næste gang, den prøver:

En illustration af, hvordan den nye metode identificerer og reducerer hallucinationer i billedunderskrifter. Den normale model beskriver fugle, der ikke findes i det originale billede, hvilket fører til et rekonstrueret billede, der tilføjer dem. Disse fejl er markeret med rød. I modsætning hertil undgår den foreslåede metode disse opfundne detaljer, mens den holder underteksten specifik og flydende. Kilde: https://arxiv.org/pdf/2509.21997

Metoden begynder med at vise modellen virkelige billeder og lade den beskrive dem, herunder nogle beskrivelser, der omfatter objekter eller detaljer, der ikke er til stede. Disse hallucinerede undertekster bruges derefter til at generere syntetiske billeder, der gør fejlene lettere at spotte. Ved at sammenligne det originale og det genskabte billede lærer systemet, hvilke interne mønstre i modellen, der tenderer til at producere opfundne indhold.

… (resten af artiklen følger)

Den indviklede netværk

I eksemplet ovenfor fra artiklen kan vi se, at entanglement sandsynligvis er årsag til, at ‘fugle’ bliver tilføjet til inputbilledet, selvom det første billede ikke synes at indeholde nogen fugle.

Entanglement opstår, når en model insisterer på at associerer visse begreber med andre begreber, blot fordi de to (eller flere) begreber tenderer til at optræde hyppigt sammen i den oprindelige datadistribution, som modellen er trænet på. I dette tilfælde kan modellen have set mange billeder af fly+ fugle, hvilket har ført til en association, der ikke er relevant for det konkrete billede, men alligevel trænger ind i den afledte undertekst.

… (resten af artiklen følger)

Metode

Forfatterne har udviklet en end-to-end-pipeline, der er designet til at afsløre og undertrykke hallucinationer i billedunderskrifter:

En illustration af den fulde pipeline. En vision-sprog-model genererer først en undertekst fra inputbilledet, som kan indeholde hallucineret indhold. Denne undertekst bruges derefter til at producere et rekonstrueret billede via en tekst-til-billede-model, hvilket gør hallucinationerne lettere at spotte. Embeddings fra både det originale og det rekonstruerede billede udtrækkes og bruges til at guide justeringer inde i dekoderen, hvilket hjælper modellen med at undertrykke hallucinerede detaljer, mens den bevarende undertekstens kvalitet.

… (resten af artiklen følger)

Data og tests

Validieringen af den nye metodes effektivitet involverede brugen af tre passende benchmarks: Undertekst Hallucination Assessment med Billede Relevans (CHAIR); MLLM Evaluation benchmark (MME); og Pooling-baseret Objekt Prøvning Evaluation (POPE)…. (resten af artiklen følger)

Konklusion

Selvom denne artikel er tydeligt hastet, og lider under manglen på struktur, fokus og klarehed, som er kommet mere og mere til syne i litteraturen over de sidste 12 måneder (muligvis ikke uligt det hurtigt voksende brug af AI i akademisk forskning), forbliver den centrale mekanisme, der præsenteres, stadig genial.

Denne end-to-end-tilgang kræver ikke genoptræning og synes at være anvendelig på en bred vifte af arkitekturer, men det ville have været indsigtfuldt at se flere testkandidater; og det skal også overvejes, at et system af denne type vil introducere latency og en vis grad af ekstra krav til strømforbrug – ikke et mindre problem i stor skala.

* Usædvanligt, præsenterer hoveddelen af denne artikel resultater med overskrifter, der kun forklares i appendixmaterialet og ikke i hovedartiklen – en stigende tendens i litteraturen, da forskere søger at begrænse den centrale tese til 8-9 sider, selvom materialet ikke tillader det. I alle tilfælde blev CHAIR-benchmarket, der blev brugt til at evaluere objekt-hallucination i undertekster, baseret på en 500-billede MSCOCO-undermængde fra tidligere arbejde. To former blev brugt: CHAIR_s, der måler, hvor ofte hallucinationer optræder i en given undertekst; og CHAIR_i, der måler, hvor mange af de nævnte objekter, der er hallucineret. HAR@β , der blev introduceret i hovedartiklen, blev defineret som en F_β-lignende kombination af hallucinationsundertrykkelse og objektgenkald.

Offentliggjort første gang tirsdag, den 30. september 2025