Redusere AI-bildehallusinasjoner ved å overdrive dem

ChatGPT-liknende visningsmodeller hallucinerer ofte elementer som ikke hører hjemme i et bilde. En ny metode reduserer disse feilene ved å vise modellen overdrivne versjoner av sine egne hallusinasjoner, basert på undertekster – og så bede den om å prøve igjen. Denne tilnærmingen innebærer ingen omtrening eller behov for ekstra data, og kan brukes på en rekke modeller og modelltyper.

En ny publikasjon fra Kina tilbyr en interessant tilnærming til det irriterende og vedvarende problemet med hallusinasjoner i AI-genererte bilder og videoer – elementer som åpenbart ikke skal være i bildet, basert på brukerens forespørsel og innputt.

I essensen tar systemet et bilde og lar modellen beskrive det, som vanlig; det konverterer deretter underteksten til et nytt bilde ved hjelp av en tekst-til-bilde-modell – og eventuelle ekstra objekter eller detaljer i dette andre bildet vil være direkte representasjoner av modellens innledende hallusinasjoner. Deretter, ved å sammenligne det originale og det genererte bildet, styrer systemet modellen forsiktig bort fra disse feilene neste gang den prøver:

En illustrasjon av hvordan den nye metoden identifiserer og reduserer hallusinasjoner i bildeundertekster. Den vanlige modellen beskriver fugler som ikke eksisterer i det originale bildet, og fører til et rekonstruert bilde som legger dem til. Disse feilene er merket med rødt. I motsetning til dette unngår den foreslåtte metoden disse oppdiktede detaljene samtidig som den beholder underteksten spesifikk og flytende. Kilde: https://arxiv.org/pdf/2509.21997

Metoden begynner med å vise modellen ekte bilder og lar den beskrive dem, inkludert noen beskrivelser som inneholder objekter eller detaljer som ikke faktisk er til stede. Disse hallusinerte undertekster brukes deretter til å generere syntetiske bilder som gjør feilene lettere å spore. Ved å sammenligne det ekte og det genererte bildet, lærer systemet hvilke interne mønster i modellen som tenderer til å produsere oppdiktet innhold.

Once disse feilene er identifisert, kan de lagres og brukes senere. Når modellen får et nytt bilde, justerer systemet dens interne signaler under underteksting, nudger den bort fra de kjente mønstrene som forårsaker hallusinasjoner. Dette fungerer i en enkelt pass og krever ikke ekstra data, omstrening eller noen ny bildegenerering på testtid.

Den knottede nettverket

I eksemplet ovenfor, fra papiret, kan vi se at entanglement sannsynligvis er ansvarlig for å pynte på ‘fugler’ i innputtbildet, selv om det første bildet åpenbart ikke inneholder fugler.

Entanglement oppstår når en modell insisterer på å assosiere bestemte konsepter med bestemte andre konsepter, bare fordi de to (eller flere) konseptene tenderer til å opptre hyppig sammen i den opprinnelige datadistribusjonen som modellen ble trent på. I dette tilfelle kan modellen ha sett mange bilder av fly+fugler, og ført til en assosiasjon som ikke gjelder for det spesifikke bildet i question, men likevel inntrer på den avledede underteksten.

Selv om entanglement kan mildnes ved å stoppe trening tidligere (som generelt gjør modellen maksimalt fleksibel og tilpasningsdyktig), reduserer dette også detaljene og oppløsningen av alle trente konsepter, og etterlater modelltreneren med den evige dilemmaet: skape en modell som er svært fleksibel og desentangled; eller skape en modell som er mer kraftfullt generativ, men også mer sannsynlig til å produsere ‘assosierte’ hallusinasjoner?

Hvis kvaliteten på underteksting og oppmerksomheten på detaljer i kureringen av de opprinnelige dataene for en generativ modell hadde vært bedre enn logistikk vanligvis tillater, ville undertekstene for alle kildebildene ha detaljert hvert objekt i hvert bilde, så at den trente modellen kunne ha tildelt dem diskrete og desentangled poster i sin latente rom.

Som det står, er den selvbetjente praksisen med SEO-underteksting, kombinert med det faktum at ad hoc hyperskala web-scraping består som den beste kilden for å trene virkelig kraftfulle generative modeller, betyr at bildeundertekster tenderer til å falle betraktelig kort av denne standarden:

En illustrasjon av hvordan svake undertekster begrenser nyttelsen av LAION-bilder for å trene modeller som Stable Diffusion. Mange av tekstmerkene er overflatiske, vagt eller optimert for SEO fremfor nøyaktig beskrivelse, og gjør det vanskeligere for modellen å lære fine-grained visuelle konsepter som ansiktsflekker. (Originalkilden var https://rom1504.github.io/, nå defunct).

Derfor, ettersom en grunnleggende løsning er usannsynlig å noen gang være praktisk, har reduksjonen av LLM/VLM-hallusinasjoner ved hjelp av midler og kompromisser nå blitt en sterk understrøm i litteraturen.

Den nye kinesiske teknikken som ble avdekket denne uken, sier forfatterne, ble testet over en rekke arkitekturer i forskjellige forhold, og kunne indikere en nyttig måte å redusere ‘hallusinasjonsforurensning’ på.

De sier:

‘Omfattende eksperimenter over flere benchmark-verktøy viser at vår metode signifikant reduserer hallusinasjoner på objekt-, attributt- og relasjonsnivå, samtidig som den i stor grad beholder gjentakelse og undertekst [rikdom].’

Den nye artikkelen har tittelen Å avsløre hallusinasjoner for å undertrykke dem: VLMs representasjonsredigering med generative ankere, og kommer fra tre forskere ved University of Science and Technology of China og Nanjing University.

Metode

Forfatterne har utviklet en sluttpunkt-til-sluttpunkt-pipeline, vist nedenfor, designet for å avsløre og undertrykke hallusinasjoner i bildeundertekster:

En illustrasjon av den fullstendige pipeline. En visuell-språklig modell genererer først en undertekst fra innputtbildet, som kan inneholde hallusinert innhold. Denne underteksten brukes deretter til å produsere et rekonstruert bilde via en tekst-til-bilde-modell, og gjør eventuelle hallusinasjoner lettere å spore. Innkapslinger fra både det originale og det rekonstruerte bildet brukes til å guide justeringer inne i dekoderen, og hjelper modellen til å undertrykke hallusinerte detaljer samtidig som den beholder undertekstens kvalitet.

Startende fra et ekte innputtbilde, genererer en visuell-språklig modell en beskrivende undertekst som kan inneholde oppdiktet objekter eller relasjoner. Denne underteksten brukes deretter til å generere et rekonstruert bilde som viser nøyaktig hva underteksten beskriver. Ved å sammenligne dette rekonstruerte bildet med det originale, gjøres de fabrikkerte detaljene åpenbare og målbare, og konverterer subtile feil i tekst til synlige forskjeller som systemet kan målrette og redusere.

For å guide modellen bort fra å ‘oppfinne’ detaljer, sammenligner systemet to versjoner av samme bilde: det originale og et rekonstruert bilde basert på underteksten. Hvert bilde konverteres til en kompakt innkapsling som fanger innholdet.

Det originale bildet fungerer som en pålitelig referanse, mens det rekonstruerte bildet høydepunkter hvor hallusinasjoner kan ha kretset inn. Ved å justere sine interne representasjoner for å nærme seg det originale og fjernere seg fra det rekonstruerte, lærer modellen å korrigere seg selv automatisk. Dette prosessen er ikke avhengig av håndjusterte regler eller eksterne data, og forblir fullstendig selv-overvåket.

Artikkelen sier:

‘Hallusinasjoner i MLLM er intrinsisk vanskelige å oppdage fordi de er lingvistisk velformet og ofte ikke å skille fra troverdige beskrivelser på tekst-nivå. Forskjellen ligger ikke i språklig plausibilitet, men i misforholdet til visuell bevis, som modellen selv vanligvis er uoppmerksom på.

‘For å håndtere dette, introduserer vi en hallusinasjons-eksponeringsmekanisme som utnytter generativ rekonstruksjon for å konvertere implisitte inkonsistenser til eksplisitte og observerbare signaler.’

Gitt et innputtbilde og dets undertekst, bruker systemet FLUX.1-dev-tekst-til-bilde-modellen til å gjenskape et bilde fra underteksten alene. Dette gjenskapte bildet tenderer til å overdrive meningen av underteksten, og gjør eventuelle feil mer åpenbare. Disse forsterkede feilene tjener deretter som nyttige signaler som hjelper modellen til å gjenkjenne og korrigere sine egne feil.

For å teste deres tilnærming, injiserte forfatterne hallusinasjoner i undertekster og brukte tekst-til-bilde-modellen til å generere rekonstruerte bilder. Disse bildene ble deretter undertekstet av LLaVA, og den semantiske likheten mellom de originale og hallusinerte undertekstene ble evaluert:

En illustrasjon av hvordan hallusinasjonsforsterkningsmekanismen gjør subtile feil synlige. Hvert punkt viser likheten mellom undertekster av det originale og det rekonstruerte bildet for ett bilde-undertekst-par. Den oransje linjen representerer likheten målt direkte mellom det originale og det hallusinerte underteksten, som forblir høy og maskerer små feil; den blå linjen representerer likheten etter rekonstruksjon, som faller skarpt, og viser at prosessen konverterer skjulte hallusinasjoner til åpenbare semantiske markører som kan oppdages og korrigeres.

Denne likheten faller skarpt etter rekonstruksjon, og viser at prosessen gjør subtile feil mer oppdagelige.

Data og tester

Validering av effektiviteten til den nye metoden involverte bruk av tre passende benchmark-verktøy: Undertekst-hallusinasjonsvurdering med bilde-relevans (CHAIR); MLLM-evaluering-benchmark (MME); og Pooling-basert objekt-sonderingsevaluering (POPE).

Fra CHAIR-utgivelsesartikkelen: eksempler på hallusinerte objekter generert av to ledende undertekstsystemer, TopDown og NBT, hvor hver modell oppdiker visuelle elementer som ikke er til stede i bildet, som for eksempel bærbare datamaskiner, vasker eller surfplanker. Kilde: https://arxiv.org/pdf/1809.02156

Standard-målinger som hallusinasjonsrate eller gjentakelse kan være misvisende, ettersom en modell kan unngå hallusinasjoner ved å produsere korte eller vagt undertekster. For å håndtere avveien mellom gjentakelse og hallusinasjon, ble en kombineringsmåling kalt Hallusinasjon og gjentakelse (HAR@β) brukt, som scorer undertekster basert på både nøyaktighet og fullstendighet, og som tillater avveien å justeres avhengig av om unngåelse av feil eller inkludering av mer detaljer er viktigere.

POPE ble brukt til å evaluere kontekst-følsomme objekt-hallusinasjoner, og MME til å evaluere attributt-nivå-hallusinasjoner, med begge rammet inn som ja/nei-dømming-oppgaver.

Eksperimenter ble utført over forskjellige representative datamengder, ved hjelp av den ovennevnte Flux-modellen og LLaVA-v1.5-7B-varianten. Datamengdene som ble brukt, var Microsoft COCO; A-OKVQA; og GQA.

Latent-redigering ble utført for modellens andre lag, i samsvar med tidligere relatert arbeid, mens hyperparametere og temperatur var konsistente over alle modeller.

Initielle resultater på CHAIR er presentert nedenfor:

Ytelse på CHAIR-benchmark for hallusinasjonsreduksjon, evaluert ved hjelp av flere målinger.

Av disse resultater kommenterte forfatterne:

‘[Vår metode utkonkurrerer konsekvent andre referanser på både CHAIR_S og CHAIR_I, og demonstrerer sin overlegne effektivitet i å undertrykke hallusinasjoner. Samtidig, selv om nesten alle metoder uunngåelig reduserer gjentakelse mens de undertrykker hallusinasjoner, reflekterer dette en avveining mellom trofasthet og informativitet, og vår metode oppnår den minste reduksjonen.

‘Dette demonstrerer at vår metode fanger en bred rekke av bakgrunnsobjekter. Med HAR@β-målingen oppnår vår metode den høyeste scoren, og understreker dens evne til å redusere hallusinasjoner samtidig som den beholder dekning.’

Forskerne tilskriver disse sterke resultater til den dobbelte overvåkningssettingen, hvor ren semantikk fra det originale bildet ble forsterket, samtidig som misvisende signaler fra det rekonstruerte bildet ble undertrykt. Fordi justeringen målrettet bare retningen assosiert med hallusinasjoner, ble resten av representasjonen intakt, og tillot systemet å korrigere feil uten å ofre detaljer eller informativitet.

Sammenligning av ytelse på POPE-benchmark under forskjellige konfigurasjoner og datamengder.

Med hensyn til resultater på POPE, vist i resultat-tabellen ovenfor, hevder artikkelen:

‘Det kan observeres at vår metode konsekvent oppnår den beste ytelsen over alle innstillinger. Merkverdig, vår metode kan oppnå opptil +5,95% nøyaktighet og +6,85% F1-score i gjennomsnitt, og overgår andre trening-frie tilnærminger med et stort margin.

‘Derfor demonstrerer disse resultater at vår metode tilbyr en pålitelig og generaliserbar løsning over forskjellige vanskelighetsnivå.’

Fra den tredje test-runden, sammenligninger av ytelse over MME.

Den siste hovedtesten var på MME, med resultater vist ovenfor. Imidlertid, blant andre utelatelser, nevner den metoden ‘OPERA’, som ikke er definert noen steder i hovedartikkelen eller vedlegget. Selv om forfatterne hevder sterk ytelse på MME, uten adekvate definisjoner av metodene, bør vi kanskje la resultatsiden stå her.

En illustrasjon fra MME-benchmarken som bruker LLaVA-v1.5-7B, som viser hvordan den grundige modellen produserte en hallusinert svar, mens den foreslåtte metoden ga det riktige svaret, med det rekonstruerte bildet som gjorde hallusinasjonen mer åpenbar.

Konklusjon

Selv om denne artikkelen åpenbart er hastet, og lider av mangelen på struktur, fokus og klarhet som har kommet stadig mer til syne i litteraturen de siste 12 månedene (kanskje ikke uavhengig av den raskt voksende bruken av AI i akademisk forskning), forblir den sentrale mekanismen presentert genial.

Mens denne sluttpunkt-til-sluttpunkt-tilnærmingen ikke krever omstrening, og åpenbart kan brukes på en rekke arkitekturer, ville det vært interessant å se flere test-kandidater; og det må også tas i betraktning at et mellomliggende system av denne typen vil i det minste introdusere latency, og en viss grad av ekstra kraftbehov – ikke en ubetydelig sak i stor skala.

* Uvanlig, presenterer hoveddelen av denne artikkelen resultater med overskrifter som bare forklares i vedleggs-materialet, og ikke i hovedartikkelen – en stadig mer vanlig dårlig vane i litteraturen, da forskere søker å begrense den sentrale tesen til 8-9 sider, selv når materialet ikke tillater det. I alle fall, CHAIR-benchmarken, som brukes til å evaluere objekt-hallusinasjoner i undertekster, var basert på en 500-bilde MSCOCO-undermengde fra tidligere arbeid. To former ble brukt: CHAIR_S, som målte hvor ofte hallusinasjoner opptrådte i en given undertekst; og CHAIR_I, som målte hvor mange av de nevnte objektene som var hallusinerte. HAR@β, introdusert i hovedartikkelen, ble definert som en F_β-liknende kombinasjon av hallusinasjons-undertrykking og objekt-gjentakelse.

Først publisert tirsdag, 30. september 2025