Bruk av AI-hallusinasjoner for å vurdere bilde-realisme

Ny forskning fra Russland foreslår en uvanlig metode for å påvise urealistiske AI-genererte bilder – ikke ved å forbedre nøyaktigheten av store visuelt-språklige modeller (LVLM), men ved å bevisst utnytte deres tendens til å hallusinere.

Den nye tilnærmingen trekker ut flere ‘atomiske fakta’ om et bilde ved hjelp av LVLM, og deretter anvender naturlig språkinferens (NLI) for å systematisk måle motstridende uttalelser blant disse uttalelsene – effektivt omdanner modellens feil til en diagnostisk verktøy for å påvise bilder som strider mot sunn fornuft.

To bilder fra WHOOPS!-datasetten sammen med automatisk genererte uttalelser fra LVLM-modellen. Det venstre bildet er realistisk, og fører til konsistente beskrivelser, mens det uvanlige høyre bildet får modellen til å hallusinere, og produserer motstridende eller feil uttalelser. Kilde: https://arxiv.org/pdf/2503.15948

Bedt om å vurdere realisme i det andre bildet, kan LVLM se at noe er galt, siden avbildet kamel har tre pukler, som er ukjent i naturen.

Likevel, konflaterer LVLM opprinnelig >2 pukler med >2 dyr, siden dette er den eneste måten å se tre pukler på ett ‘kamel-bilde’. Den går deretter videre til å hallusinere noe enda mer usannsynlig enn tre pukler (dvs. ‘to hoder’) og nevner aldri det som synes å ha utløst dens mistanke – den usannsynlige ekstra puklen.

Forskerne bak det nye arbeidet fant at LVLM-modeller kan utføre denne type vurdering naturlig, og på lik linje med (eller bedre enn) modeller som er fine-tuned for en oppgave av denne typen. Ettersom fine-tuning er komplisert, dyrt og ganske skjør i forhold til nedstrøms anvendelse, er oppdagelsen av en naturlig anvendelse for en av de største hindringene i den nåværende AI-revolusjonen en frisk vending på de generelle trendene i litteraturen.

Åpen vurdering

Betydningen av tilnærmingen, hevder forfatterne, er at den kan bli deployert med åpne kildekoder-rammeverk. Mens en avansert og høy-investeringsmodell som ChatGPT kan (artikkelen innrømmer) potensielt tilby bedre resultater i denne oppgaven, er den trolig virkelige verdien av litteraturen for de fleste av oss (og spesielt for hobbyist- og VFX-miljøene) muligheten til å inkorporere og utvikle nye gjennombrudd i lokale implementasjoner; omvendt er alt som er bestemt for et proprietært kommersielt API-system underlagt tilbaketrekning, arbitrære prisøkninger og sensurpolitikker som er mer sannsynlig å reflektere et selskaps korporative bekymringer enn brukerens behov og ansvar.

Den nye artikkelen har tittelen Ikke kjemp mot hallusinasjoner, bruk dem: Estimering av bilde-realisme ved hjelp av NLI over atomiske fakta, og kommer fra fem forskere på Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, og russiske selskaper MTS AI og AIRI. Arbeidet har en tilhørende GitHub-side.

Metode

Forfatterne bruker den israelsk-amerikanske WHOOPS!-datasetten for prosjektet:

Eksempler på umulige bilder fra WHOOPS!-datasetten. Det er verdig å merke seg hvordan disse bildene setter sammen plausibele elementer, og at deres umulighet må beregnes basert på sammenstillingen av disse uforenlige aspektene. Kilde: https://whoops-benchmark.github.io/

Datasetten består av 500 syntetiske bilder og over 10 874 annotasjoner, spesifikt designet for å teste AI-modellers sunn fornuft og komposisjonell forståelse. Den ble skapt i samarbeid med designere som ble bedt om å generere utfordrende bilder via tekst-til-bilde-systemer som Midjourney og DALL-E-serien – produserte scenarioer som er vanskelige eller umulige å fange naturlig:

Flere eksempler fra WHOOPS!-datasetten. Kilde: https://huggingface.co/datasets/nlphuji/whoops

Den nye tilnærmingen fungerer i tre stadier: først blir LVLM (spesifikt LLaVA-v1.6-mistral-7b) bedt om å generere flere enkle uttalelser – kalt ‘atomiske fakta’ – som beskriver et bilde. Disse uttalelsene genereres ved hjelp av Diverse Beam Search, som sikrer variasjon i utgangene.

Diverse Beam Search produserer en bedre variasjon av bildetekst-alternativer ved å optimere for et diversitet-augmentert mål. Kilde: https://arxiv.org/pdf/1610.02424

Deretter sammenlignes hver generert uttalelse systematisk med hver annen uttalelse ved hjelp av en Natural Language Inference-modell, som tildeler poeng som reflekterer om uttalelsespunktene impliserer, motstrider eller er nøytrale i forhold til hverandre.

Motstridende uttalelser indikerer hallusinasjoner eller urealistiske elementer i bildet:

Skjema for detektions-pipeline.

Til slutt kombinerer metoden disse parvise NLI-poeng til en enkelt ‘realitets-poeng’ som kvantifiserer den overordnede kohesjonen av de genererte uttalelsene.

Forskerne utforsket ulike kombinasjonsmetoder, med en klaster-basert tilnærming som fungerte best. Forfatterne anvendte k-means-klaster-algoritmen for å separere enkeltvis NLI-poeng i to klaster, og sentroiden av det lavere-verdiede klasteret ble deretter valgt som det endelige målet.

Bruken av to klaster samsvarer direkte med den binære naturen av klassifiseringsoppgaven, dvs. å skille mellom realistiske og urealistiske bilder. Logikken er lignende med å bare velge det laveste poenget totalt; likevel tillater klastering at målet representerer gjennomsnittlig motstrid over flere fakta, i stedet for å avhenge av en enkelt outlier.

Data og tester

Forskerne testet sitt system på WHOOPS!-benchmark, ved hjelp av roterende test-deler (dvs. kryssvalidering). Modellene som ble testet var BLIP2 FlanT5-XL og BLIP2 FlanT5-XXL i deler, og BLIP2 FlanT5-XXL i null-skudd-format (dvs. uten ekstra trening).

For en instruksjons-følging-baseline, ble LVLM-modellene bedt om å følge frasen ‘Er dette uvanlig? Vennligst forklar kort med en kort setning’, som tidligere forskning fant å være effektiv for å påvise urealistiske bilder.

Modellene som ble evaluert var LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, og to størrelser (7/13 milliarder parametre) av InstructBLIP.

Testprosedyren var sentrert rundt 102 par av realistiske og urealistiske (‘rare’) bilder. Hvert par bestod av ett normalt bilde og ett sunn-for-nufts-defierende motstykke.

Tre menneskelige annotatorer merket bildene, og nådde en enighet på 92%, som indikerer sterk menneskelig enighet om hva som utgjorde ‘rarehet’. Nøyaktigheten av vurderingsmetodene ble målt ved deres evne til å korrekt skille mellom realistiske og urealistiske bilder.

Systemet ble evaluert ved hjelp av tre-fold kryssvalidering, med tilfeldig omrokering av data med en fast seed. Forfatterne justerte vekter for implikasjonspoeng (uttalelser som logisk samstemmer) og motstridspoeng (uttalelser som logisk motsier) under trening, mens ‘nøytrale’ poeng ble fikset til null. Den endelige nøyaktigheten ble beregnet som gjennomsnittet over alle test-deler.

Sammenligning av ulike NLI-modeller og kombinasjonsmetoder på en undergruppe av fem genererte fakta, målt ved nøyaktighet.

Med hensyn til de initielle resultater ovenfor, sier artikkelen:

‘Den [‘clust’]-metoden utmerker seg som en av de beste. Dette impliserer at aggregatet av alle motstridspoeng er avgjørende, snarere enn å fokusere bare på ekstreme verdier. I tillegg utgjør den største NLI-modellen (nli-deberta-v3-large) alle andre for alle kombinasjonsmetoder, og antyder at den fanger essensen av problemet mer effektivt.’

Forfatterne fant at de optimale vektene konsekvent favoriserte motstrid over implikasjon, og indikerte at motstrid var mer informativ for å skille urealistiske bilder. Deres metode overgikk alle andre null-skudd-metoder som ble testet, og nærmet seg nærheten av fine-tuned BLIP2-modellens ytelse:

Ytelse av ulike tilnærminger på WHOOPS!-benchmark. Fine-tuned (ft) metoder vises øverst, mens null-skudd (zs) metoder er listet under. Modellstørrelse indikerer antall parametre, og nøyaktighet brukes som evaluering-målet.

De noterte også, noe uventet, at InstructBLIP fungerte bedre enn sammenlignbare LLaVA-modeller gitt samme prompt. Mens de anerkjente GPT-4o’s overlegne nøyaktighet, betonet artikkelen forfatternes preferanse for å demonstrere praktiske, åpne kildekodemuligheter, og kan rimelig hevde nyskaping i å utnytte hallusinasjoner som en diagnostisk verktøy.

Konklusjon

Likevel, anerkjenner forfatterne prosjektets gjeld til 2024 FaithScore-utgivelsen, et samarbeid mellom University of Texas at Dallas og Johns Hopkins University.

Illustrasjon av hvordan FaithScore-evaluering fungerer. Først identifiseres beskrivende uttalelser innenfor en LVLM-generert beskrivelse. Deretter brytes disse uttalelsene ned i enkeltvis atomiske fakta. Til slutt sammenlignes de atomiske faktene mot inndata-bildet for å verifisere deres nøyaktighet. Understreket tekst fremhever objektivt beskrivende innhold, mens blå tekst indikerer hallusinerte uttalelser, og tillater FaithScore å levere en tolkbar måling av faktisk riktighet. Kilde: https://arxiv.org/pdf/2311.01477

FaithScore måler troverdigheten av LVLM-genererte beskrivelser ved å verifisere konsistens mot bilde-innhold, mens den nye artikkelen eksplisitt utnytter LVLM-hallusinasjoner for å påvise urealistiske bilder gjennom motstridende uttalelser i genererte fakta ved hjelp av Natural Language Inference.

Det nye arbeidet er, naturligvis, avhengig av de eksentrisitetene til nåværende språkmodeller, og deres tendens til å hallusinere. Hvis modellutviklingen noen gang frembringer en fullstendig ikke-hallusinerende modell, ville selv de generelle prinsippene i det nye arbeidet ikke lenger være anvendelige. Likevel, forblir dette en utfordrende prospekt.

Først publisert tirsdag, 25. mars 2025