Brug af AI-hallucinationer til at evaluere billedrealisme

Nyt forskning fra Rusland foreslår en uconventionel metode til at detektere urealistiske AI-genererede billeder – ikke ved at forbedre nøjagtigheden af store vision-sprogmodeller (LVLM’er), men ved bevidst at udnytte deres tendens til at hallucinere.

Den nye tilgang udtrækker multiple ‘atomare fakta’ om et billede ved hjælp af LVLM’er, og derefter anvender naturlig sprogslæring (NLI) til systematisk at måle modstridende udsagn imellem disse udsagn – effektivt omdanner modellens fejl til et diagnostisk værktøj til at detektere billeder, der strider imod sund fornuft.

To billeder fra WHOOPS!-datasetten sammen med automatisk genererede udsagn fra LVLM-modellen. Det venstre billede er realistisk, hvilket fører til konsistente beskrivelser, mens det usædvanlige højre billede får modellen til at hallucinere, hvilket producerer modstridende eller falske udsagn. Kilde: https://arxiv.org/pdf/2503.15948

Når man beder om at vurdere billedets realisme, kan LVLM se, at noget er galt, da kamelen på billedet har tre pukler, hvilket er ukendt i naturen.

Men LVLM’en sammenblander dog >2 pukler med >2 dyr, da dette er den eneste måde, man kan se tre pukler på ét ‘kamelbillede’. Den fortsætter derefter med at hallucinere noget, der er endnu mere usandsynligt end tre pukler (dvs. ‘to hoveder’) og nævner aldrig det, der synes at have udløst dens mistanke – den usandsynlige ekstra pukkel.

Forskerne bag det nye arbejde fandt, at LVLM-modeller kan udføre denne type vurdering naturligt, og på samme niveau som (eller bedre end) modeller, der er finjusteret til en opgave af denne art. Da finjustering er kompliceret, dyrt og ret skrøbelig i forhold til downstream-applicabilitet, er opdagelsen af en naturlig anvendelse for en af de største hindringer i den nuværende AI-revolution en frisk vending på de generelle tendenser i litteraturen.

Åben vurdering

Forskerne hævder, at denne tilgangs betydning ligger i, at den kan implementeres med open source-rammer. Mens en avanceret og storinvestering model som ChatGPT kan (artiklen indrømmer) potentielt tilbyde bedre resultater i denne opgave, er den åbenlyse værdi af litteraturen for de fleste af os (og især for hobby- og VFX-samfundene) muligheden for at inkorporere og udvikle nye gennembrud i lokale implementeringer; omvendt er alt, der er bestemt for et proprietært kommercielt API-system, underlagt tilbagekald, arbitrære prisstigninger og censurpolitikker, der er mere sandsynlige at afspejle en virksomheds korporative bekymringer end brugernes behov og ansvar.

Den nye artikel har titlen Don’t Fight Hallucinations, Use Them: Estimating Image Realism using NLI over Atomic Facts og kommer fra fem forskere på Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, og de russiske virksomheder MTS AI og AIRI. Arbejdet har en tilhørende GitHub-side.

Metode

Forskerne bruger den israelsk-amerikanske WHOOPS!-dataset til projektet:

Eksempler på umulige billeder fra WHOOPS!-datasetten. Det er bemærkelsesværdigt, hvordan disse billeder samler plausibele elementer, og at deres umulighed skal beregnes på basis af sammensætningen af disse inkompatible aspekter. Kilde: https://whoops-benchmark.github.io/

Datasettet består af 500 syntetiske billeder og over 10.874 annotationer, specifikt designede til at teste AI-modellers sund fornuft og kompositionel forståelse. Det blev skabt i samarbejde med designere, der var tildelt opgaven med at generere udfordrende billeder via tekst-til-billede-systemer som Midjourney og DALL-E-serien – producerende scenarier, der er svære eller umulige at fange naturligt:

Yderligere eksempler fra WHOOPS!-datasetten. Kilde: https://huggingface.co/datasets/nlphuji/whoops

Den nye metode virker i tre faser; først bliver LVLM’en (specifikt LLaVA-v1.6-mistral-7b) bedt om at generere multiple simple udsagn – kaldet ‘atomare fakta’ – om et billede. Disse udsagn genereres ved hjælp af Diverse Beam Search, hvilket sikrer variation i outputtet.

Diverse Beam Search producerer en bedre variation af undertekstmuligheder ved at optimere for et diversitetforstærket mål. Kilde: https://arxiv.org/pdf/1610.02424

Derefter sammenlignes hvert genereret udsagn systematisk med hvert andet udsagn ved hjælp af en Natural Language Inference-model, der tildeler score, der afspejler, om udsagnsparrene implicerer, modsiger eller er neutrale over for hinanden.

Modstridende udsagn indikerer hallucinationer eller urealistiske elementer i billedet:

Schema for detektionsrøret.

Til sidst aggregere metoden disse parvise NLI-score til en enkelt ‘realitets-score’, der kvantificerer den overordnede kohærens af de genererede udsagn.

Forskerne undersøgte forskellige aggregationsmetoder, med en klasterbaseret tilgang, der opnåede det bedste resultat. Forskerne anvendte k-means-klasteralgoritmen til at adskille enkeltvis NLI-score i to klaster, og centroiden af det lavere-værdiede klaster blev derefter valgt som det endelige mål.

At bruge to klaster svarer direkte til den binære natur af klassificeringsopgaven, dvs. at skelne mellem realistiske og urealistiske billeder. Logikken er lignende med blot at vælge det laveste score overall; dog tillader klastering, at metricken kan repræsentere den gennemsnitlige modstrid over multiple fakta, snarere end at afhænge af et enkelt outlier.

Data og tests

Forskerne testede deres system på WHOOPS!-benchmark, ved hjælp af roterende test-splittelse (dvs. cross-validation). Modellerne, der blev testet, var BLIP2 FlanT5-XL og BLIP2 FlanT5-XXL i splittelse, og BLIP2 FlanT5-XXL i zero-shot-format (dvs. uden yderligere træning).

For en instruktionsfølgende baseline blev LVLM’erne bedt om at følge sætningen ‘Er dette usædvanligt? Venligst forklar kort med en kort sætning’, som tidligere forskning fandt effektivt til at spotte urealistiske billeder.

Modellerne, der blev vurderet, var LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, og to størrelser (7/13 milliarder parametre) af InstructBLIP.

Testproceduren var centreret om 102 par af realistiske og urealistiske (‘særprægede’) billeder. Hvert par bestod af ét normalt billede og ét sundhedsstridigt modstykke.

Tre menneskelige annotatorer mærkede billederne, og nåede en enighed på 92%, hvilket indikerer stærk menneskelig enighed om, hvad der udgør ‘særprægethed’. Nøjagtigheden af vurderingsmetoderne blev målt ved deres evne til korrekt at skelne mellem realistiske og urealistiske billeder.

Systemet blev vurderet ved hjælp af tre-fold cross-validation, hvor data blev tilfældigt roteret med en fast seed. Forskerne justerede vægte for implikationsscore (udsagn, der logisk er enige) og modstridsscore (udsagn, der logisk modsiger hinanden) under træning, mens ‘neutrale’ score blev fastsat til nul. Den endelige nøjagtighed blev beregnet som gennemsnittet over alle test-splittelse.

Sammenligning af forskellige NLI-modeller og aggregationsmetoder på en undermængde af fem genererede fakta, målt ved nøjagtighed.

Med hensyn til de initielle resultater ovenfor, siger artiklen:

‘[clust]-metoden står ud som en af de bedst performende. Dette indebærer, at aggregationen af alle modstridende score er afgørende, snarere end at fokusere kun på ekstreme værdier. Derudover udgør den største NLI-model (nli-deberta-v3-large) alle andre for alle aggregationsmetoder, hvilket tyder på, at den fanger essensen af problemet mere effektivt.’

Forskerne fandt, at de optimale vægte konsekvent favoriserede modstrid over implikation, hvilket indikerer, at modstrid var mere informativt til at skelne urealistiske billeder. Deres metode overgik alle andre zero-shot-metoder, der blev testet, og nærmede sig tæt på fine-tuned BLIP2-modellens præstation:

Præstation af forskellige tilgange på WHOOPS!-benchmark. Fine-tuned (ft) metoder vises øverst, mens zero-shot (zs) metoder er listet nedenfor. Modelstørrelse angiver antallet af parametre, og nøjagtighed bruges som evalueringsskala.

De bemærkede også, noget uventet, at InstructBLIP opnåede bedre resultater end sammenlignelige LLaVA-modeller, givet samme prompt. Mens de anerkender GPT-4o’s overlegne nøjagtighed, fremhæver artiklen forskernes præference for at demonstrere praktiske, open-source-løsninger, og synes at kunne kræve nytænkning i at udnytte hallucinationer som et diagnostisk værktøj.

Konklusion

Forskerne anerkender dog, at deres projekt skylder 2024 FaithScore-udgivelsen, et samarbejde mellem University of Texas at Dallas og Johns Hopkins University.

Illustration af, hvordan FaithScore-evaluering fungerer. Først identificeres beskrivende udsagn inden for en LVLM-genereret besked. Dernæst brydes disse udsagn ned i enkeltvis atomare fakta. Til sidst sammenlignes de atomare fakta med inputbilledet for at verificere deres nøjagtighed. Understreget tekst fremhæver objektivt beskrivende indhold, mens blå tekst indikerer hallucinerede udsagn, hvilket giver FaithScore en fortolkelig måde at måle faktuel korrekthed på. Kilde: https://arxiv.org/pdf/2311.01477

FaithScore måler troværdigheden af LVLM-genererede beskrivelser ved at verificere konsistens mod billedindhold, mens den nye artikels metode udnytter LVLM-hallucinationer til at detektere urealistiske billeder gennem modstridende udsagn i genererede fakta ved hjælp af Natural Language Inference.

Det nye arbejde er naturligvis afhængigt af særhederne ved nuværende sprogmodeller, og deres tendens til at hallucinere. Hvis modeludviklingen nogensinde fører til en helt ikke-hallucinerende model, ville selv de generelle principper i det nye arbejde ikke længere være anvendelige. Dog forbliver dette en udfordrende perspektiv.

Først publiceret tirsdag, 25. marts 2025