Användning av AI-hallucinationer för att utvärdera bildrealism

Ny forskning från Ryssland föreslår en ovanlig metod för att upptäcka orealistiska AI-genererade bilder – inte genom att förbättra noggrannheten hos stora vision-språkmodeller (LVLM), utan genom att medvetet utnyttja deras benägenhet att hallucinera.

Den nya metoden extraherar flera “atomiska fakta” om en bild med hjälp av LVLM, och tillämpar sedan naturlig språkinferens (NLI) för att systematiskt mäta motsägelser mellan dessa uttalanden – effektivt omvandlar modellens brister till ett diagnostiskt verktyg för att upptäcka bilder som strider mot sunt förnuft.

Två bilder från WHOOPS!-datamängden tillsammans med automatiskt genererade uttalanden av LVLM-modellen. Den vänstra bilden är realistisk, vilket leder till konsekventa beskrivningar, medan den ovanliga högra bilden orsakar att modellen hallucinerar, producerar motsägelsefulla eller falska uttalanden. Källa: https://arxiv.org/pdf/2503.15948

När man ber LVLM att bedöma realismen i den andra bilden kan modellen se att något är fel, eftersom den avbildade kamelen har tre pucklar, vilket är okänt i naturen.

Men LVLM blandar initialt >2 pucklar med >2 djur, eftersom detta är det enda sättet att se tre pucklar på en “kamelibild”. Den fortsätter sedan att hallucinera något ännu mindre troligt än tre pucklar (dvs. “två huvuden”) och nämner aldrig den sak som verkar ha utlöst dess misstankar – den osannolika extra puckeln.

Forskarna bakom den nya studien fann att LVLM-modeller kan utföra denna typ av utvärdering naturligt, och på samma nivå som (eller bättre än) modeller som har finjusterats för en uppgift av detta slag. Eftersom finjustering är komplicerat, dyrt och ganska skört i fråga om nedströms tillämpbarhet, är upptäckten av ett naturligt användningsområde för en av de största hinder i den nuvarande AI-revolutionen en fräsch vändning på de allmänna trenderna i litteraturen.

Öppen utvärdering

Författarna hävdar att metoden kan distribueras med öppen källkod-ramverk. Medan en avancerad och höginvesterad modell som ChatGPT kan (artikeln medger) potentiellt erbjuda bättre resultat i denna uppgift, är den troliga verkliga värdet av litteraturen för de flesta av oss (och särskilt för hobby- och VFX-samhällen) möjligheten att inkorporera och utveckla nya genombrott i lokala implementationer; tvärtom är allt som är avsett för ett proprietärt kommersiellt API-system föremål för återkallande, godtyckliga prishöjningar och censurpolicyer som sannolikt återspeglar ett företags korporativa angelägenheter snarare än användarnas behov och ansvar.

Den nya artikeln heter Slåss inte mot hallucinationer, använd dem: Uppskattning av bildrealism med NLI över atomiska fakta, och kommer från fem forskare på Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, och ryska företagen MTS AI och AIRI. Arbetet har en tillhörande GitHub-sida.

Metod

Författarna använder den israelisk-amerikanska WHOOPS!-datamängden för projektet:

Exempel på omöjliga bilder från WHOOPS!-datamängden. Det är anmärkningsvärt hur dessa bilder sätter samman trovärdiga element, och att deras omöjlighet måste beräknas baserat på konkateneringen av dessa oförenliga aspekter. Källa: https://whoops-benchmark.github.io/

Datamängden består av 500 syntetiska bilder och över 10 874 annoteringar, specifikt utformade för att testa AI-modellers sunt förnuft och kompositionsförståelse. Den skapades i samarbete med designers som fick i uppgift att generera utmanande bilder via text-till-bild-system som Midjourney och DALL-E-serien – producerande scenarier som är svåra eller omöjliga att fånga naturligt:

Fler exempel från WHOOPS!-datamängden. Källa: https://huggingface.co/datasets/nlphuji/whoops

Den nya metoden fungerar i tre steg: först genererar LVLM (specifikt LLaVA-v1.6-mistral-7b) flera enkla uttalanden – kallade “atomiska fakta” – som beskriver en bild. Dessa uttalanden genereras med hjälp av Diverse Beam Search, vilket säkerställer variation i utdata.

Diverse Beam Search producerar en bättre variation av rubrikalternativ genom att optimera för ett mål som är förstärkt med mångfald. Källa: https://arxiv.org/pdf/1610.02424

Sedan jämförs varje genererat uttalande systematiskt med varje annat uttalande med hjälp av en naturlig språkinferensmodell, som tilldelar poäng som reflekterar om uttalandeparen entailer, motsäger eller är neutrala gentemot varandra.

Motsägelser indikerar hallucinationer eller orealistiska element inom bilden:

Schema för detektionspipelinen.

Till sist aggregeras dessa parvisa NLI-poäng till en enda “verklighetspoäng” som kvantifierar den övergripande sammanhållningen i de genererade uttalandena.

Forskarna undersökte olika aggregationsmetoder, med en klusterbaserad metod som fungerade bäst. Författarna tillämpade k-means-klusteringsalgoritmen för att separera enskilda NLI-poäng i två kluster, och centroiden för det lägre värderade klustret valdes sedan som den slutliga metriken.

Att använda två kluster direkt motsvarar den binära naturen hos klassificeringsuppgiften, dvs. att skilja realistiska från orealistiska bilder. Logiken är liknande att enkelt välja det lägsta poängen totalt; dock tillåter klustermetoden att metriken representerar den genomsnittliga motsägelsen över flera fakta, snarare än att förlita sig på en enda utläggare.

Data och tester

Forskarna testade sitt system på WHOOPS!-baslinjebenchmark, med hjälp av roterande testdelningar (dvs. korsvalidering). Modellerna som testades var BLIP2 FlanT5-XL och BLIP2 FlanT5-XXL i delningar, och BLIP2 FlanT5-XXL i nollskottformat (dvs. utan ytterligare utbildning).

För en instruktionsföljande baslinje uppmanade författarna LVLM med frasen ‘Är detta ovanligt? Vänligen förklara kort med ett kort mening’, som tidigare forskning funnit effektiv för att upptäcka orealistiska bilder.

Modellerna som utvärderades var LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, och två storlekar (7/13 miljarder parametrar) av InstructBLIP.

Testförfarandet var centrerat kring 102 par realistiska och orealistiska (“konstiga”) bilder. Varje par bestod av en normal bild och en motsats som strider mot sunt förnuft.

Tre mänskliga annotatorer märkte bilderna, och nådde en överenskommelse på 92%, vilket indikerar en stark mänsklig överenskommelse om vad som utgör “konstighet”. Noggrannheten hos bedömningsmetoderna mättes genom deras förmåga att korrekt skilja mellan realistiska och orealistiska bilder.

Systemet utvärderades med hjälp av treklöverkorsvalidering, med slumpmässig omrörning av data med ett fast seed-värde. Författarna justerade vikter för entydighetspoäng (uttalanden som logiskt överensstämmer) och motsägelsepoäng (uttalanden som logiskt motsäger varandra) under utbildning, medan “neutrala” poäng fastställdes till noll. Den slutliga noggrannheten beräknades som genomsnittet över alla testdelningar.

Jämförelse av olika NLI-modeller och aggregationsmetoder på en undermängd av fem genererade fakta, mätt med noggrannhet.

Med avseende på de initiala resultaten ovan, förklarar artikeln:

‘[clust]-metoden utmärker sig som en av de bästa presterande. Detta innebär att aggregatet av alla motsägelsepoäng är avgörande, snarare än att fokusera enbart på extrema värden. Dessutom presterar den största NLI-modellen (nli-deberta-v3-large) bättre än alla andra för alla aggregationsmetoder, vilket tyder på att den fångar essensen av problemet mer effektivt.’

Författarna fann att de optimala vikterna konsekvent föredrog motsägelse över entydighet, vilket indikerar att motsägelser var mer informativa för att skilja orealistiska bilder. Deras metod presterade bättre än alla andra nollskottmetoder som testades, och närmade sig prestationen hos den finjusterade BLIP2-modellen:

Prestanda för olika metoder på WHOOPS!-benchmark. Finjusterade (ft) metoder visas överst, medan nollskott (zs) metoder listas under. Modellstorlek anger antalet parametrar, och noggrannhet används som utvärderingsmetrik.

De noterade också, något oväntat, att InstructBLIP presterade bättre än jämförbara LLaVA-modeller med samma prompt. Medan de erkänner GPT-4o:s överlägsna noggrannhet, betonar artikeln författarnas preferens för att demonstrera praktiska, öppen källkods-lösningar, och kan rimligtvis hävda nyhet i att uttryckligen utnyttja hallucinationer som ett diagnostiskt verktyg.

Slutsats

Författarna medger dock att deras projekt är skyldigt till den 2024 FaithScore-utgåvan, ett samarbete mellan University of Texas at Dallas och Johns Hopkins University.

Illustration av hur FaithScore-utvärdering fungerar. Först identifieras beskrivande uttalanden inom en LVLM-genererad svar. Sedan bryts dessa uttalanden ner i enskilda atomiska fakta. Slutligen jämförs de atomiska faktorna mot ingångsbilden för att verifiera deras noggrannhet. Understruket text markerar objektivt beskrivande innehåll, medan blå text indikerar hallucinerade uttalanden, vilket tillåter FaithScore att leverera en tolkningsbar mått på faktisk korrekthet. Källa: https://arxiv.org/pdf/2311.01477

FaithScore mäter troheten hos LVLM-genererade beskrivningar genom att verifiera konsekvens mot bildinnehåll, medan den nya artikeln explicit utnyttjar LVLM-hallucinationer för att upptäcka orealistiska bilder genom motsägelser i genererade fakta med hjälp av naturlig språkinferens.

Den nya studien är, naturligtvis, beroende av de egenskaper som finns hos nuvarande språkmodeller, och deras benägenhet att hallucinera. Om modellutvecklingen någon gång skulle skapa en helt icke-hallucinerande modell, skulle även de allmänna principerna i det nya arbetet inte längre vara tillämpliga. Detta förblir dock ett utmanande perspektiv.

Publicerad första gången tisdag, 25 mars 2025