Utilizarea halucinațiilor AI pentru evaluarea realismului imaginilor

Noi cercetări din Rusia propun o metodă neconvențională pentru detectarea imaginilor generate de AI care nu sunt realiste – nu prin îmbunătățirea acurateței modelelor de vedere și limbaj (LVLM) pe scară largă, ci prin exploatarea intenționată a tendinței lor de a halucina.

Aproachul inovator extrage multiple “fapte atomice” despre o imagine utilizând LVLM, apoi aplică inferență naturală a limbajului (NLI) pentru a măsura sistematic contradicțiile dintre aceste afirmații – efectiv transformând defectele modelului într-un instrument de diagnostic pentru detectarea imaginilor care defășoară logica comună.

Două imagini din setul de date WHOOPS! alături de declarații generate automat de modelul LVLM. Imaginea din stânga este realistă, conducând la descrieri consistente, în timp ce imaginea neobișnuită din dreapta determină modelul să halucineze, producând declarații contradictorii sau false. Sursă: https://arxiv.org/pdf/2503.15948

Când i s-a cerut să evalueze realismul celei de-a doua imagini, LVLM a putut vedea că ceva nu este în regulă, deoarece camelele din imagine au trei cocoașe, ceea ce este necunoscut în natură.

Cu toate acestea, LVLM a confundat inițial >2 cocoașe cu >2 animale, deoarece acesta este singurul mod în care puteți vedea trei cocoașe într-o “imagine cu camele”. Apoi, a procedat să halucineze ceva și mai puțin probabil decât trei cocoașe (de exemplu, “două capete”) și nu a detaliat lucrul care pare să fi declanșat suspiciunile sale – cocoașa improbabilă suplimentară.

Cercetătorii noii lucrări au constatat că modelele LVLM pot efectua această evaluare în mod nativ și la fel de bine (sau mai bine) ca modelele care au fost reglate pentru o astfel de sarcină. Deoarece reglarea este complicată, scumpă și destul de fragilă în ceea ce privește aplicabilitatea ulterioară, descoperirea unei utilizări native pentru una dintre cele mai mari obstacole din revoluția actuală a IA este o abordare proaspătă a tendințelor generale din literatură.

Evaluare deschisă

Importanța abordării, afirmă autorii, constă în faptul că poate fi implementată cu cadre open source. În timp ce un model avansat și cu investiții ridicate, cum ar fi ChatGPT, poate (concediază lucrarea) oferi rezultate mai bune în această sarcină, valoarea reală a literaturii pentru majoritatea noastră (și, în special, pentru comunitățile de hobby și VFX) este posibilitatea de a încorpora și dezvolta noi descoperiri în implementări locale; invers, tot ceea ce este destinat unui sistem API comercial este supus retragerii, majorării arbitrare a prețurilor și politicilor de cenzură care sunt mai probabil să reflecte preocupările corporative ale companiei decât nevoile și responsabilitățile utilizatorului.

Noul articol se intitulează Nu luptați împotriva halucinațiilor, folosiți-le: Estimarea realismului imaginilor utilizând NLI pe fapte atomice și provine de la cinci cercetători de la Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology și companiile rusești MTS AI și AIRI. Lucrarea are o pagină GitHub însoțitoare.

Metodă

Autorii utilizează setul de date WHOOPS! din Israel/SUA pentru proiect:

Exemple de imagini imposibile din setul de date WHOOPS! Este remarcabil modul în care aceste imagini asamblează elemente plauzibile și că imposibilitatea lor trebuie calculată pe baza concatenării acestor aspecte incompatibile. Sursă: https://whoops-benchmark.github.io/

Setul de date cuprinde 500 de imagini sintetice și peste 10.874 de annotări, proiectate în mod special pentru a testa capacitatea de raționament comun și înțelegere compozițională a modelelor de IA. Acesta a fost creat în colaborare cu designeri care au generat imagini provocatoare prin sisteme de text-la-imagine, cum ar fi Midjourney și seria DALL-E – producând scenarii dificile sau imposibile de capturat în mod natural:

Mai multe exemple din setul de date WHOOPS! Sursă: https://huggingface.co/datasets/nlphuji/whoops

Noua abordare funcționează în trei etape: prima, LVLM (în special LLaVA-v1.6-mistral-7b) este solicitat să genereze multiple declarații simple – numite “fapte atomice” – care descriu o imagine. Aceste declarații sunt generate utilizând Diverse Beam Search, asigurând variabilitatea în ieșiri.

Diverse Beam Search produce o varietate mai bună de opțiuni de subtitrare prin optimizarea pentru un obiectiv augmentat cu diversitate. Sursă: https://arxiv.org/pdf/1610.02424

Următoarea etapă constă în compararea sistematică a fiecărei declarații generate cu fiecare altă declarație, utilizând un model de inferență a limbajului natural, care atribuie scoruri care reflectă dacă perechile de declarații implică, contrazic sau sunt neutre una față de cealaltă.

Contradicțiile indică halucinații sau elemente nerealiste în imagine:

Schema pipeline-ului de detectare.

În final, metoda agregă aceste scoruri NLI pereche într-un singur “scor de realitate” care cuantifică coerența generală a declarațiilor generate.

Cercetătorii au explorat diferite metode de agregare, cu o abordare bazată pe clustering care a performant cel mai bine. Autorii au aplicat algoritmul k-means clustering pentru a separa individual scorurile NLI în două cluster, iar centroidul clusterului cu valori mai mici a fost ales ca metrica finală.

Utilizarea a două cluster direct se aliniază cu natura binară a sarcinii de clasificare, adică distingerea imaginilor realiste de cele nerealiste. Logica este similară cu alegerea scorului cel mai mic în general; cu toate acestea, clusteringul permite metricii să reprezinte contradicția medie pe multiple fapte, în loc de a se baza pe o singură valoare outlier.

Date și teste

Cercetătorii au testat sistemul pe setul de date WHOOPS! de referință, utilizând împărțiri rotative de test (de exemplu, validare încrucișată). Modelele testate au fost BLIP2 FlanT5-XL și BLIP2 FlanT5-XXL în împărțiri, și BLIP2 FlanT5-XXL în format zero-shot (adică, fără antrenament suplimentar).

Pentru o bază de urmat a instrucțiunilor, autorii au solicitat LVLM-urilor să răspundă la fraza ‘Este aceasta neobișnuită? Vă rog explicați pe scurt cu o propoziție’, care cercetări anterioare au constatat că este eficientă pentru detectarea imaginilor nerealiste.

Modelele evaluate au fost LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B și două dimensiuni (7/13 miliarde de parametri) de InstructBLIP.

Procedura de testare s-a concentrat pe 102 de perechi de imagini realiste și nerealiste (“ciudate”). Fiecare pereche a fost alcătuită dintr-o imagine normală și o imagine care încalcă logica comună.

Trei annotatori umani au etichetat imaginile, ajungând la un consens de 92%, indicând un acord puternic al oamenilor cu privire la ceea ce constituie “ciudățenie”. Acuratețea metodelor de evaluare a fost măsurată prin capacitatea lor de a distinge corect între imagini realiste și nerealiste.

Sistemul a fost evaluat utilizând validare încrucișată triplă, amestecând datele cu un semn fix. Autorii au ajustat greutățile pentru scorurile de implicare (declarații care sunt de acord logic) și scorurile de contradicție (declarații care se contrazic logic) în timpul antrenamentului, în timp ce scorurile “neutre” au fost fixate la zero. Acuratețea finală a fost calculată ca medie pe toate împărțirile de test.

Comparație între diferite modele NLI și metode de agregare pe un subset de cinci fapte generate, măsurate prin acuratețe.

În ceea ce privește rezultatele inițiale prezentate mai sus, articolul afirmă:

‘Metoda [‘clust’] se remarca ca una dintre cele mai bune performanțe. Acest lucru implică faptul că agregarea tuturor scorurilor de contradicție este crucială, mai degrabă decât a se concentra doar pe valori extreme. În plus, cel mai mare model NLI (nli-deberta-v3-large) depășește toate celelalte pentru toate metodele de agregare, sugerând că captează esența problemei mai eficient.’

Autorii au constatat că greutățile optime au favorizat constant contradicția față de implicare, indicând faptul că contradicțiile au fost mai informative pentru distingerea imaginilor nerealiste. Metoda lor a depășit toate celelalte metode zero-shot testate, apropiindu-se de performanța modelului BLIP2 reglat:

Performanța diferitelor abordări pe setul de date WHOOPS! Metodele reglate (ft) apar în partea superioară, în timp ce metodele zero-shot (zs) sunt listate dedesubt. Dimensiunea modelului indică numărul de parametri, iar acuratețea este utilizată ca metrică de evaluare.

Ei au remarcat, în mod neașteptat, că InstructBLIP a performant mai bine decât modelele LLaVA comparabile, date aceleași instrucțiuni. În timp ce recunosc acuratețea superioară a GPT-4, articolul subliniază preferința autorilor pentru demonstrarea soluțiilor practice și open-source, și, pare-se, poate revendica în mod rezonabil noutatea prin exploatarea explicită a halucinațiilor ca instrument de diagnostic.

Concluzie

Cu toate acestea, autorii recunosc datoria proiectului lor față de FaithScore din 2024, o colaborare între Universitatea din Texas la Dallas și Universitatea Johns Hopkins.

Ilustrarea modului în care funcționează evaluarea FaithScore. Mai întâi, declarațiile descriptive dintr-un răspuns generat de LVLM sunt identificate. Apoi, aceste declarații sunt descompuse în fapte atomice individuale. În final, faptele atomice sunt comparate cu imaginea de intrare pentru a verifica acuratețea lor. Sursă: https://arxiv.org/pdf/2311.01477

FaithScore măsoară fidelitatea descrierilor generate de LVLM prin verificarea consistenței împotriva conținutului imaginii, în timp ce metoda noii lucrări exploatează în mod explicit halucinațiile LVLM pentru a detecta imagini nerealiste prin contradicții în fapte generate utilizând inferența naturală a limbajului.

Noua lucrare este, în mod natural, dependentă de excentricitățile actualelor modele de limbaj, și de tendința lor de a halucina. Dacă dezvoltarea modelului ar duce vreodată la un model complet non-halucinant, chiar și principiile generale ale noii lucrări nu ar mai fi aplicabile. Cu toate acestea, acest lucru rămâne o perspectivă provocatoare.

Publicat pentru prima dată marți, 25 martie 2025