Reducerea halucinațiilor de imagine AI prin exagerarea lor

Modelele de viziune de tip ChatGPT adesea “halucinează” elemente care nu aparțin imaginii. O nouă metodă reduce aceste erori prin prezentarea modelului a versiunilor exagerate ale propriilor halucinații, pe baza legendelor – și apoi cerându-i să încerce din nou. Acestă abordare nu implică reantrenarea sau nevoia de date suplimentare și poate fi aplicată unei game largi de modele și tipuri de modele.

O nouă publicație din China oferă o abordare interesantă a problemei enervante și persistente a halucinațiilor în imagini și videouri generate de IA – elemente care nu ar trebui să fie în imagine, pe baza cererii și intrărilor utilizatorului.

În esență, sistemul ia o imagine și lasă modelul să o descrie, ca de obicei; apoi transformă legenda într-o nouă imagine utilizând un model de text-la-imagine – și orice obiecte sau detalii suplimentare din această a doua imagine vor fi reprezentări directe ale halucinațiilor inițiale ale modelului. Apoi, prin compararea imaginilor originale și generate, sistemul îl îndrumă pe model să se îndepărteze de aceste erori data viitoare când încearcă:

O ilustrare a modului în care noua metodă identifică și reduce halucinațiile în legende de imagine. Modelul obișnuit descrie păsări care nu există în imaginea originală, conducând la o imagine reconstruită care le adaugă. Aceste erori sunt marcate în roșu. În schimb, metoda propusă evită aceste detalii inventate, păstrând legenda specifică și fluentă. Sursă: https://arxiv.org/pdf/2509.21997

Metoda începe prin prezentarea modelului imagini reale și făcându-l să le descrie, inclusiv unele descrieri care conțin obiecte sau detalii care nu sunt de fapt prezente. Aceste legende halucinate sunt apoi utilizate pentru a genera imagini sintetice care fac erorile mai ușor de detectat. Prin compararea imaginilor reale și generate, sistemul învață care sunt modelele interne din model care tind să producă conținut inventat.

Once aceste modele de erori sunt identificate, ele pot fi stocate și utilizate ulterior. Când modelul primește o imagine nouă, sistemul va ajusta semnalele interne în timpul generării legendei, îndrumându-l să se îndepărteze de modelele cunoscute care cauzează halucinații. Acest lucru funcționează într-o singură trecere și nu necesită date suplimentare, reantrenare sau generare de imagini noi la momentul testării.

Rețeaua Încâlcită

În exemplul prezentat mai sus, din lucrare, putem vedea că încâlcirea este probabil responsabilă pentru adăugarea de “păsări” în imaginea de intrare, chiar dacă prima imagine pare să nu conțină păsări.

Încâlcirea apare atunci când un model insistă să asocieze anumite concepte cu alte concepte, pur și simplu pentru că aceste concepte (sau mai multe) tind să apară frecvent împreună în distribuția de date originală pe care modelul a fost antrenat. În acest caz, modelul poate fi văzut multe imagini cu avioane+păsări, ceea ce a condus la o asociere care nu se aplică imaginii particulare, dar care totuși intră în legenda derivată.

Deși încâlcirea poate fi mitigată prin oprirea antrenamentului mai devreme (care, în general, face modelul maxim flexibil și adaptabil), acest lucru reduce și detaliile și rezoluția tuturor conceptelor antrenate, lăsând antrenorul modelului cu dilema perpetuă: creați un model care să fie foarte flexibil și dezîncâlcit; sau creați un model care să fie mai puternic generativ, dar și mai probabil să producă “asocieri” halucinate?

Dacă calitatea legendelor și atenția la detalii în ceea ce privește curarea datelor originale pentru un model generativ ar fi fost mai bună decât logistica obișnuită, legende pentru toate imaginile sursă ar fi descris toate obiectele din fiecare imagine, astfel încât modelul antrenat să poată aloca obiecte discrete și dezîncâlcite în spațiul său latent.

În acest moment, practica auto-servitoare de optimizare pentru motoare de căutare a legendelor, combinată cu faptul că ad hoc extragerea de date la scară largă de pe web rămâne cea mai bună sursă pentru antrenarea unor modele generative puternice, înseamnă că legende de imagini tind să fie departe de acest standard:

O ilustrare a modului în care legende slabe limitează utilitatea imaginilor LAION pentru antrenarea modelelor precum Stable Diffusion. Multe dintre etichetele de text sunt superficiale, vagi sau optimizate pentru motoare de căutare, mai degrabă decât o descriere precisă, ceea ce face dificilă învățarea de către model a unor concepte vizuale fine, cum ar fi trăsăturile faciale. (Sursa originală a fost https://rom1504.github.io/, acum întreruptă).

Prin urmare, deoarece o soluție fundamentală este puțin probabilă să fie vreodată practică, reducerea halucinațiilor LLM/VLM prin soluții și compromisuri a devenit o sub-ramură puternică în literatură.

Technica chineză nouă prezentată în această săptămână, autorii afirmă, a fost testată pe o varietate de arhitecturi în condiții diverse și ar putea indica o modalitate utilă de reducere a “poluării cu halucinații”.

Ei spun:

‘Experimentele extinse pe multiple benzi de testare arată că metoda noastră reduce semnificativ halucinațiile la nivelul obiectelor, atribute și relații, păstrând în mare măsură rechemarea și bogăția legendelor.’

‘Lucrarea noastră se intitulează Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors și provine de la trei cercetători de la Universitatea Științei și Tehnologiei din China și Universitatea Nanjing.

Metoda

Autorii au conceput o linie de conductă de la capăt la capăt, prezentată mai jos, destinată să expună și să suprime halucinațiile în legende de imagine:

O ilustrare a liniei de conductă complete. Un model de viziune-lingvistică generează mai întâi o legendă din imaginea de intrare, care poate conține conținut halucinat. Această legendă este apoi utilizată pentru a produce o imagine reconstruită prin intermediul unui model de text-la-imagine, făcând ca orice halucinații să fie mai ușor de detectat. Încorporările din ambele imagini originale și reconstruite sunt extrase și utilizate pentru a ghida ajustările în decodificator, ajutând modelul să suprime detalii halucinate, păstrând în același timp calitatea legendei.

Începând de la o imagine reală de intrare, un model de viziune-lingvistică generează o legendă descriptivă care poate conține obiecte sau relații inventate. Această legendă este apoi introdusă într-un generator de text-la-imagine pentru a crea o imagine reconstruită care arată exact ceea ce descrie legenda. Compararea acestei imagini reconstruite cu imaginea originală face conținutul fals evident și măsurabil, transformând erorile subtile din text în diferențe vizibile pe care sistemul le poate detecta și corecta.

Pentru a îndruma modelul să se îndepărteze de “inventarea” detaliilor, sistemul compară două versiuni ale aceleiași imagini: imaginea originală și una reconstruită pe baza legendei. Fiecare imagine este transformată într-o încorporare compactă care captează conținutul său.

Imaginea originală acționează ca o referință de încredere, în timp ce imaginea reconstruită evidențiază unde halucinațiile ar fi putut pătrunde. Prin ajustarea reprezentărilor interne pentru a se apropia de imaginea originală și a se îndepărta de cea reconstruită, modelul învață să se corecteze automat. Deoarece acest proces nu se bazează pe reguli hand-tune sau date externe, rămâne pe deplin auto-supervizat.

Lucrarea afirmă:

‘Halucinațiile în MLLM sunt intrinsec dificil de detectat, deoarece sunt lingvistic bine-formate și adesea indistincte de descrieri credibile la nivelul textului. Discordia nu se află în plauzibilitatea limbajului, ci în neconcordanța cu dovezi vizuale, la care modelul însuși este de obicei insensibil. ‘

‘Pentru a aborda acest lucru, introducem un mecanism de expunere a halucinațiilor care utilizează reconstrucția generativă pentru a converti inconsistențe implicite în semnale explicite și observabile.’

Dat o imagine de intrare și o legendă, sistemul utilizează modelul de text-la-imagine FLUX.1-dev pentru a recrea o imagine din legendă. Această imagine reconstruită are tendința de a exagera sensul legendei, făcând orice detalii false mai evidente. Aceste erori amplificate servesc apoi ca semnale utile care ajută modelul să-și recunoască și să-și corecteze propriile erori.

Pentru a testa abordarea lor, autorii au injectat halucinații în legende și au utilizat modelul de text-la-imagine pentru a genera imagini reconstruite. Aceste imagini au fost apoi recaptionate de LLaVA, și a fost evaluată similaritatea semantică între legenda originală și cea halucinată:

O ilustrare a modului în care mecanismul de amplificare a halucinațiilor face erorile subtile vizibile. Fiecare punct arată similaritatea dintre legende ale imaginilor originale și reconstruite pentru o pereche de imagine-legendă. Linia portocalie reprezintă similaritatea măsurată direct între legenda originală și cea halucinată, care rămâne ridicată și maschează erorile mici; linia albastră reprezintă similaritatea după reconstrucție, care scade brusc, arătând că procesul transformă halucinații ascunse în marcaje semantice clare care pot fi detectate și corectate.

Similaritatea scade brusc după reconstrucție, arătând că procesul face erorile subtile mai detectabile.

Date și Teste

Validarea eficacității noii metode a implicat utilizarea a trei benzi de testare potrivite: Evaluarerea Halucinațiilor de Legendă cu Relevanță de Imagine (CHAIR); Evaluarerea MLLM (MME); și Evaluarerea prin Îmbinare a Obiectelor (POPE).

Din lucrarea de lansare a CHAIR: exemple de obiecte halucinate generate de două sisteme de captionare de top, TopDown și NBT, unde fiecare model inventează elemente vizuale care nu sunt de fapt prezente în imagine, cum ar fi laptopuri, chiuvete sau plăci de surf. Sursă: https://arxiv.org/pdf/1809.02156

Metricile standard, cum ar fi rata halucinațiilor sau rechemarea, pot fi înșelătoare, deoarece un model ar putea evita halucinațiile prin producerea de legende scurte sau vagi. Pentru a lua în considerare compromisul dintre rechemare și halucinații, a fost utilizat un metric combinat numit Halucinații și Rechemare (HAR@β), care evaluează legende pe baza atât a acurateței, cât și a completitudinii, și care permite ajustarea echilibrului în funcție de importanța evitării erorilor sau a includerii mai multor detalii.

POPE a fost utilizat pentru a evalua halucinațiile contextuale de obiect, iar MME pentru a evalua halucinațiile la nivel de atribute, ambele fiind formulate ca sarcini de judecată da/nu.

Experimentele au fost efectuate pe seturi de date diverse, utilizând modelul Flux și varianta LLaVA-v1.5-7B. Seturile de date utilizate au fost Microsoft COCO; A-OKVQA; și GQA.

Ediția latentă a fost efectuată pentru al doilea strat al modelelor, în conformitate cu lucrări anterioare, în timp ce hiperparametrii și temperatura au fost constanți pentru toate modelele.

Rezultatele inițiale pe CHAIR sunt prezentate mai jos:

Performanță pe benchmark-ul CHAIR pentru reducerea halucinațiilor, evaluată utilizând multiple metrici.

Dintre aceste rezultate, autorii comentează:

‘Metoda noastră performează constant mai bine decât celelalte linii de bază pe ambele CHAIR_S și CHAIR_I, demonstrând eficacitatea sa superioară în suprimarea halucinațiilor. În același timp, deși aproape toate metodele reduc rechemarea în timp ce suprimă halucinațiile, reflectând un compromis între fidelitate și informativitate, abordarea noastră realizează cea mai mică scădere. ‘

‘Acest lucru demonstrează că metoda noastră captează o gamă largă de obiecte reale. Cu metrica HAR@β, metoda noastră obține cel mai ridicat scor, subliniind capacitatea sa de a reduce halucinațiile, păstrând în același timp acoperirea.’

Cercetătorii atribuie aceste rezultate puternice dispozitivului de supraveghere duală, în care semantica curată din imaginea originală a fost consolidată, în același timp cu suprimarea semnalelor înșelătoare din imaginea reconstruită. Deoarece ajustarea a vizat doar direcția asociată cu halucinațiile, restul reprezentării a fost lăsat intact, permițând sistemului să corecteze erorile fără a sacrifica detalii sau informativitate.

Compararea performanței pe benchmark-ul POPE sub diverse configurații și seturi de date.

În ceea ce privește rezultatele pe POPE, prezentate în tabelul de mai sus, lucrarea afirmă:

‘Se poate observa că metoda noastră obține în mod constant cea mai bună performanță în toate configurațiile. În special, metoda noastră poate obține până la +5,95% acuratețe și +6,85% scor F1 în medie, depășind alte abordări fără antrenare cu o marjă semnificativă. ‘

‘Prin urmare, aceste rezultate demonstrează că metoda noastră oferă o soluție fiabilă și generalizabilă la diferite niveluri de dificultate.’

Din a treia rundă de testare, compararea performanței pe MME.

Ultimul test principal a fost pe MME, cu rezultatele prezentate mai sus. Cu toate acestea, printre alte omisiuni, menționează metoda “OPERA”, care nu este definită nicăieri în lucrarea principală sau în apendice. Deși autorii afirmă o performanță puternică pe MME, fără definiții adecvate ale metodelor, ar trebui să lăsăm secțiunea de rezultate la acest punct.

O ilustrare din benchmark-ul MME, utilizând LLaVA-v1.5-7B, arătând cum modelul de bază a produs un răspuns halucinat, în timp ce metoda propusă a oferit răspunsul corect, cu imaginea reconstruită făcând halucinația mai evidentă.

Concluzie

Deși această lucrare este clar grăbită și suferă de lipsa de structură, focalizare și claritate, care a devenit din ce în ce mai evidentă în literatură în ultimele 12 luni (poate nu neapărat legat de utilizarea în creștere a IA în cercetarea academică), mecanismul central prezentat rămâne ingenios.

Deși această abordare de la capăt la capăt nu necesită reantrenare și pare aplicabilă pe o gamă largă de arhitecturi, ar fi fost interesant să vedem mai mulți candidați de test; și trebuie luat în considerare că un sistem intermediar de acest fel va introduce, cel puțin, o latență și o anumită cerință de putere suplimentară – nu o problemă minoră la scară.

* Neconvențional, corpul principal al acestei lucrări prezintă rezultate cu titluri care sunt explicate doar în materialul apendice, și nu în lucrarea principală – o obișnuință din ce în ce mai frecventă în literatură, pe măsură ce cercetătorii încearcă să limiteze teza centrală la 8-9 pagini, chiar și atunci când materialul nu permite acest lucru. În orice caz, benchmark-ul CHAIR, utilizat pentru a evalua halucinațiile de obiect în legende, a fost bazat pe un subset de 500 de imagini MSCOCO dintr-o lucrare anterioară. Două forme au fost utilizate: CHAIR_s, măsurând cât de des apar halucinații într-o legendă dată; și CHAIR_I, măsurând câte dintre obiectele menționate au fost halucinate. HAR@β, introdus în lucrarea principală, a fost definit ca o combinație de tip F_β a suprimării halucinațiilor și a rechemării obiectelor.

Publicat pentru prima dată marți, 30 septembrie 2025