Ridurre le Allucinazioni delle Immagini AI Esagerandole

I modelli di visione di tipo ChatGPT spesso “allucinano” elementi che non appartengono all’immagine. Un nuovo metodo riduce questi errori mostrando al modello versioni esagerate delle proprie allucinazioni, basate su didascalie – e poi chiedendogli di provare di nuovo. Questo approccio non richiede riaddestramento o dati aggiuntivi e può essere applicato a una vasta gamma di modelli e tipi di modelli.

Una nuova pubblicazione della Cina offre una prospettiva interessante sul problema fastidiosamente persistente delle allucinazioni nelle immagini e video generati da AI – elementi che chiaramente non dovrebbero essere presenti nell’immagine, in base alla richiesta e all’input dell’utente.

In sostanza, il sistema prende un’immagine e lascia che il modello la descriva, come di consueto; poi trasforma quella didascalia in una nuova immagine utilizzando un modello di testo-immagine – e qualsiasi oggetto o dettaglio aggiuntivo in questa seconda immagine sarà una rappresentazione diretta delle allucinazioni iniziali del modello. Quindi, confrontando l’immagine originale e quella generata, il sistema indirizza gentilmente il modello lontano da quegli errori la prossima volta che ci prova:

Un’illustrazione di come il nuovo metodo identifica e riduce le allucinazioni nelle didascalie delle immagini. Il modello regolare descrive uccelli che non esistono nell’immagine originale, portando a un’immagine ricostruita che li aggiunge. Questi errori sono segnalati in rosso. Al contrario, il metodo proposto evita questi dettagli inventati mantenendo la didascalia specifica e fluente. Fonte: https://arxiv.org/pdf/2509.21997

Il metodo inizia mostrando al modello immagini reali e facendoglielo descrivere, comprese alcune descrizioni che presentano oggetti o dettagli che non sono effettivamente presenti. Queste didascalie allucinate vengono poi utilizzate per generare immagini sintetiche che rendono più facili da individuare gli errori. Confrontando l’immagine reale e quella generata, il sistema apprende quali pattern interni del modello tendono a produrre contenuti inventati.

Una volta identificati questi pattern di errore, possono essere archiviati e utilizzati in seguito. Quando il modello riceve una nuova immagine, il sistema regola i suoi segnali interni durante la didascalia, indirizzandolo lontano dai pattern noti che causano allucinazioni. Ciò funziona in un’unica passata e non richiede dati aggiuntivi, riaddestramento o nuova generazione di immagini al momento del test.

La Ragnatela Complessa

Nell’esempio mostrato sopra, dal paper, possiamo vedere che l’entanglement è probabilmente responsabile dell’aggiunta di “uccelli” all’immagine di input, anche se la prima immagine sembra non contenere uccelli.

L’entanglement si verifica quando un modello insiste nell’associare certi concetti ad altri concetti, semplicemente perché i due (o più) concetti tendono ad apparire frequentemente insieme nella distribuzione dei dati originali su cui il modello è stato addestrato. In questo caso, il modello potrebbe aver visto molte immagini di aerei+uccelli, causando un’associazione che non si applica all’immagine specifica in questione, ma che comunque si intromette nella didascalia derivata.

Sebbene l’entanglement possa essere mitigato interrompendo l’addestramento in anticipo (il che, in generale, rende il modello massimamente flessibile e adattabile), ciò riduce anche il dettaglio e la risoluzione di tutti i concetti addestrati, lasciando l’addestratore del modello con il dilemma perenne: creare un modello molto flessibile e disentangled; o creare un modello più potente e generativo, ma anche più incline a produrre “allucinazioni associate”?

Se la qualità della didascalia e l’attenzione ai dettagli nella cura dei dati originali per un modello generativo fossero stati migliori di quanto generalmente consentito, le didascalie per tutte le immagini di origine avrebbero descritto ogni oggetto in ogni immagine, in modo che il modello addestrato potesse aver loro assegnato voci discrete e disentangled nel suo spazio latente.

Allo stato attuale, la pratica auto-servizievole di SEO delle didascalie, combinata con il fatto che ad hoc lo scraping web su larga scala rimane la migliore fonte per l’addestramento di modelli generativi veramente potenti, significa che le didascalie delle immagini tendono a cadere notevolmente al di sotto di questo standard:

Un’illustrazione di come le didascalie deboli limitano l’utilità delle immagini LAION per l’addestramento di modelli come Stable Diffusion. Molte delle etichette di testo sono superficiali, vaghe o ottimizzate per SEO piuttosto che per descrizioni accurate, rendendo più difficile per il modello apprendere concetti visivi fine-granulari come i tratti del viso. (La fonte originale era https://rom1504.github.io/, ora non più attiva).

Pertanto, poiché una soluzione fondamentale è improbabile che sia mai praticabile, la riduzione delle allucinazioni LLM/VLM attraverso soluzioni e compromessi è diventata una forte sottocorrente nella letteratura.

La nuova tecnica cinese presentata questa settimana, gli autori affermano, è stata testata su una varietà di architetture in condizioni diverse e potrebbe indicare un modo utile per ridurre l'”inquinamento delle allucinazioni”.

Dicono:

‘Esperienze estensive su più benchmark mostrano che il nostro metodo riduce notevolmente le allucinazioni a livello di oggetto, attributo e relazione, mantenendo allo stesso tempo il richiamo e la ricchezza della didascalia.’

Il nuovo paper si intitola Esponendo le Allucinazioni per Supprimerle: Editing della Rappresentazione VLM con Ancore Generative e proviene da tre ricercatori dell’Università di Scienza e Tecnologia della Cina e dell’Università di Nanjing.

Metodo

Gli autori hanno progettato una pipeline end-to-end, mostrata di seguito, progettata per esporre e sopprimere le allucinazioni nelle didascalie delle immagini:

Un’illustrazione della pipeline completa. Un modello di visione-linguaggio genera prima una didascalia dall’immagine di input, che può includere contenuti allucinati. Questa didascalia viene poi utilizzata per produrre un’immagine ricostruita tramite un modello di testo-immagine, rendendo più facili da individuare le allucinazioni. Le embedding di entrambe le immagini originale e ricostruita vengono estratte e utilizzate per guidare gli aggiustamenti all’interno del decoder, aiutando il modello a sopprimere i dettagli allucinati mantenendo la qualità della didascalia.

Partendo da un’immagine di input reale, un modello di visione-linguaggio genera una didascalia descrittiva che può contenere oggetti o relazioni inventati. Questa didascalia viene poi inserita in un generatore di testo-immagine per creare un’immagine ricostruita che mostra esattamente ciò che la didascalia descrive. Confrontando questa immagine ricostruita con l’originale, il sistema rende il contenuto inventato ovvio e misurabile, trasformando errori sottili nel testo in differenze visibili che il sistema può targettare e ridurre.

Per guidare il modello lontano dall'”inventare” dettagli, il sistema confronta due versioni della stessa immagine: l’originale e una ricostruita basata sulla didascalia. Ogni immagine viene convertita in una compact embedding che cattura il suo contenuto.

L’immagine originale agisce come riferimento affidabile, mentre quella ricostruita evidenzia dove le allucinazioni potrebbero essersi insinuate. Aggiustando le sue rappresentazioni interne per avvicinarsi all’originale e allontanarsi dalla ricostruita, il modello apprende a correggersi automaticamente. Poiché questo processo non si basa su regole hand-tune o dati esterni, rimane completamente self-supervised.

Il paper afferma:

‘Le allucinazioni nei MLLM sono intrinsecamente difficili da rilevare perché sono linguisticamente ben formate e spesso indistinguibili da descrizioni fedeli a livello di testo. La discrepanza non risiede nella plausibilità linguistica, ma nel disallineamento con l’evidenza visiva, alla quale il modello stesso è tipicamente insensibile.

‘Per affrontare questo, introduciamo un meccanismo di esposizione delle allucinazioni che sfrutta la ricostruzione generativa per convertire le incoerenze implicite in segnali espliciti e osservabili.’

Dato un’immagine di input e la sua didascalia, il sistema utilizza il modello di testo-immagine FLUX.1-dev per ricreare un’immagine dalla didascalia sola. Questa immagine ricreata tende ad esagerare il significato della didascalia, rendendo più ovvi eventuali dettagli falsi. Questi errori amplificati servono poi come segnali utili che aiutano il modello a riconoscere e correggere i propri errori.

Per testare il loro approccio, gli autori hanno iniettato allucinazioni nelle didascalie e utilizzato il modello di testo-immagine per generare immagini ricostruite. Queste immagini sono state poi rididascritte da LLaVA, e la somiglianza semantica tra le didascalie originali e allucinate è stata valutata:

Un’illustrazione di come il meccanismo di amplificazione delle allucinazioni rende visibili gli errori sottili. Ogni punto mostra la somiglianza tra le didascalie delle immagini originali e ricostruite per ogni coppia di immagine-didascalia. La linea arancione rappresenta la somiglianza misurata direttamente tra le didascalie originali e allucinate, che rimane alta e maschera gli errori piccoli; la linea blu rappresenta la somiglianza dopo la ricostruzione, che scende bruscamente, mostrando che il processo trasforma gli errori nascosti in marcatori semantici chiari che possono essere rilevati e corretti.

La somiglianza scende bruscamente dopo la ricostruzione, mostrando che il processo rende gli errori sottili più rilevabili.

Dati e Test

La validazione dell’efficacia del nuovo metodo ha coinvolto l’utilizzo di tre benchmark appropriati: Valutazione delle Allucinazioni delle Didascalie con Rilevanza dell’Immagine (CHAIR); Valutazione dei MLLM (MME); e Valutazione dell’Indagine degli Oggetti basata su Pooling (POPE).

Dalla carta di rilascio di CHAIR: esempi di oggetti allucinati generati da due sistemi di didascalia leader, TopDown e NBT, dove ogni modello inventa elementi visivi non presenti nell’immagine, come laptop, lavandini o surfboard. Fonte: https://arxiv.org/pdf/1809.02156

Metriche standard come tasso di allucinazione o richiamo possono essere ingannevoli, poiché un modello potrebbe evitare le allucinazioni semplicemente producendo didascalie brevi o vaghe. Per controbilanciare il compromesso tra richiamo e allucinazione, è stato utilizzato un metrica combinata chiamata Allucinazione e Richiamo (HAR@β), che valuta le didascalie in base sia all’accuratezza che alla completezza, e che consente di regolare l’equilibrio a seconda che evitare errori o includere più dettagli sia più importante.

POPE è stato utilizzato per valutare le allucinazioni degli oggetti sensibili al contesto, e MME per valutare le allucinazioni a livello di attributo, entrambi inquadrati come compiti di giudizio sì/no.

Gli esperimenti sono stati condotti su dataset rappresentativi diversi, utilizzando il modello Flux e la variante LLaVA-v1.5-7B. I dataset utilizzati sono stati Microsoft COCO; A-OKVQA; e GQA.

L’editing latente è stato condotto per il secondo livello dei modelli, in conformità con lavori precedenti correlati, mentre i parametri e la temperatura sono stati coerenti su tutti i modelli.

I risultati iniziali su CHAIR sono presentati di seguito:

Prestazioni sul benchmark CHAIR per la mitigazione delle allucinazioni, valutate utilizzando più metriche.

Su questi risultati, gli autori commentano:

‘Il nostro metodo supera costantemente le altre baseline sia su CHAIR_S che su CHAIR_I, dimostrando la sua efficacia superiore nel sopprimere le allucinazioni. Nel frattempo, sebbene quasi tutti i metodi riducano inevitabilmente il richiamo mentre sopprimono le allucinazioni, riflettendo un compromesso tra fedeltà e completezza, il nostro approccio ottiene la minima riduzione.

‘Ciò dimostra che il nostro metodo cattura un’ampia gamma di oggetti di verità fondamentale. Con la metrica HAR@β, il nostro metodo ottiene il punteggio più alto, evidenziando la sua capacità di ridurre le allucinazioni mantenendo la copertura.’

I ricercatori attribuiscono questi risultati solidi all’impostazione di doppia supervisione, in cui la semantica pulita dell’immagine originale è stata rafforzata, mentre i segnali fuorvianti dell’immagine ricostruita sono stati soppressi. Poiché l’aggiustamento ha mirato solo alla direzione associata alle allucinazioni, il resto della rappresentazione è stato lasciato intatto, consentendo al sistema di correggere gli errori senza sacrificare dettagli o completezza.

Confronto delle prestazioni sul benchmark POPE sotto diverse configurazioni e dataset.

Riguardo ai risultati su POPE, mostrati nella tabella dei risultati sopra, il paper afferma:

‘È possibile osservare che il nostro metodo raggiunge costantemente le migliori prestazioni in tutte le impostazioni. Notabilmente, il nostro metodo può raggiungere fino al +5,95% di accuratezza e +6,85% di punteggio F1 in media, superando di gran lunga gli altri approcci senza addestramento.

‘Pertanto, questi risultati dimostrano che il nostro metodo fornisce una soluzione affidabile e generalizzabile su diversi livelli di difficoltà.’

Dalla terza sessione di test, confronto delle prestazioni su MME.

Il test finale principale è stato su MME, con i risultati mostrati sopra. Tuttavia, tra le altre omissioni, menziona il metodo ‘OPERA’, che non è definito da nessuna parte nel paper principale o nell’appendice. Sebbene gli autori affermino prestazioni solide su MME, senza definizioni adeguate dei metodi, forse dovremmo fermarci a questo punto della sezione dei risultati.

Un’illustrazione dal benchmark MME utilizzando LLaVA-v1.5-7B, mostrando come il modello di base produca una risposta allucinata mentre il metodo proposto dà la risposta corretta, con l’immagine ricostruita che rende l’allucinazione più evidente.

Conclusione

Sebbene questo paper sia chiaramente affrettato e soffra della mancanza di struttura, focus e chiarezza che è diventata sempre più evidente nella letteratura negli ultimi 12 mesi (forse non non correlata all’uso crescente dell’AI nella ricerca accademica), il meccanismo centrale presentato rimane ingegnoso.

Sebbene questo approccio end-to-end non richieda riaddestramento e sembri applicabile a una vasta gamma di architetture, sarebbe stato interessante vedere più candidati di test; e deve anche essere considerato che un sistema intermedio di questo tipo introdurrà almeno una certa latenza e un certo requisito di potenza aggiuntivo – non un problema da poco in scala.

* Insolitamente, il corpo principale di questo paper presenta risultati con titoli che sono spiegati solo nel materiale dell’appendice e non nel paper principale – un cattivo comportamento sempre più comune nella letteratura, poiché i ricercatori cercano di limitare la tesi centrale a 8-9 pagine, anche quando il materiale non lo consente. In ogni caso, il benchmark CHAIR, utilizzato per valutare le allucinazioni degli oggetti nelle didascalie, si basava su un subset di 500 immagini di MSCOCO da un lavoro precedente. Due forme sono state utilizzate: CHAIR_S, che misura quanto spesso le allucinazioni appaiono in una didascalia data; e CHAIR_I, che misura quanti degli oggetti menzionati sono allucinati. HAR@β, introdotto nel paper principale, è stato definito come una combinazione di stile F_β di soppressione delle allucinazioni e richiamo degli oggetti.

Pubblicato per la prima volta martedì, 30 settembre 2025