Utilizzare le Allucinazioni dell’AI per Valutare la Realismo delle Immagini

Una nuova ricerca proveniente dalla Russia propone un metodo non convenzionale per rilevare immagini generate da AI non realistiche – non migliorando l’accuratezza dei modelli di visione-linguaggio (LVLM) di grandi dimensioni, ma sfruttando intenzionalmente la loro tendenza ad allucinare.

L’approccio innovativo estrae più “fatti atomici” su un’immagine utilizzando LVLM, quindi applica inferenza linguistica naturale (NLI) per misurare sistematicamente le contraddizioni tra queste affermazioni – effettivamente trasformando i difetti del modello in uno strumento diagnostico per rilevare immagini che sfidano il buon senso.

Due immagini dal set di dati WHOOPS! accanto a dichiarazioni generate automaticamente dal modello LVLM. L’immagine a sinistra è realistica, portando a descrizioni coerenti, mentre l’immagine insolita a destra causa allucinazioni del modello, producendo dichiarazioni contraddittorie o false. Fonte: https://arxiv.org/pdf/2503.15948

Chiesto di valutare la realismo della seconda immagine, il modello LVLM può vedere che qualcosa non va, poiché il cammello rappresentato ha tre gobbe, cosa sconosciuta in natura.

Tuttavia, il modello LVLM inizialmente confonde >2 gobbe con >2 animali, poiché questo è l’unico modo per vedere tre gobbe in una “foto di cammello”. Quindi procede ad allucinare qualcosa di ancora più improbabile di tre gobbe (ad esempio, “due teste”) e non dettaglia l’elemento che sembra aver scatenato i suoi sospetti – l’improbabile gobba extra.

I ricercatori del nuovo lavoro hanno scoperto che i modelli LVLM possono eseguire questo tipo di valutazione in modo nativo, e su un piano paragonabile (o superiore) ai modelli che sono stati ottimizzati per un compito di questo tipo. Poiché l’ottimizzazione è complicata, costosa e piuttosto fragile in termini di applicabilità downstream, la scoperta di un uso nativo per uno dei più grandi ostacoli nella rivoluzione dell’AI attuale è una svolta rinfrescante rispetto alle tendenze generali nella letteratura.

Valutazione Aperta

L’importanza dell’approccio, affermano gli autori, è che può essere distribuito con framework open source. Mentre un modello avanzato e ad alto investimento come ChatGPT può (il documento ammette) potenzialmente offrire risultati migliori in questo compito, il valore reale della letteratura per la maggior parte di noi (e specialmente per le comunità di hobbyisti e VFX) è la possibilità di incorporare e sviluppare nuove scoperte in implementazioni locali; al contrario, tutto ciò che è destinato a un sistema API commerciale proprietario è soggetto a ritiro, aumenti di prezzo arbitrari e politiche di censura che sono più probabili riflettere le preoccupazioni aziendali che le esigenze e le responsabilità degli utenti.

Il nuovo documento si intitola Non Combattere le Allucinazioni, Usale: Stima della Realismo delle Immagini utilizzando NLI su Fatti Atomici e proviene da cinque ricercatori di Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, e delle aziende russe MTS AI e AIRI. Il lavoro ha una pagina GitHub accompagnatoria.

Metodo

Gli autori utilizzano il set di dati WHOOPS! per il progetto:

Esempi di immagini impossibili dal set di dati WHOOPS! È notevole come queste immagini assemblino elementi plausibili e che la loro improbabilità debba essere calcolata in base alla concatenazione di questi aspetti incompatibili. Fonte: https://whoops-benchmark.github.io/

Il set di dati comprende 500 immagini sintetiche e oltre 10.874 annotazioni, progettate specificamente per testare la capacità di ragionamento del buon senso e la comprensione compositiva dei modelli AI. È stato creato in collaborazione con designer incaricati di generare immagini impegnative tramite sistemi di testo-immagine come Midjourney e la serie DALL-E – producendo scenari difficili o impossibili da catturare naturalmente:

Ulteriori esempi dal set di dati WHOOPS! Fonte: https://huggingface.co/datasets/nlphuji/whoops

Il nuovo approccio funziona in tre fasi: prima, il modello LVLM (specificamente LLaVA-v1.6-mistral-7b) è sollecitato a generare più dichiarazioni semplici – chiamate “fatti atomici” – che descrivono un’immagine. Queste dichiarazioni sono generate utilizzando Diverse Beam Search, assicurando variabilità nei risultati.

Diverse Beam Search produce una migliore varietà di opzioni di didascalia ottimizzando per un obiettivo aumentato della diversità. Fonte: https://arxiv.org/pdf/1610.02424

Successivamente, ogni dichiarazione generata viene sistematicamente confrontata con ogni altra dichiarazione utilizzando un modello di inferenza linguistica naturale, che assegna punteggi che riflettono se le coppie di dichiarazioni implicano, contraddicono o sono neutrali l’una rispetto all’altra.

Le contraddizioni indicano allucinazioni o elementi irrealistici all’interno dell’immagine:

Schema per il pipeline di rilevamento.

Infine, il metodo aggrega questi punteggi NLI in coppia in un singolo “punteggio di realtà” che quantifica la coerenza generale delle dichiarazioni generate.

I ricercatori hanno esplorato diversi metodi di aggregazione, con un approccio basato sul clustering che si è rivelato il migliore. Gli autori hanno applicato l’algoritmo k-means clustering per separare i singoli punteggi NLI in due cluster, e il centroid del cluster con valori più bassi è stato scelto come metrica finale.

Utilizzare due cluster si allinea direttamente con la natura binaria del compito di classificazione, ovvero distinguere immagini realistiche da quelle irrealistiche. La logica è simile a scegliere semplicemente il punteggio più basso in generale; tuttavia, il clustering consente alla metrica di rappresentare la contraddizione media tra più fatti, piuttosto che affidarsi a un singolo valore anomalo.

Dati e Test

I ricercatori hanno testato il loro sistema sul benchmark di base WHOOPS!, utilizzando set di test rotanti (ad esempio, cross-validazione). I modelli testati sono stati BLIP2 FlanT5-XL e BLIP2 FlanT5-XXL in split, e BLIP2 FlanT5-XXL in formato zero-shot (ovvero, senza ulteriore addestramento).

Per un baseline di follow-up delle istruzioni, gli autori hanno sollecitato i modelli LVLM con la frase ‘È insolito? Per favore spiega brevemente con una frase breve’, che ricerche precedenti hanno trovato efficace per rilevare immagini irrealistiche.

I modelli valutati sono stati LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, e due dimensioni (7/13 miliardi di parametri) di InstructBLIP.

La procedura di testing è stata centrata su 102 paia di immagini realistiche e irrealistiche (‘strane’). Ogni paio era composto da un’immagine normale e da un’immagine che viola il buon senso.

Tre annotatori umani hanno etichettato le immagini, raggiungendo un consenso del 92%, indicando un forte accordo umano su cosa costituisse ‘stranezza’. L’accuratezza dei metodi di valutazione è stata misurata dalla loro capacità di distinguere correttamente tra immagini realistiche e irrealistiche.

Il sistema è stato valutato utilizzando una cross-validazione a tre fold, shufflando i dati con un seed fisso. Gli autori hanno regolato i pesi per i punteggi di implicazione (dichiarazioni che logicamente concordano) e i punteggi di contraddizione (dichiarazioni che logicamente confliggono) durante l’addestramento, mentre i punteggi ‘neutrali’ sono stati fissati a zero. L’accuratezza finale è stata calcolata come la media su tutti i set di test.

Confronto tra diversi modelli NLI e metodi di aggregazione su un subset di cinque fatti generati, misurato dall’accuratezza.

Riguardo ai risultati iniziali mostrati sopra, il documento afferma:

‘Il metodo [‘clust’] si distingue come uno dei migliori. Ciò implica che l’aggregazione di tutti i punteggi di contraddizione sia cruciale, piuttosto che concentrarsi solo sui valori estremi. Inoltre, il modello NLI più grande (nli-deberta-v3-large) supera tutti gli altri per tutti i metodi di aggregazione, suggerendo che cattura meglio l’essenza del problema.’

Gli autori hanno trovato che i pesi ottimali favorivano costantemente la contraddizione rispetto all’implicazione, indicando che le contraddizioni erano più informative per distinguere immagini irrealistiche. Il loro metodo ha superato tutti gli altri metodi zero-shot testati, avvicinandosi da vicino alle prestazioni del modello BLIP2 ottimizzato:

Prestazioni di diversi approcci sul benchmark WHOOPS! I metodi ottimizzati (ft) appaiono in cima, mentre i metodi zero-shot (zs) sono elencati sotto. La dimensione del modello indica il numero di parametri e l’accuratezza è utilizzata come metrica di valutazione.

Hanno anche notato, inaspettatamente, che InstructBLIP ha performato meglio dei modelli LLaVA comparabili dati gli stessi prompt. Riconoscendo la superiorità dell’accuratezza di GPT-4o, il documento sottolinea la preferenza degli autori per dimostrare soluzioni pratiche e open-source, e, sembra, può ragionevolmente affermare la novità nello sfruttare esplicitamente le allucinazioni come strumento diagnostico.

Conclusione

Tuttavia, gli autori riconoscono il debito del loro progetto verso il lavoro FaithScore del 2024, una collaborazione tra l’Università del Texas a Dallas e l’Università Johns Hopkins.

Illustrazione di come funziona la valutazione FaithScore. In primo luogo, le dichiarazioni descrittive all’interno di una risposta generata da LVLM vengono identificate. Successivamente, queste dichiarazioni vengono suddivise in singoli fatti atomici. Infine, i fatti atomici vengono confrontati con l’immagine di input per verificare la loro accuratezza. Fonte: https://arxiv.org/pdf/2311.01477

FaithScore misura la fedeltà delle descrizioni generate da LVLM verificando la coerenza rispetto al contenuto dell’immagine, mentre il nuovo lavoro sfrutta esplicitamente le allucinazioni di LVLM per rilevare immagini irrealistiche attraverso le contraddizioni nei fatti generati utilizzando l’inferenza linguistica naturale.

Il nuovo lavoro dipende naturalmente dalle eccentricità degli attuali modelli linguistici e dalla loro tendenza ad allucinare. Se lo sviluppo del modello dovesse mai produrre un modello completamente non allucinante, anche i principi generali del nuovo lavoro non sarebbero più applicabili. Tuttavia, questo rimane un prospetto impegnativo.

Pubblicato per la prima volta martedì, 25 marzo 2025