Sfruttare l’attenzione umana per migliorare le immagini generate dall’AI

Una nuova ricerca proveniente dalla Cina ha proposto un metodo per migliorare la qualità delle immagini generate dai modelli di diffusione latente (LDM) come Stable Diffusion.

Il metodo si concentra sull’ottimizzazione delle aree salienti di un’immagine – aree più probabili di attirare l’attenzione umana.

La nuova ricerca ha scoperto che le mappe di salienza (quarta colonna da sinistra) possono essere utilizzate come filtro o ‘maschera’ per guidare il locus dell’attenzione nei processi di denoising verso aree dell’immagine che gli esseri umani sono più probabili di notare. Fonte: https://arxiv.org/pdf/2410.10257

I metodi tradizionali ottimizzano l’intera immagine in modo uniforme, mentre il nuovo approccio sfrutta un rilevatore di salienza per identificare e priorizzare aree più ‘importanti’, come fanno gli esseri umani.

Nei test quantitativi e qualitativi, il metodo dei ricercatori è stato in grado di superare i modelli di diffusione basati su priori, sia in termini di qualità dell’immagine che di fedeltà ai prompt di testo.

Il nuovo approccio ha anche ottenuto il miglior punteggio in un test di percezione umana con 100 partecipanti.

Selezione Naturale

La salienza, la capacità di priorizzare le informazioni nel mondo reale e nelle immagini, è una parte essenziale della visione umana.

Un semplice esempio di ciò è l’aumento dell’attenzione ai dettagli che l’arte classica assegna ad aree importanti di un dipinto, come il viso in un ritratto o gli alberi di una nave in un soggetto marino; in tali esempi, l’attenzione dell’artista converge sull’oggetto centrale, significando che i dettagli più ampi come lo sfondo di un ritratto o le onde lontane di una tempesta sono più approssimativi e rappresentativi che dettagliati.

Informata da studi umani, sono emersi metodi di apprendimento automatico negli ultimi dieci anni che possono replicare o almeno approssimare questo locus di interesse umano in qualsiasi immagine.

La segmentazione degli oggetti (segmentazione semantica) può essere un aiuto per individuare aspetti di un’immagine e sviluppare mappe di salienza corrispondenti. Fonte: https://arxiv.org/pdf/1312.6034

Nella letteratura di ricerca, il rilevatore di salienza più popolare negli ultimi cinque anni è stato il 2016 Gradient-weighted Class Activation Mapping (Grad-CAM) che in seguito è evoluto nel migliorato Grad-CAM++ sistema, tra altre varianti e raffinamenti.

Grad-CAM utilizza l’attivazione del gradiente di un token semantico (come ‘cane’ o ‘gatto’) per produrre una mappa visiva di dove il concetto o l’annotazione sembra probabile essere rappresentato nell’immagine.

Esempi dal paper originale di Grad-CAM. Nella seconda colonna, la backpropagation guidata individua tutte le caratteristiche contribuenti. Nella terza colonna, le mappe semantiche sono disegnate per i due concetti ‘cane’ e ‘gatto’. La quarta colonna rappresenta la concatenazione delle due inferenze precedenti. La quinta, la mappa di occlusione (mascheramento) che corrisponde all’inferenza; e infine, nella sesta colonna, Grad-CAM visualizza un livello ResNet-18. Fonte: https://arxiv.org/pdf/1610.02391

I sondaggi umani sui risultati ottenuti da questi metodi hanno rivelato una corrispondenza tra queste individuazioni matematiche di punti di interesse chiave in un’immagine e l’attenzione umana (quando si esamina l’immagine).

SGOOL

Il nuovo paper considera cosa la salienza possa portare ai sistemi di testo-immagine (e, potenzialmente, testo-video) come Stable Diffusion e Flux.

Quando si interpreta un prompt di testo dell’utente, i modelli di diffusione latente esplorano il loro spazio latente addestrato per concetti visivi appresi che corrispondono con le parole o le frasi utilizzate. Quindi, analizzano questi punti di dati trovati attraverso un processo di denoising, dove il rumore casuale è gradualmente evoluto in un’interpretazione creativa del prompt di testo dell’utente.

In questo punto, tuttavia, il modello dà attenzione uguale a ogni singola parte dell’immagine. Dal momento della popolarizzazione dei modelli di diffusione nel 2022, con il lancio del generatore di immagini Dall-E di OpenAI e la successiva apertura del framework di Stable Diffusion, gli utenti hanno trovato che le sezioni ‘essenziali’ di un’immagine sono spesso trascurate.

Considerando che in una rappresentazione tipica di un essere umano, il viso della persona (che è di massima importanza per l’osservatore) è probabile occupare non più del 10-35% dell’immagine totale, questo metodo democratico di dispersione dell’attenzione lavora contro sia la natura della percezione umana che la storia dell’arte e della fotografia.

Quando i bottoni sui jeans di una persona ricevono lo stesso peso computazionale dei loro occhi, l’allocazione delle risorse potrebbe essere considerata non ottimale.

Pertanto, il nuovo metodo proposto dagli autori, intitolato Ottimizzazione della salienza guidata della diffusione latente (SGOOL), utilizza un mappatore di salienza per aumentare l’attenzione sulle aree trascurate di un’immagine, dedicando meno risorse alle sezioni che sono probabili rimanere alla periferia dell’attenzione dell’osservatore.

Metodo

La pipeline SGOOL include la generazione di immagini, la mappatura della salienza e l’ottimizzazione, con l’immagine globale e l’immagine raffinata con la salienza elaborate congiuntamente.

Schema concettuale per SGOOL.

Gli embedding latenti del modello di diffusione sono ottimizzati direttamente con fine-tuning, eliminando la necessità di addestrare un modello specifico. Il metodo di campionamento DDIM di Stanford University, familiare agli utenti di Stable Diffusion, è adattato per incorporare le informazioni secondarie fornite dalle mappe di salienza.

Il paper afferma:

‘Innanzitutto, impieghiamo un rilevatore di salienza per imitare il sistema di attenzione visiva umana e segnare le aree salienti. Per evitare di addestrare un modello aggiuntivo, il nostro metodo ottimizza direttamente i latenti di diffusione.

‘Inoltre, SGOOL utilizza un processo di diffusione invertibile e lo dota dei meriti di una implementazione a memoria costante. Pertanto, il nostro metodo diventa un metodo di fine-tuning efficiente in termini di parametri e plug-and-play. Estensivi esperimenti sono stati condotti con diversi metriche e valutazioni umane.’

Poiché questo metodo richiede molteplici iterazioni del processo di denoising, gli autori hanno adottato il framework Direct Optimization Of Diffusion Latents (DOODL), che fornisce un processo di diffusione invertibile – sebbene applichi ancora l’attenzione all’intera immagine.

Per definire le aree di interesse umano, i ricercatori hanno impiegato il framework TransalNet dell’Università di Dundee del 2022.

Esempi di rilevamento della salienza dal progetto TransalNet del 2022. Fonte: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Le aree salienti elaborate da TransalNet sono state quindi ritagliate per generare sezioni di salienza conclusive probabili di essere di maggiore interesse per le persone reali.

La differenza tra il testo dell’utente e l’immagine deve essere considerata, in termini di definizione di una funzione di perdita che possa determinare se il processo sta funzionando. Per questo, una versione del modello di Contrastive Language–Image Pre-training (CLIP) di OpenAI – ormai una pietra miliare del settore della sintesi di immagini – è stata utilizzata, insieme alla considerazione della distanza semantica stimata tra il prompt di testo e l’output dell’immagine globale (non di salienza).

Gli autori affermano:

‘[La] funzione di perdita finale riguarda le relazioni tra le parti di salienza e l’immagine globale contemporaneamente, il che aiuta a bilanciare i dettagli locali e la coerenza globale nel processo di generazione.

‘Questo loss di salienza è utilizzato per ottimizzare l’immagine latente. I gradienti sono calcolati sul rumore [latente] e utilizzati per migliorare l’effetto di condizionamento del prompt di input su entrambi gli aspetti salienti e globali dell’immagine generata originale.’

Dati e Test

Per testare SGOOL, gli autori hanno utilizzato una distribuzione ‘vanilla’ di Stable Diffusion V1.4 (denominata come ‘SD’ nei risultati dei test) e Stable Diffusion con la guida CLIP (denominata come ‘baseline’ nei risultati).

Il sistema è stato valutato contro tre dataset pubblici: CommonSyntacticProcesses (CSP), DrawBench e DailyDallE*.

Quest’ultimo contiene 99 prompt elaborati da un artista presentato in uno dei post del blog di OpenAI, mentre DrawBench offre 200 prompt in 11 categorie. CSP è composto da 52 prompt basati su otto casi grammaticali diversi.

Per SD, baseline e SGOOL, nei test, il modello CLIP è stato utilizzato su ViT/B-32 per generare le immagini e le embeddings di testo. Lo stesso prompt e seme casuale sono stati utilizzati. La dimensione dell’output era 256×256 e sono stati utilizzati i pesi e le impostazioni predefiniti di TransalNet.

Oltre alla metrica del punteggio CLIP, è stato utilizzato un Human Preference Score (HPS) stimato, in aggiunta a uno studio nel mondo reale con 100 partecipanti.

Risultati quantitativi che confrontano SGOOL con configurazioni precedenti.

Per quanto riguarda i risultati quantitativi rappresentati nella tabella sopra, il paper afferma:

‘[Il] nostro modello supera significativamente SD e Baseline su tutti i dataset sotto entrambe le metriche del punteggio CLIP e HPS. I risultati medi del nostro modello sul punteggio CLIP e HPS sono 3.05 e 0.0029 più alti del secondo posto, rispettivamente.’

Gli autori hanno inoltre stimato i grafici a box dei punteggi HPS e CLIP rispetto agli approcci precedenti:

Grafici a box dei punteggi HPS e CLIP ottenuti nei test.

Essi commentano:

‘Si può vedere che il nostro modello supera gli altri modelli, indicando che il nostro modello è più capace di generare immagini che sono coerenti con i prompt.

‘Tuttavia, nel grafico a box, non è facile visualizzare il confronto a causa della dimensione di questa metrica di valutazione a [0, 1]. Pertanto, procediamo a tracciare i grafici a barre corrispondenti.

‘Si può vedere che SGOOL supera SD e Baseline su tutti i dataset sotto entrambe le metriche del punteggio CLIP e HPS. I risultati quantitativi dimostrano che il nostro modello può generare immagini più coerenti semanticamente e preferite dagli esseri umani.’

I ricercatori notano che mentre il modello di baseline è in grado di migliorare la qualità dell’output dell’immagine, non considera le aree salienti dell’immagine. Essi sostengono che SGOOL, raggiungendo un compromesso tra la valutazione dell’immagine globale e saliente, ottiene immagini migliori.

Nei confronti qualitativi (automatici), il numero di ottimizzazioni è stato impostato su 50 per SGOOL e DOODL.

Risultati qualitativi per i test. Si prega di fare riferimento al paper di origine per una definizione migliore.

Qui gli autori osservano:

‘Nella prima riga, gli oggetti del prompt sono “un gatto che canta” e “un quartetto di barbiere”. Ci sono quattro gatti nell’immagine generata da SD, e il contenuto dell’immagine è scarsamente allineato con il prompt.

‘Il gatto è ignorato nell’immagine generata da Baseline, e c’è una mancanza di dettagli nella rappresentazione del viso e dei dettagli nell’immagine. DOODL tenta di generare un’immagine che è coerente con il prompt.

‘Tuttavia, poiché DOODL ottimizza l’immagine globale direttamente, le persone nell’immagine sono ottimizzate verso il gatto.’

Essi notano inoltre che SGOOL, al contrario, genera immagini che sono più coerenti con il prompt originale.

Nel test di percezione umana, 100 volontari hanno valutato le immagini di test per qualità e coerenza semantica (ossia, quanto strettamente aderivano ai loro prompt di testo di origine). I partecipanti hanno avuto tempo illimitato per fare le loro scelte.

Risultati per il test di percezione umana.

Come sottolinea il paper, il metodo degli autori è notevolmente preferito rispetto agli approcci precedenti.

Conclusione

Non molto tempo dopo che le carenze affrontate in questo paper sono diventate evidenti nelle installazioni locali di Stable Diffusion, sono emersi vari metodi personalizzati (come After Detailer) per forzare il sistema ad applicare un’attenzione extra alle aree che erano di maggiore interesse umano.

Tuttavia, questo tipo di approccio richiede che il sistema di diffusione passi attraverso il suo processo normale di applicazione di un’attenzione uguale a ogni parte dell’immagine, con il lavoro aumentato fatto come uno stadio extra.

La prova da SGOOL suggerisce che applicare la psicologia umana di base alla priorità delle sezioni di immagine potrebbe migliorare notevolmente l’inferenza iniziale, senza passaggi di post-elaborazione.

* Il paper fornisce lo stesso link per questo come per CommonSyntacticProcesses.

Pubblicato per la prima volta mercoledì, 16 ottobre 2024