Il Vantaggio Inaspettato della Mappatura dello Spazio Latente di un GAN

Mentre cercavano di migliorare la qualità e la fedeltà delle immagini generate dall’intelligenza artificiale, un gruppo di ricercatori della Cina e dell’Australia ha scoperto incidentalmente un metodo per controllare interattivamente lo spazio latente di una rete generativa avversaria (GAN) – la misteriosa matrice calcolativa dietro la nuova ondata di tecniche di sintesi di immagini che sono destinate a rivoluzionare i film, i videogiochi e i social media, e molti altri settori nel campo dello svago e della ricerca.

La loro scoperta, un sottoprodotto dell’obiettivo centrale del progetto, consente all’utente di esplorare arbitrariamente e interattivamente lo spazio latente di un GAN con il mouse, come se si stesse sfogliando un video o un libro.

Un estratto dal video degli ricercatori (vedi embed alla fine dell’articolo per molti altri esempi). Nota che l’utente sta manipolando le trasformazioni con un cursore ‘grab’ (in alto a sinistra). Fonte: https://www.youtube.com/watch?v=k7sG4XY5rIc

Il metodo utilizza ‘mappe di calore’ per indicare quali aree di un’immagine dovrebbero essere migliorate mentre il GAN esegue lo stesso set di dati migliaia (o centinaia di migliaia) di volte. Le mappe di calore sono destinate a migliorare la qualità dell’immagine indicando al GAN dove sta sbagliando, in modo che il suo prossimo tentativo sia migliore; ma, incidentalmente, questo fornisce anche una ‘mappa’ dell’intero spazio latente che può essere esplorata spostando il mouse.

Attenzione visiva spaziale enfatizzata tramite GradCAM, che indica le aree che necessitano di attenzione imponendo colori brillanti. Fonte: https://arxiv.org/pdf/2112.00718.pdf

Il documento si intitola Miglioramento dell’equilibrio del GAN aumentando la consapevolezza spaziale, e proviene da ricercatori dell’Università cinese di Hong Kong e dell’Università nazionale australiana. Oltre al documento, video e altro materiale possono essere trovati nella pagina del progetto.

Il lavoro è ancora in fase iniziale e attualmente limitato a immagini a bassa risoluzione (256×256), ma è una prova di concetto che promette di aprire la ‘scatola nera’ dello spazio latente e arriva in un momento in cui molti progetti di ricerca stanno cercando di ottenere un maggiore controllo sulla sintesi di immagini.

Sebbene tali immagini siano coinvolgenti (e potete vederne molte altre, in risoluzione migliore, nel video incorporato alla fine di questo articolo), ciò che è forse più significativo è che il progetto ha trovato un modo per creare una migliore qualità dell’immagine e, potenzialmente, farlo più velocemente, indicando al GAN esattamente dove sta sbagliando durante l’addestramento.

Ma, come Avversario indica, un GAN non è un’entità singola, ma piuttosto un conflitto disuguale tra autorità e fatica. Per capire quali miglioramenti i ricercatori hanno apportato a questo riguardo, analizziamo come questa guerra è stata caratterizzata fino ad ora.

La Piteosa Situazione del Generatore

Se avete mai avuto il pensiero che alcuni grandi articoli di abbigliamento che avete acquistato siano stati prodotti in un sweatshop in un paese sfruttato, o avete avuto un capo o un cliente che vi diceva di ‘Rifarlo!’ senza mai dirvi cosa non andava nel vostro ultimo tentativo, risparmiate un po’ di pietà per la parte Generatore di una rete generativa avversaria.

Il Generatore è il cavallo da tiro che vi ha deliziato per gli ultimi cinque anni aiutando i GAN a creare persone fotorealistiche che non esistono, migliorare i vecchi videogiochi a 4k, e trasformare vecchie riprese in uscita a colori HD a 60fps, tra le altre meraviglie dell’intelligenza artificiale.

Dalla creazione di volti fotorealistici di persone inesistenti al ripristino di vecchie riprese e alla rivitalizzazione di videogiochi d’archivio, il GAN è stato impegnato negli ultimi anni.

Il Generatore esegue tutti i dati di addestramento di nuovo, uno per uno (come immagini di volti, per creare un GAN che possa creare foto di persone casuali e inesistenti), per giorni o addirittura settimane, fino a quando non è in grado di creare immagini convincenti come le foto autentiche che ha studiato.

Ma come fa il Generatore a sapere che sta facendo progressi, ogni volta che tenta di creare un’immagine migliore del suo tentativo precedente?

Il Generatore ha un capo dall’inferno.

L’Opacità Spietata del Discriminatore

Il lavoro del Discriminatore è dire al Generatore che non ha fatto abbastanza per creare un’immagine autentica rispetto ai dati originali, e di Rifarlo. Il Discriminatore non dice al Generatore cosa non va nel suo ultimo tentativo; si limita a dare un’occhiata privata, confronta l’immagine generata con le immagini di origine (ancora privatamente) e assegna un punteggio.

Il punteggio è mai abbastanza buono. Il Discriminatore non smette di dire ‘Rifallo’ fino a quando i ricercatori non lo spezzano (quando giudicano che ulteriore addestramento non migliorerà ulteriormente l’output).

In questo modo, assente qualsiasi critica costruttiva, e armato solo di un punteggio il cui metro è un mistero, il Generatore deve indovinare casualmente quali parti o aspetti dell’immagine abbiano causato un punteggio più alto del precedente. Ciò lo porterà lungo molte strade insoddisfacenti prima di cambiare qualcosa in modo positivo per ottenere un punteggio più alto.

Il Discriminatore come Tutore e Mentore

L’innovazione fornita dalla nuova ricerca è essenzialmente che il Discriminatore indica ora al Generatore quali parti dell’immagine sono insoddisfacenti, in modo che il Generatore possa concentrarsi su quelle aree nel suo prossimo tentativo, e non gettare via le sezioni che sono state valutate più alte. La natura della relazione si è trasformata da combattiva a collaborativa.

Per rimediare alla disparità di insight tra il Discriminatore e il Generatore, i ricercatori hanno utilizzato GradCAM come meccanismo in grado di formulare gli insight del Discriminatore in un aiuto di feedback visivo per il prossimo tentativo del Generatore.

Il nuovo metodo di addestramento ‘equilibrio’ si chiama EqGAN. Per massima riproducibilità, i ricercatori hanno incorporato tecniche e metodi esistenti con impostazioni predefinite, inclusa l’utilizzo dell’architettura StyleGan2.

L’architettura di EqGAN. La codifica spaziale del Generatore è allineata alla consapevolezza spaziale del Discriminatore, con campioni casuali di mappe di calore (vedi immagine precedente) codificati di nuovo nel generatore tramite il livello di codifica spaziale (SEL). GradCAM è il meccanismo tramite il quale le mappe di attenzione del Discriminatore sono rese disponibili al generatore.

GradCAM produce mappe di calore (vedi immagini precedenti) che riflettono la critica del Discriminatore dell’ultima iterazione e le rende disponibili al Generatore.

Una volta che il modello è stato addestrato, la mappatura rimane come un artefatto di questo processo collaborativo, ma può anche essere utilizzata per esplorare il codice latente finale in modo interattivo, come dimostrato nel video del progetto dei ricercatori (vedi sotto).

EqGAN

Il progetto ha utilizzato diversi set di dati popolari, tra cui il set di dati LSUN Cat e Churches, nonché il set di dati FFHQ. Il video qui sotto presenta anche esempi di manipolazione facciale e felina utilizzando EqGAN.

Tutte le immagini sono state ridimensionate a 256×256 prima dell’addestramento di EqGAN sull’implementazione ufficiale di StyleGAN2. Il modello è stato addestrato con una dimensione del batch di 64 su 8 GPU fino a quando il Discriminatore non ha esaminato oltre 25 milioni di immagini.

Testando i risultati del sistema su campioni selezionati con la distanza di Frechet Inception (FID), gli autori hanno stabilito una metrica chiamata Indicatore di Disequilibrio (DI) – il grado in cui il Discriminatore mantiene il suo vantaggio conoscitivo sul Generatore, con l’obiettivo di ridurre tale divario.

Sui tre set di dati addestrati, la nuova metrica ha mostrato un utile calo dopo la codifica della consapevolezza spaziale nel Generatore, con un equilibrio migliorato dimostrato sia da FID che da DI.

I ricercatori concludono:

‘Speriamo che questo lavoro possa ispirare ulteriori lavori di revisione dell’equilibrio del GAN e sviluppare metodi più innovativi per migliorare la qualità della sintesi di immagini attraverso la manipolazione dell’equilibrio del GAN. Condurremo anche ulteriori indagini teoriche su questo problema nel lavoro futuro.’

E continuano:

‘I risultati qualitativi mostrano che il nostro metodo ha avuto successo nel [costringere il Generatore] a concentrarsi su regioni specifiche. Gli esperimenti su diversi set di dati convalidano che il nostro metodo mitiga il disequilibrio nell’addestramento del GAN e migliora sostanzialmente la qualità generale della sintesi di immagini. Il modello risultante con consapevolezza spaziale consente anche la manipolazione interattiva dell’immagine di output.’

Guardate il video qui sotto per ulteriori dettagli sul progetto e ulteriori esempi di esplorazione dinamica e interattiva dello spazio latente in un GAN.

11:12am 4th Dec 2021 – Corretto URL per GradCAM e sistemato il riferimento circostante.