Chirurgia plastica per volti generati da GAN

Una nuova ricerca proveniente dalla Corea del Sud promette di migliorare la qualità dei dati sintetici di volti creati da reti generative avversarie (GAN).

Il sistema è in grado di identificare gli artifacti dell’immagine prodotti dai processi GAN e di rimediarli, anche fino al punto di sostituire i capelli oscurati da un cappello, sostituire parti del volto completamente mancanti nell’originale e rimuovere occlusioni come mani e occhiali da sole, e funziona anche bene con output paesaggistici e architettonici.

A sinistra per ogni colonna, l’output GAN originale con difetti, seguito da due altri approcci agli artifacti, e infine dal metodo utilizzato dai ricercatori sudcoreani. Fonte: https://arxiv.org/pdf/2104.06118.pdf

La maggior parte degli approcci recenti per migliorare la qualità delle immagini generate da GAN ha assunto la posizione che gli artifacti sono un rischio professionale del processo, trattando la metodologia come una “forza della natura” e i risultati più psichedelici o aberranti che può produrre come un sottoprodotto inevitabile.

Al contrario, la ricerca sudcoreana propone di “correggere” effettivamente le immagini interessate in un modo che non interferisce con la catena generativa continuata, identificando i facet che causano gli artifacti e riducendo o eliminando la loro influenza nella rete GAN a un livello semi-supervisionato che supera e estende i meccanismi di auto-correzione nativi nell’architettura GAN.

Per il progetto, è stato necessario creare un set di dati ampiamente applicabile di immagini etichettate a mano che erano state gravemente colpite da artifacti GAN. Inizialmente, i ricercatori hanno utilizzato la distanza di Frechet Inception (FID), una metrica che valuta la qualità dell’output GAN confrontando le caratteristiche delle immagini, come unità di qualificazione. Le 10.000 immagini con i punteggi FID più alti tra una serie di 200.000 immagini sono state utilizzate come “unità di artifacti” discrete. Successivamente, i ricercatori hanno etichettato a mano 2.000 immagini generate, classificandole come “normali” o colpite da artifacti FID. Quindi è stato creato un modello per classificare il set di dati in campioni di artifacti, normali e campioni reali casuali.

Dopo di questo, la mappatura di attivazione della classe con pesi del gradiente (Grad-CAM) è stata utilizzata per generare maschere per le aree interessate da artifacti, automatizzando efficacemente l’etichettatura dei difetti.

Nell’immagine sopra, le maschere Grad-CAM sono state applicate all’output del set di dati LSUN-Church outdoor e del set di dati CelebA-HQ.

Analizzando i 20 risultati più colpiti da una serie di 20.000 immagini, vengono generate maschere di segmentazione, in cui possono essere sostituiti risultati rappresentativi delle generazioni (che sono probabilmente più precisi o convincenti degli artifacti) abbassando l’attivazione delle unità che producono artifacti nelle generazioni successive.

La valutazione umana delle correzioni ha portato al 53% delle immagini “riparate” etichettate come “normali”, mentre il 97% delle immagini originali mostra ancora miglioramenti significativi rispetto agli originali.

I ricercatori sostengono che questo metodo, con alcuni minori aggiustamenti, può anche essere adattato a StyleGAN2 di NVIDIA.

I vantaggi dei dati sintetici

In primo luogo, riguardo ai dati di volto, la scarsità generale di set di dati del mondo reale per la visione artificiale è un ostacolo alla ricerca diversificata in settori di ricerca importanti, come il riconoscimento facciale, il riconoscimento delle emozioni, la ricerca medica e gli studi sulla segmentazione più granulare della topologia del volto, tra gli altri campi.

La reazione negativa attuale all’uso gratuito dei dati web-oriented e la raccolta ad hoc di immagini di volti del mondo reale per l’inclusione in banche dati di volti è un ulteriore ostacolo alla ricerca, con un numero crescente di stati e nazioni che attaccano il web-scraping e l’appropriazione di immagini dei social media per questi scopi.

Negli ultimi dieci anni, un numero limitato di set di dati di volti curati ha offerto un rifugio da questo tipo di incertezza, con varie sfide di ricerca pubbliche annuali centrate su di essi. Tuttavia, ciò ha portato a progetti di ricerca che hanno distorto le loro metodologie specificamente verso questi set di dati, con risultati coerenti e confrontabili anno dopo anno ottenuti al costo di una mancanza di diversità nel materiale di origine – una situazione che peggiora ogni anno che la nuova ricerca si limita a questi confini.

Inoltre, alcuni di questi “tradizionali” set di dati sono stati criticati per la mancanza di diversità razziale, il che suggerisce che questi punti di riferimento potrebbero non essere considerati risorse adeguate nel prossimo futuro.

Ciò segnala la necessità di dati di volto di alta qualità che siano realistici, ma dove le immagini del “mondo reale” che contribuiscono sono state trasformate ben oltre il riconoscimento. Anche se l’uso di dati di volti del mondo reale “a una certa distanza” potrebbe eventualmente scatenare problemi relativi alla provenienza dei volti generati da GAN, è un ostacolo che non è probabile si verifichi fino a quando non saranno stabiliti meccanismi legali e tecnici per la raccolta di dati di questo tipo; e, riguardo a possibili cambiamenti nei quadri giuridici attorno alla questione, è ancora un pericolo minore rispetto all’uso di immagini di persone reali.

Ulteriori letture:

Migliorare la realismo delle immagini sintetiche
Correzione automatica delle unità interne nelle reti neurali generative