SofGAN: un generatore di volti basato su GAN che offre un maggiore controllo

I ricercatori di Shanghai e degli Stati Uniti hanno sviluppato un sistema di generazione di ritratti basato su GAN che consente agli utenti di creare nuovi volti con un livello di controllo fino ad ora non disponibile su aspetti individuali come capelli, occhi, occhiali, texture e colore.

Per dimostrare la versatilità del sistema, i creatori hanno fornito un’interfaccia simile a Photoshop in cui un utente può disegnare direttamente elementi di segmentazione semantica che verranno reinterpretati in immagini realistiche e che possono anche essere ottenuti disegnando direttamente su fotografie esistenti.

Nell’esempio seguente, una foto dell’attore Daniel Radcliffe viene utilizzata come modello di tracciamento (e l’obiettivo non è quello di produrre una somiglianza con lui, ma piuttosto un’immagine fotorealistica in generale). Mentre l’utente riempie gli elementi, inclusi facet discreti come gli occhiali, vengono identificati e interpretati nell’immagine di output:

Utilizzo di un’immagine come materiale di tracciamento per un ritratto generato da SofGAN. Fonte: https://www.youtube.com/watch?v=xig8ZA3DVZ8

Il documento si intitola SofGAN: un generatore di immagini di ritratto con stile dinamico e è guidato da Anpei Chen e Ruiyang Liu, insieme ad altri due ricercatori dell’Università di ShanghaiTech e uno dell’Università della California a San Diego.

Disentangling Features

Il contributo principale del lavoro non è tanto quello di fornire un’esperienza utente friendly, ma piuttosto nel “disentangling” delle caratteristiche di caratteristiche facciali apprese, come la posa e la texture, che consente a SofGAN di generare anche volti che sono ad angoli indiretti rispetto al punto di vista della telecamera.

Insolito tra i generatori di volti basati su reti avversarie generative, SofGAN può cambiare l’angolo di vista a piacimento, entro i limiti dell’array di angoli presenti nel set di dati di training. Fonte: https://arxiv.org/pdf/2007.03780.pdf

Dal momento che le texture sono ora disentangled dalla geometria, la forma del viso e la texture possono anche essere manipulate come entità separate. In effetti, ciò consente di cambiare la razza di un volto sorgente, una pratica scandalosa che ora ha una potenziale applicazione utile, per la creazione di set di dati di apprendimento automatico bilanciati razzialmente.

SofGAN supporta anche l’invecchiamento artificiale e l’aggiustamento dello stile coerente con gli attributi a un livello granulare non visto in sistemi di segmentazione>immagine simili come NVIDIA’s GauGAN e Intel’s game-based neural rendering system.

SofGAN è in grado di implementare l’invecchiamento come uno stile iterativo.

Un’altra innovazione per la metodologia di SofGAN è che l’addestramento non richiede immagini di segmentazione/reali accoppiate, ma può essere addestrato direttamente su immagini del mondo reale non accoppiate.

I ricercatori affermano che l’architettura “disentangling” di SofGAN è stata ispirata da sistemi di rendering di immagini tradizionali, che decompongono i singoli facet di un’immagine. Nei flussi di lavoro degli effetti visivi, gli elementi per una composizione vengono routinariamente decomposti nei componenti più minuti, con specialisti dedicati a ciascun componente.

Semantic Occupancy Field (SOF)

Per raggiungere questo in un framework di sintesi di immagini di apprendimento automatico, i ricercatori hanno sviluppato un campo di occupazione semantico (SOF), un’estensione del campo di occupazione tradizionale che individua gli elementi componenti dei ritratti facciali. Il SOF è stato addestrato su mappe di segmentazione semantica multivista calibrate, ma senza alcuna supervisione di ground truth.

Multiple iterazioni da una singola mappa di segmentazione (in basso a sinistra).

Inoltre, le mappe di segmentazione 2D vengono ottenute tracciando l’output del SOF, prima di essere testurate da un generatore GAN. Le mappe di segmentazione semantico “sintetiche” vengono anche codificate in uno spazio a bassa dimensionalità tramite un encoder a tre strati per garantire la continuità dell’output quando il punto di vista viene modificato.

Il piano di addestramento combina spazialmente due stili casuali per ogni regione semantica:

L’architettura per SofGAN.

I ricercatori affermano che SofGAN raggiunge una distanza di Frechet Inception (FID) inferiore rispetto agli approcci attuali dello stato dell’arte (SOTA), nonché un metrica di somiglianza di immagine patch appresa (LPIPS) più alta.

Le precedenti approcci StyleGAN sono stati spesso ostacolati dall’intreccio delle caratteristiche, in cui gli elementi che compongono un’immagine sono irrimediabilmente legati l’uno all’altro, causando l’apparizione di elementi indesiderati accanto a un elemento desiderato (ad esempio, gli orecchini potrebbero apparire quando una forma di orecchio viene resa che è stata informata al momento dell’addestramento da un’immagine che presentava orecchini).

Ray marching viene utilizzato per calcolare il volume delle mappe di segmentazione semantico, abilitando più punti di vista.

Set di dati e addestramento

Tre set di dati sono stati utilizzati nello sviluppo di varie implementazioni di SofGAN: CelebAMask-HQ, un repository di 30.000 immagini ad alta risoluzione tratte dal set di dati CelebA-HQ; NVIDIA’s Flickr-Faces-HQ (FFHQ), che contiene 70.000 immagini, dove i ricercatori hanno etichettato le immagini con un parser di volti pre-addestrato; e un gruppo auto-prodotto di 122 scansioni di ritratto con regioni semantiche etichettate manualmente.

Il SOF è composto da tre sottomoduli addestrabili – l’iper-rete, un ray marcher (vedi immagine sopra) e un classificatore. Il generatore di stile Semantic Instance Wised (SIW) del progetto è configurato in modo simile a StyleGAN2 in alcuni aspetti. La regolarizzazione dei dati viene applicata attraverso il scaling e il cropping casuali, e l’addestramento presenta la regolarizzazione del percorso ogni quattro passaggi. L’intero procedimento di addestramento ha richiesto 22 giorni per raggiungere 800.000 iterazioni su quattro GPU RTX 2080 Ti su CUDA 10.1.

Il documento non menziona la configurazione delle schede 2080, che possono ospitare tra 11 GB e 22 GB di VRAM ciascuna, il che significa che la VRAM totale impiegata per la maggior parte del mese per addestrare SofGAN è compresa tra 44 GB e 88 GB.

I ricercatori osservano che i risultati generalizzati e ad alto livello accettabili sono iniziati a emergere abbastanza presto nell’addestramento, a 1500 iterazioni, tre giorni nell’addestramento. Il resto dell’addestramento è stato impiegato per il lento e prevedibile percorso verso l’ottenimento di dettagli fini come capelli e facet di occhi.

SofGAN raggiunge in generale risultati più realistici da una singola mappa di segmentazione rispetto a metodi rivali come NIVDIA’s SPADE e Pix2PixHD, e SEAN.

Di seguito è riportato il video rilasciato dai ricercatori. Ulteriori video auto-ospitati sono disponibili nella pagina del progetto.