La ricerca di Adobe estende la modifica del viso GAN disaccoppiata

Non è difficile capire perché l’intreccio sia un problema nella sintesi di immagini, perché è spesso un problema in altre aree della vita; ad esempio, è molto più difficile rimuovere il curry da un piatto di curry che non eliminare il pickle da un hamburger, e è praticamente impossibile desweetenare una tazza di caffè. Alcune cose vengono semplicemente in bundle.

Allo stesso modo, l’intreccio è un ostacolo per le architetture di sintesi di immagini che vorrebbero idealmente separare le diverse caratteristiche e concetti quando utilizzano l’apprendimento automatico per creare o modificare i volti (o cani, barche o qualsiasi altro dominio).

Se potessi separare elementi come età, genere, colore dei capelli, tono della pelle, emozione e così via, avresti l’inizio di una vera strumentalità e flessibilità in un framework che potrebbe creare e modificare le immagini dei volti a un livello veramente granulare, senza trascinare passeggeri indesiderati in queste conversioni.

Al massimo intreccio (in alto a sinistra), tutto ciò che puoi fare è cambiare l’immagine di una rete GAN appresa nell’immagine di un’altra persona.

Questo è essenzialmente utilizzare l’ultima tecnologia di visione artificiale per raggiungere qualcosa che è stato risolto con altri mezzi oltre trent’anni fa.

Con un certo grado di separazione (‘Separazione media’ nell’immagine sopra), è possibile eseguire modifiche basate sullo stile come il colore dei capelli, l’espressione, l’applicazione del trucco e la limitata rotazione della testa, tra gli altri.

Fonte: FEAT: Face Editing with Attention, febbraio 2022, https://arxiv.org/pdf/2202.02713.pdf

C’è stato un numero di tentativi negli ultimi due anni di creare ambienti di modifica interattivi del viso che consentano all’utente di cambiare le caratteristiche del viso con slider e altre interazioni dell’interfaccia utente tradizionale, mantenendo intatte le caratteristiche di base del viso di destinazione quando si effettuano aggiunte o modifiche. Tuttavia, ciò si è rivelato una sfida a causa dell’intreccio delle caratteristiche/stile nello spazio latente del GAN.

Ad esempio, il tratto occhiali è spesso intrecciato con il tratto invecchiato, il che significa che aggiungere gli occhiali potrebbe anche “invecchiare” il viso, mentre l’invecchiamento del viso potrebbe aggiungere gli occhiali, a seconda del grado di separazione delle caratteristiche di alto livello applicate (vedere ‘Test’ di seguito per esempi).

La cosa più nota è che è stato quasi impossibile alterare il colore dei capelli e altri aspetti dei capelli senza che i capelli e la loro disposizione venissero ricontati, il che dà un effetto “sfrigolante”, di transizione.

Fonte: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Traversata Latente-Latente GAN

Un nuovo documento guidato da Adobe presentato per WACV 2022 offre un approccio innovativo a questi problemi sottostanti in un documento intitolato Latente a Latente: un mapper appreso per la modifica della conservazione dell’identità di più attributi del viso in immagini generate da StyleGAN.

Materiale supplementare dal documento Latente a Latente: un mapper appreso per la modifica della conservazione dell’identità di più attributi del viso in immagini generate da StyleGAN. Qui vediamo che le caratteristiche di base nel viso appreso non vengono trascinate in modifiche non correlate. Vedi il video incorporato alla fine dell’articolo per una migliore dettaglio e risoluzione. Fonte: https://www.youtube.com/watch?v=rf_61llRH0Q

Il documento è guidato da Siavash Khodadadeh, scienziato applicato di Adobe, insieme ad altri quattro ricercatori di Adobe e un ricercatore del Dipartimento di Informatica dell’Università della Florida Centrale.

Il pezzo è interessante in parte perché Adobe opera in questo spazio da qualche tempo, e è tentante immaginare questa funzionalità che entra in un progetto di Creative Suite nei prossimi anni; ma principalmente perché l’architettura creata per il progetto adotta un approccio diverso per mantenere l’integrità visiva in un editor di visi GAN mentre vengono applicate le modifiche.

Gli autori dichiarano:

‘[Noi] addestriamo una rete neurale per eseguire una trasformazione latente-latente che trova la codifica latente corrispondente all’immagine con l’attributo modificato. Poiché la tecnica è one-shot, non si basa su una traiettoria lineare o non lineare del graduale cambiamento degli attributi.

‘Addestrando la rete end-to-end su tutta la pipeline di generazione, il sistema può adattarsi agli spazi latenti delle architetture generatrici pronte all’uso. Le proprietà di conservazione, come il mantenimento dell’identità della persona, possono essere codificate nella forma di perdite di addestramento.

‘Una volta addestrata la rete latente-latente, può essere riutilizzata per immagini arbitrarie senza riaddestramento.’

Quest’ultima parte significa che l’architettura proposta arriva con l’utente finale in uno stato finito. Deve ancora eseguire una rete neurale su risorse locali, ma le nuove immagini possono essere “dropped in” e pronte per la modifica quasi immediatamente, poiché il framework è abbastanza decoupled da non richiedere ulteriore addestramento specifico dell’immagine.

Genere e barba modificati come i cursori tracciano percorsi casuali e arbitrari nello spazio latente, non solo ‘scrubbing between endpoints’. Vedi il video incorporato alla fine dell’articolo per ulteriori trasformazioni a migliore risoluzione.

Tra i principali risultati nel lavoro c’è la capacità della rete di “congelare” le identità nello spazio latente cambiando solo l’attributo in un vettore di destinazione, e fornendo “termini di correzione” che conservano le identità che vengono trasformate.

Essenzialmente, la rete proposta è incorporata in un’architettura più ampia che orchestra tutti gli elementi elaborati, che passano attraverso componenti pre-addestrati con pesi congelati che non produrranno effetti collaterali indesiderati sulle trasformazioni.

Poiché il processo di addestramento si basa su triple che possono essere generati da un’immagine di seme (sotto inversione GAN) o da una codifica latente iniziale esistente, l’intero processo di addestramento è unsupervised, con le azioni tacite della gamma consueta di sistemi di etichettatura e cura in tali sistemi efficacemente incorporate nell’architettura. In effetti, il nuovo sistema utilizza riconoscitori di attributi pronti all’uso:

‘[Il] numero di attributi che la nostra rete può controllare in modo indipendente è limitato solo dalle capacità del riconoscitore – se si ha un riconoscitore per un attributo, possiamo aggiungerlo a volti arbitrari. Nei nostri esperimenti, abbiamo addestrato la rete latente-latente per consentire la regolazione di 35 attributi del viso diversi, più di qualsiasi approccio precedente.’

Il sistema incorpora un’ulteriore salvaguardia contro le trasformazioni “collaterali” indesiderate: in assenza di una richiesta di modifica di un attributo, la rete latente-latente mappa un vettore latente a se stesso, aumentando ulteriormente la stabilità della persistenza dell’identità di destinazione.

Riconoscimento del viso

Un problema ricorrente con gli editor di visi GAN e basati su encoder/decoder degli ultimi anni è stato che le trasformazioni applicate tendono a degradare la somiglianza. Per contrastare ciò, il progetto Adobe utilizza una rete di riconoscimento del viso incorporata chiamata FaceNet come discriminatore.

Architettura del progetto, vedi in basso a sinistra per l’inclusione di FaceNet. Fonte: Latente a Latente: un mapper appreso per la modifica della conservazione dell’identità di più attributi del viso in immagini generate da StyleGAN, OpenAccess.

(Su una nota personale, questo sembra un passo incoraggiante verso l’integrazione di sistemi di riconoscimento del viso e di espressione standard in reti generative, probabilmente il miglior modo per superare la mappatura cieca pixel-per-pixel che domina le attuali architetture di deepfake al costo della fedeltà dell’espressione e di altri domini importanti nel settore della generazione del viso.)

Accesso a tutte le aree nello spazio latente

Un’altra caratteristica impressionante del framework è la sua capacità di viaggiare arbitrariamente tra trasformazioni potenziali nello spazio latente, a piacimento dell’utente. Molti sistemi precedenti che fornivano interfacce esplorative spesso lasciavano l’utente essenzialmente “scrubbing” tra timeline di trasformazione di caratteristiche fisse – impressionante, ma spesso un’esperienza lineare o proscriptiva.

Da Improving GAN Equilibrium by Raising Spatial Awareness: qui l’utente scrub tra una gamma di punti di transizione potenziali tra due posizioni nello spazio latente, ma all’interno dei confini di posizioni pre-addestrate nello spazio latente. Per applicare altri tipi di trasformazione basati sullo stesso materiale, è necessaria una riconfigurazione e/o riaddestramento. Fonte: https://genforce.github.io/eqgan/

In aggiunta a essere recettivi a immagini di utenti completamente nuove, l’utente può anche manualmente “congelare” elementi che desidera conservare durante il processo di trasformazione. In questo modo l’utente può assicurarsi che (ad esempio) gli sfondi non si spostino o che gli occhi vengano mantenuti aperti o chiusi.

Dati

La rete di regressione degli attributi è stata addestrata su tre reti: FFHQ, CelebAMask-HQ e una rete generata da GAN locale ottenuta campionando 400.000 vettori dallo spazio Z di StyleGAN-V2.

Le immagini fuori distribuzione (OOD) sono state filtrate via e gli attributi estratti utilizzando l’API del viso di Microsoft, con il set di immagini risultante diviso 90/10, lasciando 721.218 immagini di addestramento e 72.172 immagini di test per confrontare.

Test

Sebbene la rete sperimentale sia stata inizialmente configurata per ospitare 35 trasformazioni potenziali, queste sono state ridotte a otto per eseguire test analoghi contro le architetture comparabili InterFaceGAN, GANSpace e StyleFlow.

I otto attributi selezionati sono stati Età, Calvizie, Barba, Espressione, Genere, Occhiali, Altezza e Yaw. È stato necessario riadattare le architetture concorrenti per alcuni degli otto attributi che non erano stati forniti nella distribuzione originale, come ad esempio l’aggiunta della calvizie e della barba a InterFaceGAN.

Come ci si aspettava, un livello maggiore di intreccio si è verificato nelle architetture rivali. Ad esempio, in un test, InterFaceGAN e StyleFlow hanno entrambi cambiato il genere del soggetto quando richiesto di applicare età:

Due delle architetture concorrenti hanno rollato un cambio di genere nella trasformazione ‘età’, cambiando anche il colore dei capelli senza la diretta richiesta dell’utente.

Inoltre, due delle rivali hanno trovato che gli occhiali e l’età sono aspetti inseparabili:

Occhiali e cambio di colore dei capelli inclusi nel prezzo!

Non è una vittoria uniforme per la ricerca: come si può vedere nel video incorporato alla fine dell’articolo, il framework è il meno efficace quando si tenta di extrapolare angoli diversi (yaw), mentre GANSpace ha un risultato generale migliore per età e l’imposizione di occhiali. La rete latente-latente è legata a GANSpace e StyleFlow per quanto riguarda l’aggiunta di pitch (angolo della testa).

Risultati calcolati in base a una calibrazione del rilevatore del viso MTCNN. Risultati più bassi sono migliori.

Per ulteriori dettagli e una migliore risoluzione degli esempi, vedere il video accompagnante incorporato alla fine dell’articolo.

Pubblicato per la prima volta il 16 febbraio 2022.