Ristrutturazione dei volti nei video con l’apprendimento automatico

Una collaborazione di ricerca tra la Cina e il Regno Unito ha elaborato un nuovo metodo per ristrutturare i volti nei video. La tecnica consente di ottenere un allargamento e un restringimento convincenti della struttura facciale, con alta coerenza e assenza di artefatti.

Da un video di YouTube utilizzato come materiale di origine dai ricercatori, l’attrice Jennifer Lawrence appare come una personalità più magra (a destra). Vedi il video allegato in fondo all’articolo per molti altri esempi a risoluzione migliore. Fonte: https://www.youtube.com/watch?v=tA2BxvrKvjE

Questo tipo di trasformazione è solitamente possibile solo attraverso metodi CGI tradizionali che richiederebbero di ricreare interamente il volto attraverso procedure di motion-capping, rigging e texturing dettagliate e costose.

Invece, ciò che c’è di CGI nella tecnica è integrato in una pipeline neurale come informazioni facciali 3D parametriche che vengono successivamente utilizzate come base per un flusso di lavoro di apprendimento automatico.

I volti parametrici tradizionali sono sempre più utilizzati come linee guida per processi trasformativi che utilizzano l’AI invece della CGI. Fonte: https://arxiv.org/pdf/2205.02538.pdf

Gli autori affermano:

‘Il nostro obiettivo è generare risultati di ristrutturazione di video di alta qualità modificando la forma generale del volto in base alla deformazione naturale del volto nel mondo reale. Ciò può essere utilizzato per applicazioni come la generazione di volti per la bellezza e l’esagerazione del volto per effetti visivi.’

Sebbene la distorsione e la deformazione del volto 2D siano disponibili per i consumatori fin dall’avvento di Photoshop (e abbiano portato a strane e spesso inaccettabili sottoculture intorno alla distorsione del volto e alla dismorfofobia), è un trucco difficile da eseguire in video senza utilizzare la CGI.

Le dimensioni facciali di Mark Zuckerberg espanse e ridotte con la nuova tecnica cino-britannica.

La ristrutturazione del corpo è attualmente un campo di intenso interesse nel settore della visione artificiale, principalmente a causa del suo potenziale nel commercio elettronico della moda, sebbene far apparire qualcuno più alto o diverso scheletricamente sia attualmente una nota sfida.

Allo stesso modo, cambiare la forma di una testa in un filmato in modo coerente e convincente è stato l’oggetto di lavori precedenti dei ricercatori del nuovo articolo, sebbene quell’implementazione soffrisse di artefatti e altre limitazioni. La nuova offerta estende la capacità di quel lavoro precedente da output statico a video.

Il nuovo sistema è stato addestrato su un computer desktop con un processore AMD Ryzen 9 3950X e 32GB di memoria, e utilizza un algoritmo di flusso ottico da OpenCV per le mappe di movimento, smussate dal framework StructureFlow; la rete di allineamento facciale (FAN) per la stima dei punti di riferimento, che viene utilizzata anche nei pacchetti di deepfake; e il Ceres Solver per risolvere le sfide di ottimizzazione.

Un esempio estremo di allargamento del volto con il nuovo sistema.

L’articolo si intitola Parametric Reshaping of Portraits in Videos e proviene da tre ricercatori dell’Università di Zhejiang e uno dell’Università di Bath.

Sul volto

Sotto il nuovo sistema, il video viene estratto in una sequenza di immagini e una posa rigida viene stimata per ogni volto. Quindi, un numero rappresentativo di frame successivi viene stimato congiuntamente per costruire parametri di identità coerenti lungo l’intera sequenza (ovvero i frame del video).

Flusso architettonico del sistema di deformazione del volto.

Dopo di ciò, l’espressione viene valutata, producendo un parametro di ristrutturazione che viene implementato mediante regressione lineare. Successivamente, un approccio di funzione di distanza firmata (SDF) costruisce una mappatura densa 2D dei lineamenti del volto prima e dopo la ristrutturazione.

Infine, viene eseguita un’ottimizzazione di deformazione consapevole del contenuto sull’output video.

Volti parametrici

Il processo utilizza un modello di volto 3D modellabile (3DMM), un ausilio sempre più popolare ai sistemi di sintesi del volto basati su neurali e GAN, nonché applicabile alla rilevazione di deepfake.

Non proveniente dal nuovo articolo, ma un esempio di modello di volto 3D modellabile (3DMM) – un prototipo di volto parametrico utilizzato nel nuovo progetto. In alto a sinistra, applicazione dei punti di riferimento su un volto 3DMM. In alto a destra, i vertici della mesh 3D di un isomap. In basso a sinistra, si mostra l’adattamento dei punti di riferimento; al centro in basso, un isomap della texture del volto estratta; e in basso a destra, un adattamento e una forma risultanti. Fonte: http://www.ee.surrey.ac.uk/CVSSP/Publications/papers/Huber-VISAPP-2016.pdf

Il flusso di lavoro del nuovo sistema deve considerare casi di occlusione, come un’istanza in cui il soggetto distoglie lo sguardo. Questo è uno dei più grandi sfide nel software di deepfake, poiché i punti di riferimento FAN hanno poca capacità di gestire questi casi e tendono a deteriorarsi in qualità quando il volto si allontana o viene oscurato.

Il nuovo sistema è in grado di evitare questa trappola definendo un’energia del contorno in grado di corrispondere al confine tra il volto 3D (3DMM) e il volto 2D (come definito dai punti di riferimento FAN).

Ottimizzazione

Un utile impiego per un tale sistema sarebbe implementare la deformazione in tempo reale, ad esempio in filtri per videochat. L’attuale framework non consente questo, e le risorse di calcolo necessarie renderebbero la deformazione ‘in diretta’ una sfida notevole.

Secondo l’articolo, e supponendo un obiettivo di video a 24fps, le operazioni per frame nella pipeline rappresentano una latenza di 16,344 secondi per ogni secondo di filmato, con ulteriori colpi unici per la stima dell’identità e la deformazione del volto 3D (321ms e 160ms, rispettivamente).

Pertanto, l’ottimizzazione è fondamentale per fare progressi verso la riduzione della latenza. Poiché l’ottimizzazione congiunta su tutti i frame aggiungerebbe un grave sovraccarico al processo, e l’ottimizzazione di stile init (presumendo l’identità coerente del relatore dal primo frame) potrebbe portare a anomalie, gli autori hanno adottato uno schema sparso per calcolare i coefficienti dei frame campionati a intervalli pratici.

L’ottimizzazione congiunta viene quindi eseguita su questo subset di frame, portando a un processo di ricostruzione più magro.

Deformazione del volto

La tecnica di deformazione utilizzata nel progetto è un adattamento del lavoro degli autori del 2020 Deep Shapely Portraits (DSP).

Deep Shapely Portraits, una presentazione del 2020 ad ACM Multimedia. L’articolo è guidato da ricercatori del ZJU-Tencent Game and Intelligent Graphics Innovation Technology Joint Lab. Fonte: http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

Gli autori osservano ‘Estendiamo questo metodo dalla ristrutturazione di una singola immagine monoculare alla ristrutturazione di tutta la sequenza di immagini.’

Test

L’articolo osserva che non c’era materiale precedente paragonabile con cui valutare il nuovo metodo. Pertanto, gli autori hanno confrontato i frame del video deformato con l’output statico di DSP.

Test del nuovo sistema contro immagini statiche di Deep Shapely Portraits.

Gli autori notano che gli artefatti risultano dal metodo DSP, a causa del suo utilizzo di mapping sparso – un problema che il nuovo framework risolve con il mapping denso. Inoltre, il video prodotto da DSP, sostiene l’articolo, dimostra mancanza di fluidità e coerenza visiva.

Gli autori affermano:

‘I risultati mostrano che il nostro approccio può produrre coerentemente video di volti ristrutturati mentre il metodo basato su immagini può facilmente portare a evidenti artefatti di flickering.’

Guarda il video allegato di seguito per altri esempi:

Pubblicato per la prima volta il 9 maggio 2022. Modificato alle 18:00 EET, sostituito ‘campo’ con ‘funzione’ per SDF.