Nuovo Metodo Deepfake Risolve il Problema del “Volto Ospite”

Nonostante diversi anni di iperbole mediatica sul potenziale delle immagini deepfake per minare la nostra fiducia nell’autenticità delle riprese video, tutti i metodi attualmente popolari si basano sul trovare “volti ospiti” che siano simili in forma al volto bersaglio.

Quando il footage originale presenta un volto ampio, ma il soggetto bersaglio ha un volto stretto, i risultati sono sempre stati problematici, perché tale trasferimento coinvolge la rimozione di parte del volto originale e la ricostruzione dello sfondo ora esposto. I pacchetti attuali come DeepFaceLab e FaceSwap sono in grado di produrre risultati limitati quando la configurazione è invertita (stretto>ampio), ma non hanno alcuna funzionalità per affrontare convincentemente questo scenario.

Ora, una collaborazione tra Tencent e l’Università di Xiamen in Cina ha sviluppato un nuovo approccio, intitolato HifiFace, progettato per colmare questa lacuna.

Due deepfake HifiFace, il primo di Anne Hathaway, dove si ottiene una buona somiglianza nonostante la forma incompatibile del volto ospite. HifiFace si comporta anche bene con bersagli con occhiali, tradizionalmente un ostacolo nelle deepfake. Fonte: https://arxiv.org/pdf/2106.09965.pdf

Rimodellamento di un Volto Deepfake

Gli approcci precedenti, come il Subject Agnostic Face Swapping and Reenactment (FSGAN) del 2019, si basavano su 3DMM fitting (3D Morphable Models) o altre metodologie basate sul riconoscimento dei punti di riferimento del volto o sulla trasformazione, dove i lineamenti del volto da “sovrascrivere” dettano sostanzialmente i limiti dello scambio:

Rilevamento dei punti di riferimento del volto 3DMM. Fonte: https://github.com/Yinghao-Li/3DMM-fitting

Sebbene i metodi concorrenti abbiano attinto a caratteristiche derivate da reti di riconoscimento del volto, queste sono principalmente finalizzate a ricostituire la texture piuttosto che la struttura, e producono un effetto “a maschera” in casi in cui il volto ospite non è interamente compatibile (ad esempio i limiti e la forma della linea dei capelli, della mascella e delle guance).

Per affrontare questi problemi, i ricercatori cinesi, basati nel Media Analytics and Computing Lab del Dipartimento di Intelligenza Artificiale dell’università, hanno sviluppato una rete end-to-end che regredisce i coefficienti del bersaglio e del volto sorgente utilizzando un modello di ricostruzione 3D, che viene quindi ricombinato come informazioni di forma, e concatenato con informazioni vettoriali di identità da una rete di riconoscimento del volto.

Questi dati geometrici vengono quindi immessi in un modello encoder-decoder come informazioni strutturali, fondendosi con l’espressione e la disposizione del volto bersaglio, che vengono sfruttate come fonti ausiliarie per un trasferimento accurato.

Fusione Semantica del Volto

Inoltre, HifiFace include un componente di Fusione Semantica del Volto (SFF), che utilizza una caratteristica a basso livello nell’encoder per preservare le informazioni spaziali e di texture, senza sacrificare l’identità dell’immagine bersaglio. Le caratteristiche dell’encoder e del decoder vengono integrate in una maschera adattiva appresa, e le informazioni di sfondo vengono fuse nel risultato tramite la maschera del volto appresa.

HifiFace in azione. Fonte: https://johann.wang/HifiFace/

In questo modo, HifiFace si discosta dall’uso dei limiti del volto originale come limite rigido, utilizzando una segmentazione semantica del volto dilatata, nella quale il modello può eseguire una fusione adattiva migliore sui bordi del volto.

Due approcci precedenti (in alto a sinistra e in basso a sinistra) e la nuova architettura HifiFace, che consiste in un encoder, un decoder, un estrattore di identità 3D consapevole della forma e un modulo SFF.

In un confronto con i metodi precedenti FSGAN, SimSwap e FaceShifter, HifiFace dimostra una ricostruzione superiore della forma del volto, poiché non approssima elementi “fantasma” dove le delimitazioni del volto confondono la mappatura identità>identità, ma li ricostruisce definitivamente.

Test

I ricercatori hanno implementato il sistema utilizzando i dataset VGGFace2 e DeepGlint Asian-Celeb. I volti sono stati allineati tramite 5 punti di riferimento esterni e ritagliati a 256×256 pixel. Una rete di miglioramento del ritratto è stata utilizzata anche per generare una versione da 512×512 pixel, per un modello ad alta risoluzione aggiuntivo. Il modello è stato addestrato con Adam.

Sebbene FaceShifter conservi bene l’identità, non può affrontare questioni come l’espressione, il colore e l’occlusione in modo altrettanto efficace come HifiFace, e ha una struttura di rete più complessa. FSGAN ha problemi nel trasferire l’illuminazione dal soggetto bersaglio.

I ricercatori utilizzano FaceForensics++ per confronti quantitativi, campionando dieci frame ciascuno in un batch di video convertiti attraverso i metodi concorrenti, e scoprendo che HifiFace ha raggiunto un punteggio di recupero dell’ID superiore. Nel testare una serie di altri fattori, come la qualità dell’immagine, i ricercatori hanno anche scoperto che il loro metodo ha superato le metodologie rivali.

I lineamenti del volto di Benedict Cumberbatch vengono riprodotti fedelmente.

Il lavoro rappresenta un ulteriore passo verso l’astrazione del materiale sorgente in modo che sia solo un modello grezzo nel quale possono essere trasferite identità accurate. Alcuni dei pacchetti FOSS attuali, tra cui DeepFaceLab, presentano una funzionalità nascente per la sostituzione della testa completa, ma, come HifiFace, non tengono conto dei capelli e sono più efficaci nel “costruire” un volto che nel “scolpirlo” per adattarlo a un bersaglio sorgente desiderato.