RigNeRF: Un Nuovo Metodo di Deepfakes che Utilizza Campi di Radiance Neurali

Una nuova ricerca sviluppata presso Adobe offre il primo metodo di deepfakes basato su Campi di Radiance Neurali (NeRF) – forse la prima vera innovazione in architettura o approccio dai tempi dell’emergere dei deepfakes nel 2017.

Il metodo, intitolato RigNeRF, utilizza modelli di facce morfologiche 3D (3DMM) come strato intermedio di strumentalità tra l’input desiderato (ad esempio l’identità da imprimere nel rendering NeRF) e lo spazio neurale, un metodo che è stato ampiamente adottato negli ultimi anni da approcci di sintesi di facce basate su Reti Adversarie Generative (GAN), nessuna delle quali ha ancora prodotto framework di sostituzione di facce funzionali e utili per video.

A differenza dei video deepfake tradizionali, nessuno del contenuto in movimento rappresentato qui è ‘reale’, ma piuttosto uno spazio neurale esplorabile che è stato addestrato su brevi riprese. A destra vediamo il modello di faccia morfologica 3D (3DMM) agire come interfaccia tra le manipolazioni desiderate (‘sorridi’, ‘guarda a sinistra’, ‘guarda in alto’, ecc.) e i parametri usualmente intractabili di una visualizzazione del Campo di Radiance Neurale. Per una versione ad alta risoluzione di questo clip, insieme ad altri esempi, vedere la pagina del progetto, o i video incorporati alla fine di questo articolo. Fonte: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

I 3DMM sono essenzialmente modelli CGI di facce, i cui parametri possono essere adattati a sistemi di sintesi di immagini più astratti, come NeRF e GAN, che altrimenti sono difficili da controllare.

Ciò che si vede nell’immagine sopra (immagine centrale, uomo con camicia blu), così come l’immagine direttamente sotto (immagine sinistra, uomo con camicia blu), non è un video ‘reale’ nel quale è stato sovrapposto un piccolo patch di ‘faccia falsa’, ma una scena interamente sintetizzata che esiste solo come rendering neurale volumetrico – compreso il corpo e lo sfondo:

Nell’esempio direttamente sopra, il video reale a destra (donna con abito rosso) viene utilizzato per ‘manovrare’ l’identità catturata (uomo con camicia blu) a sinistra tramite RigNeRF, che (gli autori affermano) è il primo sistema NeRF-based in grado di ottenere la separazione di posa e espressione mentre è in grado di eseguire sintesi di viste nuove.

La figura maschile a sinistra nell’immagine sopra è stata ‘catturata’ da un video di 70 secondi effettuato con uno smartphone, e i dati di input (compresa l’intera informazione sulla scena) sono stati successivamente addestrati su 4 V100 GPU per ottenere la scena.

Dal momento che le strutture parametriche 3DMM sono anche disponibili come proxy CGI parametrici per l’intero corpo (e non solo come strutture di faccia), RigNeRF potrebbe aprire la possibilità di deepfakes a corpo intero dove il movimento umano reale, la texture e l’espressione vengono passati allo strato parametrico CGI-based, che tradurrebbe poi azione ed espressione in ambienti e video NeRF resi.

Per quanto riguarda RigNeRF – si qualifica come un metodo di deepfake nel senso attuale in cui i titoli comprendono il termine? O è solo un altro metodo semi-impedito e anche-ran rispetto a DeepFaceLab e altri sistemi di deepfake basati su autoencoder del 2017?

I ricercatori del nuovo articolo sono inequivocabili su questo punto:

‘Essendo un metodo in grado di rianimare le facce, RigNeRF è propenso a essere utilizzato in modo errato da attori malintenzionati per generare deep-fakes.’

Il nuovo articolo è intitolato RigNeRF: Ritratti Neurali 3D Fully Controllabili, e proviene da ShahRukh Atha dell’Università di Stonybrook, uno stagista presso Adobe durante lo sviluppo di RigNeRF, e da altri quattro autori di Adobe Research.

Oltre i Deepfakes Basati su Autoencoder

La maggior parte dei deepfakes virali che hanno catturato i titoli negli ultimi anni sono prodotti da sistemi basati su autoencoder, derivati dal codice pubblicato nel subreddit r/deepfakes nel 2017 – anche se non prima di essere copiato su GitHub, dove è stato forkato oltre mille volte, non meno che nella popolare (anche se controversa) distribuzione DeepFaceLab, e anche nel progetto FaceSwap.

Oltre a GAN e NeRF, le strutture basate su autoencoder hanno anche sperimentato con i 3DMM come ‘linee guida’ per migliorare la sintesi di facce. Un esempio di ciò è il progetto HifiFace di luglio 2021. Tuttavia, non sembra che siano stati sviluppati iniziative utili o popolari da questo approccio fino ad oggi.

I dati per le scene di RigNeRF vengono ottenuti catturando brevi video con uno smartphone. Per il progetto, i ricercatori di RigNeRF hanno utilizzato un iPhone XR o un iPhone 12 per tutti gli esperimenti. Per la prima metà della cattura, il soggetto è invitato a eseguire una vasta gamma di espressioni facciali e discorsi mentre mantiene la testa ferma, mentre la camera viene mossa intorno a lui.

Per la seconda metà della cattura, la camera mantiene una posizione fissa mentre il soggetto deve muovere la testa intorno, mostrando una vasta gamma di espressioni. I risultanti 40-70 secondi di riprese (circa 1200-2100 frame) rappresentano l’intero set di dati che verrà utilizzato per addestrare il modello.

Ridurre la Raccolta di Dati

Al contrario, i sistemi basati su autoencoder come DeepFaceLab richiedono la raccolta e la cura relativamente laboriose di migliaia di foto diverse, spesso prese da video di YouTube e altri canali di social media, nonché da film (nel caso di deepfakes di celebrità).

I modelli di autoencoder addestrati sono spesso destinati a essere utilizzati in una varietà di situazioni. Tuttavia, i ‘deepfaker’ di celebrità più meticolosi possono addestrare interi modelli da zero per un singolo video, nonostante il fatto che l’addestramento possa richiedere una settimana o più.

Nonostante la nota di avvertimento dei ricercatori del nuovo articolo, i set di dati ‘a patchwork’ e ampiamente assemblati che alimentano l’AI porn e le popolari ‘ricreazioni di deepfake’ su YouTube/TikTok sembrano improbabili da produrre risultati accettabili e coerenti in un sistema di deepfake come RigNeRF, che ha una metodologia specifica della scena. Date le restrizioni sulla cattura dei dati delineate nel nuovo lavoro, ciò potrebbe dimostrarsi, in una certa misura, un’ulteriore salvaguardia contro l’uso errato casuale dell’identità da parte di deepfaker malintenzionati.

Adattare NeRF ai Video di Deepfake

NeRF è un metodo basato sulla fotogrammetria in cui un piccolo numero di immagini sorgente prese da varie prospettive vengono assemblate in uno spazio neurale 3D esplorabile. Questo approccio è diventato famoso all’inizio di questo anno quando NVIDIA ha presentato il suo sistema Instant NeRF, in grado di ridurre i tempi di addestramento esorbitanti per NeRF a minuti, o addirittura secondi:

Instant NeRF. Fonte: https://www.youtube.com/watch?v=DJ2hcC1orc4

La scena del Campo di Radiance Neurale risultante è essenzialmente un ambiente statico che può essere esplorato, ma che è difficile da modificare. I ricercatori notano che due iniziative NeRF-based precedenti – HyperNeRF + E/P e NerFACE – hanno tentato di sintetizzare video di facce, e (apparentemente per completezza e diligenza) hanno messo RigNeRF contro questi due framework in un round di test:

Un confronto qualitativo tra RigNeRF, HyperNeRF e NerFACE. Vedi i video di origine e il PDF per versioni ad alta qualità. Fonte dell’immagine statica: https://arxiv.org/pdf/2012.03065.pdf

Tuttavia, in questo caso i risultati, che favoriscono RigNeRF, sono piuttosto anomali, per due motivi: in primo luogo, gli autori osservano che ‘non esiste un confronto diretto’; in secondo luogo, ciò ha richiesto di limitare le capacità di RigNeRF per farle almeno parzialmente corrispondere alla funzionalità più limitata dei sistemi precedenti.

Dal momento che i risultati non rappresentano un miglioramento incrementale rispetto ai lavori precedenti, ma piuttosto una ‘rottura’ nell’editabilità e nell’utilità di NeRF, lasceremo da parte il round di test e vedremo cosa fa RigNeRF in modo diverso dai suoi predecessori.

Forze Combinati

La principale limitazione di NerFACE, che può creare controllo di posa/espressione in un ambiente NeRF, è che presume che le riprese sorgente siano state effettuate con una camera statica. Ciò significa essenzialmente che non può produrre viste nuove che si estendano oltre le limitazioni di cattura. Ciò produce un sistema che può creare ‘ritratti in movimento’, ma che è inadatto per video di deepfake.

HyperNeRF, d’altra parte, mentre può generare viste nuove e iper-realistiche, non ha alcun meccanismo che gli permetta di cambiare pose di testa o espressioni facciali, il che di nuovo non risulta in alcun tipo di concorrente per i deepfakes basati su autoencoder.

RigNeRF è in grado di combinare queste due funzionalità isolate creando uno ‘spazio canonico’, una baseline di default da cui possono essere attuate deviazioni e deformazioni tramite input dal modulo 3DMM.

Creazione di uno ‘spazio canonico’ (nessuna posa, nessuna espressione), sul quale le deformazioni (ad esempio pose ed espressioni) prodotte tramite il modulo 3DMM possono agire.

Dal momento che il sistema 3DMM non sarà esattamente corrispondente al soggetto catturato, è importante compensare questo nel processo. RigNeRF realizza ciò con un campo di deformazione precedente calcolato da un Multilayer Perceptron (MLP) derivato dalle riprese sorgente.

I parametri della camera necessari per calcolare le deformazioni vengono ottenuti tramite COLMAP, mentre i parametri di espressione e forma per ogni frame vengono ottenuti da DECA.

La posizione è ulteriormente ottimizzata tramite adattamento dei punti di riferimento e i parametri della camera COLMAP, e, a causa delle limitazioni delle risorse di calcolo, l’output video è downsampato a una risoluzione di 256×256 per l’addestramento (un processo di riduzione vincolato dall’hardware che colpisce anche la scena di deepfaking basata su autoencoder).

Dopo di ciò, la rete di deformazione viene addestrata sui quattro V100 – hardware formidabile che non è probabilmente alla portata di entusiasti casuali (tuttavia, dove l’addestramento di apprendimento automatico è coinvolto, è spesso possibile scambiare potenza per tempo e semplicemente accettare che l’addestramento del modello sarà una questione di giorni o addirittura settimane).

In conclusione, i ricercatori affermano:

‘A differenza degli altri metodi, RigNeRF, grazie all’utilizzo di un modulo di deformazione guidato da 3DMM, è in grado di modellare la posa della testa, le espressioni facciali e l’intera scena del ritratto 3D con alta fedeltà, fornendo così ricostruzioni migliori con dettagli nitidi.’

Vedi i video incorporati di seguito per ulteriori dettagli e riprese dei risultati.

Pubblicato per la prima volta il 15 giugno 2022.