La Disney combina CGI con rendering neurale per affrontare la ‘valle inquietante’

La divisione di ricerca sull’intelligenza artificiale della Disney ha sviluppato un metodo ibrido per la simulazione facciale di qualità cinematografica, combinando i punti di forza del rendering neurale facciale con la coerenza di un approccio basato su CGI.

Il documento in attesa di pubblicazione si intitola Rendering con stile: combinazione di approcci tradizionali e neurali per il rendering facciale di alta qualità e viene presentato in un nuovo video di 10 minuti sul canale YouTube della Disney Research (inserito alla fine di questo articolo*).

Mesh combinate con rendering neurale facciale. Vedi il video inserito alla fine dell’articolo per una migliore qualità e dettaglio. Fonte: https://www.youtube.com/watch?v=k-RKSGbWLng (sostituito da https://www.youtube.com/watch?v=TwpLqTmvqVk)

Come nota il video, il rendering neurale delle facce (inclusi i deepfake) può produrre occhi e interni della bocca molto più realistici di quanto sia possibile con il CGI, mentre le texture facciali guidate da CGI sono più coerenti e adatte per l’output VFX di livello cinematografico.

Pertanto, la Disney sta sperimentando l’utilizzo del generatore neurale StyleGan2 di NVIDIA per gestire le caratteristiche circostanti di un volto e gli elementi “vitali” come gli occhi, sovrapponendo le texture facciali CGI coerenti e gli elementi correlati nel risultato.

Dal video (vedi fine articolo), il concetto architettonico dietro l’approccio ibrido della Disney, dove una mesh CGI di vecchio stile, del tipo utilizzato per ricreare ‘giovane’ Carrie Fisher e il defunto Peter Cushing per Rogue One (2016), viene integrata in ambienti facciali neurale.

Il video fa un riferimento tacito alla critica frequente dell’inautenticità e dell’effetto “valle inquietante” della ricreazione CGI dell’attore britannico defunto Peter Cushing in Rogue One (2016), ammettendo:

‘[C’è] ancora un’enorme lacuna tra ciò che le persone possono catturare e rendere facilmente e i doppi digitali fotorealistici finali, completi di capelli, occhi e interni della bocca. Per colmare questa lacuna, di solito è necessario molto lavoro manuale da parte di artisti esperti.’

In realtà, anche i sistemi di cattura facciale più moderni non tentano nemmeno di ricreare occhi, interni della bocca o capelli, che hanno problemi di autenticità in tali tecniche (occhi) o di coerenza temporale (capelli).

Il video illustra ciò che gli artisti VFX otterranno dopo una tipica sessione di cattura facciale moderna. Occhi, capelli, barba e interni della bocca dovranno essere gestiti da team separati nella pipeline di produzione, in aggiunta alla texture e all’illuminazione.

Controllo dell’illuminazione

L’approccio ibrido è anche un vantaggio per la ri-illuminazione – una sfida notevole per il rendering neurale delle facce, poiché le sovrapposizioni di pelle CGI possono essere più facilmente ri-illuminate.

Una versione animata dell’approccio CGI/Neurale.

In ambienti più impegnativi, come le riprese esterne, i ricercatori hanno sviluppato un metodo di inpainting intorno a una sorta di zona demilitarizzata che circonda la persona “creata”.

Un margine nero viene generato per consentire una ‘tela’ per l’inpainting delle parti esterne dell’identità e l’integrazione della pelle CGI nel risultato combinato CGI/neurale.

Il video nota:

‘[Il] rendering neurale non corrisponde perfettamente alla costrizione di sfondo. – è solo destinato a essere una guida, poiché l’ottimizzazione per componenti umani realistici come capelli, occhi e denti è l’obiettivo principale. Più impegnativo è cercare di mantenere un’identità coerente, cambiando l’illuminazione dell’ambiente.’

Creazione di mesh CGI da rendering neurali

Il team di ricerca ha anche sviluppato un autoencoder variazionale addestrato su un (non specificato) grande database di immagini facciali 3D e afferma di poter produrre mesh facciali 3D “casuali ma plausibili” a partire da dati di verità fondamentale.

Esistono limitazioni per questa ricerca da superare, tra cui la difficoltà di mantenere i capelli coerenti temporalmente nei rendering neurali, e il video (vedi sotto) mostra diversi esempi di capelli che mutano rapidamente in un giro coerente intorno a un volto CGI/neurale.

La coerenza temporale nel rendering video neurale è un problema molto più ampio di quello della Disney e sembra probabile che iterazioni successive di questo sistema possano ricorrere all’aggiunta di capelli “in post-produzione” o ad altri approcci possibili per la generazione di capelli rispetto a sperare che un nuovo approccio neurale risolva eventualmente il problema.

Utilizzi per la generazione di dataset

Il metodo è proposto anche come un potenziale metodo per la generazione di dati sintetici e l’arricchimento del paesaggio di immagini facciali, che negli ultimi anni è diventato pericolosamente monotono.

La Disney prevede che la nuova tecnica popoli i dataset di immagini facciali.

‘[Ogni] risultato fotorealistico che generiamo ha una geometria sottostante e mappe di aspetto, rese da punti di vista della camera sconosciuti con illuminazione nota. Queste informazioni di “verità fondamentale” possono essere vitali per l’addestramento di applicazioni a valle, come la ricostruzione facciale 3D monocolare, il riconoscimento facciale o la comprensione della scena. E quindi ogni rendering del risultato potrebbe essere considerato un campione di dati e possiamo generare molte variazioni di molti individui diversi.

‘Inoltre, anche per una sola persona resa in una sola espressione con un solo punto di vista e illuminazione, possiamo generare variazioni casuali del rendering fotorealistico variando il seed di randomizzazione durante l’ottimizzazione.’

I ricercatori notano che questa diversità di output configurabile potrebbe essere utile per l’addestramento di applicazioni di riconoscimento facciale, concludendo:

‘[Il nostro] metodo è in grado di sfruttare la tecnologia attuale per la cattura, la modellazione e il rendering della pelle facciale e creare automaticamente rendering facciali fotorealistici completi che corrispondono all’identità, all’espressione e alla configurazione della scena desiderate. Questo approccio ha applicazioni nel rendering facciale per il cinema e l’intrattenimento, risparmiando lavoro manuale agli artisti e anche per la generazione di dati in diversi campi dell’apprendimento profondo.’

Per una visione più approfondita del nuovo approccio, guardate il video di 10 minuti pubblicato oggi:

 * Il link originale del video è stato sostituito con un altro apparentemente identico 8 ore dopo la pubblicazione di questo articolo. Ho modificato tutti i link pertinenti, poiché non c’è traccia del video originale.

8:24 GMT+2 – Sostituito il video, poiché è stato sostituito dal canale YouTube della Disney Research per qualche ragione.