Modificare le Emozioni nei Video con l’AI

I ricercatori della Grecia e del Regno Unito hanno sviluppato un nuovo approccio di apprendimento profondo per modificare le espressioni e l’umore apparente delle persone nei video, preservando la fedeltà dei movimenti labiali rispetto all’audio originale in un modo che i precedenti tentativi non sono stati in grado di eguagliare.

Dal video che accompagna la carta (inserito alla fine di questo articolo), un breve clip dell’attore Al Pacino con la sua espressione sottilmente alterata da NED, basata su concetti semantici di alto livello che definiscono espressioni facciali individuali e le loro emozioni associate. Il metodo ‘Reference-Driven’ a destra prende le emozioni interpretate di un video di origine e le applica all’intera sequenza del video. Fonte: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Questo campo rientra nella categoria in crescita delle emozioni deepfaked, dove l’identità del parlante originale è preservata, ma le espressioni e le micro-espressioni sono alterate. Man mano che questa tecnologia di intelligenza artificiale matura, offre la possibilità per le produzioni cinematografiche e televisive di apportare modifiche sottili alle espressioni degli attori – ma apre anche una categoria abbastanza nuova di ‘video deepfaked con emozioni alterate’.

Changing Faces

Le espressioni facciali per le figure pubbliche, come i politici, sono curate con rigore; nel 2016 le espressioni facciali di Hillary Clinton sono state sottoposte a una forte attenzione dei media per il loro potenziale impatto negativo sulle sue prospettive elettorali; le espressioni facciali, si scopre, sono anche un argomento di interesse per l’FBI; e sono un indicatore critico nei colloqui di lavoro, rendendo la prospettiva di un filtro di controllo delle espressioni ‘live’ uno sviluppo desiderabile per i cercatori di lavoro che cercano di superare una pre-selezione su Zoom.

Uno studio del 2005 del Regno Unito ha affermato che l’aspetto facciale influenza le decisioni di voto, mentre una funzione del Washington Post del 2019 ha esaminato l’utilizzo di clip video ‘fuori contesto’, che è attualmente la cosa più vicina che i sostenitori delle notizie false hanno per essere in grado di cambiare come una figura pubblica appare di comportarsi, rispondere o sentire.

Verso la Manipolazione delle Espressioni Neurali

Al momento, lo stato dell’arte nella manipolazione dell’effetto facciale è abbastanza rudimentale, poiché coinvolge la disentanglement di concetti di alto livello (come triste, arrabbiato, felice, sorridente) dal contenuto video effettivo. Sebbene le architetture deepfake tradizionali sembrino raggiungere questo disentanglement abbastanza bene, specchiare le emozioni attraverso identità diverse richiede ancora che due set di dati di facce contengano espressioni corrispondenti per ogni identità.

Esempi tipici di immagini di facce nei set di dati utilizzati per addestrare i deepfake. Attualmente, è possibile manipolare l’espressione facciale di una persona solo creando percorsi di espressione specifici dell’identità nel network deepfake. Il software deepfake del 2017 non ha una comprensione intrinseca, semantica di un ‘sorriso’ – semplicemente mappa e abbina i cambiamenti percepiti nella geometria facciale tra i due soggetti.

Ciò che è desiderabile e non è stato ancora perfettamente raggiunto è riconoscere come il soggetto B (ad esempio) sorride e semplicemente creare un ‘interruttore di sorriso’ nell’architettura, senza doverlo mappare su un’immagine equivalente del soggetto A che sorride.

La nuova carta è intitolata Neural Emotion Director: controllo semantico delle espressioni facciali nei video ‘in-the-wild’ che preserva l’audio, e proviene da ricercatori della Scuola di Ingegneria Elettrica e Informatica dell’Università Tecnica Nazionale di Atene, dell’Istituto di Informatica della Fondazione per la Ricerca e la Tecnologia Hellas (FORTH) e del College of Engineering, Mathematics and Physical Sciences dell’Università di Exeter nel Regno Unito.

Il team ha sviluppato un framework chiamato Neural Emotion Director (NED), che incorpora una rete di traduzione delle emozioni basata su 3D, 3D-Based Emotion Manipulator.

NED prende una sequenza ricevuta di parametri di espressione e li traduce in un dominio di destinazione. È addestrato su dati non paralleli, il che significa che non è necessario addestrare su set di dati in cui ogni identità ha espressioni facciali corrispondenti.

Il video, mostrato alla fine di questo articolo, esegue una serie di test in cui NED impone uno stato emotivo apparente su footage dal set di dati di YouTube.

Gli autori affermano che NED è il primo metodo basato su video per ‘direzionare’ gli attori in situazioni casuali e imprevedibili e hanno reso il codice disponibile sulla pagina del progetto.

Metodo e Architettura

Il sistema è addestrato su due grandi set di dati video che sono stati annotati con etichette di ’emozione’.

L’output è abilitato da un renderizzatore di facce video che rende l’emozione desiderata nel video utilizzando tecniche di sintesi di immagini facciali tradizionali, tra cui segmentazione del viso, allineamento dei punti di riferimento facciali e sfumatura, dove solo l’area del viso è sintetizzata e poi imposta sul footage originale.

L’architettura per la pipeline di Neural Emotion Detector (NED). Fonte: https://arxiv.org/pdf/2112.00585.pdf

Inizialmente, il sistema ottiene il recupero facciale 3D e impone allineamenti di punti di riferimento facciali sui frame di input per identificare l’espressione. Dopo di ciò, questi parametri di espressione recuperati vengono passati al 3D-Based Emotion Manipulator e un vettore di stile viene calcolato tramite un’etichetta semantica (come ‘felice’) o un file di riferimento.

Un file di riferimento è un video che rappresenta un’espressione/emozione particolare, che viene poi imposta sull’intero video di destinazione, sostituendo l’espressione originale.

Fasi della pipeline di trasferimento delle emozioni, con vari attori campionati da video di YouTube.

La forma finale del viso 3D generata viene quindi concatenata con la Coordinate del Viso Medio Normalizzato (NMFC) e le immagini degli occhi (i punti rossi nell’immagine sopra) e passata al renderizzatore neurale, che esegue la manipolazione finale.

Risultati

I ricercatori hanno condotto studi approfonditi, tra cui studi utente e di ablazione, per valutare l’efficacia del metodo rispetto ai lavori precedenti e hanno scoperto che nella maggior parte delle categorie, NED supera lo stato attuale dell’arte in questo sottosettore di manipolazione facciale neurale.

Gli autori della carta immaginano che implementazioni successive di questo lavoro e strumenti di natura simile saranno utili principalmente nell’industria cinematografica e televisiva, affermando:

‘Il nostro metodo apre una moltitudine di nuove possibilità per applicazioni utili delle tecnologie di rendering neurale, che vanno dalla post-produzione cinematografica e dai videogiochi agli avatar affettivi fotorealistici.’

Questo è un lavoro precoce nel campo, ma uno dei primi a tentare la reenactment facciale con video invece di immagini fisse. Sebbene i video siano essenzialmente molte immagini fisse che si susseguono molto velocemente, ci sono considerazioni temporali che rendono le applicazioni precedenti del trasferimento delle emozioni meno efficaci. Nel video che accompagna la carta e negli esempi nel documento, gli autori includono confronti visivi dell’output di NED rispetto ad altri metodi recenti e comparabili.

Confronti più dettagliati e molti altri esempi di NED possono essere trovati nel video completo qui sotto:

3 dicembre 2021, 18:30 GMT+2 – Su richiesta di uno degli autori della carta, sono state apportate correzioni riguardo al ‘file di riferimento’, che avevo erroneamente affermato essere una foto fissa (quando in realtà è un clip video). Inoltre, è stata apportata una modifica al nome dell’Istituto di Informatica della Fondazione per la Ricerca e la Tecnologia.
3 dicembre 2021, 20:50 GMT+2 – Una seconda richiesta da parte di uno degli autori della carta per un’ulteriore modifica al nome della suddetta istituzione.