L’alba delle emozioni deepfake

I ricercatori hanno sviluppato una nuova tecnica di apprendimento automatico per imporre arbitrariamente nuove emozioni sui volti nei video, adattando le tecnologie esistenti che sono emerse recentemente come soluzioni per sincronizzare i movimenti delle labbra con la doppiatura in lingua straniera.

La ricerca è una collaborazione paritaria tra l’Università del Nordest di Boston e il Media Lab del MIT, e si intitola Invertable Frowns: Video-to-Video Facial Emotion Translation. Sebbene i ricercatori ammettano che la qualità iniziale dei risultati debba essere sviluppata attraverso ulteriori ricerche, affermano che la tecnica, chiamata Wav2Lip-Emotion, è la prima del suo genere a occuparsi direttamente della modifica dell’espressione del video completo attraverso tecniche di rete neurale.

Il codice di base è stato rilasciato su GitHub, sebbene i checkpoint del modello saranno aggiunti al repository open source in seguito, promettono gli autori.

A sinistra, un frame ‘triste’ del video originale. A destra, un frame ‘felice’. Al centro sono presenti due approcci nascenti per la sintesi di emozioni alternate – riga superiore: un viso completamente mascherato dove l’intera superficie dell’espressione è stata sostituita; riga inferiore: un metodo più tradizionale Wav2Lip, che sostituisce solo la parte inferiore del viso. Fonte: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Video singolo come dati di origine

In teoria, tali manipolazioni sono ottenibili ora attraverso un addestramento completo su repository di deepfake tradizionali come DeepFaceLab o FaceSwap. Tuttavia, il flusso di lavoro standard richiederebbe l’uso di un’identità alternativa all’identità ‘bersaglio’, come un attore che impersona il bersaglio, le cui espressioni sarebbero trasferite a un’altra persona, insieme al resto della performance. Inoltre, le tecniche di clonazione vocale deepfake sarebbero generalmente necessarie per completare l’illusione.

Inoltre, cambiare effettivamente l’espressione di target1>target1 in un video di origine unico con questi framework popolari richiederebbe la modifica dei vettori di allineamento del viso in un modo che queste architetture non facilitano attualmente.

Wav2Lip-Emotion mantiene la sincronizzazione delle labbra del dialogo audio originale del video mentre trasforma le espressioni associate.

Al posto di ciò, Wav2Lip-Emotion cerca efficacemente di ‘copiare e incollare’ espressioni correlate alle emozioni da una parte di un video e sostituirle in altri punti, con una frugalità di dati di origine autoimposta che è destinata a offrire in ultima analisi un metodo a basso sforzo per la manipolazione delle espressioni.

I modelli offline potrebbero essere sviluppati in seguito e addestrati su video alternativi del relatore, eliminando la necessità di qualsiasi video che contenga una ‘palette’ di stati di espressione con cui manipolare il video.

Scopi potenziali

Gli autori suggeriscono una serie di applicazioni per la modifica dell’espressione, tra cui un filtro video live per compensare gli effetti del PTSD e dei pazienti con paralisi facciale. Il documento osserva:

‘Gli individui con o senza espressioni facciali inibite possono trarre beneficio dall’aggiustare le proprie espressioni per adattarle meglio alle loro circostanze sociali. Uno potrebbe voler modificare le espressioni nei video mostrati loro. Gli oratori potrebbero urlare l’uno contro l’altro durante una conferenza video, ma comunque voler raccogliere il contenuto nel loro scambio senza le espressioni sgradevoli. O un regista cinematografico potrebbe voler aumentare o diminuire le espressioni di un attore.’

Poiché l’espressione facciale è un indicatore chiave e fondamentale dell’intento, anche se può essere abrasivo contro le parole pronunciate, la capacità di alterare l’espressione offre anche, in una certa misura, la capacità di cambiare come la comunicazione è percepita.

Lavori precedenti

L’interesse per la modifica dell’espressione mediante apprendimento automatico risale almeno al 2012, quando una collaborazione tra Adobe, Facebook e l’Università del Rutgers propose un metodo per alterare le espressioni utilizzando un approccio di ricostruzione geometrica 3D basato su tensori, che imponeva laboriosamente una mesh CGI su ogni frame di un video bersaglio per effettuare il cambiamento.

La ricerca Adobe/Facebook del 2012 manipolava le espressioni imponendo cambiamenti tradizionali CGI sui video. Le espressioni potevano essere aumentate o soppressate. Fonte: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Sebbene i risultati fossero promettenti, la tecnica era onerosa e le risorse necessarie erano notevoli. A quel punto, la CGI era molto più avanti delle tecniche di visione artificiale basate sulla manipolazione diretta delle caratteristiche e dei pixel.

Più strettamente legato al nuovo documento è MEAD, un set di dati e un modello di generazione di espressioni rilasciato nel 2020, in grado di generare video ‘talking-head’, sebbene senza il livello di sofisticazione che è potenzialmente ottenibile modificando direttamente il video di origine.

Generazione di espressioni con MEAD, una collaborazione tra SenseTime Research, Carnegie Mellon e tre università cinesi. Fonte: https://wywu.github.io/projects/MEAD/MEAD.html

Nel 2018 è emerso un altro documento, intitolato GANimation: Anatomically-aware Facial Animation from a Single Image, come collaborazione di ricerca accademica tra Stati Uniti e Spagna, e ha utilizzato reti generative avversarie per aumentare o cambiare le espressioni in immagini fisse solo.

Cambiare le espressioni in immagini fisse con GANimation. Fonte: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Invece, il nuovo progetto si basa su Wav2Lip, che ha ricevuto pubblicità nel 2020 offrendo un metodo potenziale per ri-sincronizzare i movimenti delle labbra per accomodare nuovi input di discorso (o canzone) che non sono apparsi nel video originale.

L’architettura originale Wav2Lip è stata addestrata su un corpus di frasi parlato dagli archivi della BBC. Per adattare Wav2Lip al compito di alterazione dell’espressione, i ricercatori hanno ‘affinato’ l’architettura sul sopracitato set di dati MEAD.

MEAD consiste di 40 ore di video che presentano 60 attori che leggono la stessa frase mentre eseguono una varietà di espressioni facciali. Gli attori provengono da 15 paesi diversi e offrono una gamma di caratteristiche internazionali finalizzate ad aiutare il progetto (e i progetti derivati) a produrre una sintesi di espressioni applicabile e ben generalizzata.

Al momento della ricerca, MEAD aveva rilasciato solo la prima parte del set di dati, che presentava 47 individui che eseguivano espressioni come ‘arrabbiato’, ‘disgusto’, ‘paura’, ‘disprezzo’, ‘felice’, ‘triste’ e ‘sorpreso’. In questo primo approccio a un nuovo approccio, i ricercatori hanno limitato l’ambito del progetto all’imposizione o all’alterazione delle emozioni percepibili ‘felice’ e ‘triste’, poiché sono le più facilmente riconoscibili.

Metodo e risultati

L’architettura originale Wav2Lip sostituisce solo la sezione inferiore del viso, mentre Wav2Lip-Emotion sperimenta anche con una maschera di sostituzione facciale completa e sintesi di espressione. Pertanto, è stato necessario per i ricercatori modificare inoltre i metodi di valutazione incorporati, poiché questi non erano stati progettati per una configurazione a viso completo.

Gli autori migliorano il codice originale conservando l’input audio originale, mantenendo la coerenza del movimento delle labbra.

L’elemento generatore presenta un codificatore di identità, un codificatore di discorso e un decodificatore di viso, in conformità con il lavoro precedente. L’elemento del discorso è codificato inoltre come convoluzioni 2D impilate che sono concatenate successivamente ai loro frame associati.

Oltre all’elemento generativo, l’architettura modificata presenta tre componenti principali di discriminatore, che si concentrano sulla qualità della sincronizzazione delle labbra, un elemento di obiettivo emotivo e un obiettivo di qualità visiva addestrato in modo avversario.

Per la ricostruzione del viso completo, il lavoro originale Wav2Lip non conteneva alcun precedente, e quindi il modello è stato addestrato da zero. Per l’addestramento della metà inferiore del viso (mezza maschera), i ricercatori sono partiti dai checkpoint inclusi nel codice Wav2Lip originale.

Oltre alla valutazione automatica, i ricercatori hanno utilizzato un’opinione fornita da una piattaforma di servizio semi-automatizzata. I lavoratori hanno generalmente valutato l’output in modo elevato per quanto riguarda il riconoscimento delle emozioni sovrapposte, mentre hanno segnalato solo valutazioni ‘moderate’ per la qualità dell’immagine.

Gli autori suggeriscono che, oltre a migliorare la qualità del video generato con ulteriori raffinamenti, le iterazioni future del lavoro potrebbero abbracciare una gamma più ampia di emozioni, e che il lavoro potrebbe essere applicato in futuro anche a dati di origine etichettati o inferiti automaticamente e set di dati, portando, alla fine, a un sistema autentico in cui le emozioni potrebbero essere aumentate o diminuite a piacimento dell’utente, o sostituite in ultima analisi con emozioni contrastanti rispetto al video di origine.