Perché i Deepfake Non Possono Attualmente Trasmettere la Sottigliezza delle Emozioni

Ieri è stato pubblicato l’episodio 6 della serie spin-off di Star Wars, The Book of Boba Fett, e sembra aver diviso l’opinione dei fan. Ricevuto con generale approvazione, c’è una convinzione diffusa sui social network che la ricostruzione notevolmente migliorata di un Mark Hamill ringiovanito (rispetto alla sua precedente apparizione nella seconda stagione di The Mandalorian nel 2020) sia il risultato diretto dell’assunzione da parte di Industrial Light and Magic dell’artista di deepfake Shamook (che aveva radicalmente migliorato il suo lavoro con software open source); e che le rappresentazioni del personaggio debbano essere una combinazione di tecnologia deepfake, forse ritoccata con CGI.

Attualmente, c’è una conferma limitata di ciò, sebbene Shamook abbia detto poco al mondo dal momento in cui è scattato il contratto di non divulgazione di ILM. Tuttavia, il lavoro è un miglioramento straordinario rispetto al CGI del 2020; presenta alcune delle caratteristiche “lucide” associate ai modelli deepfake derivati da opere d’archivio; e in generale corrisponde al miglior standard visivo attuale per i deepfake.

L’altra corrente di opinione dei fan è che il nuovo tentativo di “Giovane Luke” abbia un insieme diverso di difetti rispetto al precedente. Forse più significativamente, la mancanza di espressività e di emozioni sottili e adeguate nelle lunghe sequenze che presentano la nuova ricostruzione di Skywalker sono più tipiche dei deepfake che del CGI; The Verge ha descritto la simulazione di Boba Fett in termini di “visaggio uncanny e vuoto del viso congelato di Mark Hamill del 1983”.

Indipendentemente dalle tecnologie dietro la nuova ricostruzione di ILM, le trasformazioni deepfake hanno un problema fondamentale con la sottigliezza delle emozioni che è difficile da affrontare sia attraverso cambiamenti nell’architettura che attraverso il miglioramento del materiale di formazione sorgente, e che è tipicamente evitato dalle scelte accurate che i creatori di deepfake virali fanno quando selezionano un video di destinazione.

Limitazioni dell’Allineamento Faciale

I due repository FOSS di deepfake più comunemente utilizzati sono DeepFaceLab (DFL) e FaceSwap, entrambi derivati dal codice sorgente anonimo e controverso del 2017, con DFL che ha un enorme vantaggio nell’industria VFX, nonostante la sua strumentalità limitata.

Ognuno di questi pacchetti è inizialmente incaricato di estrarre i punti di riferimento facciali dai volti che è riuscito a identificare nel materiale sorgente (ad esempio frame di video e/o immagini fisse).

La Rete di Allineamento Faciale (FAN) in azione, dal repository ufficiale. Fonte: https://github.com/1adrianb/face-alignment

Entrambi DFL e FaceSwap utilizzano la libreria Facial Alignment Network (FAN). FAN può creare punti di riferimento 2D e 3D (vedi immagine sopra) per volti estratti. I punti di riferimento 3D possono tenere conto estensivo dell’orientamento percepito del viso, fino a profili estremi e angoli relativamente acuti.

Tuttavia, è evidente che queste sono linee guida molto rudimentali per il pascolo e la valutazione dei pixel:

Dal forum di FaceSwap, un indicatore approssimativo dei punti di riferimento disponibili per i lineamenti facciali. Fonte: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

I lineamenti facciali più basilari sono consentiti: gli occhi possono allargarsi e chiudersi, così come la mascella, mentre le configurazioni di base della bocca (come sorridere, accigliarsi, ecc.) possono essere tracciate e adattate. Il viso può ruotare in qualsiasi direzione fino a circa 200 gradi dal punto di vista della telecamera.

Oltre a ciò, queste sono recinti piuttosto rozzi per il modo in cui i pixel si comporteranno all’interno di questi confini e rappresentano le uniche linee guida facciali veramente matematiche e precise nel processo deepfake. Il processo di formazione stesso semplicemente confronta il modo in cui i pixel sono disposti all’interno o vicino a questi confini.

Formazione in DeepFaceLab. Fonte: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Poiché non c’è alcuna disposizione per la topologia di sottoparti del viso (convessità e concavità delle guance, dettagli di invecchiamento, fossette, ecc.), non è nemmeno possibile tentare di corrispondere a tali “sottili” sottocaratteristiche tra un’identità sorgente (‘viso che si desidera sovrascrivere’) e un’identità di destinazione (‘viso che si desidera incollare’).

Fare con i Dati Limitati

Ottenere dati abbinati tra due identità per gli scopi di formazione dei deepfake non è facile. Più insolito è l’angolo che si deve abbinare, più si potrebbe dover compromettere se quell’angolo (raro) di abbinamento tra le identità A e B effettivamente presenta la stessa espressione.

Vicino, ma non esattamente una corrispondenza.

Nell’esempio sopra, le due identità sono abbastanza simili nella disposizione, ma questo è quanto vicino questo set di dati può arrivare a una corrispondenza esatta.

Chiare differenze rimangono: l’angolo e l’obiettivo non corrispondono esattamente, e nemmeno l’illuminazione; il soggetto A non ha gli occhi completamente chiusi, a differenza del soggetto B; la qualità dell’immagine e la compressione sono peggiori nel soggetto A; e in qualche modo il soggetto B sembra molto più felice del soggetto A.

Ma, sai, è tutto ciò che abbiamo, quindi dovremo formare comunque.

Perché questo abbinamento A><B ha così tanti elementi insoliti, puoi essere certo che ci sono pochi, se non nessun, abbinamenti simili nel set. Quindi, la formazione andrà a sotto-adattare o sovraccettare.

Sotto-adattare: Se questo abbinamento è una vera minoranza (ad esempio, il set di dati genitori è abbastanza grande e non presenta spesso le caratteristiche di queste due foto), non riceverà molto tempo di formazione rispetto agli abbinamenti più “popolari” (ad esempio, facili/neutri). Di conseguenza, questo angolo/espressione non sarà ben rappresentato in un deepfake creato con il modello formato.

Sovraccettare: Nella disperazione per i pochi abbinamenti dei dati per tali abbinamenti rari A><B, i creatori di deepfake a volte duplicano l’abbinamento molte volte nel set di dati, in modo che abbia una migliore possibilità di diventare una caratteristica nel modello finale. Ciò porterà a un sovraccettamento, dove i video deepfake creati con il modello saranno probabilmente ripetere pedantemente le discordanze evidenti tra le due foto, come la diversa estensione in cui gli occhi sono chiusi.

Nell’immagine seguente, vediamo Vladimir Putin formato in DeepFaceLab per eseguire uno scambio in Kevin Spacey. Qui, la formazione è relativamente avanzata a 160.000 iterazioni.

Fonte: https://i.imgur.com/OdXHLhU.jpg

L’osservatore casuale potrebbe sostenere che Putin sembra un po’, beh, più spaziale di Spacey in questi test-scambi. Vediamo cosa ne pensa un programma di riconoscimento delle emozioni online della discordanza nelle espressioni:

Fonte: https://www.noldus.com/facereader/measure-your-emotions

Secondo questo particolare oracolo, che analizza una topografia facciale molto più dettagliata di DFL e Faceswap, Spacey è meno arrabbiato, disgustato e disprezzato del deepfake di Putin risultante in questo abbinamento.

Le espressioni disuguali arrivano come parte di un pacchetto intrecciato, poiché le applicazioni deepfake più diffuse non hanno la capacità di registrare o abbinare espressioni o emozioni, tranne che tacitamente, come un mapping raw pixel>pixel.

Per noi, le differenze sono enormi. Impariamo a leggere le espressioni facciali come una tecnica di base di sopravvivenza dai nostri primi anni e continuiamo a fare affidamento su questa abilità nell’età adulta per scopi di integrazione sociale e progressione, accoppiamento e come un quadro di valutazione della minaccia in corso. Poiché siamo così sensibilizzati alle micro-espressioni, le tecnologie deepfake alla fine dovranno tenere conto di ciò.

Controcorrente

Sebbene la rivoluzione dei deepfake abbia portato la promessa di inserire “classici” divi del cinema in film e serie TV moderne, l’AI non può tornare indietro nel tempo e girare i loro lavori classici a una definizione e qualità più compatibili, che è fondamentale per questo caso d’uso.

Sulla base dell’ipotesi (e per i nostri scopi, non importa se è sbagliata) che la ricostruzione di Hamill in Boba Fett sia stata in gran parte il lavoro di un modello deepfake formato, il set di dati per il modello avrebbe dovuto sfruttare le riprese del periodo vicino alla linea temporale dello spettacolo (ad esempio Hamill come un giovane trentenne intorno al tempo della produzione di Return of the Jedi, 1981-83).

Il film è stato girato su Eastman Color Negative 250T 5293/7293 stock, un’emulsione 250ASA considerata a grana media-fine all’epoca, ma superata in chiarezza, gamma di colori e fedeltà già alla fine degli anni ’80. È uno stock del suo tempo e la portata operistica di Jedi ha concesso pochi primi piani anche ai suoi attori principali, rendendo le questioni di grano ancora più critiche, poiché i volti sorgente occupano solo una parte del frame.

Una gamma di scene di Hamill in Return of the Jedi (1983).

Inoltre, molte delle riprese con effetti visivi che presentano Hamill saranno state eseguite attraverso una stampante ottica, aumentando il grano del film. Tuttavia, l’accesso agli archivi di Lucasfilm – che hanno presumibilmente curato bene i negativi master e potrebbero offrire ore di riprese grezze aggiuntive – potrebbe superare questo problema.

A volte è possibile coprire una gamma di anni di produzione di un attore per aumentare e diversificare il set di dati dei deepfake. Nel caso di Hamill, i creatori di deepfake sono ostacolati dal suo cambiamento di aspetto dopo un incidente d’auto nel 1977 e dal fatto che abbia quasi immediatamente iniziato la sua seconda carriera come attore di voce di successo dopo Jedi, rendendo il materiale sorgente relativamente scarso.

Gamma di Emozioni Limitata?

Se hai bisogno che il tuo attore deepfaked mastichi la scena, avrai bisogno di riprese sorgente che contengano una gamma di espressioni facciali insolitamente ampia. Potrebbe essere che le uniche riprese dell’età appropriata disponibili non presentino molte di quelle espressioni.

Ad esempio, quando si trattava dell’arco narrativo di Return of the Jedi, il personaggio di Hamill aveva in gran parte padroneggiato le sue emozioni, uno sviluppo assolutamente centrale per la mitologia originale della serie. Quindi, se si crea un modello deepfake di Hamill da dati di Jedi, si dovrà lavorare con la gamma di emozioni più limitata e la composizione facciale insolita che il ruolo di Hamill richiedeva di lui in quel momento, rispetto ai suoi precedenti ingressi nella serie.

Anche se si considera che ci sono momenti in Return of the Jedi in cui il personaggio di Skywalker è sotto stress e potrebbe fornire materiale per una gamma di espressioni più ampia, il materiale del viso in queste scene è comunque fugace e soggetto al motion blur e al montaggio veloce tipico delle scene d’azione; quindi i dati sono piuttosto squilibrati.

Generalizzazione: La Fusione delle Emozioni

Se la ricostruzione di Skywalker in Boba Fett è effettivamente un deepfake, la mancanza di gamma espressiva che è stata mossa contro di essa da alcune parti non sarebbe interamente dovuta al materiale sorgente limitato. Il processo di formazione encoder-decoder dei deepfake cerca un modello generalizzato che distilla con successo caratteristiche centrali da migliaia di immagini e può almeno tentare di deepfake un angolo che era mancante o raro nel set di dati.

Se non fosse per questa flessibilità, un’architettura deepfake sarebbe semplicemente una copia e incolla di morfologie di base su una base per frame, senza considerare l’adattamento temporale o il contesto.

Tuttavia, il doloroso compromesso per questa versatilità è che la fedeltà dell’espressione è probabilmente una vittima del processo e qualsiasi espressione che sia “sottile” potrebbe non essere quella giusta. Tutti noi suoniamo i nostri volti come un’orchestra di 100 pezzi e siamo ben attrezzati per farlo, mentre il software deepfake è argomentabilemente privo di almeno la sezione degli archi.

Disparità di Affetto nelle Espressioni

I movimenti facciali e i loro effetti su di noi non sono un linguaggio uniforme su tutti i volti; la sopracciglia alzata che sembra spavalda su Roger Moore potrebbe sembrare meno sofisticata su Seth Rogan, mentre l’allettante fascino di Marilyn Monroe potrebbe tradursi in un’emozione più negativa se deepfaked su una persona la cui ruolo più disponibile è “arrabbiato” o “disaffetto” (come il personaggio di Aubrey Plaza in sette stagioni di Parks and Recreation).

Quindi, l’equivalenza pixel><pixel tra i set di volti A/B non è necessariamente utile a questo riguardo; ma è tutto ciò che è offerto nel software FOSS deepfake di stato dell’arte.

Ciò che è argomentabile necessario è un framework deepfake che non solo possa riconoscere le espressioni e inferire le emozioni, ma abbia la capacità di incarnare concetti di alto livello come arrabbiato, seducente, annoiato, stanco, ecc., e di categorizzare quelle emozioni e le relative espressioni in ciascuno dei due set di volti, piuttosto che esaminare e replicare la disposizione di una bocca o di una palpebra.

Pubblicato per la prima volta il 3 febbraio 2022. Aggiornato alle 19:47 EET, attribuzione del nome errata.