La disentanglement è la prossima rivoluzione dei deepfake

La tecnologia di data augmentation CGI sta essere utilizzata in un nuovo progetto per ottenere un maggiore controllo sulle immagini dei deepfake. Sebbene non si possa ancora utilizzare efficacemente le teste CGI per colmare le lacune mancanti nei set di dati dei deepfake facciali, una nuova ondata di ricerca sulla disentanglement dell’identità dal contesto significa che presto potrebbe non essere necessario.

I creatori di alcuni dei più famosi video deepfake degli ultimi anni selezionano con cura i video sorgente, evitando le riprese di profilo prolungate (ad esempio, il tipo di foto segnaletiche popolarizzate dalle procedure di arresto della polizia), angoli acuti e espressioni insolite o esagerate. Sempre più spesso, i video di dimostrazione prodotti dai creatori di deepfake virali sono montaggi editati che selezionano gli angoli e le espressioni “più facili” da deepfake.

In realtà, il video sorgente più adatto per inserire un deepfake di un personaggio famoso è quello in cui la persona originale (la cui identità verrà cancellata dal deepfake) guarda direttamente la telecamera, con un range di espressioni minimo.

La maggior parte dei deepfake popolari degli ultimi anni ha mostrato i soggetti diretti verso la telecamera, e o recanti solo espressioni popolari (come il sorriso), che possono essere facilmente estratte dalle foto di paparazzi sul tappeto rosso, o (come nel caso del falso di Sylvester Stallone come Terminator, in foto a sinistra), idealmente senza espressione, poiché le espressioni neutrali sono estremamente comuni, rendendole facili da incorporare nei modelli deepfake.

Perché le tecnologie deepfake come DeepFaceLab e FaceSwap eseguono questi scambi semplici molto bene, siamo sufficientemente impressionati da ciò che realizzano per non notare ciò che non sono in grado di fare, e spesso non tentano nemmeno:

Foto di un video deepfake acclamato in cui Arnold Schwarzenegger viene trasformato in Sylvester Stallone – a meno che gli angoli non siano troppo difficili. I profili rimangono un problema persistente nelle attuali tecniche deepfake, in parte perché il software open source utilizzato per definire le pose facciali nei framework deepfake non è ottimizzato per le viste laterali, ma principalmente a causa della scarsità di materiale sorgente adatto in uno o entrambi i set di dati necessari. Fonte: https://www.youtube.com/watch?v=AQvCmQFScMA

Nuova ricerca da Israele propone un nuovo metodo per utilizzare dati sintetici, come teste CGI, per portare i deepfake nel 2020, separando veramente l’identità facciale (ad esempio, le caratteristiche facciali essenziali di “Tom Cruise”) dal contesto (ad esempio, guardare in alto, guardare di lato, corrugare la fronte, corrugare la fronte al buio, serrare le sopracciglia, chiudere gli occhi, ecc.).

Il nuovo sistema separa discretamente la posa e il contesto (ad esempio, strizzare un occhio) dall’encoding dell’identità dell’individuo, utilizzando dati facciali sintetici non correlati (in foto a sinistra). Nella riga superiore, vediamo uno “strizzare l’occhio” trasferito sull’identità di Barack Obama, promosso dal percorso non lineare appreso dello spazio latente di un GAN, rappresentato dall’immagine CGI a sinistra. Nella riga inferiore, vediamo l’angolo della bocca allungato trasferito sul ex presidente. In basso a destra, vediamo entrambe le caratteristiche applicate contemporaneamente. Fonte: https://arxiv.org/pdf/2111.08419.pdf

Questo non è semplicemente deepfake head-puppetry, una tecnica più adatta per avatar e lip-sincronizzazione parziale, e che ha un potenziale limitato per trasformazioni video deepfake complete.

Al contrario, questo rappresenta un modo per separare fondamentalmente l’strumentalità (ad esempio, ‘cambiare l’angolo della testa’, ‘creare una smorfia’) dall’identità, offrendo un percorso per una sintesi di immagini deepfake di alto livello piuttosto che “derivativa”.

Il nuovo articolo si intitola Delta-GAN-Encoder: encoding di cambiamenti semantici per la modifica di immagini esplicite, utilizzando pochi campioni sintetici, e proviene da ricercatori del Technion – Israel Institute of Technology.

Per capire cosa significa questo lavoro, analizziamo come vengono prodotti i deepfake attualmente, dalle siti web di deepfake pornografici a Industrial Light and Magic (poiché il repository open source DeepFaceLab è attualmente dominante sia nel deepfaking “amatoriale” che professionale).

Cosa sta trattenendo la tecnologia deepfake attuale?

I deepfake vengono attualmente creati addestrando un modello di apprendimento automatico encoder/decoder su due cartelle di immagini facciali – la persona che si vuole “dipingere” (nel precedente esempio, è Arnie) e la persona che si vuole sovrapporre nel video (Sly).

Esempi di pose e condizioni di illuminazione variabili in due set di dati facciali diversi. Nota l’espressione distintiva alla fine della terza riga nella colonna A, che è improbabile abbia un equivalente vicino nell’altro set di dati.

Il sistema encoder/decoder quindi confronta ogni singola immagine in ogni cartella con le altre, sostenendo, migliorando e ripetendo questa operazione per centinaia di migliaia di iterazioni (spesso per una settimana intera), fino a quando non comprende abbastanza le caratteristiche essenziali di entrambe le identità da poterle scambiare a piacimento.

Per ogni persona che viene scambiata nel processo, ciò che il deepfake apprende sull’identità è intrecciato con il contesto. Non può imparare e applicare principi su una posa generica “una volta per tutte”, ma ha bisogno di numerosi esempi nel set di dati di addestramento, per ogni identità che sarà coinvolta nello scambio di facce.

Pertanto, se si vuole scambiare due identità che stanno facendo qualcosa di più insolito che semplicemente sorridere o guardare dritto in camera, si avrà bisogno di molti esempi di quella particolare posa/identità in entrambi i set di dati:

Poiché le caratteristiche dell’identità facciale e della posa sono attualmente così intrecciate, è necessaria una vasta gamma di espressioni, pose della testa e (in misura minore) condizioni di illuminazione in due set di dati facciali per addestrare un modello deepfake efficace su sistemi come DeepFaceLab. Minore è la presenza di una particolare configurazione (ad esempio ‘vista laterale/sorriso/illuminazione solare’) in entrambi i set di dati, meno accurate sarà la resa in un video deepfake, se necessario.

Se il set A contiene la posa insolita, ma il set B ne è privo, si è praticamente fuori fortuna; non importa quanto a lungo si addestri il modello, non imparerà mai a riprodurre quella posa bene tra le identità, perché aveva solo metà delle informazioni necessarie durante l’addestramento.

Anche se si hanno immagini corrispondenti, potrebbe non essere sufficiente: se il set A ha la posa corrispondente, ma con un’illuminazione laterale aspra, rispetto alla posa equivalente con illuminazione piatta nel altro set di dati, la qualità dello scambio non sarà così buona come se entrambi condividessero caratteristiche di illuminazione comuni.

Perché i dati sono scarsi

A meno che non si venga arrestati regolarmente, probabilmente non si hanno molte foto di profilo laterale. Qualsiasi foto del genere che si trova, probabilmente viene gettata via. Poiché le agenzie di foto fanno lo stesso, le foto di profilo laterale sono difficili da trovare.

I creatori di deepfake spesso includono molteplici copie dei dati di profilo laterale limitati che hanno per un’identità in un set di dati, solo per assicurarsi che quella posa ottenga almeno un poco di attenzione e tempo durante l’addestramento, invece di essere ignorata come un outlier.

Ma ci sono molti più tipi di foto di profilo laterale possibili di quanti siano probabilmente disponibili per l’inclusione in un set di dati – sorridente, corrugato, urlante, piangente, illuminato in modo scuro, disprezzante, annoiato, allegro, illuminato a flash, guardante in alto, guardante in basso, occhi aperti, occhi chiusi… e così via. Qualsiasi di queste pose, in molteplici combinazioni, potrebbe essere necessaria in un video deepfake di destinazione.

E questo è solo per i profili. Quante foto si hanno di se stessi guardanti dritto in alto? Se ne hanno abbastanza per rappresentare ampiamente le 10.000 espressioni possibili che si potrebbero indossare mentre si mantiene esattamente quella posa da quell’esatta angolazione della telecamera, coprendo almeno alcune delle un milione di ambienti di illuminazione possibili?

È probabile che non si abbia una sola foto di se stessi guardanti in alto. E questo è solo due angolazioni su centinaia di quelle necessarie per una copertura completa.

Anche se fosse possibile generare una copertura completa di un viso da tutti gli angoli in una gamma di condizioni di illuminazione, il set di dati risultante sarebbe troppo grande per essere addestrato, dell’ordine delle centinaia di migliaia di immagini; e anche se potesse essere addestrato, la natura del processo di addestramento per le attuali tecniche deepfake getterebbe via la stragrande maggioranza di quei dati extra a favore di un numero limitato di caratteristiche derivate, perché le attuali tecniche sono riduttive e non molto scalabili.

Sostituzione sintetica

Da quando sono nati i deepfake, i creatori di deepfake hanno sperimentato l’uso di immagini CGI, teste create in applicazioni 3D come Cinema4D e Maya, per generare quelle “pose mancanti”.

Nessun AI necessario; un’attrice viene ricreata in un programma CGI tradizionale, Cinema 4D, utilizzando mesh e texture bitmap – tecnologia che risale agli anni ’60, sebbene abbia raggiunto un uso diffuso solo dagli anni ’90 in poi. In teoria, questo modello di viso potrebbe essere utilizzato per generare dati sorgente deepfake per pose, stili di illuminazione e espressioni facciali insolite. Nella realtà, è stato di utilità limitata o nulla per il deepfaking, poiché la “falsità” dei rendering tende a trapelare nei video scambiati. Fonte: immagine dell’autore di questo articolo su https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Questo metodo viene generalmente abbandonato presto dai nuovi praticanti di deepfake, perché sebbene possa fornire pose ed espressioni altrimenti indisponibili, l’aspetto sintetico delle teste CGI di solito trapela nei video scambiati a causa dell’intreccio di ID e informazioni contestuali/semantiche.

Questo può portare a improvvisi lampi di volti “uncanny valley” in un video deepfake altrimenti convincente, poiché l’algoritmo inizia a fare affidamento sui dati che potrebbe avere per una posa o espressione insolita – manifestamente false.

Tra i soggetti più popolari per i creatori di deepfake, un algoritmo 3D deepfake per l’attrice australiana Margot Robbie è incluso nell’installazione predefinita di DeepFaceLive, una versione di DeepFaceLab che può eseguire deepfake in streaming live, come una sessione di webcam. Una versione CGI, come mostrata sopra, potrebbe essere utilizzata per ottenere angoli “mancanti” insoliti nei set di dati deepfake. Fonte: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

Volto CGI come linee guida concettuali distaccate

Invece, il nuovo metodo Delta-GAN Encoder (DGE) dei ricercatori israeliani è più efficace, perché la posa e le informazioni contestuali dalle immagini CGI sono state completamente separate dalle informazioni di “identità” del bersaglio.

Si può vedere questo principio in azione nell’immagine seguente, dove sono state ottenute varie orientamenti della testa utilizzando le immagini CGI come linea guida. Poiché le caratteristiche dell’identità sono non correlate alle caratteristiche contestuali, non c’è alcun trapelamento né dell’aspetto falso delle immagini CGI, né dell’identità rappresentata in esse:

Con il nuovo metodo, non è necessario trovare tre foto sorgente separate per realizzare un deepfake da più angolazioni – si può semplicemente ruotare la testa CGI, le cui caratteristiche astratte di alto livello vengono imposte sull’identità senza perdita di informazioni di identità.

Delta-GAN-Encoder. Gruppo in alto a sinistra: l’angolo di un’immagine sorgente può essere cambiato in un secondo per rendere una nuova immagine sorgente, che si riflette nell’output; gruppo in alto a destra: l’illuminazione è anche disaccoppiata dall’identità, consentendo la sovrapposizione di stili di illuminazione; gruppo in basso a sinistra: vengono alterati più dettagli facciali per creare un’espressione ‘triste’; gruppo in basso a destra: un solo dettaglio dell’espressione facciale viene cambiato, in modo che gli occhi strizzino.

Questa separazione di identità e contesto viene raggiunta nella fase di addestramento. La pipeline per la nuova architettura deepfake cerca il vettore latente in un GAN pre-addestrato che corrisponde all’immagine da trasformare – una metodologia Sim2Real che si basa su un progetto del 2018 della sezione di ricerca AI di IBM.

I ricercatori osservano:

‘Con solo pochi campioni, che differiscono per un attributo specifico, si può imparare il comportamento disaccoppiato di un modello generativo pre-addestrato e intrecciato. Non c’è bisogno di campioni reali per raggiungere quell’obiettivo, che non è necessariamente fattibile.

‘Utilizzando campioni di dati non realistici, lo stesso obiettivo può essere raggiunto sfruttando la semantica dei vettori latenti codificati. Applicare modifiche desiderate su campioni di dati esistenti può essere fatto senza alcuna esplorazione esplicita del comportamento dello spazio latente.’

I ricercatori anticipano che i principi fondamentali di disaccoppiamento esplorati nel progetto potrebbero essere trasferiti ad altri domini, come le simulazioni di architettura interna, e che il metodo Sim2Real adottato per Delta-GAN-Encoder potrebbe eventualmente consentire la strumentalità deepfake basata su semplici schizzi, anziché input CGI.

Si potrebbe sostenere che la portata in cui il nuovo sistema israeliano potrebbe o meno sintetizzare video deepfake è molto meno significativa del progresso che la ricerca ha fatto nel disaccoppiare il contesto dall’identità, ottenendo così un maggiore controllo sullo spazio latente di un GAN.

La disaccoppiamento è un campo di ricerca attivo nella sintesi di immagini; a gennaio 2021, un articolo di ricerca guidato da Amazon ha dimostrato un controllo della posa e disaccoppiamento simili, e nel 2018 un articolo degli Istituti di tecnologia avanzata di Shenzhen dell’Accademia cinese delle scienze ha fatto progressi nella generazione di punti di vista arbitrari in un GAN.