Aggiungere dialogo a video reali con l’AI

Una nuova struttura di intelligenza artificiale può riscrivere, rimuovere o aggiungere le parole di una persona in un video senza riprendere, in un sistema end-to-end unico.

Tre anni fa, internet sarebbe stato sorpreso da uno qualsiasi dei 20-30 framework di video modificati dall’AI pubblicati su portali accademici ogni settimana; come è, questo filone di ricerca popolare è diventato così prolifico da costituire quasi un’altra branca di “schiavitù dell’AI” e copro meno di tali rilasci di quanto avrei fatto due o tre anni fa.

Tuttavia, una delle attuali uscite in questo filone ha attirato la mia attenzione: un sistema integrato che può intervenire in clip video reali e interporre nuovo discorso nel video esistente (piuttosto che creare un’intera clip generativa da un volto o un fotogramma, che è molto più comune).

Negli esempi seguenti, che ho modificato insieme da una moltitudine di video di esempio disponibili sul sito web del progetto, vediamo prima la clip di origine reale, e poi, sotto, il discorso dell’AI impostato nel mezzo della clip, compresa la sintesi vocale e la sincronizzazione labiale:

Click to play. Modifica locale con cucitura – una delle modalità offerte da FacEDiT. Si prega di fare riferimento al sito web di origine per una risoluzione migliore. Fonte – https://facedit.github.io/

Questo approccio è uno dei tre sviluppati per il nuovo metodo, questo intitolato “modifica locale con cucitura”, e quello che più interessa gli autori (così come me). Essenzialmente, la clip è estesa utilizzando uno dei fotogrammi centrali come punto di partenza per la nuova interpretazione dell’AI, e il successivo (reale) fotogramma come obiettivo che la clip generativa inserita dovrebbe cercare di corrispondere. Nelle clip viste sopra, questi “semi” e “bersagli” fotogrammi sono rappresentati dal video superiore che si ferma mentre il video modificato sotto fornisce il riempimento generativo.

Gli autori inquadrano questo approccio di sintesi facciale e vocale come il primo metodo completamente integrato end-to-end per modifiche video dell’AI di questo tipo, osservando il potenziale di una struttura completamente sviluppata come questa per la produzione di TV e film:

‘I registi e i produttori di media spesso devono rivedere specifiche parti di video registrati – forse una parola è stata pronunciata male o la sceneggiatura è cambiata dopo le riprese. Ad esempio, nella scena iconica di Titanic (1997) dove Rose dice, “Non lascerò mai andare, Jack,” il regista potrebbe decidere in seguito che dovrebbe essere “Non dimenticherò mai te, Jack”.

‘Tradizionalmente, tali modifiche richiedono la ripresa dell’intera scena, che è costosa e lunga. La sintesi del viso che parla offre un’alternativa pratica modificando automaticamente il movimento facciale per corrispondere al discorso rivisto, eliminando la necessità di riprese.

Sebbene le interposizioni dell’AI di questo tipo possano affrontare resistenza culturale o industriale, potrebbero anche costituire un nuovo tipo di funzionalità nei sistemi VFX guidati dall’uomo e nelle suite di strumenti. In ogni caso, per il momento, le sfide sono strettamente tecniche.

Oltre a estendere una clip attraverso il discorso dell’AI generato, il nuovo sistema può anche alterare il discorso esistente:

Click to play. Un esempio di modifica del discorso esistente anziché interporre nuovo discorso. Si prega di fare riferimento al sito web di origine per una risoluzione migliore.

Stato dell’arte

Non ci sono attualmente sistemi end-to-end che offrono questa capacità di sintesi; sebbene una crescente quantità di piattaforme di intelligenza artificiale generativa come la serie Veo di Google possa generare audio, e diverse altre strutture possano creare audio deepfake, attualmente è necessario creare una pipeline abbastanza coinvolta di diverse architetture e trucchi per interferire con il footage reale nel modo in cui il nuovo sistema – intitolato FacEDiT – può realizzare.

Il sistema utilizza Diffusion Transformers (DiT) in combinazione con Flow Matching per creare movimenti facciali condizionati sui movimenti e sul contenuto audio del discorso. Il sistema sfrutta pacchetti popolari esistenti che trattano la ricostruzione facciale, compreso LivePortrait (recentemente acquisito da Kling).

In aggiunta a questo metodo, poiché il loro approccio è il primo a integrare queste sfide in una sola soluzione, gli autori hanno creato un nuovo benchmark chiamato FacEDiTBench, insieme a diverse nuove metriche di valutazione adeguate a questo compito specifico.

Il nuovo lavoro è intitolato FacEDiT: Unified Talking Face Editing and Generation via Facial Motion Infilling, e proviene da quattro ricercatori della Korea’s Pohang University of Science and Technology (POSTECH), Korea Advanced Institute of Science & Technology (KAIST) e The University of Texas at Austin.

Metodo

FacEDiT è stato addestrato per ricostruire il movimento facciale imparando a riempire le parti mancanti della performance originale di un attore, in base al movimento circostante e al discorso audio. Come mostrato nello schema seguente, questo processo consente al modello di agire come un riempitivo di lacune durante l’addestramento, prevedendo movimenti facciali che corrispondono alla voce mentre rimangono coerenti con il video originale:

Panoramica del sistema FacEDiT, che mostra come il movimento facciale venga appreso attraverso il riempimento auto-supervisionato durante l’addestramento, guidato dal discorso modificato durante l’inferenza e infine reso nuovamente nel video riutilizzando l’aspetto del footage originale mentre sostituisce solo il movimento bersaglio. Fonte

Al momento dell’inferenza, la stessa architettura supporta due diverse uscite a seconda di quanto del video è mascherato: modifiche parziali, dove solo una frase è alterata e il resto rimane intatto; o generazione di frase completa, dove il nuovo movimento è sintetizzato interamente da zero.

Il modello è stato addestrato tramite flow matching, che tratta le modifiche video come una sorta di percorso tra due versioni del movimento facciale.

Al posto di imparare a indovinare come dovrebbe apparire un viso modificato da zero, il flow matching impara a muoversi gradualmente e senza problemi tra un segnaposto rumoroso e il movimento corretto. Per facilitare questo, il sistema rappresenta il movimento facciale come un insieme compatto di numeri estratti da ogni fotogramma utilizzando una versione del sistema LivePortrait sopra menzionato (vedi schema sopra).

Questi vettori di movimento sono progettati per descrivere espressioni e posizione della testa senza intrecciare l’identità, in modo che i cambiamenti del discorso possano essere localizzati senza influenzare l’aspetto generale della persona.

FacEDiT Training

Per addestrare FacEDiT, ogni clip video è stata suddivisa in una serie di istantanee del movimento facciale, e ogni fotogramma è stato accoppiato con il corrispondente blocco di audio. Parti casuali dei dati del movimento sono state quindi nascoste, e il modello è stato chiesto di indovinare come dovrebbero apparire quei movimenti mancanti, utilizzando sia il discorso che il movimento non mascherato circostante come contesto.

Poiché le parti mascherate e le loro posizioni variano da un esempio di addestramento all’altro, il modello impara gradualmente a gestire sia piccole modifiche interne che lacune più lunghe, per la generazione di sequenze complete, in base a quanto informazioni gli vengono fornite.

Il Diffusion Transformer del sistema impara a recuperare il movimento mascherato raffinando gli input rumorosi nel tempo. Invece di alimentare il discorso e il movimento nel modello tutto in una volta, l’audio viene inserito in ogni blocco di elaborazione attraverso cross-attention, aiutando il sistema a corrispondere più precisamente i movimenti labiali al discorso audio.

Per preservare la realismo attraverso le modifiche, l’attenzione è distorta verso i fotogrammi vicini piuttosto che l’intera timeline, costringendo il modello a concentrarsi sulla continuità locale e impedendo sfarfallii o salti di movimento ai bordi delle aree modificate. Gli elementi di incorporamento posizionale (che dicono al modello dove ogni fotogramma appare nella sequenza) aiutano ulteriormente il modello a mantenere il flusso temporale naturale e il contesto.

Durante l’addestramento, il sistema impara a prevedere il movimento facciale mancante ricostruendo le parti mascherate in base al discorso e al movimento non mascherato circostante. Al momento dell’inferenza, questa stessa impostazione viene riutilizzata, ma con le maschere ora guidate dalle modifiche nel discorso.

Quando una parola o una frase viene inserita, rimossa o modificata, il sistema localizza la regione interessata, la maschera e rigenera il movimento che corrisponde al nuovo audio. La generazione di sequenze complete è trattata come un caso speciale, in cui l’intera regione è mascherata e sintetizzata da zero.

Dati e test

La struttura principale del sistema comprende 22 livelli per il Diffusion Transformer, ognuno con 16 teste di attenzione e dimensioni di feedforward di 1024 e 2024px. Le caratteristiche del movimento e dell’aspetto vengono estratte utilizzando componenti congelati di LivePortrait, e il discorso viene codificato tramite WavLM e modificato tramite VoiceCraft.

Un livello di proiezione dedicato mappa le caratteristiche del discorso di 786 dimensioni nello spazio latente del DiT, con solo il DiT e i moduli di proiezione addestrati da zero.

L’addestramento è stato eseguito con l’ottimizzatore AdamW a una velocità di apprendimento target di 1e-4, per un milione di passi, su due GPU A6000 (ognuna con 48GB di VRAM), a una dimensione del batch totale di otto.

FacEDiTBench

Il dataset FacEDiTBench contiene 250 esempi, ognuno con un clip video dell’audio originale e modificato, e le trascrizioni per entrambi. I video provengono da tre fonti, con 100 clip da HDTF, 100 da Hallo3, e 50 da CelebV-Dub. Ogni clip è stato controllato manualmente per confermare che sia l’audio che il video fossero abbastanza chiari per la valutazione.

GPT-4o è stato utilizzato per rivedere ogni trascrizione per creare modifiche grammaticalmente valide. Queste trascrizioni riviste, insieme al discorso originale, sono state passate a VoiceCraft per produrre nuovo audio; e a ogni fase, sia la trascrizione che il discorso generato sono stati esaminati manualmente per la qualità.

Ogni campione è stato etichettato con il tipo di modifica, il momento del cambiamento e la lunghezza della parte modificata, e le modifiche sono state classificate come inserimenti, rimozioni o sostituzioni. Il numero di parole modificate è variato da brevi modifiche di 1-3 parole, modifiche medie di 4-6 parole e modifiche più lunghe di 7-10 parole.

Tre metriche personalizzate sono state definite per valutare la qualità della modifica. Continuità fotometrica, per misurare quanto bene la luce e il colore di un segmento modificato si integrino con il video circostante, confrontando le differenze a livello di pixel ai bordi; continuità del movimento, per valutare la coerenza del movimento facciale, misurando i cambiamenti del flusso ottico attraverso i fotogrammi modificati e non modificati; e conservazione dell’identità, per stimare se l’aspetto del soggetto rimane coerente dopo la modifica, confrontando le impronte facciali delle sequenze originali e generate utilizzando il modello di riconoscimento facciale ArcFace.

Test

Il modello di test è stato addestrato con materiale proveniente dai tre dataset sopra menzionati, per un totale di circa 200 ore di contenuto video, compresi vlog e film, nonché video di YouTube ad alta risoluzione.

Per valutare la modifica del viso che parla, è stato utilizzato FacEDiTBench, oltre alla parte di test di HDTF, che è diventata uno standard per la valutazione di questo tipo di compiti.

Poiché non c’erano sistemi direttamente confrontabili in grado di incorporare questo tipo di funzionalità end-to-end, gli autori hanno scelto una varietà di strutture che riproducevano almeno alcune delle funzionalità target e potevano operare come baseline; in particolare, KeyFace; EchoMimic; EchoMimicV2; Hallo; Hallo2; Hallo3; V-Express; AniPortrait; e SadTalker.

Alcune metriche stabilite sono state utilizzate anche per valutare la qualità della generazione e della modifica, con l’accuratezza della sincronizzazione labiale valutata tramite SyncNet, segnalando sia l’errore assoluto tra i movimenti labiali e l’audio (LSE-D) che un punteggio di confidenza (LSE-C); Fréchet Video Distance (FVD) quantificando quanto realistico appare il video nel complesso; e Learned Perceptual Similarity Metrics (LPIPS), misurando la somiglianza percettiva tra fotogrammi generati e originali.

Per la modifica, tutte le metriche tranne LPIPS sono state applicate solo al segmento modificato; per la generazione, l’intero video è stato valutato, con la continuità dei bordi esclusa.

Ogni modello è stato fatto sintetizzare un segmento di video corrispondente, che è stato poi inserito nel clip originale (i ricercatori notano che questo metodo ha spesso introdotto discontinuità visibili, dove il segmento modificato incontra il footage circostante). Un secondo approccio è stato testato, in cui l’intero video è stato rigenerato dal nuovo audio – ma questo ha inevitabilmente sovrascritto le aree non modificate, e non ha conservato la performance originale:

Confronto delle prestazioni di modifica tra sistemi originariamente progettati per la generazione del viso che parla, con FacEDiT che supera tutte le baseline in ogni metrica, raggiungendo un errore di sincronizzazione labiale più basso (LSE-D), una maggiore confidenza di sincronizzazione (LSE-C), una maggiore conservazione dell’identità (IDSIM), una maggiore realismo percettivo (FVD) e transizioni più lisce ai bordi delle modifiche (Pcontinuity, Mcontinuity). Le colonne grigie evidenziano i criteri chiave per la valutazione della qualità dei bordi; i valori in grassetto e sottolineato indicano i migliori e secondi migliori risultati, rispettivamente

Riguardo a questi risultati, gli autori commentano:

‘[Il nostro] modello supera significativamente i metodi esistenti nel compito di modifica. Raggiunge una forte continuità dei bordi e una alta conservazione dell’identità, dimostrando la sua capacità di mantenere la coerenza temporale e visiva durante la modifica. Inoltre, la sua maggiore accuratezza di sincronizzazione labiale e il basso FVD riflettono il realismo del video sintetizzato.’

Click to play. Risultati, assemblati da questo autore dai video pubblicati sul sito del progetto. Si prega di fare riferimento al sito web di origine per una risoluzione migliore.

Inoltre, è stato condotto uno studio umano per valutare la qualità percepita sia della modifica che della generazione.

Per ogni confronto, i partecipanti hanno visualizzato sei video e li hanno classificati in base alla qualità complessiva, considerando l’accuratezza della sincronizzazione labiale, la naturalità e il realismo del movimento della testa:

Classifiche medie assegnate dai valutatori umani, dove più basso significa meglio. Sia nella modifica che nella generazione, i partecipanti hanno giudicato quanto naturale e sincronizzato appariva ogni video. Per la modifica, hanno anche valutato la fluidità della transizione tra segmenti modificati e non modificati.

Nello studio, FacEDiT è stato costantemente classificato al primo posto con un margine significativo, sia per la qualità della modifica che per la fluidità della transizione, e ha anche ottenuto punteggi alti nella generazione, suggerendo che i suoi vantaggi misurati si traducono in output percepiti come preferibili.

A causa della mancanza di spazio, rimandiamo il lettore al paper di origine per ulteriori dettagli sugli studi di ablazione e sui test aggiuntivi che sono stati eseguiti e riportati nel nuovo lavoro. In realtà, le offerte di ricerca prototipali di questo tipo lottano per generare sezioni di risultati di test significativi, poiché l’offerta stessa è inevitabilmente una possibile baseline per lavori successivi.

Conclusione

Anche per l’inferenza, sistemi come questo possono richiedere risorse di calcolo significative al momento dell’inferenza, rendendo difficile per gli utenti a valle – qui, presumibilmente, negozi di effetti visivi – mantenere il lavoro in loco. Pertanto, gli approcci che possono essere adattati a risorse locali realistiche saranno sempre preferiti dai fornitori, che sono obbligati per legge a proteggere i footage dei clienti e il loro IP generale.

Non è per criticare la nuova offerta, che potrebbe funzionare perfettamente con pesi quantizzati o altre ottimizzazioni, e che è la prima offerta di questo tipo ad attirarmi su questa strada di ricerca da molto tempo.

Pubblicato per la prima volta mercoledì, 17 dicembre 202. Modificato il 20.10 EET, lo stesso giorno, per aggiungere spazio nella prima parte del corpo.