Esposizione di piccole ma significative modifiche AI in video reali

Nel 2019, la presidente della Camera dei rappresentanti degli Stati Uniti, Nancy Pelosi, è stata oggetto di un attacco di tipo deepfake di bassa tecnologia, quando un video reale di lei è stato modificato per farla apparire ubriaca – un evento irrealizzato che è stato condiviso diverse milioni di volte prima che la verità su di esso venisse fuori (e, potenzialmente, dopo che alcuni danni alla sua capitale politica sono stati effettuati da coloro che non sono rimasti in contatto con la storia).

Sebbene questa rappresentazione abbia richiesto solo alcuni semplici editing audio-visivi, piuttosto che alcun AI, rimane un esempio chiave di come piccoli cambiamenti nell’output audio-visivo reale possano avere un effetto devastante.

Al momento, la scena dei deepfake era dominata dai sistemi di sostituzione del viso basati su autoencoder che avevano debuttato alla fine del 2017 e che non avevano migliorato significativamente la qualità da allora. Tali sistemi precedenti avrebbero avuto difficoltà a creare questo tipo di piccole ma significative alterazioni, o a perseguire realisticamente ricerche moderne come l’editing delle espressioni:

Il framework ‘Neural Emotion Director’ del 2022 cambia l’umore di un volto famoso. Fonte: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Le cose sono ora molto diverse. L’industria cinematografica e televisiva è seriamente interessata alla modifica post-produzione delle prestazioni reali utilizzando approcci di apprendimento automatico, e la facilitazione dell’AI di post facto perfezionismo ha anche sotto critiche recenti.

Anticipando (o arguendo) questa domanda, la scena della ricerca sulla sintesi di immagini e video ha lanciato una vasta gamma di progetti che offrono ‘edizioni locali’ di catture facciali, piuttosto che sostituzioni dirette: progetti di questo tipo includono Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; e DISCO, tra gli altri.

Editing delle espressioni con il progetto MagicFace di gennaio 2025. Fonte: https://arxiv.org/pdf/2501.02260

Nuovi volti, nuove rughe

Tuttavia, le tecnologie abilitanti si stanno sviluppando molto più rapidamente dei metodi di rilevamento. Quasi tutti i metodi di rilevamento dei deepfake che appaiono nella letteratura stanno inseguendo i metodi dei deepfake di ieri con i dataset di ieri. Fino a questa settimana, nessuno di loro aveva affrontato il potenziale crescente dei sistemi AI per creare piccole e locali alterazioni nel video.

Ora, un nuovo articolo dall’India ha risolto questo problema, con un sistema che cerca di identificare i volti che sono stati modificati (piuttosto che sostituiti) attraverso tecniche basate su AI:

Rilevamento di edizioni locali sottili in deepfake: un video reale è alterato per produrre falsi con cambiamenti sottili come sopracciglia sollevate, tratti di genere modificati e spostamenti dell’espressione verso il disgusto (illustrato qui con un singolo frame). Fonte: https://arxiv.org/pdf/2503.22121

I sistemi degli autori sono rivolti all’identificazione di deepfake che coinvolgono manipolazioni facciali localizzate e sottili – una classe di contraffazione altrimenti trascurata. Piuttosto che concentrarsi su incoerenze globali o errori di identità, l’approccio si concentra su cambiamenti fini come piccoli spostamenti dell’espressione o piccole edizioni di caratteristiche facciali specifiche.

Il metodo utilizza i delimitatori di Unità di Azione (AU) nel Sistema di Codifica dell’Azione Facciale (FACS), che definisce 64 aree individuali mutevoli possibili nel viso, che insieme formano espressioni.

Alcune delle parti costituenti delle 64 parti di espressione in FACS. Fonte: https://www.cs.cmu.edu/~face/facs.htm

Gli autori hanno valutato il loro approccio contro una varietà di metodi di editing recenti e segnalano guadagni di prestazioni coerenti, sia con dataset più vecchi che con vettori di attacco molto più recenti:

‘Utilizzando funzioni basate su AU per guidare le rappresentazioni video apprese attraverso Autoencoder Mascherati (MAE), il nostro metodo cattura efficacemente i cambiamenti localizzati cruciali per rilevare edizioni facciali sottili.

‘Questo approccio ci consente di costruire una rappresentazione latente unificata che codifica sia edizioni localizzate che alterazioni più ampie in video centrati sul viso, fornendo una soluzione completa e adattabile per il rilevamento dei deepfake.’

Il nuovo articolo è intitolato Rilevamento di manipolazioni localizzate di deepfake utilizzando rappresentazioni video guidate da Unità di Azione, e proviene da tre autori dell’Istituto indiano di tecnologia di Madras.

Metodo

In linea con l’approccio adottato da VideoMAE, il nuovo metodo inizia applicando la rilevazione del viso a un video e campionando frame equidistanti centrati sui visi rilevati. Questi frame sono quindi divisi in piccole divisioni 3D (cioè, patch temporali abilitate), ciascuna catturando dettagli spaziali e temporali locali.

Schema per il nuovo metodo. Il video di input viene elaborato con la rilevazione del viso per estrarre frame equidistanti e centrati sul viso, che vengono quindi divisi in patch tubolari e passati attraverso un encoder che fonde rappresentazioni latenti da due task di pre-testo pre-addestrate. Il vettore risultante viene quindi utilizzato da un classificatore per determinare se il video è reale o falso.

Ogni patch 3D contiene una finestra di pixel di dimensioni fisse (ad esempio 16×16) da un piccolo numero di frame successivi (ad esempio 2). Ciò consente al modello di apprendere movimenti e cambiamenti di espressione a breve termine – non solo come appare il viso, ma come si muove.

Le patch vengono incorporate e codificate posizionalmente prima di essere passate in un encoder progettato per estrarre funzioni che possono distinguere i video reali da quelli falsi.

Gli autori riconoscono che ciò è particolarmente difficile quando si tratta di manipolazioni sottili e affrontano questo problema costruendo un encoder che combina due tipi di rappresentazioni apprese separatamente, utilizzando un meccanismo di cross-attenzione per fonderele. Ciò è inteso per produrre uno spazio di funzioni più sensibile e generalizzabile per rilevare edizioni localizzate.

Task di pre-testo

La prima di queste rappresentazioni è un encoder addestrato con un compito di autoencoding mascherato. Con il video diviso in patch 3D (la maggior parte delle quali è nascosta), l’encoder impara quindi a ricostruire le parti mancanti, costringendolo a catturare modelli spaziotemporali importanti, come il movimento facciale o la coerenza nel tempo.

L’addestramento del task di pre-testo coinvolge la mascheratura di parti del video di input e l’utilizzo di un setup encoder-decoder per ricostruire i frame originali o le mappe di unità di azione per frame, a seconda del compito.

Tuttavia, l’articolo osserva che ciò non fornisce abbastanza sensibilità per rilevare edizioni fini, e gli autori introducono quindi un secondo encoder addestrato per rilevare unità di azione facciale (AU). Per questo compito, il modello impara a ricostruire mappe dense di AU per ogni frame, di nuovo da input parzialmente mascherati. Ciò lo incoraggia a concentrarsi sull’attività muscolare localizzata, dove si verificano molte edizioni di deepfake sottili.

Ulteriori esempi di Unità di Azione Facciale (FAUs, o AUs). Fonte: https://www.eiagroup.com/the-facial-action-coding-system/

Una volta che entrambi gli encoder sono stati pre-addestrati, i loro output vengono combinati utilizzando cross-attenzione. Invece di semplicemente fondere i due set di funzioni, il modello utilizza le funzioni basate su AU come query che guidano l’attenzione sulle funzioni spaziotemporali apprese dall’autoencoding mascherato. In effetti, l’encoder di unità di azione dice al modello dove guardare.

Il risultato è una rappresentazione latente fusa che è intesa a catturare sia il contesto di movimento più ampio che il dettaglio dell’espressione localizzato. Questo spazio di funzioni combinato viene quindi utilizzato per il compito di classificazione finale: prevedere se un video è reale o manipolato.

Dati e test

Implementazione

Gli autori hanno implementato il sistema elaborando i video di input con il framework di rilevamento del viso PyTorch-based FaceXZoo, ottenendo 16 frame centrati sul viso da ogni clip. I task di pre-testo sopra descritti sono stati quindi addestrati sul dataset CelebV-HQ, che comprende 35.000 video facciali di alta qualità.

Dall’articolo originale, esempi dal dataset CelebV-HQ utilizzato nel nuovo progetto. Fonte: https://arxiv.org/pdf/2207.12393

La metà degli esempi di dati è stata mascherata, costringendo il sistema a imparare principi generali invece di sovrapprendere ai dati di origine.

Per il compito di ricostruzione del frame mascherato, il modello è stato addestrato a prevedere regioni mancanti di frame di video utilizzando una perdita L1, minimizzando la differenza tra il contenuto originale e quello ricostruito.

Per il secondo compito, il modello è stato addestrato a generare mappe per 16 unità di azione facciale, ciascuna rappresentante movimenti muscolari sottili in aree che includono sopracciglia, palpebre, naso e labbra, di nuovo supervisionato da perdita L1.

Dopo il pre-addestramento, i due encoder sono stati fusi e ottimizzati per il rilevamento dei deepfake utilizzando il dataset FaceForensics++, che contiene sia video reali che manipolati.

Il dataset FaceForensics++ è stato il punto di riferimento centrale per il rilevamento dei deepfake dal 2017, sebbene sia ora considerevolmente superato, per quanto riguarda le più recenti tecniche di sintesi facciale. Fonte: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Per tenere conto del squilibrio delle classi, gli autori hanno utilizzato Focal Loss (una variante della perdita di entropia incrociata), che enfatizza esempi più impegnativi durante l’addestramento.

Tutto l’addestramento è stato condotto su una sola GPU RTX 4090 con 24Gb di VRAM, con una dimensione del batch di 8 per 600 epoche (revisioni complete dei dati), utilizzando checkpoint pre-addestrati da VideoMAE per inizializzare i pesi per ciascuno dei task di pre-testo.

Test

Sono stati condotti test quantitativi e qualitativi contro una varietà di metodi di rilevamento dei deepfake: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; e SBI di BlendFace. In tutti i casi, il codice sorgente era disponibile per questi framework.

I test si sono concentrati su deepfake modificati localmente, dove solo una parte di una clip di origine è stata alterata. Le architetture utilizzate sono state Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; e FateZero. Questi metodi impiegano una varietà di approcci (diffusione per DVA e StyleGAN2 per STIT e DFE, ad esempio)

Gli autori affermano:

‘Per garantire una copertura completa di diverse manipolazioni facciali, abbiamo incorporato una vasta gamma di caratteristiche e edizioni di attributi. Per l’editing delle caratteristiche facciali, abbiamo modificato la dimensione degli occhi, la distanza occhio-sopracciglia, il rapporto del naso, la distanza naso-bocca, il rapporto delle labbra e il rapporto delle guance. Per l’editing degli attributi facciali, abbiamo variato espressioni come sorriso, rabbia, disgusto e tristezza.

‘Questa diversità è essenziale per convalidare la robustezza del nostro modello su una vasta gamma di edizioni localizzate. In totale, abbiamo generato 50 video per ciascuno dei metodi di editing sopra menzionati e abbiamo convalidato la forte generalizzazione del nostro metodo per il rilevamento dei deepfake.’

Sono stati inclusi anche dataset di deepfake più vecchi, in particolare Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); e WildDeepfake (DFW).

Le metriche di valutazione sono state Area Under Curve (AUC); Precisione media; e Punteggio F1 medio F1.

Dall’articolo: confronto su deepfake localizzati recenti mostra che il metodo proposto ha superato tutti gli altri, con un guadagno del 15-20% sia in AUC che in precisione media rispetto all’approccio migliore successivo.

Gli autori forniscono inoltre un confronto visivo di rilevamento per viste modificate localmente (riprodotto solo in parte qui a causa della mancanza di spazio):

Un video reale è stato alterato utilizzando tre manipolazioni localizzate diverse per produrre falsi che sono rimasti visivamente simili all’originale. Sono mostrati qui frame rappresentativi insieme ai punteggi di rilevamento medio di ogni metodo. Mentre i rilevatori esistenti hanno avuto difficoltà con queste edizioni sottili, il modello proposto ha assegnato consistentemente alte probabilità di falsi, indicando una maggiore sensibilità ai cambiamenti localizzati.

I ricercatori commentano:

‘[I] metodi di rilevamento esistenti, [LAANet], [SBI], [AltFreezing] e [CADMM], subiscono un calo significativo delle prestazioni sui metodi di generazione dei deepfake più recenti. I metodi attuali subiscono AUC bassi come il 48-71%, dimostrando le loro scarse capacità di generalizzazione ai deepfake più recenti.

‘D’altra parte, il nostro metodo dimostra una generalizzazione robusta, raggiungendo un AUC nell’intervallo 87-93%. Un trend simile è visibile nel caso della precisione media. Come mostrato [qui sotto], il nostro metodo raggiunge anche costantemente prestazioni elevate sui dataset standard, superando il 90% di AUC e risultando competitivo con i modelli di rilevamento dei deepfake più recenti.’

Le prestazioni sui dataset di deepfake tradizionali mostrano che il metodo proposto rimane competitivo con gli approcci leader, indicando una forte generalizzazione su una gamma di tipi di manipolazione.

Gli autori osservano che questi ultimi test coinvolgono modelli che potrebbero ragionevolmente essere considerati superati, e che sono stati introdotti prima del 2020.

Per una rappresentazione visiva più estensiva delle prestazioni del nuovo modello, gli autori forniscono una tabella estensiva alla fine, di cui riproduciamo solo una parte:

In questi esempi, un video reale è stato modificato utilizzando tre edizioni localizzate per produrre falsi che sono rimasti visivamente simili all’originale. I punteggi di confidenza medio su queste manipolazioni mostrano, affermano gli autori, che il modello proposto ha rilevato le frodi in modo più affidabile rispetto ad altri approcci leader. Si prega di fare riferimento all’ultima pagina del PDF di origine per i risultati completi.

Gli autori sostengono che il loro metodo raggiunge punteggi di confidenza superiori al 90% per il rilevamento di edizioni localizzate, mentre i metodi di rilevamento esistenti rimangono al di sotto del 50% nello stesso compito. Interpretano questo divario come prova sia della sensibilità che della generalizzabilità del loro approccio, e come indicazione delle sfide affrontate dalle tecniche attuali nel trattare questo tipo di manipolazioni facciali sottili.

Per valutare l’affidabilità del modello in condizioni del mondo reale, e secondo il metodo stabilito da CADMM, gli autori hanno testato le sue prestazioni su video modificati con distorsioni comuni, tra cui regolazioni di saturazione e contrasto, sfocatura gaussiana, pixelazione e artefatti di compressione a blocchi, nonché rumore additivo.

I risultati hanno mostrato che l’accuratezza del rilevamento è rimasta in gran parte stabile attraverso queste perturbazioni. L’unico calo significativo si è verificato con l’aggiunta di rumore gaussiano, che ha causato un modesto calo delle prestazioni. Altre alterazioni hanno avuto un effetto minimo.

Un’illustrazione di come l’accuratezza del rilevamento cambia sotto diverse distorsioni video. Il nuovo metodo è rimasto resistente nella maggior parte dei casi, con solo un piccolo calo dell’AUC. Il calo più significativo si è verificato quando è stato introdotto rumore gaussiano.

Questi risultati, propongono gli autori, suggeriscono che la capacità del metodo di rilevare manipolazioni localizzate non è facilmente interrotta da degradazioni tipiche della qualità del video, supportando la sua potenziale robustezza in ambienti pratici.

Conclusione

La manipolazione AI esiste nella coscienza pubblica principalmente nella nozione tradizionale dei deepfake, dove l’identità di una persona viene imposta sul corpo di un’altra persona, che potrebbe eseguire azioni contrarie ai principi del proprietario dell’identità. Questa concezione sta lentamente diventando aggiornata per riconoscere le capacità più insidiose dei sistemi di video generativi (nella nuova generazione di video deepfake), e alle capacità dei modelli di diffusione latente (LDM) in generale.

Pertanto è ragionevole aspettarsi che il tipo di editing locale di cui si occupa il nuovo articolo potrebbe non attirare l’attenzione del pubblico fino a quando non si verifichi un evento cruciale come quello di Pelosi, poiché le persone sono distolte da questa possibilità da argomenti più facili da pubblicare come truffe di video deepfake.

Tuttavia, proprio come l’attore Nic Cage ha espresso preoccupazione costante sulla possibilità di processi di post-produzione che ‘revisionano’ la performance di un attore, dovremmo anche incoraggiare una maggiore consapevolezza di questo tipo di ‘sottile’ regolazione video – non meno perché siamo per natura incredibilmente sensibili a variazioni molto piccole dell’espressione facciale, e perché il contesto può cambiare significativamente l’impatto dei piccoli movimenti facciali (considerare l’effetto disturbante di un semplice sogghigno a un funerale, ad esempio).

Pubblicato per la prima volta mercoledì 2 aprile 2025