Rilevamento dei Deepfake Basato su Caratteristiche Biometriche Umane Originali

Un nuovo articolo di ricercatori in Italia e Germania propone un metodo per rilevare video deepfake basato sul comportamento biometrico del viso e della voce, piuttosto che su artefatti creati da sistemi di sintesi del viso, soluzioni di watermarking costose o altri approcci più ingombranti.

La struttura richiede un input di 10 o più video variati e non contraffatti del soggetto. Tuttavia, non richiede di essere addestrato, riaddestrato o aumentato su video specifici, poiché il modello incorporato ha già astratto le probabili distanze vettoriali tra video reali e contraffatti in modo ampiamente applicabile.

L’apprendimento contrastivo sostiene l’approccio di POI-Forensics. Vettori derivati da materiale di origine su base caso per caso vengono confrontati con gli stessi vettori in un video potenzialmente falso, con aspetti e caratteristiche tratte da entrambi i componenti video e audio del footage potenzialmente contraffatto. Fonte: https://arxiv.org/pdf/2204.03083.pdf

Intitolato POI-Forensics, l’approccio si basa sui movimenti e sui segnali audio unici dell’individuo reale che viene contraffatto.

Sebbene un tale sistema potrebbe consentire la completa automazione di framework di autenticazione “pre-renderizzati” per celebrità, politici, influencer di YouTube e altre persone per cui è disponibile una grande quantità di materiale video, potrebbe anche essere adattato in un framework in cui le vittime ordinarie di tecnologie deepfake potrebbero potenzialmente avere una piattaforma per dimostrare l’inautenticità degli attacchi contro di loro.

Visualizzazioni di caratteristiche estratte da video genuini e contraffatti attraverso quattro soggetti in POI-Forensics, tramite la struttura t-SNE.

Gli autori affermano che POI-Forensics raggiunge un nuovo stato dell’arte nel rilevamento dei deepfake. Attraverso una varietà di set di dati comuni in questo campo, la struttura è segnalata per raggiungere un miglioramento dei punteggi AUC del 3%, 10% e 7% per video di alta qualità, bassa qualità e “attaccati”, rispettivamente. I ricercatori promettono di rilasciare il codice a breve.

Le prestazioni di POI-Forensics contro framework SOTA rivali pDFDC, DeepFakeTIMIT, FakeAVCelebV2 e KoDF. L’addestramento in ogni caso è stato eseguito su FaceForensics++ e il metodo degli autori ID-Reveal su VoxCeleb2. I risultati includono video di alta e bassa qualità.

Gli autori affermano:

‘L’addestramento viene eseguito esclusivamente su video di volti che parlano reali, quindi il rilevatore non dipende da un metodo di manipolazione specifico e produce la massima capacità di generalizzazione. Inoltre, il nostro metodo può rilevare sia attacchi a singola modalità (solo audio, solo video) che multi-modalità (audio-video) e è robusto ai video di bassa qualità o corrotti costruendo solo caratteristiche semantiche di alto livello.’

Il nuovo articolo, che incorpora elementi di alcuni progetti di ricerca degli autori basati sulla visione del 2021, è intitolato Rilevamento di Deepfake Audio-Visivo della Persona di Interesse e rappresenta un lavoro congiunto tra l’Università Federico II di Napoli e il Technical University of Munich.

La Corsa agli Armamenti dei Deepfake

Per sconfiggere un sistema di rilevamento di questo tipo, i sistemi di sintesi di deepfake e umani richiederebbero la capacità di simulare almeno i segnali biometrici visivi e audio del bersaglio della sintesi – tecnologia che è ancora lontana e probabilmente rimarrà nel dominio di sistemi chiusi costosi e proprietari sviluppati da società di effetti visivi, che avranno il vantaggio della cooperazione e della partecipazione del bersaglio (o dei suoi eredi, nel caso della simulazione di persone decedute).

L’approccio precedente degli autori, ID-Reveal, si concentrava interamente sulle informazioni visive. Fonte: https://arxiv.org/pdf/2012.02512.pdf

I metodi di deepfake di successo e popolari come FaceSwap e DeepFaceLab/Live attualmente non hanno la capacità di creare tali approssimazioni biometriche granulari, basandosi al meglio su impersonatori talentuosi su cui viene imposta l’identità contraffatta e, molto più comunemente, su footage in-the-wild di “persone simili”. Inoltre, la struttura del codice principale del 2017, che ha poca modularità e che rimane la fonte upstream per DFL e FaceSwap, non rende possibile l’aggiunta di questa funzionalità.

Questi due pacchetti di deepfake dominanti si basano su autoencoder. Metodi alternativi di sintesi umana possono utilizzare un approccio di Generative Adversarial Network (GAN) o Neural Radiance Field (NeRF) per ricreare l’identità umana; ma entrambi questi filoni di ricerca hanno anni di lavoro davanti per produrre video umani completamente fotorealistici.

Con l’eccezione dell’audio (voci contraffatte), la simulazione biometrica è molto in basso nella lista delle sfide che affrontano la sintesi di immagini umane. In ogni caso, riprodurre il timbro e le altre qualità della voce umana non riproduce le sue eccentricità e “segni”, o il modo in cui il soggetto reale utilizza la costruzione semantica. Pertanto, anche la perfezione della simulazione della voce generata dall’AI non risolve il potenziale firewall dell’autenticità biometrica.

Su Arxiv solo, diverse strategie di rilevamento di deepfake e innovazioni vengono rilasciate ogni settimana. Approcci recenti si sono basati su Omogeneità di Voce e Viso, Istogramma di Pattern Binario Locale (FF-LBPH), percezione umana di deepfake audio, analisi dei bordi del viso, accounting per la degradazione del video e ‘Balistica Forense’ – tra gli altri.

L’analisi dell’istogramma segmentato è tra le tecniche più recenti offerte per migliorare il rilevamento dei deepfake. Fonte: https://arxiv.org/pdf/2203.09928.pdf

Approccio, Dati e Architettura

POI-Forensics adotta un approccio multi-modale per la verifica dell’identità, sfruttando biometriche soft basate su segnali visivi e audio. La struttura presenta reti audio e video separate, che derivano infine dati vettoriali caratteristici che possono essere confrontati con le stesse caratteristiche estratte in un video deepfake potenziale in studio.

L’architettura concettuale di POI-Forensics.

È possibile effettuare analisi separate (audio o video) e di fusione su clip di destinazione, arrivando infine a un indice di somiglianza POI. La funzione di perdita contrastiva utilizzata si basa su una collaborazione accademica del 2021 tra Google Research, Boston University, Snap Inc. e MIT.

Il set di dati di base è stato diviso su base per identità. Sono stati utilizzati 4608 identità per l’addestramento, con 512 rimanenti per la convalida. Le 500 identità utilizzate in FakeAVCelebV2 (un candidato di test, vedi sotto) sono state escluse per ottenere risultati non polarizzati.

Le due reti sono state addestrate per 12 epoche con un batch-size insolitamente grande di 2304 batch per epoca, con ogni batch composto da 8×8 segmenti video – 8 segmenti per 8 identità diverse. L’ottimizzatore Adam è stato utilizzato con decoupled weight decay a una velocità di apprendimento di 10⁻⁴, e un decadimento del peso di 0,01.

Test e Risultati

I set di dati di deepfake testati per il progetto sono stati il preview DeepFake Detection Challenge dataset, che presenta face-swap su 68 soggetti, da cui sono stati selezionati 44 identità che hanno più di nove video correlati, per un totale di 920 video reali e 2925 video contraffatti; DeepFake-TIMIT, un set di dati basato su GAN che presenta 320 video di 32 soggetti, per un totale di 290 video reali e 580 video contraffatti di almeno quattro secondi di durata; FakeAVCelebV2, che comprende 500 video reali da Voxceleb2, e circa 20.000 video contraffatti da vari set di dati, a cui è stato aggiunto audio contraffatto con SV2TTS per la compatibilità; e KoDF, un set di dati di deepfake coreano con 403 identità contraffatte tramite FaceSwap, DeepFaceLab e FSGAN, nonché tre modelli di movimento di primo ordine (FOMM).

Quest’ultimo presenta anche la sintesi del viso guidata dall’audio ATFHP e l’output da Wav2Lip, con gli autori che utilizzano un set di dati derivato che presenta 276 video reali e 544 video contraffatti.

Le metriche utilizzate includevano l’area sotto la curva ROC (AUC) e una stima di un tasso di allarme falso del 10%, che sarebbe problematico in framework che incorporano e addestrano su dati contraffatti, ma che preoccupazione è annullata dal fatto che POI-Forensics utilizza solo video reali come input.

I metodi sono stati testati contro il rilevatore di deepfake di Seferbekov, che ha ottenuto il primo posto nella sfida di rilevamento di deepfake di Kaggle; FTCN (Fully Temporal Convolution Network), una collaborazione tra l’Università di Xiamen in Cina e Microsoft Research Asia; LipForensics, un lavoro congiunto del 2021 tra l’Imperial College di Londra e Facebook; e ID-Reveal, un progetto precedente di alcuni degli autori del nuovo articolo, che omette un aspetto audio e utilizza modelli di morfologia 3D in combinazione con uno scenario di gioco avversario per rilevare output contraffatto.

I risultati (vedi tabella sopra) mostrano che POI-Forensics supera il leader di riferimento Seferbekov del 2,5% in termini di AUC e del 1,5% in termini di accuratezza. Le prestazioni sono state più competitive su altri set di dati ad alta qualità.

Tuttavia, il nuovo approccio ha dimostrato un vantaggio significativo su tutti i metodi di riferimento per video di bassa qualità, che rimangono lo scenario più probabile in cui i deepfake sono propensi a ingannare gli spettatori occasionali, in base a contesti “del mondo reale”.

Gli autori affermano:

‘In effetti, in questo scenario impegnativo, solo gli approcci basati sull’identità forniscono prestazioni buone, poiché si basano su caratteristiche semantiche di alto livello, abbastanza robuste per gli impatti delle immagini.’

Considerando che POI-Forensics utilizza solo video reali come materiale di origine, il risultato è arguibile amplificato e suggerisce che l’utilizzo delle caratteristiche biometriche native delle potenziali vittime di deepfake sia una strada promettente per sfuggire alla “guerra fredda degli artefatti” tra software di deepfake e soluzioni di rilevamento di deepfake.

In un test finale, i ricercatori hanno aggiunto rumore avversario all’input, un metodo che può ingannare in modo affidabile i classificatori. Il vecchio metodo del segno del gradiente veloce si è dimostrato particolarmente efficace in questo senso.

Le strategie di attacco avversarie hanno ridotto il tasso di successo in tutti i metodi e set di dati, con AUC in discesa in incrementi tra il 10% e il 38%. Tuttavia, solo POI-Forensics e il metodo precedente degli autori ID-Reveal sono stati in grado di mantenere prestazioni ragionevoli in questo scenario di attacco, suggerendo che le caratteristiche di alto livello associate alle biometriche soft siano straordinariamente resistenti all’evasione del rilevamento di deepfake.

Gli autori concludono:

‘In generale, crediamo che il nostro metodo sia un primo passo; in particolare, l’utilizzo di caratteristiche semantiche di alto livello è una promettente strada futura per la ricerca. Inoltre, l’analisi multi-modale potrebbe essere ulteriormente arricchita includendo più informazioni da altri domini come i dati testuali.’

Pubblicato per la prima volta l’8 aprile 2022.