Rilevamento di videoconferenze Deepfake con la funzione “Vibrazione” di uno smartphone

Una nuova ricerca di Singapore ha proposto un metodo innovativo per rilevare se qualcuno all’altro capo di uno strumento di videoconferenza sullo smartphone sta utilizzando metodi come DeepFaceLive per impersonare qualcun altro.

Intitolato SFake, il nuovo approccio abbandona i metodi passivi impiegati dalla maggior parte dei sistemi e causa la vibrazione del telefono dell’utente (utilizzando gli stessi meccanismi di vibrazione comuni negli smartphone), e sfoca leggermente il viso.

Sebbene i sistemi di live deepfaking siano in grado di replicare il moto di sfocatura, a condizione che le immagini sfocate siano state incluse nei dati di allenamento o almeno nei dati di pre-allenamento, non possono rispondere abbastanza velocemente alla sfocatura inaspettata di questo tipo e continuano a produrre sezioni non sfocate dei visi, rivelando l’esistenza di una videoconferenza deepfake.

DeepFaceLive non può simulare la sfocatura causata dalle vibrazioni della telecamera. Fonte: https://arxiv.org/pdf/2409.10889v1

I risultati dei test sui dati raccolti dai ricercatori (poiché non esistono dataset con vibrazioni attive della telecamera) hanno mostrato che SFake ha superato i metodi di rilevamento di videoconferenze deepfake basati su video, anche quando si è trovato di fronte a circostanze difficili, come il movimento naturale della mano che si verifica quando l’altra persona in una videoconferenza tiene la telecamera con la mano, invece di utilizzare un supporto fisso per il telefono.

La crescente necessità di rilevamento di videoconferenze Deepfake

La ricerca sul rilevamento di videoconferenze deepfake è aumentata recentemente. A seguito di diversi anni di successi di truffe basate su voci deepfake, all’inizio di quest’anno un lavoratore del settore finanziario è stato ingannato e ha trasferito 25 milioni di dollari a un truffatore che impersonava un CFO in una videoconferenza deepfake.

Sebbene un sistema di questo tipo richieda un alto livello di accesso hardware, molti utenti di smartphone sono già abituati a servizi di verifica finanziari e di altro tipo che ci chiedono di registrare le nostre caratteristiche facciali per l’autenticazione basata sul viso (in effetti, questo fa parte del processo di verifica di LinkedIn).

Pertanto, sembra probabile che tali metodi diventeranno sempre più obbligatori per i sistemi di videoconferenza, poiché questo tipo di crimine continua a fare notizia.

La maggior parte delle soluzioni che affrontano il problema del deepfaking in tempo reale in videoconferenza assume uno scenario molto statico, in cui il comunicante utilizza una webcam stazionaria e non si verificano movimenti o cambiamenti ambientali o di illuminazione eccessivi. Una chiamata su smartphone non offre una situazione “fissa” di questo tipo.

Al contrario, SFake utilizza una serie di metodi di rilevamento per compensare il grande numero di varianti visive in una videoconferenza basata su smartphone tenuto a mano, e sembra essere il primo progetto di ricerca ad affrontare il problema utilizzando l’attrezzatura di vibrazione standard integrata negli smartphone.

Il documento è intitolato Shaking the Fake: Rilevamento di video deepfake in tempo reale tramite sonde attive e proviene da due ricercatori dell’Università Tecnologica di Nanyang a Singapore.

Metodo

SFake è progettato come un servizio basato su cloud, in cui un’app locale invierebbe dati a un servizio API remoto per essere elaborati, e i risultati verrebbero inviati indietro.

Tuttavia, il suo ridotto footprint di 450 MB e la metodologia ottimizzata consentono che il rilevamento di deepfake possa essere elaborato interamente sul dispositivo stesso, nei casi in cui la connessione di rete potrebbe causare una compressione eccessiva delle immagini inviate, influenzando il processo diagnostico.

Eseguire “tutto locale” in questo modo significa che il sistema avrebbe accesso diretto al flusso della telecamera dell’utente, senza l’interferenza del codec spesso associata alle videoconferenze.

Il tempo di analisi medio richiede un campione video di quattro secondi, durante il quale all’utente viene chiesto di rimanere fermo, e durante il quale SFake invia “sonde” per causare vibrazioni della telecamera a intervalli selettivamente casuali che sistemi come DeepFaceLive non possono rispondere in tempo.

(È necessario sottolineare che qualsiasi attaccante che non abbia incluso contenuti sfocati nel set di dati di allenamento è improbabile che possa produrre un modello in grado di generare sfocatura anche in circostanze più favorevoli, e che DeepFaceLive non può semplicemente “aggiungere” questa funzionalità a un modello allenato su un set di dati non curato)

Il sistema sceglie aree selezionate del viso come aree di potenziale contenuto deepfake, escludendo gli occhi e le sopracciglia (poiché il battito delle palpebre e altri moti facciali in quell’area sono al di fuori dell’ambito della rilevazione della sfocatura, e non sono un indicatore ideale).

Schema concettuale per SFake.

Come possiamo vedere nello schema concettuale sopra, dopo aver scelto modelli di vibrazione appropriati e non prevedibili, aver stabilito la lunghezza focale migliore e aver eseguito il riconoscimento facciale (inclusa la rilevazione dei punti di riferimento tramite un componente Dlib che stima 68 punti di riferimento facciali standard), SFake deriva gradienti dal viso di input e si concentra su aree selezionate di questi gradienti.

La sequenza di varianza viene ottenuta analizzando sequenzialmente ogni frame nel breve clip in studio, fino a quando non si raggiunge la sequenza media o “ideale”, e il resto viene scartato.

Ciò fornisce caratteristiche estratte utilizzabili come quantificatore della probabilità di contenuto deepfake, in base al database di allenamento (del quale, più avanti).

Il sistema richiede una risoluzione dell’immagine di 1920×1080 pixel, nonché una lunghezza focale di almeno 2x per l’obiettivo. Il documento nota che tali risoluzioni (e anche risoluzioni più elevate) sono supportate in Microsoft Teams, Skype, Zoom e Tencent Meeting.

La maggior parte degli smartphone ha una telecamera frontale e una telecamera posteriore, e spesso solo una di queste ha le capacità di zoom richieste da SFake; l’app richiederebbe quindi al comunicante di utilizzare la telecamera che soddisfa questi requisiti.

L’obiettivo qui è quello di ottenere una proporzione corretta del viso dell’utente nel flusso video che il sistema analizzerà. Il documento osserva che la distanza media che le donne utilizzano i dispositivi mobili è di 34,7 cm, e per gli uomini, 38,2 cm (come riportato in Journal of Optometry), e che SFake funziona molto bene a queste distanze.

Poiché la stabilizzazione è un problema con i video tenuti a mano, e poiché la sfocatura che si verifica dal movimento della mano è un ostacolo al funzionamento di SFake, i ricercatori hanno provato diversi metodi per compensare. Il più efficace di questi è stato il calcolo del punto centrale dei punti di riferimento stimati e l’utilizzo di questo come “ancora” – in sostanza, una tecnica di stabilizzazione algoritmica. Con questo metodo, è stata ottenuta un’accuratezza del 92%.

Dati e test

Poiché non esistevano dataset adatti allo scopo, i ricercatori hanno sviluppato il proprio:

‘[Abbiamo] utilizzato 8 marche diverse di smartphone per registrare 15 partecipanti di genere e età variabili per costruire il nostro dataset. Abbiamo posizionato lo smartphone su un supporto per telefono a 20 cm di distanza dal partecipante e zoomato due volte, puntando sul viso del partecipante per comprendere tutte le sue caratteristiche facciali mentre vibravamo lo smartphone in modelli diversi.

‘Per i telefoni la cui telecamera frontale non può zoomare, abbiamo utilizzato la telecamera posteriore come sostituto. Abbiamo registrato 150 video lunghi, ognuno della durata di 20 secondi. Per impostazione predefinita, supponiamo che il periodo di rilevamento duri 4 secondi. Abbiamo ritagliato 10 clip di 4 secondi da un video lungo randomizzando l’orario di inizio. Pertanto, abbiamo ottenuto un totale di 1500 clip reali, ognuna della durata di 4 secondi.’

Sebbene DeepFaceLive (collegamento GitHub) sia stato il bersaglio centrale dello studio, poiché è attualmente il sistema di live deepfaking open source più utilizzato, i ricercatori hanno incluso quattro altri metodi per allenare il loro modello di rilevamento di base: Hififace; FS-GANV2; RemakerAI; e MobileFaceSwap – l’ultimo di questi una scelta particolarmente adatta, data l’ambiente di destinazione.

Sono stati utilizzati 1500 video falsi per l’allenamento, insieme al numero equivalente di video reali e inalterati.

SFake è stato testato contro diversi classificatori, tra cui SBI; FaceAF; CnnDetect; LRNet; DefakeHop varianti; e il servizio di rilevamento di deepfake online gratuito Deepaware. Per ciascuno di questi metodi di deepfake, sono stati allenati 1500 video falsi e 1500 video reali.

Per il classificatore di test di base, è stato utilizzato un semplice reticolo neurale a due strati con una funzione di attivazione ReLU. Sono stati scelti casualmente 1000 video reali e 1000 video falsi (sebbene i video falsi fossero esclusivamente esempi di DeepFaceLive).

Sono stati utilizzati l’Area Under Receiver Operating Characteristic Curve (AUC/AUROC) e l’accuratezza (ACC) come metriche.

Per l’allenamento e l’inferenza, è stato utilizzato un NVIDIA RTX 3060, e i test sono stati eseguiti su Ubuntu. I video di test sono stati registrati con un Xiaomi Redmi 10x, un Xiaomi Redmi K50, un OPPO Find x6, un Huawei Nova9, un Xiaomi 14 Ultra, un Honor 20, un Google Pixel 6a e un Huawei P60.

Per essere coerenti con i metodi di rilevamento esistenti, i test sono stati implementati in PyTorch. I risultati principali dei test sono illustrati nella tabella seguente:

Risultati per SFake contro metodi concorrenti.

Qui gli autori commentano:

‘In tutti i casi, l’accuratezza di rilevamento di SFake ha superato il 95%. Tra i cinque algoritmi di deepfake, tranne che per Hififace, SFake si esegue meglio contro altri algoritmi di deepfake rispetto agli altri sei metodi di rilevamento. Poiché il nostro classificatore è stato allenato utilizzando immagini false generate da DeepFaceLive, raggiunge il tasso di accuratezza più alto del 98,8% quando rileva DeepFaceLive.

‘Quando si confronta con volti falsi generati da RemakerAI, gli altri metodi di rilevamento si eseguono male. Speculiamo che ciò potrebbe essere dovuto alla compressione automatica dei video durante il download da Internet, che comporta la perdita di dettagli delle immagini e quindi riduce l’accuratezza di rilevamento. Tuttavia, ciò non influisce sul rilevamento di SFake, che raggiunge un’accuratezza del 96,8% nel rilevamento contro RemakerAI.’

Gli autori notano inoltre che SFake è il sistema più performante nello scenario in cui viene applicato un fattore di zoom 2x all’obiettivo di cattura, poiché ciò esagera il movimento e rappresenta una prospettiva estremamente impegnativa. Anche in questa situazione, SFake è stato in grado di raggiungere un’accuratezza di riconoscimento dell’84% e dell’83%, rispettivamente per fattori di zoom di 2,5 e 3.

Conclusione

Un progetto che utilizza le debolezze di un sistema di live deepfaking contro se stesso è un’offerta rinfrescante in un anno in cui il rilevamento di deepfake è stato dominato da documenti che hanno semplicemente rimescolato approcci venerabili intorno all’analisi della frequenza (che è ben lontana dall’essere immune alle innovazioni nello spazio deepfake).

A fine 2022, un altro sistema ha utilizzato la varianza della luminosità del monitor come grilletto per il rilevamento; e nello stesso anno, la mia stessa dimostrazione dell’incapacità di DeepFaceLive di gestire le viste laterali a 90 gradi ha suscitato un certo interesse della comunità.

DeepFaceLive è il bersaglio corretto per un tale progetto, poiché è quasi certamente il focus dell’interesse criminale per quanto riguarda le truffe alle videoconferenze.

Tuttavia, ho recentemente visto alcune prove aneddotiche che il sistema LivePortrait, attualmente molto popolare nella comunità VFX, gestisce le viste laterali meglio di DeepFaceLive; sarebbe stato interessante se fosse stato incluso in questo studio.

Pubblicato per la prima volta martedì, 24 settembre 2024