I deepfake possono ingannare efficacemente molti importanti API di “liveness” facciale

Una nuova collaborazione di ricerca tra gli Stati Uniti e la Cina ha esaminato la suscettibilità ai deepfake di alcuni dei più grandi sistemi di autenticazione basati sul viso nel mondo e ha scoperto che la maggior parte di essi è vulnerabile a forme di attacco deepfake in via di sviluppo ed emergenti.

La ricerca ha condotto intrusioni basate su deepfake utilizzando un framework personalizzato distribuito contro sistemi di verifica di “liveness” facciale (FLV) comunemente forniti da importanti fornitori e venduti come servizio a clienti downstream come compagnie aeree e società assicurative.

Dallo studio, una panoramica del funzionamento delle API di verifica di liveness facciale (FLV) tra i principali fornitori. Fonte: https://arxiv.org/pdf/2202.10673.pdf

La “liveness” facciale è intesa per respingere l’uso di tecniche come gli attacchi di immagini avversarie, l’uso di maschere e video preregistrati, così come le cosiddette ‘facce master’, e altre forme di clonazione di ID visivi.

Lo studio conclude che il numero limitato di moduli di rilevamento deepfake distribuiti in questi sistemi, molti dei quali servono milioni di clienti, è lontano dall’essere infallibile e potrebbe essere stato configurato su tecniche deepfake che sono ormai obsolete, o potrebbe essere troppo specifico per l’architettura.

Gli autori notano:

‘[Diversi] metodi deepfake mostrano variazioni tra diversi fornitori…Senza accesso ai dettagli tecnici dei fornitori di FLV di destinazione, speculiamo che tali variazioni siano attribuibili alle misure di difesa distribuite da diversi fornitori. Ad esempio, alcuni fornitori potrebbero distribuire difese contro attacchi deepfake specifici.’

E continuano:

‘[La maggior parte] delle API di FLV non utilizza la rilevazione anti-deepfake; anche per quelle con tali difese, la loro efficacia è preoccupante (ad esempio, potrebbe rilevare video sintetizzati di alta qualità ma non rilevare quelli di bassa qualità).’

I ricercatori osservano, a questo proposito, che ‘l’autenticità’ è relativa:

‘[Anche] se un video sintetizzato è irreale per gli esseri umani, può comunque bypassare il meccanismo di rilevamento anti-deepfake attuale con un tasso di successo molto alto.’

Sopra, immagini deepfake che sono riuscite ad autenticarsi negli esperimenti degli autori. Sotto, immagini contraffatte apparentemente più realistiche che non sono riuscite ad autenticarsi.

Un altro risultato è stato che l’attuale configurazione dei sistemi di verifica facciale generici è distorta verso i maschi bianchi. Di conseguenza, le identità femminili e non bianche sono state trovate più efficaci nel bypassare i sistemi di verifica, mettendo i clienti in quelle categorie a maggior rischio di violazione tramite tecniche basate su deepfake.

La relazione trova che le identità maschili bianche sono valutate più rigorosamente e con maggiore accuratezza dalle popolari API di verifica di liveness facciale. Nella tabella sopra, vediamo che le identità femminili e non bianche possono essere utilizzate più facilmente per bypassare i sistemi.

La relazione osserva che ‘ci sono pregiudizi nella [verifica di liveness facciale], che possono portare a rischi di sicurezza significativi per un particolare gruppo di persone.’

Gli autori hanno anche condotto attacchi di autenticazione facciale etici contro un governo cinese, una grande compagnia aerea cinese, una delle più grandi società assicurative sulla vita in Cina e R360, uno dei più grandi gruppi di investimenti unicorn in tutto il mondo, e segnalano di aver bypassato con successo l’utilizzo a valle di queste organizzazioni delle API studiate.

Nel caso di un bypass di autenticazione di successo per la compagnia aerea cinese, l’API a valle richiedeva all’utente di ‘scuotere la testa’ come prova contro il materiale deepfake potenziale, ma ciò si è rivelato inefficace contro il framework ideato dai ricercatori, che incorpora sei architetture deepfake.

Nonostante la valutazione della compagnia aerea dell’oscillazione della testa dell’utente, il contenuto deepfake è riuscito a superare il test.

La relazione nota che gli autori hanno contattato i fornitori coinvolti, che hanno riconosciuto il lavoro.

Gli autori offrono una serie di raccomandazioni per migliorare l’attuale stato dell’arte nella FLV, tra cui l’abbandono dell’autenticazione basata su singole immagini (‘Image-based FLV’), dove l’autenticazione si basa su un singolo frame dal flusso di camera del cliente; un aggiornamento più flessibile e completo dei sistemi di rilevamento deepfake su immagini e domini vocali; l’imposizione della necessità che l’autenticazione vocale nel video dell’utente sia sincronizzata con i movimenti labiali (cosa che non avviene attualmente, in generale); e la richiesta agli utenti di eseguire gesti e movimenti che sono attualmente difficili da riprodurre per i sistemi deepfake (ad esempio, viste del profilo e oscuramento parziale del viso).

La relazione è intitolata Seeing is Living? Rethinking the Security of Facial Liveness Verification in the Deepfake Era, e proviene da joint lead authors Changjiang Li e Li Wang, e altri cinque autori dell’Università statale della Pennsylvania, dell’Università di Zhejiang e dell’Università di Shandong.

I principali obiettivi

I ricercatori hanno preso di mira i ‘sei più rappresentativi’ fornitori di verifica di liveness facciale (FLV), che sono stati resi anonimi con criptonimi nella ricerca.

I fornitori sono rappresentati così: ‘BD’ e ‘TC’ rappresentano un fornitore conglomerato con il maggior numero di chiamate API relative al viso e la più grande quota del mercato cloud AI cinese; ‘HW’ è ‘uno dei fornitori con il più grande mercato cloud pubblico cinese’; ‘CW’ ha il tasso di crescita più veloce nella visione artificiale e sta raggiungendo una posizione di mercato leader; ‘ST’ è tra i più grandi fornitori di visione artificiale; e ‘iFT’ è tra i più grandi fornitori di software AI in Cina.

Dati e architettura

I dati sottostanti che alimentano il progetto includono un set di dati di 625.537 immagini dall’iniziativa cinese CelebA-Spoof, insieme a video live dall’Università statale del Michigan del 2019 SiW-M dataset.

Tutti gli esperimenti sono stati condotti su un server con due CPU Intel Xeon E5-2640 v4 da 2,40 GHz che eseguono su 256 GB di RAM con un disco rigido da 4 TB e quattro GPU NVIDIA 1080Ti orchestrate, per un totale di 44 GB di VRAM operativo.

Sei in uno

Il framework ideato dagli autori della relazione si chiama LiveBugger e incorpora sei framework deepfake di stato dell’arte contro le quattro principali difese nei sistemi FLV.

LiveBugger contiene approcci deepfake diversi e si concentra sui quattro principali vettori di attacco nei sistemi FLV.

I sei framework deepfake utilizzati sono: l’Università di Oxford del 2018 X2Face; la collaborazione accademica statunitense ICface; due varianti del progetto israeliano del 2019 FSGAN; il modello di metodo di primo ordine italiano (FOMM), dall’inizio del 2020; e la collaborazione tra l’Università di Pechino e Microsoft Research FaceShifter (anche se FaceShifter non è open source, gli autori hanno dovuto ricostruirlo in base ai dettagli dell’architettura pubblicata).

I metodi utilizzati tra questi framework includono l’uso di video preregistrati in cui i soggetti del video di spoofing eseguono azioni ripetute estratte dai requisiti di autenticazione dell’API in un modulo di valutazione precedente di LiveBugger, e anche l’uso di una ‘pupazzazione deepfake’ efficace, che traduce i movimenti live di un individuo in un flusso deepfaked inserito in un flusso di webcam cooptato.

Un esempio di quest’ultimo è DeepFaceLive, che ha debuttato l’estate scorsa come un programma aggiuntivo al popolare DeepFaceLab, per consentire lo streaming deepfake in tempo reale, ma che non è incluso nella ricerca degli autori.

Attaccare i quattro vettori

I quattro vettori di attacco all’interno di un tipico sistema FLV sono: FLV basata su immagini, che utilizza una singola foto fornita dall’utente come token di autenticazione contro un’identità facciale registrata nel sistema; FLV basata sul silenzio, che richiede all’utente di caricare un clip video; FLV basata su azioni, che richiede all’utente di eseguire azioni dettate dalla piattaforma; e FLV basata sulla voce, che confronta il discorso dell’utente con il modello di discorso dell’utente nel database del sistema.

La prima sfida per il sistema è stabilire la misura in cui un’API divulgherà i suoi requisiti, poiché possono essere anticipati e adattati nel processo di deepfaking. Ciò è gestito dal motore di intelligenza in LiveBugger, che raccoglie informazioni sui requisiti dalla documentazione API pubblicamente disponibile e da altre fonti.

Poiché i requisiti pubblicati possono essere assenti (per vari motivi) dalle routine effettive dell’API, il motore di intelligenza incorpora una sonda che raccoglie informazioni implicite in base ai risultati delle chiamate API esplorative. Nel progetto di ricerca, ciò è stato facilitato da API di test offline ufficiali fornite per il beneficio degli sviluppatori e anche da volontari che hanno offerto di utilizzare i propri account live per i test.

Il motore di intelligenza cerca prove relative al fatto che un’API stia attualmente utilizzando un particolare approccio che potrebbe essere utile negli attacchi. Caratteristiche di questo tipo possono includere rilevamento della coerenza, che controlla se i frame in un video sono temporali continui – un requisito che può essere stabilito inviando frame video scrambleati e osservando se ciò contribuisce al fallimento dell’autenticazione.

Il modulo cerca anche rilevamento del linguaggio labiale, dove l’API potrebbe controllare se il suono nel video è sincronizzato con i movimenti labiali dell’utente (raramente il caso – vedi ‘Risultati’ di seguito).

Risultati

Gli autori hanno scoperto che tutte e sei le API valutate non utilizzavano il rilevamento della coerenza al momento degli esperimenti, consentendo al motore deepfaker in LiveBugger di semplicemente cucire insieme audio sintetizzato con video deepfaked, basato su materiale contribuito da volontari.

Tuttavia, alcune applicazioni a valle (cioè clienti dei framework API) sono state trovate ad aver aggiunto il rilevamento della coerenza al processo, richiedendo la registrazione preventiva di un video adatto per aggirare questo.

Inoltre, solo alcuni dei fornitori di API utilizzano il rilevamento del linguaggio labiale; per la maggior parte di essi, il video e l’audio vengono analizzati come quantità separate e non c’è funzionalità che tenti di abbinare il movimento labiale all’audio fornito.

Risultati diversi che coprono l’intervallo di tecniche di deepfake disponibili in LiveBugger contro la varietà di vettori di attacco in FLV API. Numeri più alti indicano una maggiore percentuale di successo nell’aggirare l’autenticazione FLV utilizzando tecniche deepfake. Non tutte le API includono tutte le difese possibili per FLV; ad esempio, alcune non offrono alcuna difesa contro i deepfake, mentre altre non controllano che il movimento labiale e l’audio si abbino nel video dell’utente durante l’autenticazione.

Conclusione

I risultati della relazione e le indicazioni per il futuro delle API FLV sono labirintici e gli autori li hanno concatenati in una ‘architettura di vulnerabilità’ che potrebbe aiutare gli sviluppatori FLV a comprendere meglio alcune delle questioni scoperte”

La rete di raccomandazioni della relazione riguardo alla suscettibilità esistente e potenziale delle routine di identificazione video basate sul viso agli attacchi deepfake.

Le raccomandazioni notano:

‘I rischi di sicurezza della FLV esistono ampiamente in molte applicazioni reali e minacciano quindi la sicurezza di milioni di utenti finali’

Gli autori notano anche che l’uso della FLV basata su azioni è ‘marginale’ e che aumentare il numero di azioni che gli utenti sono tenuti a eseguire ‘non può portare alcun guadagno di sicurezza’.

Inoltre, gli autori notano che combinare il riconoscimento vocale e il riconoscimento facciale temporale (in video) è una difesa inutile a meno che i fornitori di API non inizino a richiedere che i movimenti labiali siano sincronizzati con l’audio.

La relazione arriva alla luce di un recente avvertimento dell’FBI alle aziende sui pericoli della frode deepfake, quasi un anno dopo la loro predizione dell’uso di questa tecnologia nelle operazioni di influenza straniera e di timori generali che la tecnologia deepfake live faciliti un nuovo crimine su una popolazione che ancora si fida delle architetture di sicurezza dell’autenticazione video.

Questi sono ancora i primi giorni del deepfake come superficie di attacco di autenticazione; nel 2020, 35 milioni di dollari sono stati estorti in modo fraudolento da una banca negli Emirati Arabi Uniti tramite l’uso della tecnologia audio deepfake, e un dirigente del Regno Unito è stato allo stesso modo truffato e ha versato 243.000 dollari nel 2019.

Pubblicato per la prima volta il 23 febbraio 2022.