Rilevamento di videochiamate Deepfake attraverso l’illuminazione del monitor

Una nuova collaborazione tra un ricercatore dell’Agenzia di sicurezza nazionale degli Stati Uniti (NSA) e l’Università della California a Berkeley offre un metodo innovativo per rilevare contenuti Deepfake in un contesto di videochiamata live – osservando l’effetto dell’illuminazione del monitor sull’aspetto della persona all’altra estremità della videochiamata.

L’utente di DeepFaceLive Druuzil Tech & Games prova il suo modello Christian Bale DeepFaceLab in una sessione live con i suoi follower, mentre le fonti di luce cambiano. Fonte: https://www.youtube.com/watch?v=XPQLDnogLKA

Il sistema funziona inserendo un elemento grafico sullo schermo dell’utente che cambia una gamma ristretta del suo colore più velocemente di quanto un sistema Deepfake possa rispondere – anche se, come l’implementazione di streaming Deepfake in tempo reale DeepFaceLive (riportato sopra), ha una certa capacità di mantenere il trasferimento del colore live e di tenere conto dell’illuminazione ambientale.

L’immagine del colore uniforme visualizzata sul monitor della persona all’altra estremità (ovvero il potenziale truffatore Deepfake) passa attraverso una variazione limitata di cambi di tonalità progettati per non attivare il bilanciamento del bianco automatico della webcam e altri sistemi di compensazione dell’illuminazione ad hoc, che comprometterebbero il metodo.

Dal documento, un’illustrazione del cambiamento delle condizioni di illuminazione dal monitor di fronte a un utente, che funziona efficacemente come una ‘luce d’area’ diffusa. Fonte: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

La teoria alla base di questo approccio è che i sistemi Deepfake live non possono rispondere in tempo ai cambiamenti rappresentati nella grafica sullo schermo, aumentando il ‘ritardo’ dell’effetto Deepfake in alcune parti dello spettro dei colori, rivelando la sua presenza.

Per poter misurare con precisione la luce del monitor riflessa, il sistema deve tenere conto e poi scontare l’effetto dell’illuminazione ambientale generale non correlata alla luce del monitor. È quindi in grado di distinguere carenze nella misurazione della tonalità di illuminazione attiva e della tonalità facciale degli utenti, rappresentando uno spostamento temporale di 1-4 frame di differenza tra ciascuno:

Limitando le variazioni di tonalità nella grafica di ‘rilevamento’ sullo schermo e assicurandosi che la webcam dell’utente non sia sollecitata ad auto-regolare le sue impostazioni di cattura a causa di cambiamenti eccessivi nell’illuminazione del monitor, i ricercatori sono stati in grado di discernere un ritardo caratteristico nell’adattamento del sistema Deepfake ai cambiamenti di illuminazione.

Il documento conclude:

‘A causa della ragionevole fiducia che riponiamo nelle videochiamate live e della crescente ubiquità delle videochiamate nelle nostre vite personali e professionali, proponiamo che le tecniche per autenticare le videochiamate (e l’audio) diventeranno sempre più importanti.’

Lo studio è intitolato Rilevamento di video Deepfake in tempo reale utilizzando l’illuminazione attiva e proviene da Candice R. Gerstner, un matematico di ricerca applicata del Dipartimento della Difesa degli Stati Uniti, e dal professor Hany Farid di Berkeley.

Erosione della fiducia

La scena della ricerca anti-Deepfake ha cambiato notevolmente negli ultimi sei mesi, passando dalla rilevazione generale dei Deepfake (ovvero la mira a video registrati e contenuti pornografici) alla rilevazione della ‘vita’, in risposta a un’onda crescente di incidenti di utilizzo di Deepfake nelle videochiamate e all’avvertimento recente dell’FBI sull’utilizzo crescente di tali tecnologie nelle domande di lavoro a distanza.

Anche quando una videochiamata si rivela non essere stata Deepfake, le maggiori opportunità per gli impersonatori video guidati dall’AI stanno iniziando a generare paranoia.

Il nuovo documento afferma:

‘La creazione di Deepfake in tempo reale [presenta] minacce uniche a causa del senso generale di fiducia che circonda una videochiamata live o una telefonata, e della sfida di rilevare i Deepfake in tempo reale, mentre la chiamata si svolge.’

La comunità di ricerca ha da tempo stabilito l’obiettivo di trovare segni infallibili di contenuto Deepfake che non possano essere facilmente compensati. Sebbene i media abbiano tipicamente caratterizzato ciò in termini di una guerra tecnologica tra ricercatori di sicurezza e sviluppatori di Deepfake, la maggior parte delle negazioni degli approcci iniziali (come l’analisi dei battiti delle palpebre, la discriminazione della posizione della testa e l’analisi del comportamento) sono avvenute semplicemente perché gli sviluppatori e gli utenti stavano cercando di creare Deepfake più realistici in generale, piuttosto che affrontare specificamente l’ultimo ‘segno’ identificato dalla comunità di sicurezza.

Gettare luce sui video Deepfake live

Rilevare i Deepfake in ambienti di video live comporta il fardello di tenere conto delle connessioni video scadenti, che sono molto comuni nelle scenari di videoconferenza. Anche senza un livello di Deepfake interposto, il contenuto video può essere soggetto a ritardi nello stile NASA, artefatti di rendering e altri tipi di degrado nell’audio e nel video. Questi possono servire a nascondere i bordi grezzi in un’architettura di Deepfake live, sia in termini di video che di audio Deepfake.

I nuovi sistemi degli autori migliorano i risultati e i metodi presentati in una pubblicazione del 2020 del Center for Networked Computing dell’Università di Temple a Philadelphia.

Dal documento del 2020, possiamo osservare il cambiamento dell’illuminazione facciale ‘riempita’ mentre il contenuto dello schermo dell’utente cambia. Fonte: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

La differenza nel nuovo lavoro è che tiene conto di come le webcam rispondono ai cambiamenti di illuminazione. Gli autori spiegano:

‘Poiché tutte le webcam moderne eseguono un’esposizione automatica, il tipo di illuminazione attiva ad alta intensità [utilizzato nel lavoro precedente] è probabilmente destinato a scatenare l’esposizione automatica della fotocamera, che a sua volta confonderà l’aspetto facciale registrato. Per evitare ciò, impieghiamo un’illuminazione attiva consistente in un cambiamento di tonalità isoluminante.

‘Mentre ciò evita l’esposizione automatica della fotocamera, potrebbe scatenare il bilanciamento del bianco della fotocamera, che confonderebbe nuovamente l’aspetto facciale registrato. Per evitare ciò, operiamo in una gamma di tonalità che abbiamo empiricamente determinato non scatena il bilanciamento del bianco.’

Per questa iniziativa, gli autori hanno anche considerato iniziative simili, come LiveScreen, che impone un modello di illuminazione poco appariscente sul monitor dell’utente finale nel tentativo di rivelare il contenuto Deepfake.

Sebbene quel sistema abbia raggiunto un tasso di accuratezza del 94,8%, i ricercatori concludono che la sottigliezza dei modelli di luce renderebbe un approccio occulto difficile da implementare in ambienti illuminati, e propongono invece che il loro sistema, o uno modellato su linee simili, potrebbe essere incorporato pubblicamente e per impostazione predefinita nel software di videoconferenza popolare:

‘La nostra proposta di intervento potrebbe essere realizzata da un partecipante alla chiamata che condivide semplicemente lo schermo e visualizza il modello variabile nel tempo, o, idealmente, potrebbe essere integrato direttamente nel client di videochiamata.’

Test

Gli autori hanno utilizzato una miscela di soggetti sintetici e reali per testare il loro rilevatore Deepfake guidato da Dlib. Per lo scenario sintetico, hanno utilizzato Mitsuba, un renderer forward e inverse dell’Istituto federale svizzero di tecnologia di Losanna.

Campioni dal set di dati simulati, con tono della pelle variabile, dimensione della fonte di luce, intensità della luce ambientale e prossimità alla fotocamera.

La scena rappresentata include una testa CGI parametrica catturata da una fotocamera virtuale con un campo di visione di 90°. Le teste presentano riflessione di Lambert e toni della pelle neutri e sono situate a 2 piedi di fronte alla fotocamera virtuale.

Per testare l’ambito del framework su una gamma di possibili toni della pelle e configurazioni, i ricercatori hanno eseguito una serie di test, variando diversi aspetti in sequenza. Gli aspetti modificati includevano il tono della pelle, la prossimità e la dimensione della luce di illuminazione.

Gli autori commentano:

‘In simulazione, con le nostre varie ipotesi soddisfatte, la nostra tecnica proposta è altamente robusta rispetto a una vasta gamma di configurazioni di imaging.’

Per lo scenario del mondo reale, i ricercatori hanno utilizzato 15 volontari con una gamma di toni della pelle, in ambienti diversi. Ognuno è stato sottoposto a due cicli della variazione di tonalità limitata, in condizioni in cui una frequenza di aggiornamento dello schermo di 30 Hz era sincronizzata con la webcam, il che significa che l’illuminazione attiva sarebbe durata solo un secondo alla volta. I risultati sono stati ampiamente paragonabili ai test sintetici, sebbene le correlazioni siano aumentate notevolmente con valori di illuminazione più grandi.

Direzioni future

Il sistema, gli autori ammettono, non tiene conto delle tipiche occlusioni facciali, come le frange, gli occhiali o i capelli facciali. Tuttavia, notano che il mascheramento di questo tipo può essere aggiunto a sistemi successivi (attraverso l’etichettatura e la successiva segmentazione semantica), che potrebbero essere addestrati a prendere valori esclusivamente da aree di pelle percepita nel soggetto bersaglio.

Gli autori suggeriscono anche che un paradigma simile potrebbe essere utilizzato per rilevare le chiamate audio Deepfake e che il suono di rilevamento necessario potrebbe essere riprodotto in una frequenza al di fuori della normale gamma uditiva umana.

Forse più interessante, i ricercatori suggeriscono anche che l’estensione dell’area di valutazione oltre il viso in un framework di cattura più ricco potrebbe notevolmente migliorare la possibilità di rilevamento Deepfake*:

‘Una stima 3-D più sofisticata dell’illuminazione probabilmente fornirebbe un modello di aspetto più ricco che sarebbe ancora più difficile per un falsificatore aggirare. Mentre ci siamo concentrati solo sul viso, il display del computer illumina anche il collo, il corpo superiore e lo sfondo circostante, da cui potrebbero essere effettuate misurazioni simili.

‘Queste misurazioni aggiuntive costringerebbero il falsificatore a considerare l’intera scena 3-D, non solo il viso.’

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta il 6 luglio 2022.
lay anche illumina il collo, il corpo superiore e lo sfondo circostante, da cui potrebbero essere effettuate misurazioni simili. ‘Queste misurazioni aggiuntive costringerebbero il falsificatore a considerare l’intera scena 3-D, non solo il viso.’ * La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali. Pubblicato per la prima volta il 6 luglio 2022.