Le informazioni di profondità possono rivelare i deepfake in tempo reale

Una nuova ricerca dell’Italia ha scoperto che le informazioni di profondità ottenute dalle immagini possono essere uno strumento utile per rilevare i deepfake, anche in tempo reale.

Mentre la maggior parte della ricerca sulla rilevazione dei deepfake negli ultimi cinque anni si è concentrata sull’identificazione degli artifact (che possono essere mitigati da tecniche migliorate o scambiati per una cattiva compressione del codec video), l’illuminazione ambientale, le caratteristiche biometriche, le perturbazioni temporali e persino l’istinto umano, il nuovo studio è il primo a suggerire che le informazioni di profondità potrebbero essere un cifrario prezioso per il contenuto dei deepfake.

Esempi di mappe di profondità derivate e la differenza di informazioni di profondità percettive tra immagini reali e false. Fonte: https://arxiv.org/pdf/2208.11074.pdf

Criticamente, i framework di rilevamento sviluppati per il nuovo studio operano molto bene su una rete leggera come Xception e accettabilmente bene su MobileNet, e il nuovo articolo riconosce che la bassa latenza dell’inferenza offerta da tali reti può abilitare la rilevazione dei deepfake in tempo reale contro la nuova tendenza verso la frode dei deepfake in tempo reale, esemplificata dall’attacco recente a Binance.

Una maggiore economia di tempo di inferenza può essere ottenuta perché il sistema non richiede immagini a pieno colore per determinare la differenza tra mappe di profondità vere e false, ma può operare in modo sorprendentemente efficiente solo su immagini in scala di grigi delle informazioni di profondità.

Gli autori affermano: ‘Questo risultato suggerisce che la profondità in questo caso aggiunge un contributo più rilevante alla classificazione rispetto agli artifact di colore.’

I risultati rappresentano parte di una nuova ondata di ricerca sulla rilevazione dei deepfake diretta contro sistemi di sintesi facciale in tempo reale come DeepFaceLive – un locus di sforzo che ha accelerato notevolmente negli ultimi 3-4 mesi, in seguito all’avvertimento dell’FBI di marzo sul rischio di video e audio deepfake in tempo reale.

L’articolo è intitolato DepthFake: una strategia basata sulla profondità per rilevare i video deepfake e proviene da cinque ricercatori dell’Università Sapienza di Roma.

Casi limite

Durante l’addestramento, i modelli di deepfake basati su autoencoder danno priorità alle regioni interne del viso, come gli occhi, il naso e la bocca. Nella maggior parte dei casi, attraverso distribuzioni open source come DeepFaceLab e FaceSwap (entrambi forkati dal codice originale Reddit del 2017 prima della sua cancellazione), le linee esterne del viso non diventano ben definite fino a uno stadio molto tardivo dell’addestramento e sono improbabili che corrispondano alla qualità di sintesi nella regione del viso interna.

Da uno studio precedente, vediamo una visualizzazione di ‘mappe di salienza’ del viso. Fonte: https://arxiv.org/pdf/2203.01318.pdf

Normalmente, questo non è importante, poiché la nostra tendenza a concentrarsi prima sugli occhi e a dare priorità ‘verso l’esterno’ a livelli di attenzione decrescenti significa che è improbabile che siamo disturbati da questi cali di qualità periferica – soprattutto se stiamo parlando in diretta con la persona che sta fingendo un’altra identità, il che attiva convenzioni sociali e limitazioni di elaborazione non presenti quando valutiamo ‘renderizzato’ footage deepfake.

Tuttavia, la mancanza di dettagli o accuratezza nelle regioni marginali di un viso deepfaked può essere rilevata algoritmicamente. A marzo, un sistema che si concentra sulla regione periferica del viso è stato annunciato. Tuttavia, poiché richiede una quantità superiore alla media di dati di addestramento, è destinato solo a celebrità che sono probabili candidate a figurare in popolari set di dati facciali (come ImageNet) che hanno una provenienza in tecniche di visione computerizzata e rilevamento dei deepfake attuali.

Invece, il nuovo sistema, intitolato DepthFake, può operare genericamente anche su identità oscure o sconosciute, distinguendo la qualità delle informazioni di profondità stimate in contenuti video reali e falsi.

Andare in profondità

Le informazioni di profondità sono sempre più integrate nei smartphone, comprese implementazioni stereo assistite da AI che sono particolarmente utili per gli studi di visione computerizzata. Nello studio nuovo, gli autori hanno utilizzato il modello FaceDepth dell’Università Nazionale dell’Irlanda, una rete convoluzionale encoder/decoder che può stimare efficientemente le mappe di profondità da immagini a singola sorgente.

Il modello FaceDepth in azione. Fonte: https://tinyurl.com/3ctcazma

Successivamente, la pipeline per il nuovo framework dei ricercatori italiani estrae un patch di 224×224 pixel del viso del soggetto da entrambe le immagini RGB originali e le mappe di profondità derivate. Criticamente, ciò consente al processo di copiare il contenuto principale senza ridimensionarlo; questo è importante, poiché gli algoritmi di ridimensionamento standard possono influire negativamente sulla qualità delle aree bersaglio.

Utilizzando queste informazioni, sia da fonti reali che deepfaked, i ricercatori hanno quindi addestrato una rete neurale convoluzionale (CNN) in grado di distinguere istanze reali da quelle false in base alle differenze nella qualità percettiva delle rispettive mappe di profondità.

Pipeline concettuale per DepthFake.

Il modello FaceDepth è stato addestrato su dati realistici e sintetici utilizzando una funzione ibrida che offre maggiore dettaglio ai margini esterni del viso, rendendolo ben adatto per DepthFake. Utilizza un’istanza di MobileNet come estrattore di caratteristiche ed è stato addestrato con immagini di input 480×640 che producono mappe di profondità 240×320. Ogni mappa di profondità rappresenta un quarto dei quattro canali di input utilizzati nel progetto del discriminatore.

La mappa di profondità viene automaticamente incorporata nell’immagine RGB originale per fornire il tipo di immagine RGBD, completo di informazioni di profondità, che le moderne fotocamere smartphone possono produrre.

Addestramento

Il modello è stato addestrato su una rete Xception già pre-addestrata su ImageNet, sebbene l’architettura abbia richiesto alcuni adattamenti per accommodare le informazioni di profondità aggiuntive mantenendo la corretta inizializzazione dei pesi.

Inoltre, una discordanza nei valori tra le informazioni di profondità e ciò che la rete si aspetta ha reso necessario che i ricercatori normalizzassero i valori a 0-255.

Durante l’addestramento, solo il flipping e la rotazione sono stati applicati. In molti casi, varie altre perturbazioni visive sarebbero state presentate al modello per sviluppare un’inferenza robusta, ma la necessità di preservare le informazioni di profondità di bordo limitate e molto fragili nelle foto sorgente ha costretto i ricercatori ad adottare un regime di riduzione.

Il sistema è stato inoltre addestrato su semplici immagini in scala di grigi a 2 canali, al fine di determinare quanto complesse dovevano essere le immagini sorgente per ottenere un algoritmo funzionante.

L’addestramento ha avuto luogo tramite l’API TensorFlow su una NVIDIA GTX 1080 con 8GB di VRAM, utilizzando l’ottimizzatore ADAMAX, per 25 epoche, con una dimensione del batch di 32. La risoluzione di input è stata fissata a 224×224 durante il cropping, e la rilevazione e l’estrazione del viso sono state effettuate con la libreria C++ dlib.

Risultati

L’accuratezza dei risultati è stata testata contro Deepfake, Face2Face, FaceSwap, Neural Texture e l’intero set di dati con input RGB e RGBD, utilizzando il framework FaceForensic++.

Risultati sull’accuratezza su quattro metodi deepfake e contro l’intero set di dati non diviso. I risultati sono divisi tra l’analisi delle immagini RGB sorgente e le stesse immagini con una mappa di profondità inferita incorporata. I migliori risultati sono in grassetto, con cifre percentuali sotto che dimostrano l’estensione in cui le informazioni di profondità migliorano il risultato.

In tutti i casi, il canale di profondità migliora le prestazioni del modello in tutte le configurazioni. Xception ottiene i migliori risultati, con il agile MobileNet subito dietro. A questo proposito, gli autori commentano:

‘[È] interessante notare che MobileNet è leggermente inferiore a Xception e supera il più profondo ResNet50. Questo è un risultato notevole quando si considera l’obiettivo di ridurre i tempi di inferenza per le applicazioni in tempo reale. Sebbene non sia il contributo principale di questo lavoro, lo consideriamo un risultato incoraggiante per future sviluppi.’

I ricercatori notano anche un vantaggio costante di input RGBD e 2-canali in scala di grigi su input RGB e semplice scala di grigi, osservando che le conversioni in scala di grigi delle inferenze di profondità, che sono computazionalmente molto economiche, consentono al modello di ottenere risultati migliorati con risorse locali molto limitate, facilitando lo sviluppo futuro della rilevazione dei deepfake in tempo reale basata sulle informazioni di profondità.

Pubblicato per la prima volta il 24 agosto 2022.