Nuovo Metodo Rileva I Deep Fake Con Un’accuratezza Del 99%

Un team di scienziati informatici della UC Riverside ha sviluppato un nuovo metodo per rilevare le espressioni facciali manipolate nei video deep fake. Il metodo può rilevare queste espressioni con un’accuratezza del 99%, rendendolo più preciso dei metodi attuali.

La nuova ricerca, intitolata “Rilevamento e Localizzazione delle Manipolazioni delle Espressioni Facciali“, è stata presentata alla Conferenza invernale del 2022 sulle Applicazioni della Visione Computazionale.

Rilevamento di Qualsiasi Manipolazione Facciale

Il metodo si è anche rivelato altrettanto preciso dei metodi attuali nei casi in cui l’identità facciale era stata scambiata anziché le espressioni. Ciò significa che il nuovo approccio può essere utilizzato per rilevare qualsiasi tipo di manipolazione facciale e rappresenta un importante passo avanti nello sviluppo di strumenti automatizzati per il rilevamento di video manipolati.

Non è mai stato così facile scambiare il viso di un individuo con quello di un altro o alterare le espressioni originali a causa dei recenti progressi nel software di editing video. Il rilevamento di tali metodi è di fondamentale importanza, poiché sono sempre più utilizzati in vari conflitti domestici e internazionali in tutto il mondo. Tuttavia, l’identificazione dei volti con espressioni scambiate è stata estremamente difficile.

Amit Roy-Chowdhury è un professore di ingegneria elettrica e informatica presso il Bourns College of Engineering ed è anche coautore della ricerca.

“Ciò che rende l’area di ricerca sui deep fake più impegnativa è la competizione tra la creazione e il rilevamento e la prevenzione dei deep fake, che diventerà sempre più intensa in futuro. Con ulteriori progressi nei modelli generativi, i deepfake saranno più facili da sintetizzare e più difficili da distinguere dai reali”, ha dichiarato.

Immagine: UC Riverside

Rilevamento della Manipolazione delle Espressioni (EMD)

Il nuovo metodo divide il compito in due componenti all’interno di una rete neurale profonda. Il primo ramo discerne le espressioni facciali fornendo informazioni sulle regioni che contengono l’espressione. Queste regioni possono includere la bocca, gli occhi, la fronte e altro. Queste informazioni vengono fornite al secondo ramo, che è un’architettura encoder-decoder responsabile del rilevamento e della localizzazione della manipolazione.

Il team ha denominato il framework Rilevamento della Manipolazione delle Espressioni (EMD) e può rilevare e localizzare regioni specifiche che sono state modificate in un’immagine.

Ghazal Mazaheri è uno studente di dottorato e leader della ricerca.

“L’apprendimento multi-task può sfruttare le caratteristiche prominenti apprese dai sistemi di riconoscimento delle espressioni facciali per beneficare l’addestramento dei sistemi di rilevamento della manipolazione convenzionali. Un tale approccio raggiunge prestazioni impressionanti nel rilevamento della manipolazione delle espressioni facciali”, ha dichiarato Mazaheri.

I ricercatori hanno condotto esperimenti su due dataset di manipolazione facciale impegnativi e hanno dimostrato che EMD si esegue meglio con le manipolazioni delle espressioni facciali e gli scambi di identità. Ha rilevato con accuratezza il 99% dei video manipolati.