Identificazione di Deepfake di Celebrità dalle Regioni del Viso Esterno

Una nuova collaborazione tra Microsoft e un’università cinese ha proposto un nuovo modo di identificare i deepfake di celebrità, sfruttando le carenze delle tecniche di deepfake attuali per riconoscere le identità che sono state “proiettate” su altre persone.

L’approccio si chiama Identity Consistency Transformer (ICT) e funziona confrontando le parti più esterne del viso (mento, zigomi, linea dei capelli e altre caratteristiche marginali esterne) con l’interno del viso. Il sistema sfrutta i dati di immagini pubbliche facilmente disponibili di personaggi famosi, il che limita la sua efficacia alle celebrità più popolari, le cui immagini sono disponibili in grandi numeri nei set di dati di visione computerizzata e su Internet.

La copertura di falsificazione dei volti falsi attraverso sette tecniche: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; e DF-VAE. Pacchetti popolari come DeepFaceLab e FaceSwap forniscono una copertura simile. Fonte: https://arxiv.org/pdf/2203.01318.pdf

Come illustra l’immagine sopra, i metodi attuali per la creazione di deepfake sono abbastanza limitati nelle risorse e si basano su “volti ospite” (l’immagine o il video di una persona che avrà la propria identità sostituita dal deepfake) per minimizzare le prove della sostituzione del viso.

Sebbene i metodi vari possano coprire la fronte completa e una grande parte delle aree del mento e degli zigomi, tutti sono più o meno limitati all’interno del quadro del viso ospite.

Una mappa di salienza che enfatizza le ‘identità interne’ e ‘esterne’ calcolate da ICT. Dove si stabilisce una corrispondenza del viso interno ma un’identità esterna non corrisponde, ICT valuta l’immagine come falsa.

Nei test, ICT ha dimostrato di essere in grado di rilevare il contenuto deepfake in contesti a bassa risoluzione video, dove il contenuto dell’intero video è degradato da artefatti di compressione, aiutando a nascondere le prove residue del processo di deepfake – una circostanza che confonde molti metodi di rilevamento di deepfake concorrenti.

ICT supera i concorrenti nel riconoscimento del contenuto deepfake. Vedi il video incorporato alla fine dell’articolo per più esempi e una migliore risoluzione. Vedi il video incorporato alla fine dell’articolo per ulteriori esempi. Fonte: https://www.youtube.com/watch?v=zgF50dcymj8

L’articolo si intitola Proteggere le Celebrità con Identity Consistency Transformer e proviene da nove ricercatori variamente affiliati all’Università di Scienza e Tecnologia della Cina, Microsoft Research Asia e Microsoft Cloud + AI.

Il Divario di Credibilità

Ci sono almeno un paio di motivi per cui gli algoritmi di sostituzione del viso più popolari, come DeepFaceLab e FaceSwap, trascurano l’area più esterna del viso sostituito.

Innanzitutto, l’addestramento di modelli di deepfake è dispendioso in termini di tempo e risorse, e l’adozione di “volti ospite” compatibili libera cicli di GPU ed epoche per concentrarsi sulle aree interne del viso relative all’identità, che sono meno soggette a cambiamenti (come variazioni di peso e invecchiamento).

In secondo luogo, la maggior parte degli approcci di deepfake (e questo è certamente il caso con DeepFaceLab, il software utilizzato dai praticanti più popolari o notori) ha una capacità limitata di replicare i margini del viso, come le aree delle guance e del mento, e sono vincolati dal fatto che il loro codice upstream (del 2017) non ha affrontato estensivamente questo problema.

Nei casi in cui le identità non corrispondono bene, l’algoritmo di deepfake deve “inserire” aree di sfondo intorno al viso, il che fa in modo goffo, anche nelle mani dei migliori deepfakers, come Ctrl Shift Face, il cui output è stato utilizzato negli studi del paper.

Il meglio del meglio: fotogrammi da un video deepfake di Ctrl-Shift-Face, sostituendo Jim Carrey con Gary Oldman. Questo lavoro rappresenta probabilmente il miglior output attualmente disponibile tramite DeepFaceLab e tecniche di post-elaborazione. Tuttavia, gli scambi rimangono limitati all’attenzione relativamente scarsa che DFL dedica al viso esterno, richiedendo uno sforzo erculeo di cura e addestramento dei dati per affrontare le caratteristiche più esterne. Fonte: https://www.youtube.com/watch?v=x8igrh1eyLk

Questo “trucco” o deflessione dell’attenzione sfugge in gran parte all’attenzione pubblica nella preoccupazione attuale per la crescente realismo dei deepfake, perché le nostre facoltà critiche intorno ai deepfake stanno ancora sviluppandosi oltre la fase di “shock e meraviglia”.

Identità Divise

Il nuovo paper nota che la maggior parte dei metodi precedenti di rilevamento di deepfake si basano su artefatti che tradiscono il processo di sostituzione, come pose del capo incoerenti e ammiccare, tra numerosi altri tecniche. Solo questa settimana, un altro nuovo paper di rilevamento di deepfake ha proposto l’uso della “firma” dei tipi di modelli nel framework FaceSwap per aiutare a identificare i video contraffatti creati con esso (vedi immagine sotto).

Identificazione di deepfake caratterizzando le firme dei diversi tipi di modelli nel framework FaceSwap. Fonte: https://arxiv.org/pdf/2202.12951.pdf

Al contrario, l’architettura di ICT crea due identità annidate separate per una persona, ciascuna delle quali deve essere verificata prima che l’intera identità sia conclusa come “vera” o “falsa”.

Architettura per le fasi di addestramento e testing di ICT.

La divisione delle identità è facilitata da un Transformer di visione, che esegue il riconoscimento del viso prima di dividere le aree esaminate in token appartenenti alle identità interne o esterne.

Distribuzione dei patch tra i due indicatori di identità paralleli.

Il paper afferma:

‘Purtroppo, i metodi di verifica del viso esistenti tendono a caratterizzare la regione più discriminativa, ovvero il viso interno per la verifica, e non riescono a catturare le informazioni di identità nel viso esterno. Con Identity Consistency Transformer, addestriamo un modello per apprendere una coppia di vettori di identità, uno per il viso interno e l’altro per il viso esterno, progettando un Transformer tale che le identità interne ed esterne possano essere apprese simultaneamente in un modello unificato.’

Poiché non esiste un modello esistente per questo protocollo di identificazione, gli autori hanno ideato una nuova forma di perdita di coerenza che può agire come metrica di autenticità. I token “interno” e “esterno” che risultano dal modello di estrazione dell’identità vengono aggiunti agli embedding di patch prodotti dai framework di identificazione del viso.

Dati e Addestramento

La rete ICT è stata addestrata sul set di dati MS-Celeb-1M di Microsoft Research, che contiene 10 milioni di immagini di visi di celebrità che coprono un milione di identità, compresi attori, politici e molti altri tipi di figure prominenti. Secondo la procedura del metodo precedente Face X-ray (un’altra iniziativa di Microsoft Research), la routine di generazione di deepfake di ICT scambia le aree interne ed esterne dei visi tratti da questo set di dati per creare materiale su cui testare l’algoritmo.

Per eseguire questi scambi interni, ICT identifica due immagini nel set di dati che esibiscono pose del capo e caratteristiche del viso simili, genera una regione di maschera delle caratteristiche centrali (in cui può essere eseguito uno scambio), ed esegue uno scambio di deepfake con correzione del colore RGB.

Il motivo per cui ICT è limitato all’identificazione di celebrità è che si basa (nella sua variante più efficace) su un nuovo set di riferimento che incorpora vettori facciali derivati da un corpus centrale (in questo caso MS-Celeb-1M, sebbene il riferimento potrebbe essere esteso a immagini disponibili in rete, che esisterebbero solo probabilmente in sufficiente qualità e quantità per figure pubbliche ben note).

Questi vettori derivati agiscono come token di autenticità per verificare le regioni del viso interno ed esterno in tandem.

Gli autori notano che i token ottenuti da questi metodi rappresentano “caratteristiche di alto livello”, risultando in un processo di rilevamento di deepfake più probabile di sopravvivere in ambienti impegnativi come video a bassa risoluzione o degradati.

Crucialmente, ICT non cerca prove basate su artefatti, ma si concentra invece su metodi di verifica dell’identità più in accordo con le tecniche di riconoscimento del viso – un approccio che è difficile con dati a basso volume, come nel caso dell’indagine su incidenti di deepfake revenge porn contro bersagli non famosi.

Test

Addestrata su MS-Celeb-1M, ICT è stata quindi divisa in versioni assistite da riferimento e “cieche” dell’algoritmo, e testata contro una serie di set di dati e metodi concorrenti. Questi includevano FaceForensics++ (FF++), un set di dati di 1000 video autentici e deepfake creati attraverso quattro metodi, tra cui Face2Face e FaceSwap; Google’s Deepfake Detection (DFD), anch’esso composto da migliaia di video deepfake generati da Google; Celeb-DeepFake v1 (CD1), che presenta 408 video reali e 795 video sintetici a basso artefatto; Celeb-DeepFake v2, un’estensione di V1 che contiene 590 video reali e 5.639 video falsi; e il Deeper-Forensics (Deeper) cinese del 2020.

Questi sono i set di dati; i metodi di rilevamento nel test sono Multi-task, MesoInc4, Capsule, Xception-c0, c2 (un metodo impiegato in FF++), FWA/DSP-FW dell’Università di Albany, Two-Branch, PCL+I2G, e il metodo di discrepanza di contesto di Yuval Nirkin.

I metodi di rilevamento sopra menzionati sono rivolti al rilevamento di particolari tipi di manipolazione del viso. In aggiunta a questi, gli autori del nuovo paper hanno testato offerte di rilevamento di deepfake più generali Face X-ray, FFD dell’Università del Michigan, CNNDetection e Patch-Forensics del MIT CSAIL.

Il risultato più evidente dal test è che i metodi concorrenti calano drasticamente in efficacia alla riduzione della risoluzione e della qualità del video. Poiché alcune delle più gravi potenziali minacce di deepfake che penetrano nelle nostre capacità discriminatorie si trovano (non meno al momento attuale) in video non HD o compromessi in termini di qualità, questo sembrerebbe essere un risultato significativo.

Nel grafico dei risultati sopra, le linee blu e rosse indicano la resilienza dei metodi ICT alla degradazione delle immagini in tutte le aree tranne che nel blocco del rumore gaussiano (non una probabilità in stile footage di Zoom e webcam), mentre l’affidabilità dei metodi concorrenti precipita.

Nella tabella dei risultati sotto, vediamo l’efficacia dei vari metodi di rilevamento di deepfake sui set di dati non visti. I risultati grigi e asteriscati indicano confronti da risultati originalmente pubblicati in progetti a codice chiuso, che non possono essere verificati esternamente. In quasi tutti i framework confrontabili, ICT supera gli approcci di rilevamento di deepfake concorrenti (in grassetto) sui set di dati testati.

Come test aggiuntivo, gli autori hanno eseguito il contenuto del canale YouTube di Ctrl Shift Face, e hanno trovato che i metodi concorrenti hanno ottenuto punteggi di identificazione notevolmente inferiori:

Notare che i metodi FF++ (Xception-c23) e FFD, che raggiungono alcuni dei punteggi più alti in alcuni dei dati di testing del nuovo paper, qui raggiungono un punteggio molto più basso di ICT in un contesto “reale” di contenuto deepfake ad alta qualità.

Gli autori concludono il paper con la speranza che i suoi risultati guidino la comunità di rilevamento di deepfake verso iniziative simili che si concentrino su caratteristiche di alto livello più facilmente generalizzabili, e lontano dalla “guerra fredda” del rilevamento di artefatti, in cui gli ultimi metodi sono routinariamente superati dagli sviluppi nei framework di deepfake, o da altri fattori che rendono tali metodi meno resilienti.

Guarda il video supplementare allegato qui sotto per più esempi di ICT che identifica il contenuto deepfake che spesso inganna i metodi alternativi.

Pubblicato per la prima volta il 4 marzo 2022.