Identificazione di deepfake di celebrità dalle regioni del viso esterne

Una nuova collaborazione tra Microsoft e un’università cinese ha proposto un nuovo metodo per identificare i deepfake di celebrità, sfruttando le carenze delle tecniche di deepfake attuali per riconoscere le identità che sono state “proiettate” su altre persone.

L’approccio si chiama Identity Consistency Transformer (ICT), e funziona confrontando le parti più esterne del viso (mento, zigomi, linea dei capelli e altre caratteristiche marginali) con l’interno del viso. Il sistema sfrutta i dati di immagini pubbliche disponibili di personaggi famosi, il che limita la sua efficacia alle celebrità, le cui immagini sono disponibili in grandi numeri nei dataset di visione computerizzata e su Internet.

La copertura di falsificazione dei visi contraffatti attraverso sette tecniche: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; e DF-VAE. Pacchetti popolari come DeepFaceLab e FaceSwap forniscono una copertura simile. Fonte: https://arxiv.org/pdf/2203.01318.pdf

Come illustra l’immagine sopra, i metodi attuali per i deepfake sono piuttosto vincolati dalle risorse, e si affidano a “volti ospiti” (l’immagine o il video di una persona che avrà la sua identità sostituita dal deepfake) per minimizzare le prove di sostituzione del viso.

Sebbene metodi diversi possano coprire la fronte e una grande parte delle aree del mento e degli zigomi, tutti sono più o meno vincolati all’interno del viso dell’ospite.

Una mappa di salienza che enfatizza le identità ‘interne’ e ‘esterne’ calcolate da ICT. Dove si stabilisce una corrispondenza del viso interno ma l’identità esterna non corrisponde, ICT valuta l’immagine come falsa.

Nelle prove, ICT ha dimostrato di essere in grado di rilevare il contenuto deepfake in ambienti a bassa risoluzione video, dove il contenuto dell’intero video è degradato da artefatti di compressione, aiutando a nascondere le prove residue del processo di deepfake – una circostanza che confonde molti metodi di rilevamento di deepfake concorrenti.

ICT supera i concorrenti nel riconoscimento del contenuto deepfake. Vedi il video incorporato alla fine dell’articolo per ulteriori esempi e una risoluzione migliore. Vedi il video di origine incorporato alla fine dell’articolo per ulteriori esempi. Fonte: https://www.youtube.com/watch?v=zgF50dcymj8

Il documento si intitola Proteggere le celebrità con Identity Consistency Transformer, e proviene da nove ricercatori affiliati all’Università di Scienza e Tecnologia della Cina, Microsoft Research Asia e Microsoft Cloud + AI.

La lacuna di credibilità

Ci sono almeno un paio di motivi per cui gli algoritmi di sostituzione del viso popolari come DeepFaceLab e FaceSwap trascurano l’area più esterna dell’identità del viso sostituito.

Innanzitutto, l’addestramento dei modelli di deepfake è dispendioso in termini di tempo e risorse, e l’adozione di “volti ospiti” compatibili libera cicli di GPU ed epoche per concentrarsi sulle aree interne relativamente immutabili del viso che utilizziamo per distinguere l’identità (poiché variabili come fluttuazioni di peso e invecchiamento sono meno probabili che cambino questi tratti fondamentali del viso nel breve termine).

In secondo luogo, la maggior parte degli approcci di deepfake (e questo è certamente il caso di DeepFaceLab, il software utilizzato dai praticanti più popolari o notori) ha una capacità limitata di replicare i margini “finali” del viso come aree del viso e del mento, e sono vincolati dal fatto che il loro codice upstream (2017) non ha affrontato estensivamente questo problema.

Nel caso in cui le identità non corrispondano bene, l’algoritmo di deepfake deve “inserire” aree di sfondo intorno al viso, il che fa in modo goffo anche nelle mani dei migliori deepfaker, come Ctrl Shift Face, il cui output è stato utilizzato negli studi del documento.

Il meglio del meglio: fotogrammi da un video deepfake del noto deepfaker Ctrl-Shift-Face, che sostituisce Jim Carrey con Gary Oldman. Questo lavoro rappresenta probabilmente il meglio del lavoro attualmente disponibile tramite DeepFaceLab e tecniche di post-elaborazione. Tuttavia, gli scambi rimangono limitati all’attenzione relativamente scarsa che DFL dà al viso esterno, richiedendo uno sforzo erculeo di cura dei dati e formazione per affrontare le caratteristiche più esterne. Fonte: https://www.youtube.com/watch?v=x8igrh1eyLk

Questo “gioco di prestigio”, o deflessione dell’attenzione, sfugge in gran parte all’attenzione pubblica nella preoccupazione attuale per la crescente realismo dei deepfake, perché le nostre facoltà critiche intorno ai deepfake stanno ancora sviluppandosi oltre la fase “shock e meraviglia”.

Identità divise

Il nuovo documento nota che la maggior parte dei metodi precedenti di rilevamento di deepfake si affidano a artefatti che tradiscono il processo di sostituzione, come pose del capo incoerenti e ammiccare, tra numerosi altri metodi. Solo questa settimana, un altro nuovo documento di rilevamento di deepfake ha proposto l’uso della “firma” dei tipi di modello diversi nel framework FaceSwap per aiutare a identificare i video contraffatti creati con esso (vedi immagine sotto).

Identificazione di deepfake caratterizzando le firme dei tipi di modello diversi nel framework FaceSwap. Fonte: https://arxiv.org/pdf/2202.12951.pdf

Al contrario, l’architettura di ICT crea due identità annidate separate per una persona, ciascuna delle quali deve essere verificata prima che l’intera identità sia conclusa come “vera” immagine o video.

Architettura per le fasi di addestramento e testing di ICT.

La divisione delle identità è facilitata da un trasformatore di visione Transformer, che esegue il riconoscimento del viso prima di dividere le aree esaminate in token appartenenti alle identità interne o esterne.

Distribuzione dei patch tra i due indicatori di identità paralleli.

Il documento afferma:

‘Purtroppo, i metodi di verifica del viso esistenti tendono a caratterizzare la regione più discriminativa, ovvero il viso interno per la verifica, e falliscono nel catturare le informazioni di identità nel viso esterno. Con Identity Consistency Transformer, addestriamo un modello per imparare una coppia di vettori di identità, uno per il viso interno e l’altro per il viso esterno, progettando un Transformer tale che le identità interne ed esterne possano essere apprese simultaneamente in un modello unificato.’

Poiché non esiste un modello esistente per questo protocollo di identificazione, gli autori hanno ideato una nuova specie di perdita di coerenza che può agire come metrica di autenticità. I token “interni” e “esterni” che risultano dal modello di estrazione dell’identità vengono aggiunti agli embedding di patch più convenzionali prodotti dai framework di identificazione del viso.

Dati e addestramento

La rete ICT è stata addestrata sul dataset MS-Celeb-1M di Microsoft Research, che contiene 10 milioni di immagini di visi di celebrità che coprono un milione di identità, tra cui attori, politici e molti altri tipi di personaggi prominenti. Secondo la procedura del metodo precedente Face X-ray (un’altra iniziativa di Microsoft Research), la routine di generazione di deepfake di ICT scambia le regioni interne ed esterne dei visi tratti da questo dataset per creare materiale su cui testare l’algoritmo.

Per eseguire questi scambi interni, ICT identifica due immagini nel dataset che esibiscono pose del capo e landmark del viso simili, genera una regione di maschera delle caratteristiche centrali (in cui può essere eseguito uno scambio), e esegue uno scambio di deepfake con correzione del colore RGB.

Il motivo per cui ICT è limitato all’identificazione di celebrità è che si basa (nella sua varietà più efficace) su un insieme di riferimento derivato che incorpora vettori facciali derivati da un corpus centrale (in questo caso MS-Celeb-1M, sebbene il riferimento potrebbe essere esteso a immagini disponibili in rete, che esisterebbero solo probabilmente in sufficiente qualità e quantità per personaggi pubblici ben noti).

Questi vettori derivati agiscono come token di autenticità per verificare le regioni del viso interno ed esterno in tandem.

Gli autori notano che i token ottenuti da questi metodi rappresentano “caratteristiche di alto livello”, risultando in un processo di rilevamento di deepfake più probabile di sopravvivere in ambienti impegnativi come video a bassa risoluzione o degradati.

Crucialmente, ICT non cerca prove basate su artefatti, ma si concentra invece su metodi di verifica dell’identità più in accordo con le tecniche di riconoscimento del viso – un approccio che è difficile con dati a basso volume, come nel caso dell’indagine sugli incidenti di deepfake revenge porn contro obiettivi non famosi.

Test

Addestrato su MS-Celeb-1M, ICT è stato poi diviso in versioni assistite da riferimento e “cieche” dell’algoritmo, e testato contro una serie di dataset e metodi concorrenti. Questi includevano FaceForensics++ (FF++), un dataset di 1000 video autentici e deepfake creati attraverso quattro metodi, tra cui Face2Face e FaceSwap; Google’s Deepfake Detection (DFD), anch’esso composto da migliaia di video deepfake generati da Google; Celeb-DeepFake v1 (CD1), che presenta 408 video reali e 795 video sintetici a basso artefatto; Celeb-DeepFake v2, un’estensione di V1 che contiene 590 video reali e 5.639 video falsi; e il dataset cinese 2020 Deeper-Forensics (Deeper).

Questi sono i dataset; i metodi di rilevamento nel test delle sfide erano Multi-task, MesoInc4, Capsule, Xception-c0, c2 (un metodo impiegato in FF++), FWA/DSP-FW dell’Università di Albany, Two-Branch, PCL+I2G, e il metodo di discrepanza di contesto di Yuval Nirkin.

I metodi di rilevamento sopra menzionati sono rivolti a rilevare tipi specifici di manipolazione del viso. In aggiunta a questi, gli autori del nuovo documento hanno testato offerte di rilevamento di deepfake più generali Face X-ray, Michigan State University’s FFD, CNNDetection, e Patch-Forensics di MIT CSAIL.

I risultati più evidenti del test sono che i metodi concorrenti calano drasticamente in efficacia quando la risoluzione e la qualità del video si abbassano. Poiché alcune delle più gravi potenziali conseguenze della penetrazione dei deepfake nelle nostre facoltà discriminatorie si trovano (non meno attualmente) in video non HD o compromessi in altro modo, questo sembrerebbe essere un risultato significativo.

Nel grafico dei risultati sopra, le linee blu e rosse indicano la resilienza dei metodi ICT alla degradazione dell’immagine in tutte le aree tranne che nel blocco stradale del rumore gaussiano (non una probabilità in riprese di Zoom e webcam), mentre l’affidabilità dei metodi concorrenti precipita.

Nella tabella dei risultati sotto, vediamo l’efficacia dei vari metodi di rilevamento di deepfake sui dataset non visti. I risultati grigi e asteriscati indicano un confronto con i risultati pubblicati originalmente in progetti a codice chiuso, che non possono essere verificati esternamente. In quasi tutti i framework confrontabili, ICT supera gli approcci di rilevamento di deepfake concorrenti (indicati in grassetto) sui dataset testati.

Come ulteriore test, gli autori hanno eseguito il contenuto del canale YouTube del noto deepfaker Ctrl Shift Face, e hanno trovato che i metodi concorrenti hanno ottenuto punteggi di identificazione notevolmente inferiori:

Nota che i metodi FF++ (Xception-c23) e FFD, che raggiungono alcuni dei punteggi più alti in alcuni dei dati di test del nuovo documento, qui raggiungono un punteggio molto più basso di ICT in un contesto “reale” di contenuto deepfake di alta qualità.

Gli autori concludono il documento con la speranza che i suoi risultati guidino la comunità di rilevamento di deepfake verso iniziative simili che si concentrino su caratteristiche di alto livello più facilmente generalizzabili, e lontano dalla “guerra fredda” della rilevazione di artefatti, in cui gli ultimi metodi sono routine obsoleti a causa di sviluppi nei framework di deepfake, o di altri fattori che rendono tali metodi meno resilienti.

Controlla il video supplementare allegato qui sotto per ulteriori esempi di ICT che identifica il contenuto deepfake che spesso supera i metodi alternativi.

Pubblicato per la prima volta il 4 marzo 2022.