Angolo di Anderson

Verifica facciale ‘creativa’ con reti generative avversarie

Martin Anderson
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveIl metodo GAN di Stanford ha aggirato la verifica facciale di Tinder e Bumble con…
Vedi di più
  • Il metodo GAN di Stanford ha aggirato la verifica facciale di Tinder e Bumble con immagini in cui il genere era stato scambiato.
  • StarGAN V2 ha generato volti diversi di qualità superiore che hanno superato la verifica locale meglio di StyleGAN.
  • La tecnica inserisce caratteristiche identitarie nei volti alterati, consentendo identità alternative coerenti per i sistemi di autenticazione.

Un nuovo articolo della Stanford University ha proposto un metodo nascente per ingannare i sistemi di autenticazione del viso in piattaforme come le app di incontri, utilizzando una Rete Adversaria Generativa (GAN) per creare immagini di viso alternative che contengono le stesse informazioni essenziali di identità di un viso reale.

Il metodo ha bypassato con successo i processi di verifica del viso su app di incontri come Tinder e Bumble, in un caso anche facendo passare un viso con cambio di genere (maschile) come autentico rispetto all’identità di origine (femminile).

Varie identità generate che presentano la codifica specifica dell'autrice del documento (in prima immagine in alto). Fonte: https://arxiv.org/pdf/2203.15068.pdf

Varie identità generate che presentano la codifica specifica dell’autrice del documento (in prima immagine in alto). Fonte: https://arxiv.org/pdf/2203.15068.pdf

Secondo l’autrice, il lavoro rappresenta il primo tentativo di bypassare la verifica del viso utilizzando immagini generate che sono state dotate di tratti di identità specifici, ma che tentano di rappresentare un’identità alternativa o sostanzialmente alterata.

La tecnica è stata testata su un sistema di verifica del viso personalizzato locale e ha funzionato bene nei test black box contro due app di incontri che eseguono la verifica del viso sulle immagini caricate dagli utenti.

Il nuovo documento si intitola Bypass della Verifica del Viso e proviene da Sanjana Sarda, una ricercatrice del Dipartimento di Ingegneria Elettrica della Stanford University.

Controllo dello Spazio del Viso

Sebbene “iniettare” caratteristiche specifiche dell’identità (ad esempio da visi, segnali stradali, ecc.) in immagini create sia un aspetto fondamentale degli attacchi adversari, il nuovo studio suggerisce qualcosa di diverso: che la crescente capacità del settore della ricerca di controllare lo spazio latente delle GAN alla fine consentirà lo sviluppo di architetture che possono creare identità alternative coerenti a quelle di un utente – e, di fatto, consentirà l’estrazione di caratteristiche di identità da immagini web disponibili di un utente inconsapevole per cooptarle in un’identità “ombra” creata.

La coerenza e la navigabilità sono state le principali sfide riguardanti lo spazio latente della GAN fin dalla sua creazione. Una GAN che ha assimilato con successo una raccolta di immagini di training nel suo spazio latente non fornisce una mappa facile per “spostare” caratteristiche da una classe all’altra.

Sebbene tecniche e strumenti come la mappatura dell’attivazione della classe ponderata dal gradiente (Grad-CAM) possano aiutare a stabilire direzioni latenti tra le classi stabilite ed abilitare trasformazioni (vedi immagine in basso), l’ulteriore problema dell’intreccio delle caratteristiche di solito rende il viaggio “approssimativo”, con un controllo fine limitato della transizione.

Un viaggio approssimativo tra vettori codificati nello spazio latente di una GAN, spingendo un'identità maschile derivata dai dati nel 'femminile' codificato dall'altra parte di uno dei molti iperpiani lineari nello spazio latente complesso e arcano. Immagine derivata da materiale su https://www.youtube.com/watch?v=dCKbRCUyop8

Un viaggio approssimativo tra vettori codificati nello spazio latente di una GAN, spingendo un’identità maschile derivata dai dati nel ‘femminile’ codificato dall’altra parte di uno dei molti iperpiani lineari nello spazio latente complesso e arcano. Immagine derivata da materiale su https://www.youtube.com/watch?v=dCKbRCUyop8

La capacità di “congelare” e proteggere caratteristiche specifiche dell’identità mentre le si sposta in codifiche trasformative altrove nello spazio latente potrebbe rendere possibile creare un individuo coerente (e anche animabile) la cui identità è letta dai sistemi di macchina come qualcun altro.

Metodo

L’autrice ha utilizzato due set di dati come base per gli esperimenti: un set di dati di utenti umani costituito da 310 immagini del suo viso che coprono un periodo di quattro anni, con illuminazione, età e angoli di vista variabili), con i volti estratti e ritagliati tramite Caffe; e il set di dati equilibrato razzialmente di 108.501 immagini in FairFace, estratti e ritagliati in modo simile.

Il modello di verifica del viso locale è stato derivato da un’implementazione di base di FaceNet e DeepFace, pre-addestrato su ConvNet Inception, con ogni immagine rappresentata da un vettore a 128 dimensioni.

L’approccio utilizza immagini del viso da un subset addestrato da FairFace. Per superare la verifica del viso, la distanza calcolata mediante la norma di Frobenius di un’immagine viene confrontata con l’utente di riferimento nel database. Qualsiasi immagine al di sotto della soglia di 0,7 equivale alla stessa identità, altrimenti la verifica è considerata fallita.

Un modello StyleGAN è stato sottoposto a fine-tuning sul set di dati personale dell’autrice, producendo un modello che genera variazioni riconoscibili della sua identità, sebbene nessuna di queste immagini generate sia identica ai dati di training. Ciò è stato ottenuto congelando i primi quattro strati nel discriminatore, per evitare di sovrapprendere i dati e produrre output variegato.

Sebbene siano state ottenute immagini diverse con il modello StyleGAN di base, la bassa risoluzione e la scarsa fedeltà hanno motivato un secondo tentativo con StarGAN V2, che consente l’addestramento di immagini di seed verso un viso target.

Il modello StarGAN V2 è stato pre-addestrato per circa 10 ore utilizzando il set di convalida di FairFace, con una dimensione del batch di quattro e una dimensione di convalida di 8. Nell’approccio più riuscito, il set di dati personale dell’autrice è stato utilizzato come sorgente con i dati di training come riferimento.

Esperimenti di Verifica

Un modello di verifica del viso è stato costruito sulla base di un subset di 1000 immagini, con l’intento di verificare un’immagine arbitraria del set. Le immagini che hanno superato con successo la verifica sono state testate successivamente contro l’identità dell’autrice.

A sinistra, l'autrice del documento, una foto reale; al centro, un'immagine arbitraria che non ha superato la verifica; a destra, un'immagine non correlata del set di dati che ha superato la verifica come autrice.

A sinistra, l’autrice del documento, una foto reale; al centro, un’immagine arbitraria che non ha superato la verifica; a destra, un’immagine non correlata del set di dati che ha superato la verifica come autrice.

L’obiettivo degli esperimenti era creare un divario il più ampio possibile tra l’identità visiva percepita mantenendo i tratti definitori dell’identità target. Ciò è stato valutato con la distanza di Mahalanobis, una metrica utilizzata nell’elaborazione delle immagini per la ricerca di modelli e template.

Per il modello generativo di base, i risultati a bassa risoluzione mostrano una diversità limitata, nonostante abbiano superato la verifica del viso locale. StarGAN V2 ha dimostrato di essere più capace di creare immagini diverse che sono state in grado di autenticare.

Tutte le immagini rappresentate hanno superato la verifica del viso locale. In alto sono rappresentate le generazioni di base di StyleGAN a bassa risoluzione, in basso le generazioni di StarGAN V2 ad alta risoluzione e di alta qualità.

Tutte le immagini rappresentate hanno superato la verifica del viso locale. In alto sono rappresentate le generazioni di base di StyleGAN a bassa risoluzione, in basso le generazioni di StarGAN V2 ad alta risoluzione e di alta qualità.

Le ultime tre immagini illustrate sopra hanno utilizzato il set di dati del volto dell’autrice sia come sorgente sia come riferimento, mentre le immagini precedenti hanno utilizzato i dati di addestramento come riferimento e il set di dati dell’autrice come sorgente.

Le immagini generate finali sono state testate contro i sistemi di verifica del viso delle app di incontri Bumble e Tinder, con l’identità dell’autrice come riferimento, e hanno superato la verifica. Una “versione maschile” della faccia dell’autrice ha anche superato il processo di verifica di Bumble, sebbene la luce abbia dovuto essere regolata nell’immagine generata prima che venisse accettata. Tinder non ha accettato la versione maschile.

Versioni 'maschili' dell'identità (femminile) dell'autrice.

Versioni ‘maschili’ dell’identità (femminile) dell’autrice.

Conclusione

Questi sono esperimenti pionieristici nella proiezione dell’identità, nel contesto della manipolazione dello spazio latente delle GAN, che rimane una sfida straordinaria nella sintesi delle immagini e nella ricerca sui deepfake. Tuttavia, il lavoro apre la strada al concetto di incorporare caratteristiche specifiche in modo coerente attraverso identità diverse e di creare “identità alternative” che i sistemi interpretano come quelle di qualcun altro.

 

Pubblicato per la prima volta il 30 marzo 2022.

Scrittore di apprendimento automatico, specialista di dominio nella sintesi di immagini umane. Ex responsabile dei contenuti di ricerca presso Metaphysic.ai, fino alla sua fusione nella Brahma.ai di DNEG.
Sito web: martinanderson.ai
Contatto: martin@martinanderson.ai