‘Creativo’ Verifica del Viso con Reti Adversarie Generative

Un nuovo articolo della Stanford University ha proposto un metodo nascente per ingannare i sistemi di autenticazione del viso in piattaforme come le app di incontri, utilizzando una Rete Adversaria Generativa (GAN) per creare immagini di viso alternative che contengono le stesse informazioni essenziali di identità di un viso reale.

Il metodo ha bypassato con successo i processi di verifica del viso su app di incontri come Tinder e Bumble, in un caso anche facendo passare un viso con cambio di genere (maschile) come autentico rispetto all’identità di origine (femminile).

Varie identità generate che presentano la codifica specifica dell’autore del documento (in prima immagine in alto). Fonte: https://arxiv.org/pdf/2203.15068.pdf

Secondo l’autore, il lavoro rappresenta il primo tentativo di bypassare la verifica del viso utilizzando immagini generate che sono state dotate di tratti di identità specifici, ma che tentano di rappresentare un’identità alternativa o sostanzialmente alterata.

La tecnica è stata testata su un sistema di verifica del viso personalizzato locale e ha funzionato bene nei test black box contro due app di incontri che eseguono la verifica del viso sulle immagini caricate dagli utenti.

Il nuovo documento si intitola Bypass della Verifica del Viso e proviene da Sanjana Sarda, una ricercatrice del Dipartimento di Ingegneria Elettrica della Stanford University.

Controllo dello Spazio del Viso

Sebbene “iniettare” caratteristiche specifiche dell’identità (ad esempio da visi, segnali stradali, ecc.) in immagini create sia un aspetto fondamentale degli attacchi adversari, il nuovo studio suggerisce qualcosa di diverso: che la capacità crescente del settore della ricerca di controllare lo spazio latente delle GAN alla fine consentirà lo sviluppo di architetture che possono creare identità alternative coerenti a quelle di un utente – e, di fatto, consentirà l’estrazione di caratteristiche di identità da immagini web disponibili di un utente inconsapevole per cooptarle in un’identità “ombra” creata.

La coerenza e la navigabilità sono state le principali sfide riguardanti lo spazio latente della GAN fin dalla sua creazione. Una GAN che ha assimilato con successo una raccolta di immagini di training nel suo spazio latente non fornisce una mappa facile per “spostare” caratteristiche da una classe all’altra.

Sebbene tecniche e strumenti come la mappatura dell’attivazione della classe ponderata dal gradiente (Grad-CAM) possano aiutare a stabilire direzioni latenti tra le classi stabilite ed abilitare trasformazioni (vedi immagine in basso), la sfida ulteriore di disentanglement di solito rende il viaggio “approssimativo”, con un controllo fine limitato della transizione.

Un viaggio approssimativo tra vettori codificati nello spazio latente di una GAN, spingendo un’identità maschile derivata dai dati nel ‘femminile’ codificato dall’altra parte di uno dei molti iperpiani lineari nello spazio latente complesso e arcano. Immagine derivata da materiale su https://www.youtube.com/watch?v=dCKbRCUyop8

La capacità di “congelare” e proteggere caratteristiche specifiche dell’identità mentre le si sposta in codifiche trasformative altrove nello spazio latente potrebbe rendere possibile creare un individuo coerente (e anche animabile) la cui identità è letta dai sistemi di macchina come qualcun altro.

Metodo

L’autore ha utilizzato due set di dati come base per gli esperimenti: un set di dati di utenti umani costituito da 310 immagini del suo viso che coprono un periodo di quattro anni, con illuminazione, età e angoli di vista variabili), con visi ritagliati tramite Caffe; e il set di dati equilibrato razzialmente di 108.501 immagini in FairFace, estratti e ritagliati in modo simile.

Il modello di verifica del viso locale è stato derivato da un’implementazione di base di FaceNet e DeepFace, pre-addestrato su ConvNet Inception, con ogni immagine rappresentata da un vettore a 128 dimensioni.

L’approccio utilizza immagini del viso da un subset addestrato da FairFace. Per superare la verifica del viso, la distanza calcolata da una immagine del norma di Frobenius è compensata rispetto all’utente target nel database. Qualsiasi immagine al di sotto della soglia di 0,7 equivale alla stessa identità, altrimenti la verifica è considerata fallita.

Un modello StyleGAN è stato addestrato sul set di dati personale dell’autore, producendo un modello che genera variazioni riconoscibili della sua identità, sebbene nessuna di queste immagini generate sia identica ai dati di training. Ciò è stato ottenuto congelando i primi quattro strati nel discriminatore, per evitare di sovrapprendere i dati e produrre output variegato.

Sebbene siano state ottenute immagini diverse con il modello StyleGAN di base, la bassa risoluzione e la fedeltà hanno promosso un secondo tentativo con StarGAN V2, che consente l’addestramento di immagini di seed verso un viso target.

Il modello StarGAN V2 è stato pre-addestrato per circa 10 ore utilizzando il set di convalida di FairFace, con una dimensione del batch di quattro e una dimensione di convalida di 8. Nell’approccio più riuscito, il set di dati personale dell’autore è stato utilizzato come sorgente con i dati di training come riferimento.

Esperimenti di Verifica

Un modello di verifica del viso è stato costruito sulla base di un subset di 1000 immagini, con l’intento di verificare un’immagine arbitraria del set. Le immagini che hanno superato con successo la verifica sono state testate successivamente contro l’identità dell’autore.

A sinistra, l’autore del documento, una foto reale; al centro, un’immagine arbitraria che non ha superato la verifica; a destra, un’immagine non correlata del set di dati che ha superato la verifica come autore.

L’obiettivo degli esperimenti era creare un divario il più ampio possibile tra l’identità visiva percepita mantenendo i tratti definitori dell’identità target. Ciò è stato valutato con la distanza di Mahalanobis, una metrica utilizzata nell’elaborazione delle immagini per la ricerca di modelli e template.

Per il modello generativo di base, i risultati a bassa risoluzione mostrano una diversità limitata, nonostante abbiano superato la verifica del viso locale. StarGAN V2 ha dimostrato di essere più capace di creare immagini diverse che sono state in grado di autenticare.

Tutte le immagini rappresentate hanno superato la verifica del viso locale. In alto sono rappresentate le generazioni di base di StyleGAN a bassa risoluzione, in basso le generazioni di StarGAN V2 ad alta risoluzione e di alta qualità.

Le immagini generate finali sono state testate contro i sistemi di verifica del viso delle app di incontri Bumble e Tinder, con l’identità dell’autore come riferimento, e hanno superato la verifica. Una “versione maschile” della faccia dell’autore ha anche superato il processo di verifica di Bumble, sebbene la luce abbia dovuto essere regolata nell’immagine generata prima che venisse accettata. Tinder non ha accettato la versione maschile.

Versioni ‘maschili’ dell’identità (femminile) dell’autore.

Conclusione

Questi sono esperimenti seminali nella proiezione dell’identità, nel contesto della manipolazione dello spazio latente delle GAN, che rimane una sfida straordinaria nella sintesi delle immagini e nella ricerca sui deepfake. Tuttavia, il lavoro apre la strada al concetto di incorporare caratteristiche specifiche in modo coerente attraverso identità diverse e di creare “identità alternative” che “leggono” come qualcun altro.

Pubblicato per la prima volta il 30 marzo 2022.