Verificare facială ‘Creativă’ cu Rețele Adversative Generative

O nouă lucrare de la Universitatea Stanford a propus o metodă incipientă pentru a păcăli sistemele de autentificare facială pe platforme precum aplicațiile de dating, folosind o Rețea Adversativă Generativă (GAN) pentru a crea imagini alternative de fețe care conțin aceleași informații esențiale de identificare ca o față reală.

Metoda a ocolit cu succes procesele de verificare facială pe aplicațiile de dating Tinder și Bumble, într-un caz chiar și trecând o față de sex opus (masculin) ca autentică pentru identitatea sursă (feminin).

Diverse identități generate care prezintă codificarea specifică a autorului lucrării (prezentată în prima imagine de mai sus). Sursă: https://arxiv.org/pdf/2203.15068.pdf

Conform autorului, lucrarea reprezintă prima încercare de a ocoli verificarea facială cu ajutorul unor imagini generate care au fost încărcate cu trăsături specifice de identitate, dar care încearcă să reprezinte o identitate alternativă sau semnificativ modificată.

Tehnica a fost testată pe un sistem de verificare facială local personalizat și a funcționat bine în teste black box împotriva a două aplicații de dating care efectuează verificarea facială a imaginilor încărcate de utilizatori.

Noua lucrare se intitulează Ocolirea Verificării Feței și provine de la Sanjana Sarda, cercetător la Departamentul de Inginerie Electrică de la Universitatea Stanford.

Controlul Spațiului Feței

Deși “injectarea” caracteristicilor specifice ID (de exemplu, de la fețe, semne de drum, etc.) în imagini create este o caracteristică a atacurilor adversative, noua studiu sugerează ceva diferit: că abilitatea sectorului de cercetare de a controla spațiul latent al GAN-urilor va permite în cele din urmă dezvoltarea de arhitecturi care pot crea identități alternative consistente pentru cea a unui utilizator – și, în mod eficient, să permită extragerea caracteristicilor de identitate din imagini disponibile pe web ale unui utilizator neștiutor pentru a le integra într-o identitate “umbră” creată.

Consistența și navigabilitatea au fost principalele provocări cu privire la spațiul latent al GAN-ului de la începutul rețelelor generative adversative. Un GAN care a asimilat cu succes o colecție de imagini de antrenare în spațiul său latent nu oferă nicio hartă ușoară pentru a “împinge” caracteristici de la o clasă la alta.

În timp ce tehnici și unelte precum Grad-CAM (Grad-CAM) pot ajuta la stabilirea direcțiilor latente între clasele stabilite și pot permite transformări (a se vedea imaginea de mai jos), provocarea suplimentară a împletirii face de obicei călătoria “aproximativă”, cu control finit limitat al tranziției.

O călătorie aproximativă între vectori codificați în spațiul latent al unui GAN, împingând o identitate masculină derivată din date în codificările ‘feminine’ de pe partea cealaltă a uneia dintre multele hiperplane liniare în spațiul latent complex și arcan. Imagine derivată din material de la https://www.youtube.com/watch?v=dCKbRCUyop8

Abilitatea de a “îngheța” și de a proteja caracteristici specifice ID în timp ce le mută în codificări transformative în altă parte a spațiului latent poate face posibilă crearea unei identități consistente (și chiar animabile) a cărei identitate este citită de sistemele de mașini ca fiind altcineva.

Metodă

Autorul a folosit două seturi de date ca bază pentru experimente: un set de date al utilizatorilor umani constând din 310 imagini cu fața sa, care acoperă o perioadă de patru ani, cu iluminare variabilă, vârstă și unghiuri de vedere diferite), cu fețele decupate prin Caffe; și setul de date FairFace echilibrat rasial, care conține 108.501 de imagini, extrase și decupate în mod similar.

Modelul de verificare facială local a fost derivat dintr-o implementare de bază a FaceNet și DeepFace, preantrenat pe ConvNet Inception, cu fiecare imagine reprezentată de un vector 128-dimensional.

Abordarea folosește imagini cu fețe dintr-un subset antrenat din FairFace. Pentru a trece verificarea facială, distanța calculată cauzată de norma Frobenius a unei imagini este compensată împotriva utilizatorului țintă din baza de date. Orice imagine sub pragul de 0,7 se consideră a fi aceeași identitate, altfel verificarea este considerată a fi eșuată.

Un model StyleGAN a fost ajustat pe setul de date personal al autorului, producând un model care ar genera variații recunoscute ale identității sale, deși niciuna dintre aceste imagini generate nu era identică cu datele de antrenare. Acest lucru a fost realizat prin înghețarea primelor patru straturi din discriminator, pentru a evita suprantrenarea datelor și a produce ieșiri variate.

Deși s-au obținut imagini diverse cu modelul de bază StyleGAN, rezoluția scăzută și fidelitatea au determinat o a doua încercare cu StarGAN V2, care permite antrenarea imaginilor inițiale către o față țintă.

Modelul StarGAN V2 a fost preantrenat timp de aproximativ 10 ore, folosind setul de validare FairFace, pe o dimensiune de lot de patru și o dimensiune de validare de opt. În abordarea cea mai de succes, setul de date personal al autorului a fost folosit ca sursă, cu datele de antrenare ca referință.

Experimente de Verificare

Un model de verificare facială a fost construit pe baza unui subset de 1000 de imagini, cu intenția de a verifica o imagine arbitrară din set. Imaginile care au trecut verificarea cu succes au fost testate ulterior împotriva ID-ului autorului.

În stânga, autorul lucrării, o fotografie reală; la mijloc, o imagine arbitrară care a eșuat verificarea; în dreapta, o imagine neînrudită din setul de date care a trecut verificarea ca autor.

Obiectivul experimentelor a fost de a crea o diferență cât mai mare posibilă între identitatea vizuală percepută, păstrând în același timp trăsăturile definitorii ale identității țintă. Acest lucru a fost evaluat cu distanța Mahalanobis, o metrică utilizată în prelucrarea imaginilor pentru căutarea și căutarea șablonului.

Pentru modelul generativ de bază, rezultatele de rezoluție scăzută afișate prezintă diversitate limitată, în ciuda trecerii verificării faciale locale. StarGAN V2 s-a dovedit a fi mai capabil de a crea imagini diverse care au putut autentifica.

Toate imaginile prezentate au trecut verificarea facială locală. Mai sus sunt generațiile de bază StyleGAN de rezoluție scăzută, mai jos, generațiile StarGAN V2 de înaltă rezoluție și de calitate superioară.

Imaginile generate rezultate au fost testate împotriva sistemelor de verificare facială ale aplicațiilor de dating Bumble și Tinder, cu identitatea autorului ca bază, și au trecut verificarea. O “versiune masculină” a feței autorului a trecut și procesul de verificare al lui Bumble, deși iluminarea a trebuit să fie ajustată în imaginea generată înainte de a fi acceptată. Tinder nu a acceptat versiunea masculină.

Versiuni ‘masculine’ ale identității autorului (feminine).

Concluzie

Acestea sunt experimente seminale în proiectarea identității, în contextul manipulării spațiului latent GAN, care rămâne o provocare extraordinară în sinteza de imagini și cercetarea deepfake. Cu toate acestea, lucrarea deschide conceptul de încorporare a unor caracteristici foarte specifice în mod consistent în diverse identități și de creare a unor “identități alternative” care “citesc” ca fiind altcineva.

Publicat pentru prima dată pe 30 martie 2022.