Verificare facială ‘Creativă’ cu Rețele Adversariale Generative

O nouă lucrare de la Universitatea Stanford a propus o metodă incipientă pentru a păcăli sistemele de autentificare facială de pe platforme precum aplicațiile de dating, utilizând o Rețea Adversarială Generativă (GAN) pentru a crea imagini alternative de fețe care conțin aceleași informații esențiale de identificare ca o față reală.

Metoda a ocolit cu succes procesele de verificare facială pe aplicațiile de dating Tinder și Bumble, într-un caz chiar și o față de bărbat schimbată de sex (masculin) a fost acceptată ca autentică pentru identitatea sursă (feminină).

Diverse identități generate care prezintă codificarea specifică a autorului lucrării (prezentată în prima imagine de mai sus). Sursă: https://arxiv.org/pdf/2203.15068.pdf

Conform autorului, lucrarea reprezintă prima încercare de a ocoli verificarea facială cu ajutorul unor imagini generate care au fost îmbibate cu trăsături de identitate specifice, dar care încearcă să reprezinte o identitate alternativă sau modificată în mod semnificativ.

Tehnica a fost testată pe un sistem local de verificare facială și a funcționat bine în teste black box împotriva a două aplicații de dating care efectuează verificarea facială a imaginilor încărcate de utilizatori.

Noua lucrare se intitulează Verificare facială ocolită și provine de la Sanjana Sarda, cercetător la Departamentul de Inginerie Electrică de la Universitatea Stanford.

Controlul spațiului facial

Deși “injectarea” unor caracteristici specifice identității (de exemplu, de la fețe, semne de circulație, etc.) în imagini create este o caracteristică a atacurilor adversariale, noua lucrare sugerează ceva diferit: că abilitatea sectorului de cercetare de a controla spațiul latent al GAN-urilor va permite în cele din urmă dezvoltarea de arhitecturi care pot crea identități alternative consistente pentru o persoană – și, în mod eficient, vor permite extragerea caracteristicilor de identitate din imagini disponibile pe web ale unei persoane neștiutoare pentru a le integra într-o “umbră” de identitate creată.

Consistența și navigabilitatea au fost principalele provocări legate de spațiul latent al GAN-ului de la începutul rețelelor adversariale generative. Un GAN care a asimilat cu succes o colecție de imagini de antrenare în spațiul său latent nu oferă o hartă ușoară pentru a “muta” caracteristici de la o clasă la alta.

În timp ce tehnici și unelte precum Gradient-weighted Class Activation Mapping (Grad-CAM) pot ajuta la stabilirea direcțiilor latente între clasele stabilite și pot permite transformări (a se vedea imaginea de mai jos), provocarea suplimentară a încurcăturii face de obicei o “călătorie aproximativă”, cu control fin limitat al tranziției.

O călătorie aproximativă între vectori codificați în spațiul latent al unui GAN, mutând o identitate masculină derivată din date în “encodările feminine” de pe cealaltă parte a uneia dintre multele hiperplane liniare din spațiul latent complex și arcanelor. Imagine derivată din material de la https://www.youtube.com/watch?v=dCKbRCUyop8

Abilitatea de a “îngheța” și proteja caracteristici specifice identității în timp ce le mută în encodări transformative în altă parte a spațiului latent poate face posibilă crearea unei identități consistente (și chiar animabile) a cărei identitate este citită de sistemele mașinilor ca fiind altcineva.

Metodă

Autorul a utilizat două seturi de date ca bază pentru experimente: un set de date al utilizatorilor umani, constând din 310 imagini cu fața sa, care acoperă o perioadă de patru ani, cu iluminare, vârstă și unghiuri de vedere variate), cu fețe extrase prin Caffe; și setul de date FairFace echilibrat rasial, care conține 108.501 de imagini, extrase și decupate în mod similar.

Modelul local de verificare facială a fost derivat dintr-o implementare de bază a FaceNet și DeepFace, pre-antrenat pe ConvNet Inception, cu fiecare imagine reprezentată de un vector de 128 de dimensiuni.

Aproachul utilizează imagini cu fețe dintr-un subset antrenat din FairFace. Pentru a trece verificarea facială, distanța calculată de norma Frobenius a unei imagini este compensată împotriva utilizatorului țintă din baza de date. Orice imagine sub pragul de 0,7 se consideră a fi aceeași identitate, în caz contrar verificarea este considerată a fi eșuată.

Un model StyleGAN a fost ajustat pe datasetul personal al autorului, producând un model care a generat variații recunoscute ale identității sale, deși niciuna dintre aceste imagini generate nu a fost identică cu datele de antrenare. Acest lucru a fost realizat prin înghețarea primelor patru straturi din discriminator, pentru a evita suprantrenarea datelor și a produce ieșiri variate.

Deși s-au obținut imagini diverse cu modelul StyleGAN de bază, rezoluția scăzută și fidelitatea au determinat o a doua încercare cu StarGAN V2, care permite antrenarea imaginilor inițiale către o față țintă.

Modelul StarGAN V2 a fost pre-antrenat timp de aproximativ 10 ore, utilizând setul de validare FairFace, cu o dimensiune a lotului de patru și o dimensiune a lotului de validare de opt. În abordarea cea mai de succes, datasetul personal al autorului a fost utilizat ca sursă, cu datele de antrenare ca referință.

Experimente de verificare

Un model de verificare facială a fost construit pe baza unui subset de 1000 de imagini, cu intenția de a verifica o imagine arbitrară din set. Imaginile care au trecut verificarea cu succes au fost testate ulterior împotriva identității proprii a autorului.

În stânga, autorul lucrării, o fotografie reală; la mijloc, o imagine arbitrară care a eșuat verificarea; dreapta, o imagine neconectată din setul de date care a trecut verificarea ca autor.

Scopul experimentelor a fost de a crea o diferență cât mai mare între identitatea vizuală percepută, păstrând în același timp trăsăturile definitorii ale identității țintă. Acest lucru a fost evaluat cu distanța Mahalanobis, o măsură utilizată în prelucrarea imaginilor pentru căutarea modelelor și șablonului.

Pentru modelul generativ de bază, rezultatele de joasă rezoluție obținute prezintă o diversitate limitată, în ciuda faptului că au trecut verificarea facială locală. StarGAN V2 s-a dovedit a fi mai capabil de a crea imagini diverse care au putut autentifica.

Toate imaginile prezentate au trecut verificarea facială locală. Mai sus sunt generațiile de bază StyleGAN de joasă rezoluție, mai jos, generațiile StarGAN V2 de înaltă rezoluție și de calitate superioară.

Imaginile generate rezultate au fost testate împotriva sistemelor de verificare facială ale aplicațiilor de dating Bumble și Tinder, cu identitatea autorului ca bază, și au trecut verificarea. O “versiune masculină” a feței autorului a trecut și verificarea Bumble, deși lumina a trebuit să fie ajustată în imaginea generată înainte de a fi acceptată. Tinder nu a acceptat versiunea masculină.

Versiuni “masculine” ale identității autorului (feminine).

Concluzie

Acestea sunt experimente seminale în proiecția identității, în contextul manipulării spațiului latent al GAN-urilor, care rămâne o provocare extraordinară în sinteza de imagini și cercetarea deepfake. Cu toate acestea, lucrarea deschide conceptul de încorporare a unor caracteristici foarte specifice în mod constant în diverse identități și de creare a unor “identități alternative” care “citesc” ca altcineva.

Publicat pentru prima dată pe 30 martie 2022.