Andersons vinkel

‘Kreativ’ Ansigtsgodkendelse med Generative Adversarial Networks

Martin Anderson
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterStanford-ova GAN metoda zaobišla je Tinderovu i Bumbleovu provjeru lica pomoću slika s…
Vis mere
  • Stanford-ova GAN metoda zaobišla je Tinderovu i Bumbleovu provjeru lica pomoću slika s promijenjenim spolom.
  • StarGAN V2 generirao je kvalitetnija i raznolikija lica koja su bolje prolazila lokalnu provjeru od StyleGAN-a.
  • Tehnika ubrizgava značajke identiteta u izmijenjena lica, omogućujući dosljedne alternativne identitete za sustave autentifikacije.

En ny artikel fra Stanford University har foreslået en ny metode til at narre ansigtsgodkendelsessystemer på platforme som datingapps, ved at bruge en Generative Adversarial Network (GAN) til at skabe alternative ansigtsbilleder, der indeholder de samme essentielle ID-oplysninger som et rigtigt ansigt.

Metoden bypassede med held ansigtsgodkendelsesprocesser på datingapplikationer som Tinder og Bumble, og i ét tilfælde fik den endda et kønsskiftet (mandligt) ansigt accepteret som ægte for den oprindelige (kvindelige) identitet.

Forskellige genererede identiteter, der indeholder den specifikke kodning af artiklens forfatter (vist i første billede ovenfor). Kilde: https://arxiv.org/pdf/2203.15068.pdf

Forskellige genererede identiteter, der indeholder den specifikke kodning af artiklens forfatter (vist i første billede ovenfor). Kilde: https://arxiv.org/pdf/2203.15068.pdf

Ifølge forfatteren repræsenterer arbejdet det første forsøg på at bypass ansigtsgodkendelse med brug af genererede billeder, der er indfuset med specifikke identitets-træk, men som forsøger at repræsentere en alternativ eller væsentligt ændret identitet.

Teknikken blev testet på et brugerdefineret lokalt ansigtsgodkendelsessystem og fungerede derefter godt i sorte boks-test mod to datingapplikationer, der udfører ansigtsgodkendelse på brugeruploadede billeder.

Den nye artikel har titlen Ansigtsgodkendelse Bypass og kommer fra Sanjana Sarda, en forsker ved Elektrisk Ingeniørvidenskab på Stanford University.

Styring af ansigtsrummet

Selvom “injektion” af ID-specifikke træk (f.eks. fra ansigter, vejskilte osv.) i konstruerede billeder er en fast del af adversarial angreb, foreslår den nye studie noget andet: at forskningssektorens voksende evne til at kontrollere det latente rum af GAN’er vil til sidst muliggøre udviklingen af arkitekturer, der kan skabe konsistente alternative identiteter til en brugers – og effektivt muliggøre ekstraktion af identitets-træk fra web-tilgængelige billeder af en intetanende bruger til at indsætte i en “skygge”-konstrueret identitet.

Konsistens og navigabilitet har været de primære udfordringer vedrørende det latente rum af GAN’en, siden dens opståen. En GAN, der har assimileret en samling af træningsbilleder i sit latente rum, giver ikke noget enkelt kort til at “pushe” træk fra en klasse til en anden.

Selvom teknikker og værktøjer som Gradient-vejet Klasse Aktivations Kort ( Grad-CAM ) kan hjælpe med at etablere latente retninger mellem de etablerede klasser og muliggøre transformationer (se billedet nedenfor), men den yderligere udfordring af entanglement betyder ofte, at rejsen kun kan foretages tilnærmelsesvist, med begrænset fin kontrol over overgangen.

En tilnærmet rejse mellem kodede vektorer i en GANs latente rum, hvor en dataafledt mandlig identitet skubbes ind i kvindelige kodninger på den anden side af et af mange lineære hyperplaner i det komplekse latente rum. Billede afledt fra materiale på https://www.youtube.com/watch?v=dCKbRCUyop8

En ru rejse mellem kodede vektorer i en GAN’s latente rum, hvor en data-afledt mandlig identitet “pushes” ind i “kvindelige” kodninger på den anden side af en af mange lineære hyperplaner i det komplekse og arkane latente rum. Billede afledt fra materiale på https://www.youtube.com/watch?v=dCKbRCUyop8

Evnen til at “fryse” og beskytte ID-specifikke træk, mens de flyttes ind i transformative kodninger andre steder i det latente rum, muliggør muligvis skabelsen af en konsistent (og endda animerbar) person, hvis identitet læses af maskinsystemer som en anden.

Metode

Forfatteren brugte to datasæt som grundlag for eksperimenterne: et Menneskebruger-datasæt bestående af 310 billeder af hendes ansigt over en periode på fire år, med varierende belysning, alder og visningsvinkel), med udskårne ansigter ekstraheret via Caffe; og det racemæssigt balancerede datasæt på 108.501 billeder i FairFace-datasættet, ligeledes udskåret og beskåret.

Den lokale ansigtsgodkendelsesmodel blev afledt fra en basisimplementering af FaceNet og DeepFace, forudtrænet på ConvNet Inception, hvor hvert billede repræsenteres af en 128-dimensionel vektor.

Tilgangen bruger ansigtsbilleder fra en trænet delmængde fra FairFace. For at bestå ansigtsgodkendelse skal den afstand, der beregnes med et billedes Frobenius-norm, sammenlignes med målbrugeren i databasen. Ethvert billede under grænsen på 0,7 svarer til den samme identitet, ellers anses godkendelsen for at have fejlet.

En StyleGAN-model blev finjusteret på forfatterens personlige datasæt, hvilket resulterede i en model, der kunne generere genkendelige variationer af hendes identitet, selvom ingen af disse genererede billeder var identiske med træningsdata. Dette blev opnået ved at fryse de første fire lag i diskriminatoren for at undgå overfitning af data og producere varieret output.

Selvom diverse billeder blev opnået med den grundlæggende StyleGAN-model, førte den lave opløsning og begrænsede billedtrofasthed til et andet forsøg med StarGAN V2, som tillader træning af seed-billeder mod et målansigt.

StarGAN V2-modellen blev forudtrænet i cirka 10 timer ved hjælp af FairFace-valideringssættet, med en batch-størrelse på fire og en valideringsstørrelse på otte. I den mest succesfulde tilgang blev forfatterens personlige datasæt brugt som kilde med træningsdata som reference.

Verifikationseksperimenter

En ansigtsgodkendelsesmodel blev konstrueret på basis af en undermængde på 1000 billeder, med det formål at verificere et vilkårligt billede fra sættet. Billeder, der bestod godkendelsen, blev herefter testet mod forfatterens egen ID.

Til venstre, artiklens forfatter, et rigtigt foto; midten, et vilkårligt billede, der fejlede godkendelse; højre, et ubeslægtet billede fra datasættet, der bestod godkendelse som forfatteren.

Til venstre, artiklens forfatter, et rigtigt foto; midten, et vilkårligt billede, der fejlede godkendelse; højre, et ubeslægtet billede fra datasættet, der bestod godkendelse som forfatteren.

Formålet med eksperimenterne var at skabe så stor en afstand som muligt mellem den opfattede visuelle identitet, mens man fastholdt de definerende træk af målidentiteten. Dette blev vurderet med Mahalanobis-afstand, en metode, der bruges i billedbehandling til mønster- og skabelonsøgning.

For den grundlæggende generative model viser de lavopløselige resultater, der blev opnået, begrænset diversitet, selvom de bestod lokal ansigtsgodkendelse. StarGAN V2 viste sig mere kapabel til at skabe diverse billeder, der kunne godkendes.

Alle billeder, der er vist, bestod lokal ansigtsgodkendelse. Ovenfor er de lavopløselige StyleGAN-baseline-genereringer, nedenfor de højopløselige og højkvalitetsfulde StarGAN V2-genereringer.

Alle billeder, der er vist, bestod lokal ansigtsgodkendelse. Ovenfor er de lavopløselige StyleGAN-baseline-genereringer, nedenfor de højopløselige og højkvalitetsfulde StarGAN V2-genereringer.

De sidste tre billeder, der er vist ovenfor, brugte forfatterens eget ansigtsdataset som både kilde og reference, mens de foregående billeder brugte træningsdata som reference og forfatterens dataset som kilde.

De resulterende genererede billeder blev testet mod ansigtsgodkendelsessystemerne på datingapplikationer som Bumble og Tinder, med forfatterens identitet som baseline, og bestod godkendelse. En “mandlig” generation af forfatterens ansigt bestod også Bumbles godkendelsesproces, selvom belysningen skulle justeres i det genererede billede, før det blev accepteret. Tinder accepterede ikke den mandlige version.

'Mandlige' versioner af forfatterens (kvindelige) identitet.

‘Mandlige’ versioner af forfatterens (kvindelige) identitet.

Konklusion

Dette er banebrydende eksperimenter i identitetsprojektion i konteksten af GAN’s latente rum-manipulation, som fortsat er en ekstraordinær udfordring i billedsynthese og deepfake-forskning. Ikke desto mindre åbner arbejdet op for konceptet om at indlejre højtspecifikke træk konsistent på tværs af diverse identiteter og skabe “alternative” identiteter, der “læses” som en anden.

 

Offentliggjort første gang den 30. marts 2022.

Forfatter inden for maskinlæring, domænespecialist i menneskelig billedsyntese. Tidligere chef for forskningsindhold hos Metaphysic.ai, indtil den blev opløst i DNEGs Brahma.ai.
Websted: martinanderson.ai
Kontakt: martin@martinanderson.ai