‘Kreativ’ Ansigtsgodkendelse med Generative Adversarial Networks

En ny artikel fra Stanford University har foreslået en ny metode til at narre ansigtsgodkendelsessystemer på platforme som datingapps, ved at bruge en Generative Adversarial Network (GAN) til at skabe alternative ansigtsbilleder, der indeholder de samme essentielle ID-oplysninger som et rigtigt ansigt.

Metoden bypassede med held ansigtsgodkendelsesprocesser på datingapplikationer som Tinder og Bumble, og i ét tilfælde kunne den sogar aflæse en kønsskiftet (mandlig) ansigt som ægte for den oprindelige (kvindelige) identitet.

Forskellige genererede identiteter, der indeholder den specifikke kodning af artiklens forfatter (vist i første billede ovenfor). Kilde: https://arxiv.org/pdf/2203.15068.pdf

Ifølge forfatteren repræsenterer arbejdet det første forsøg på at bypass ansigtsgodkendelse med brug af genererede billeder, der er indfuset med specifikke identitets-træk, men som forsøger at repræsentere en alternativ eller væsentligt ændret identitet.

Teknikken blev testet på et brugerdefineret lokalt ansigtsgodkendelsessystem og fungerede derefter godt i sorte boks-test mod to datingapplikationer, der udfører ansigtsgodkendelse på brugeruploadede billeder.

Den nye artikel har titlen Ansigtsgodkendelse Bypass og kommer fra Sanjana Sarda, en forsker ved Elektrisk Ingeniørvidenskab på Stanford University.

Styring af Ansigtet

Selvom “injektion” af ID-specifikke træk (f.eks. fra ansigter, vejskilte osv.) i konstruerede billeder er en fast del af adversarial angreb, foreslår den nye studie noget andet: at forskningssæktorens voksende evne til at kontrollere den latente rum af GAN’er vil til sidst muliggøre udviklingen af arkitekturer, der kan skabe konsistente alternative identiteter til en brugers – og effektivt muliggøre ekstraktion af identitets-træk fra web-tilgængelige billeder af en uværende bruger til at indsætte i en “skygge”-konstrueret identitet.

Konsistens og navigabilitet har været de primære udfordringer vedrørende den latente rum af GAN’en, siden dens opståen. En GAN, der har assimileret en samling af træningsbilleder i sin latente rum, giver ingen let kort til at “pushe” træk fra en klasse til en anden.

Men teknikker og værktøjer som Gradient-vejet Klasse Aktivations Kort ( Grad-CAM ) kan hjælpe med at etablere latente retninger mellem de etablerede klasser og muliggøre transformationer (se billedet nedenfor), men den yderligere udfordring af entanglement gør ofte for en “approximativ” rejse, med begrænset fin kontrol over overgangen.

En ru rejse mellem kodede vektorer i en GAN’s latente rum, hvor en data-afledt mandlig identitet “pushes” ind i “kvindelige” kodninger på den anden side af en af mange lineære hyperplaner i det komplekse og arkane latente rum. Billede afledt fra materiale på https://www.youtube.com/watch?v=dCKbRCUyop8

Evnen til at “fryse” og beskytte ID-specifikke træk, mens de flyttes ind i transformative kodninger andre steder i det latente rum, muliggør muligvis skabelsen af en konsistent (og sogar animérbar) person, hvis identitet læses af maskinsystemer som en anden.

Metode

Forfatteren brugte to datasæt som grundlag for eksperimenterne: et Menneskebruger-datasæt bestående af 310 billeder af hendes ansigt over en periode på fire år, med varierende belysning, alder og visningsvinkel), med udskårne ansigter ekstraheret via Caffe; og det racemæssigt balancerede datasæt på 108.501 billeder i FairFace-datasættet, ligeledes udskåret og beskåret.

Det lokale ansigtsgodkendelsesmodel blev afledt fra en basisimplementering af FaceNet og DeepFace, forudtrænet på ConvNet Inception, hvor hvert billede repræsenteres af en 128-dimensionel vektor.

Tilgangen bruger ansigtsbilleder fra et trænet undermængde fra FairFace. For at bestå ansigtsgodkendelse skal den beregnede afstand forårsaget af et billedes Frobenius-norm kompenseres mod målbrugeren i databasen. Ethvert billede under grænsen på 0,7 svarer til den samme identitet, ellers anses godkendelsen for at have fejlet.

En StyleGAN-model blev finjusteret på forfatterens personlige datasæt, hvilket resulterede i en model, der kunne generere genkendelige variationer af hendes identitet, selvom ingen af disse genererede billeder var identiske med træningsdata. Dette blev opnået ved at fryse de første fire lag i diskriminatoren for at undgå overfitning af data og producere varieret output.

Selvom diverse billeder blev opnået med den grundlæggende StyleGAN-model, førte den lave opløsning og fidelitet til et andet forsøg med StarGAN V2, som tillader træning af seed-billeder mod et målansigt.

StarGAN V2-modellen blev forudtrænet i cirka 10 timer ved hjælp af FairFace-valideringssættet, med en batch-størrelse på fire og en valideringsstørrelse på otte. I den mest succesfulde tilgang blev forfatterens personlige datasæt brugt som kilde med træningsdata som reference.

Verifikationseksperimenter

Et ansigtsgodkendelsesmodel blev konstrueret på basis af en undermængde på 1000 billeder, med det formål at verificere et vilkårligt billede fra sættet. Billeder, der bestod godkendelsen, blev herefter testet mod forfatterens egen ID.

Til venstre, artiklens forfatter, et rigtigt foto; midten, et vilkårligt billede, der fejlede godkendelse; højre, et ubeslægtet billede fra datasættet, der bestod godkendelse som forfatteren.

Formålet med eksperimenterne var at skabe så stor en afstand som muligt mellem den opfattede visuelle identitet, mens man fastholdt de definerende træk af målidentiteten. Dette blev vurderet med Mahalanobis-afstand, en metode, der bruges i billedbehandling til mønster- og skabelonsøgning.

For den grundlæggende generative model viser de lavopløselige resultater, der blev opnået, begrænset diversitet, selvom de bestod lokal ansigtsgodkendelse. StarGAN V2 viste sig mere kapabel til at skabe diverse billeder, der kunne godkendes.

Alle billeder, der er vist, bestod lokal ansigtsgodkendelse. Ovenfor er de lavopløselige StyleGAN-baseline-genereringer, nedenfor de højopløselige og højkvalitetsfulde StarGAN V2-genereringer.

De sidste tre billeder, der er vist ovenfor, brugte forfatterens eget ansigtsdataset som både kilde og reference, mens de foregående billeder brugte træningsdata som reference og forfatterens dataset som kilde.

De resulterende genererede billeder blev testet mod ansigtsgodkendelsessystemerne på datingapplikationer som Bumble og Tinder, med forfatterens identitet som baseline, og bestod godkendelse. En “mandlig” generation af forfatterens ansigt bestod også Bumbles godkendelsesproces, selvom belysningen skulle justeres i det genererede billede, før det blev accepteret. Tinder accepterede ikke den mandlige version.

‘Mandlige’ versioner af forfatterens (kvindelige) identitet.

Konklusion

Disse er seminale eksperimenter i identitetsprojektion i konteksten af GAN’s latente rum-manipulation, som fortsat er en ekstraordinær udfordring i billedsynthese og deepfake-forskning. Ikke desto mindre åbner arbejdet op for konceptet om at indlejre højtspecifikke træk konsistent på tværs af diverse identiteter og skabe “alternative” identiteter, der “læses” som en anden.

Offentliggjort første gang den 30. marts 2022.