‘Kreativ’ ansiktsverifiering med generativa adversariala nätverk

En ny artikel från Stanford University har föreslagit en ny metod för att lura ansiktsautentiseringsystem i plattformar som datingappar, genom att använda ett generativt adversarialt nätverk (GAN) för att skapa alternativa ansiktsbilder som innehåller samma grundläggande ID-information som ett riktigt ansikte.

Metoden lyckades kringgå ansiktsverifieringsprocesser i datingapparna Tinder och Bumble, i ett fall även utgav en könsbytt (manlig) ansikte som äkta för den ursprungliga (kvinnliga) identiteten.

Olika genererade identiteter som innehåller den specifika kodningen av artikelförfattarens (visad i första bilden ovan). Källa: https://arxiv.org/pdf/2203.15068.pdf

Enligt författaren representerar arbetet det första försöket att kringgå ansiktsverifiering med hjälp av genererade bilder som har tilldelats specifika identitetsdrag, men som försöker representera en alternativ eller väsentligt förändrad identitet.

Tekniken testades på ett anpassat lokalt ansiktsverifieringssystem och fungerade sedan bra i svarta lådor-tester mot två datingappar som utför ansiktsverifiering på användaruppladdade bilder.

Den nya artikeln heter Ansiktsverifieringskringgång och kommer från Sanjana Sarda, en forskare vid avdelningen för elektroteknik vid Stanford University.

Att kontrollera ansiktsutrymmet

Att “injicera” ID-specifika funktioner (t.ex. från ansikten, vägskyltar etc.) i konstruerade bilder är en stapelvara i adversarialattacker, men den nya studien föreslår något annat: att forskningssektorns växande förmåga att kontrollera den latenta utrymmet för GAN kommer så småningom att möjliggöra utvecklingen av arkitekturer som kan skapa konsekventa alternativa identiteter för en användare – och, effektivt, möjliggöra extrahering av identitetsfunktioner från webbtillgängliga bilder av en ovetande användare för att inkorporera i en “skugg”-konstruerad identitet.

Konsekvens och navigerbarhet har varit de primära utmaningarna när det gäller den latenta utrymmet för GAN sedan generativa adversariala nätverk introducerades. Ett GAN som har assimilerat en samling träningsbilder i sitt latenta utrymme tillhandahåller ingen enkel karta för att “trycka” funktioner från en klass till en annan.

Medan tekniker och verktyg som Gradient-viktad klassaktiveringskarta (Grad-CAM) kan hjälpa till att etablera latenta riktningar mellan de etablerade klasserna och möjliggöra transformationer (se bild nedan), utgör den ytterligare utmaningen sammanflätning vanligtvis en “approximativ” resa, med begränsad fin kontroll över övergången.

En grov resa mellan kodade vektorer i ett GANs latenta utrymme, som trycker en data-derivativ manlig identitet in i “kvinnliga” kodningar på andra sidan en av många linjära hyperplan i det komplexa och arkaiska latenta utrymmet. Bilden är hämtad från material på https://www.youtube.com/watch?v=dCKbRCUyop8

Förmågan att “frysa” och skydda ID-specifika funktioner medan de flyttas till transformerande kodningar på annat håll i det latenta utrymmet möjliggör potentiellt skapandet av en konsekvent (och sogar animerbar) individ vars identitet läses av maskinsystem som någon annan.

Metod

Författaren använde två datamängder som grund för experimenten: en mänsklig användardatamängd bestående av 310 bilder av hennes ansikte under en period av fyra år, med varierande belysning, ålder och vyvinklar), med beskurna ansikten extraherade via Caffe; och den rasligt balanserade 108 501 bilderna i FairFace-datamängden, likaså extraherade och beskurna.

Det lokala ansiktsverifieringsmodellen härleddes från en basimplementering av FaceNet och DeepFace, förtränad på ConvNet Inception, med varje bild representerad av en 128-dimensionell vektor.

Tillvägagångssättet använder ansiktsbilder från en tränad undermängd från FairFace. För att passera ansiktsverifiering beräknas avståndet orsakat av en bilds Frobenius-norm mot den målanvändaren i databasen. Varje bild under tröskeln 0,7 motsvarar samma identitet, annars anses verifieringen ha misslyckats.

En StyleGAN-modell finjusterades på författarens personliga datamängd, vilket resulterade i en modell som kunde generera igenkännliga variationer av hennes identitet, även om ingen av de genererade bilderna var identiska med träningsdata. Detta uppnåddes genom att frysa de första fyra lagren i diskriminatoren, för att undvika överanpassning av data och producera varierad utdata.

Även om olika bilder erhölls med den ursprungliga StyleGAN-modellen, ledde den låga upplösningen och troheten till ett andra försök med StarGAN V2, som möjliggör träningsbilder mot en målbild.

StarGAN V2-modellen förtränades under cirka 10 timmar med FairFace-valideringsuppsättningen, med en batchstorlek på fyra och en valideringsstorlek på åtta. I det mest lyckade tillvägagångssättet användes författarens personliga datamängd som källa med träningsdata som referens.

Verifieringsexperiment

Ett ansiktsverifieringsmodell konstruerades baserat på en undermängd av 1000 bilder, med avsikt att verifiera en godtycklig bild från uppsättningen. Bilder som lyckades med verifieringen testades sedan mot författarens eget ID.

Till vänster, artikelförfattarens, en riktig foto; mitten, en godtycklig bild som misslyckades med verifieringen; höger, en orelaterad bild från datamängden som passerade verifieringen som författaren.

Målet med experimenten var att skapa så stor lucka som möjligt mellan den uppfattade visuella identiteten samtidigt som de grundläggande dragen hos den målidentiteten behölls. Detta utvärderades med Mahalanobis-avstånd, en mått som används i bildbehandling för mönster- och mallsökning.

För den grundläggande generativa modellen visar de lågupplösta resultaten begränsad variation, trots att de passerade lokala ansiktsverifieringen. StarGAN V2 visade sig vara mer kapabel att skapa varierade bilder som kunde autentisera.

Alla bilder som visas passerade lokala ansiktsverifieringen. Ovan är de lågupplösta StyleGAN-basgenereringarna, nedan de högupplösta och högkvalitativa StarGAN V2-genereringarna.

De tre sista bilderna ovan använde författarens egna ansiktsdatamängd som både källa och referens, medan de föregående bilderna använde träningsdata som referens och författarens datamängd som källa.

De resulterande genererade bilderna testades mot ansiktsverifieringssystemen i datingapparna Bumble och Tinder, med författarens identitet som baslinjen, och passerade verifieringen. En “manlig” generation av författarens ansikte passerade också Bumbles verifieringsprocess, även om belysningen behövde justeras i den genererade bilden innan den accepterades. Tinder accepterade inte den manliga versionen.

‘Manliga’ versioner av författarens (kvinnliga) identitet.

Slutsats

Dessa är banbrytande experiment i identitetsprojicering, i sammanhanget med GANs latenta utrymme-manipulering, som förblir en extraordinär utmaning inom bildsyntes och deepfake-forskning. Trots detta öppnar arbetet upp konceptet att infoga högt specifika funktioner konsekvent över olika identiteter, och att skapa “alternativa” identiteter som “läses” som någon annan.

Publicerad första gången den 30 mars 2022.