‘Creatief’ Gezichtsverificatie met Generatieve Tegenstrijdige Netwerken

Een nieuw onderzoeksrapport van de Stanford University heeft een embryonale methode voorgesteld om gezichtsverificatiesystemen te misleiden op platforms zoals datingapps, door middel van een Generatief Tegenstrijdig Netwerk (GAN) om alternatieve gezichtsbeelden te creëren die dezelfde essentiële ID-informatie bevatten als een echt gezicht.

De methode slaagde erin om de gezichtsverificatieprocessen op datingapps zoals Tinder en Bumble te omzeilen, waarbij in een geval zelfs een geslachtsgewijzigd (man) gezicht als authentiek werd geaccepteerd voor de bron (vrouwelijke) identiteit.

Verschillende gegenereerde identiteiten die de specifieke codering van de auteur van het artikel (weergegeven in de eerste afbeelding boven) bevatten. Bron: https://arxiv.org/pdf/2203.15068.pdf

Volgens de auteur vertegenwoordigt het onderzoek de eerste poging om gezichtsverificatie te omzeilen met behulp van gegenereerde beelden die zijn voorzien van specifieke identiteitskenmerken, maar die proberen een alternatieve of aanzienlijk gewijzigde identiteit weer te geven.

De techniek werd getest op een aangepaste lokale gezichtsverificatiesysteem en presteerde goed in black box-tests tegen twee datingapps die gezichtsverificatie uitvoeren op door gebruikers geüploade afbeeldingen.

Het nieuwe onderzoeksrapport heet Gezichtsverificatie-omzeiling en komt van Sanjana Sarda, een onderzoeker aan de afdeling Elektrotechniek van de Stanford University.

Besturing van de Gezichtsruimte

Hoewel het ‘inbrengen’ van ID-specifieke kenmerken (d.w.z. van gezichten, verkeersborden, enz.) in gekruide beelden een standaardaspect is van tegenstrijdige aanvallen, suggereert het nieuwe onderzoek iets anders: dat de groeiende mogelijkheid van de onderzoekssector om de latentie-ruimte van GAN’s te besturen uiteindelijk zal leiden tot de ontwikkeling van architectuur die consistente alternatieve identiteiten kan creëren voor die van een gebruiker – en, effectief, het mogelijk maakt om identiteitskenmerken uit webbeschikbare afbeeldingen van een onverwachte gebruiker te extraheren om ze te incorporeren in een ‘schaduw’-gegenereerde identiteit.

Consistentie en navigatie zijn de primaire uitdagingen met betrekking tot de latentie-ruimte van de GAN sinds de introductie van Generatieve Tegenstrijdige Netwerken. Een GAN die met succes een verzameling trainingsbeelden in zijn latentie-ruimte heeft geïntegreerd, biedt geen eenvoudige kaart om kenmerken van de ene klasse naar de andere te ‘duwen’.

Terwijl technieken en tools zoals Gradient-gewogen Klasse-Activatiekaart ( Grad-CAM ) helpen om latentie-richtingen tussen de gevestigde klassen te vestigen en transformaties mogelijk te maken (zie afbeelding hieronder), maakt de verdere uitdaging van ontangling meestal een ‘approximatief’ reis, met beperkte fijne besturing van de overgang.

Een ruwe reis tussen gecodeerde vectoren in de latentie-ruimte van een GAN, waarbij een data-afgeleide mannelijke identiteit wordt ‘geduwd’ naar de ‘vrouwelijke’ coderingen aan de andere kant van een van de vele lineaire hypervlakken in de complexe en arcane latentie-ruimte. Afbeelding afgeleid van materiaal op https://www.youtube.com/watch?v=dCKbRCUyop8

De mogelijkheid om ID-specifieke kenmerken ‘in te vriezen’ en te beschermen terwijl ze worden verplaatst naar transformatieve coderingen elders in de latentie-ruimte, maakt het potentieel mogelijk om een consistente (en zelfs animatiebare) individu te creëren wiens identiteit door machinesystemen wordt gelezen als iemand anders.

Methode

De auteur gebruikte twee datasets als basis voor experimenten: een Menselijke Gebruikersdataset bestaande uit 310 afbeeldingen van haar gezicht, gespreid over een periode van vier jaar, met variërende belichting, leeftijd en kijkhoeken), met afgeknipte gezichten geëxtraheerd via Caffe; en de raciaal gebalanceerde 108.501 afbeeldingen in de FairFace-dataset, eveneens geëxtraheerd en afgeknipt.

Het lokale gezichtsverificatiemodel was afgeleid van een basisimplementatie van FaceNet en DeepFace, vooraf getraind op ConvNet Inception, waarbij elke afbeelding werd weergegeven door een 128-dimensionale vector.

De aanpak gebruikt gezichtsafbeeldingen uit een getrainde subset van FairFace. Om gezichtsverificatie te doorstaan, wordt de berekende afstand veroorzaakt door een afbeelding van de Frobenius-norm aangepast tegen de doelgebruiker in de database. Elke afbeelding onder de drempel van 0,7 komt overeen met dezelfde identiteit, anders wordt de verificatie als mislukt beschouwd.

Een StyleGAN-model werd fijngeregeld op de persoonlijke dataset van de auteur, waardoor een model werd gegenereerd dat herkenbare variaties van haar identiteit produceerde, hoewel geen van deze gegenereerde afbeeldingen identiek waren aan de trainingsdata. Dit werd bereikt door in te vriezen de eerste vier lagen in de discriminator, om overfitting van de data te voorkomen en gevarieerde output te produceren.

Hoewel diverse afbeeldingen werden verkregen met het basis-StyleGAN-model, leidde de lage resolutie en geloofwaardigheid tot een tweede poging met StarGAN V2, die het trainen van startafbeeldingen naar een doelgezicht mogelijk maakt.

Het StarGAN V2-model werd vooraf getraind gedurende ongeveer 10 uur met behulp van de FairFace-validatieset, met een batchgrootte van vier en een validatiegrootte van acht. In de meest succesvolle aanpak werd de persoonlijke dataset van de auteur gebruikt als bron met trainingsdata als referentie.

Verificatie-experimenten

Een gezichtsverificatiemodel werd gebouwd op basis van een subset van 1000 afbeeldingen, met de bedoeling om een willekeurige afbeelding uit de set te verifiëren. Afbeeldingen die met succes de verificatie doorstonden, werden vervolgens getest tegen de identiteit van de auteur.

Links, de auteur van het artikel, een echte foto; midden, een willekeurige afbeelding die de verificatie niet doorstond; rechts, een niet-gerelateerde afbeelding uit de dataset die de verificatie doorstond als de auteur.

Het doel van de experimenten was om zo groot mogelijke afstand te creëren tussen de waargenomen visuele identiteit en de behoud van de kenmerkende trekken van de doelidentiteit. Dit werd geëvalueerd met Mahalanobis-afstand, een maatstaf die in beeldverwerking wordt gebruikt voor patroon- en sjabloonzoek.

Voor het basis-generatieve model tonen de gegenereerde resultaten met lage resolutie beperkte diversiteit, ondanks het feit dat ze de lokale gezichtsverificatie doorstonden. StarGAN V2 bleek beter in staat om diverse afbeeldingen te creëren die konden worden geverifieerd.

Alle afbeeldingen die worden weergegeven, hebben de lokale gezichtsverificatie doorstaan. Boven zijn de lage resolutie StyleGAN-basismodellen, onder de hogere resolutie en kwaliteit StarGAN V2-modellen.

De laatste drie afbeeldingen die hierboven worden weergegeven, gebruikten de persoonlijke dataset van de auteur als zowel bron als referentie, terwijl de voorgaande afbeeldingen trainingsdata als referentie en de persoonlijke dataset van de auteur als bron gebruikten.

De resulterende gegenereerde afbeeldingen werden getest tegen de gezichtsverificatiesystemen van de datingapps Bumble en Tinder, met de identiteit van de auteur als basis, en doorstonden de verificatie. Een ‘mannelijke’ generatie van het gezicht van de auteur doorstond ook de verificatie van Bumble, hoewel de belichting in de gegenereerde afbeelding moest worden aangepast voordat deze werd geaccepteerd. Tinder accepteerde de mannelijke versie niet.

‘Mannelijke’ versies van de identiteit van de auteur (vrouwelijke).

Conclusie

Dit zijn seminale experimenten in identiteitsprojectie, in de context van GAN-latentie-ruimtemanipulatie, die nog steeds een buitengewone uitdaging vormt in beeldsynthese en deepfake-onderzoek. Niettemin opent dit onderzoek de mogelijkheid om hoge specifieke kenmerken consistent over diverse identiteiten te embedden en om ‘alternatieve’ identiteiten te creëren die als iemand anders worden ‘gelezen’.

Eerst gepubliceerd op 30 maart 2022.