„Kreative“ Gesichtsverifizierung mit generativen gegnerischen Netzwerken

Ein neues Papier der Stanford University hat eine neue Methode vorgeschlagen, um Gesichtsauthentifizierungssysteme in Plattformen wie Dating-Apps auszutricksen, indem a Generative Adversarial Network (GAN), um alternative Gesichtsbilder zu erstellen, die dieselben wesentlichen ID-Informationen wie ein echtes Gesicht enthalten.

Die Methode umging erfolgreich Gesichtsverifizierungsprozesse in den Dating-Apps Tinder und Bumble und gab in einem Fall sogar ein geschlechtsvertauschtes (männliches) Gesicht als authentisch für die ursprüngliche (weibliche) Identität aus.

Verschiedene generierte Identitäten, die die spezifische Kodierung des Autors des Artikels aufweisen (siehe erstes Bild oben). Quelle: https://arxiv.org/pdf/2203.15068.pdf

Nach Angaben des Autors stellt die Arbeit den ersten Versuch dar, die Gesichtsverifizierung durch die Verwendung generierter Bilder zu umgehen, die mit spezifischen Identitätsmerkmalen durchdrungen sind, die jedoch versuchen, eine alternative oder wesentlich veränderte Identität darzustellen.

Die Technik wurde auf einem benutzerdefinierten lokalen Gesichtsverifizierungssystem getestet und schnitt dann in Black-Box-Tests mit zwei Dating-Anwendungen, die eine Gesichtsverifizierung an vom Benutzer hochgeladenen Bildern durchführen, gut ab.

The new Krepppapier ist betitelt Umgehung der Gesichtsüberprüfung, und stammt von Sanjana Sarda, einer Forscherin am Department of Electrical Engineering der Stanford University.

Den Gesichtsraum kontrollieren

Obwohl ID-spezifische Merkmale (z. B. von Gesichtern, Straßenschilderusw.) in gestaltete Bilder ist ein Grundbestandteil von gegnerische Angriffe, die neue Studie legt etwas anderes nahe: dass der Forschungssektor wachsende Fähigkeit zu Smartgeräte App Der latente Raum von GANs wird schließlich die Entwicklung von Architekturen ermöglichen, die etwas schaffen können konsistent alternative Identitäten zu der eines Benutzers – und ermöglichen effektiv die Extraktion von Identitätsmerkmalen aus im Internet verfügbaren Bildern eines ahnungslosen Benutzers, um sie in eine „Schatten“-identität einzubinden.

Konsistenz und Navigationsfähigkeit waren seit der Einführung von Generative Adversarial Networks die größten Herausforderungen im latenten Raum des GAN. Ein GAN, das eine Sammlung von Trainingsbildern erfolgreich in seinen latenten Raum integriert hat, bietet keine einfache Karte, um Features von einer Klasse in eine andere zu „schieben“.

Während Techniken und Tools wie die Gradientengewichtete Klassenaktivierungszuordnung (Grad-CAM) kann bei der Etablierung helfen latente Richtungen zwischen den etablierten Klassen und ermöglichen Transformationen (siehe Bild unten), die weitere Herausforderung von Verschränkung In der Regel handelt es sich um eine „näherungsmäßige“ Reise mit begrenzter Feinsteuerung des Übergangs.

Eine holprige Reise zwischen kodierten Vektoren im latenten Raum eines GANs, die eine aus Daten abgeleitete männliche Identität in die „weiblichen“ Kodierungen auf der anderen Seite einer der vielen linearen Hyperebenen im komplexen und geheimnisvollen latenten Raum schiebt. Bild abgeleitet aus Material unter https://www.youtube.com/watch?v=dCKbRCUyop8

Die Fähigkeit, ID-spezifische Merkmale „einzufrieren“ und zu schützen und sie gleichzeitig in transformative Kodierungen an anderer Stelle im latenten Raum zu verschieben, ermöglicht möglicherweise die Schaffung eines konsistenten (und sogar animierbaren) Individuums, dessen Identität von Maschinensystemen als jemand anderes gelesen wird.

Versandart

Die Autorin verwendete zwei Datensätze als Grundlage für Experimente: einen menschlichen Benutzerdatensatz, der aus 310 Bildern ihres Gesichts über einen Zeitraum von vier Jahren mit unterschiedlicher Beleuchtung, Alter und Blickwinkeln besteht, wobei beschnittene Gesichter über extrahiert wurden Caffe; und die rassistisch ausgewogenen 108,501 Bilder im FairFace Datensatz, ebenfalls extrahiert und beschnitten.

Das lokale Gesichtsverifizierungsmodell wurde aus einer Basisimplementierung von abgeleitet FaceNet und Tiefes Gesicht, vorab trainiert ConvNet-Anfang, wobei jedes Bild durch einen 128-dimensionalen Vektor dargestellt wird.

Der Ansatz verwendet Gesichtsbilder aus einer trainierten Teilmenge von FairFace. Um die Gesichtsüberprüfung zu bestehen, wird der durch ein Bild verursachte Abstand berechnet Frobenius-Norm wird mit dem Zielbenutzer in der Datenbank verrechnet. Jedes Bild unter dem Schwellenwert von 0.7 entspricht derselben Identität, andernfalls gilt die Überprüfung als fehlgeschlagen.

Ein StyleGAN-Modell wurde anhand des persönlichen Datensatzes der Autorin verfeinert und ergab ein Modell, das erkennbare Variationen ihrer Identität erzeugen würde, obwohl keines dieser generierten Bilder mit den Trainingsdaten identisch war. Dies wurde erreicht durch Einfrieren die ersten vier Schichten im Diskriminator, um eine Überanpassung der Daten zu vermeiden und eine vielfältige Ausgabe zu erzeugen.

Obwohl mit dem StyleGAN-Basismodell unterschiedliche Bilder erhalten wurden, veranlassten die geringe Auflösung und Wiedergabetreue einen zweiten Versuch mit StarGAN V2, was das Training von Seed-Bildern in Richtung einer Zielfläche ermöglicht.

Das StarGAN V2-Modell wurde über etwa 10 Stunden mit dem FairFace-Validierungssatz bei einer Stapelgröße von vier und einer Validierungsgröße von 8 vorab trainiert. Im erfolgreichsten Ansatz wurde der persönliche Datensatz des Autors als Quelle mit Trainingsdaten wie verwendet eine Referenz.

Verifizierungsexperimente

Basierend auf einer Teilmenge von 1000 Bildern wurde ein Gesichtsverifizierungsmodell erstellt, mit der Absicht, ein beliebiges Bild aus der Menge zu verifizieren. Bilder, die die Überprüfung erfolgreich bestanden hatten, wurden anschließend mit der eigenen ID des Autors verglichen.

Links der Autor der Zeitung, ein echtes Foto; Mitte: ein beliebiges Bild, dessen Überprüfung fehlgeschlagen ist; Rechts: ein unabhängiges Bild aus dem Datensatz, der die Überprüfung als Autor bestanden hat.

Das Ziel der Experimente bestand darin, eine möglichst große Lücke zwischen der wahrgenommenen visuellen Identität zu schaffen und gleichzeitig die definierenden Merkmale der Zielidentität beizubehalten. Dies wurde mit ausgewertet Mahalanobis Entfernung, eine Metrik, die in der Bildverarbeitung für die Muster- und Vorlagensuche verwendet wird.

Für das generative Basismodell weisen die erhaltenen Ergebnisse mit niedriger Auflösung trotz bestandener lokaler Gesichtsüberprüfung eine begrenzte Diversität auf. StarGAN V2 erwies sich als besser in der Lage, verschiedene Bilder zu erstellen, die eine Authentifizierung ermöglichten.

Alle abgebildeten Bilder haben die lokale Gesichtsverifizierung bestanden. Oben sind die StyleGAN-Basisgenerationen mit niedriger Auflösung aufgeführt, unten die StarGAN V2-Generationen mit höherer Auflösung und höherer Qualität.

Die letzten drei oben abgebildeten Bilder verwendeten den eigenen Gesichtsdatensatz des Autors sowohl als Quelle als auch als Referenz, während die vorherigen Bilder Trainingsdaten als Referenz und den Datensatz des Autors als Quelle verwendeten.

Die resultierenden generierten Bilder wurden mit den Gesichtsverifizierungssystemen der Dating-Apps Bumble und Tinder getestet, wobei die Identität des Autors als Grundlage diente, und bestanden die Verifizierung. Auch eine „männliche“ Generation des Gesichts des Autors durchlief den Verifizierungsprozess von Bumble, allerdings musste die Beleuchtung im generierten Bild angepasst werden, bevor es akzeptiert wurde. Tinder akzeptierte die männliche Version nicht.

„Verfälschte“ Versionen der (weiblichen) Identität der Autorin.

Zusammenfassung

Dabei handelt es sich um bahnbrechende Experimente zur Identitätsprojektion im Kontext der Manipulation des latenten GAN-Raums, die nach wie vor eine außergewöhnliche Herausforderung in der Bildsynthese und Deepfake-Forschung darstellt. Nichtsdestotrotz eröffnet die Arbeit das Konzept, hochspezifische Merkmale konsistent in verschiedene Identitäten einzubetten und „alternative“ Identitäten zu schaffen, die sich wie jemand anderes „lesen“.

Erstveröffentlichung am 30. März 2022.