‘Δημιουργική’ Επαλήθευση Προσώπου με Ανταγωνιστικές Γενετικές Δίκτυα

Μια νέα εργασία από το Πανεπιστήμιο του Στάνφορντ έχει προτείνει μια νέα μέθοδο για να ξεγελάσει τους συστήματα επαλήθευσης προσώπου σε πλατφόρμες όπως οι εφαρμογές γνωριμιών, χρησιμοποιώντας ένα Γενετικό Ανταγωνιστικό Δίκτυο (GAN) για να δημιουργήσει εναλλακτικές εικόνες προσώπου που περιέχουν τις ίδιες βασικές πληροφορίες ταυτότητας με ένα πραγματικό πρόσωπο.

Η μέθοδος κατάφερε να παραβιάσει τις διαδικασίες επαλήθευσης προσώπου στις εφαρμογές γνωριμιών Tinder και Bumble, σε μια περίπτωση ακόμη και να παρουσιάσει ένα πρόσωπο με ανταλλαγμένο φύλο (αρσενικό) ως αυθεντικό για την ταυτότητα της πηγής (θηλυκό).

Διάφορες γενετικές ταυτότητες που περιέχουν τον συγκεκριμένο κωδικοποιημένο κώδικα του συγγραφέα (που παρουσιάζεται στην πρώτη εικόνα παραπάνω). Πηγή: https://arxiv.org/pdf/2203.15068.pdf

Σύμφωνα με τον συγγραφέα, η εργασία αντιπροσωπεύει την πρώτη απόπειρα να παραβιάσει την επαλήθευση προσώπου με τη χρήση γενετικών εικόνων που έχουν εμβληθεί με συγκεκριμένα χαρακτηριστικά ταυτότητας, αλλά που προσπαθούν να αναπαραστήσουν μια εναλλακτική ή σημαντικά μεταβλημένη ταυτότητα.

Η τεχνική δοκιμάστηκε σε ένα τοπικό σύστημα επαλήθευσης προσώπου και στη συνέχεια εκτελέστηκε καλά σε μαύρες δοκιμές κατά μήκος δύο εφαρμογών γνωριμιών που εκτελούν επαλήθευση προσώπου στις εικόνες που ανεβάζουν οι χρήστες.

Η νέα εργασία έχει τον τίτλο Παράκαμψη Επαλήθευσης Προσώπου και προέρχεται από τη Sanjana Sarda, ερευνήτρια στο Τμήμα Ηλεκτρολογικών Μηχανικών του Πανεπιστημίου του Στάνφορντ.

Ελέγχοντας τον Χώρο Προσώπου

Αν και η «έγχυση» χαρακτηριστικών ειδικών για την ταυτότητα (π.χ. από πρόσωπα, οδικές σήμανσεις, κ.λπ.) σε κατασκευασμένες εικόνες είναι ένα σταθερό στοιχείο των ανταγωνιστικών επιθέσεων, η νέα μελέτη προτείνει κάτι διαφορετικό: ότι η αυξανόμενη ικανότητα του ερευνητικού τομέα να ελέγξει τον.latent χώρο των GAN θα επιτρέψει τελικά την ανάπτυξη αρχιτεκτονικών που μπορούν να δημιουργήσουν συνεπείς εναλλακτικές ταυτότητες για εκείνη του χρήστη – και, αποτελεσματικά, να επιτρέψουν την εξαγωγή χαρακτηριστικών ταυτότητας από διαθέσιμες εικόνες του ιστού ενός αθώου χρήστη για να τις ενσωματώσουν σε μια «σκιώδη» κατασκευασμένη ταυτότητα.

Η συνεχής και η πλοήγηση έχουν sido οι κύριες προκλήσεις σχετικά με τον.latent χώρο του GAN από την αρχή των Γενετικών Ανταγωνιστικών Δικτύων. Ένα GAN που έχει επιτύχει την εναπόθεση μιας συλλογής εκπαιδευτικών εικόνων στο χώρο του παρέχει keine εύκολη χαρτογραφία για να «ωθήσει» χαρακτηριστικά από μια κατηγορία σε άλλη.

Ενώ τεχνικές και εργαλεία όπως το Gradient-weighted Class Activation Mapping (Grad-CAM) μπορούν να βοηθήσουν στην καθιέρωση κατευθύνσεων μεταξύ των καθορισμένων κατηγοριών και να επιτρέψουν μετασχηματισμούς (βλέπε εικόνα παρακάτω), η weitere πρόκληση της αποσύνδεσης συνήθως κάνει για μια «περίπου» διαδρομή, με περιορισμένο έλεγχο της μετάβασης.

Μια περίπου διαδρομή μεταξύ κωδικοποιημένων διανυσμάτων στο.latent χώρο ενός GAN, ωθώντας μια δεδομένη αρσενική ταυτότητα στα «θηλυκά» κωδικοποιήσεις στην άλλη πλευρά ενός από τα πολλά γραμμικά υπερεπίπεδα στο σύνθετο και αινιγματικό.latent χώρο. Εικόνα που προέρχεται από υλικό στο https://www.youtube.com/watch?v=dCKbRCUyop8

Η ικανότητα να «παγώσει» και να προστατεύσει χαρακτηριστικά ειδικά για την ταυτότητα ενώ τα μετακινούν σε μετασχηματιστικές κωδικοποιήσεις αλλού στο.latent χώρο μπορεί να κάνει δυνατή τη δημιουργία μιας συνεχούς (και ακόμη κι animatable) ατόμου της οποίας η ταυτότητα διαβάζεται από συστήματα μηχανών ως κάποιος άλλος.

Μέθοδος

Ο συγγραφέας χρησιμοποίησε δύο συνόλους δεδομένων ως βάση για πειράματα: ένα σύνολο δεδομένων ανθρώπινου χρήστη που αποτελείται από 310 εικόνες του προσώπου του, που καλύπτουν einen χρονικό διάστημα τεσσάρων ετών, με διάφορες φωτογραφικές συνθήκες, ηλικία και γωνίες θέασης), με αποκομμένες εικόνες προσώπου που εξαγωγούνται μέσω Caffe; και το φυλετικά ισορροπημένο 108.501 εικόνες στο FairFace σύνολο δεδομένων, παρόμοια εξαγόμενα και αποκομμένα.

Το τοπικό μοντέλο επαλήθευσης προσώπου προέρχεται από μια βασική υλοποίηση του FaceNet και DeepFace, προ-εκπαιδευμένο στο ConvNet Inception, με κάθε εικόνα που αντιπροσωπεύεται από einen 128-διαστάσεων διανυσματικό.

Η προσέγγιση χρησιμοποιεί εικόνες προσώπου από einen εκπαιδευμένο υποσύνολο από το FairFace. Για να περάσει την επαλήθευση προσώπου, η υπολογισμένη απόσταση που προκαλείται από την Φρόμπενιους νόρμα μιας εικόνας είναι ανταλλαγμένη με τον στόχο χρήστη στη βάση δεδομένων. Κάθε εικόνα κάτω από το όριο των 0,7 ισοδυναμεί με την ίδια ταυτότητα, αλλιώς η επαλήθευση θεωρείται ότι έχει αποτύχει.

Ένα μοντέλο StyleGAN ήταν εξειδικευμένο στο προσωπικό σύνολο δεδομένων του συγγραφέα, παράγοντας ένα μοντέλο που θα δημιουργήσει αναγνωρίσιμες παραλλαγές της ταυτότητας του, αν και καμία από τις παραγμένες εικόνες δεν ήταν идентична με τα δεδομένα εκπαίδευσης. Αυτό επιτεύχθηκε με παγώνοντας τις πρώτες τέσσερις στρώσεις στο δискριμινατέρ, για να αποφευχθεί η υπερ-προσαρμογή των δεδομένων και να παραχθεί ποικιλόμορφο αποτέλεσμα.

Αν και ποικίλες εικόνες αποκτήθηκαν με το βασικό μοντέλο StyleGAN, η χαμηλή ανάλυση και πιστότητα προκάλεσε μια δεύτερη απόπειρα με StarGAN V2, το οποίο επιτρέπει την εκπαίδευση των σπόρων εικόνων προς einen στόχο πρόσωπο.

Το μοντέλο StarGAN V2 ήταν προ-εκπαιδευμένο για περίπου 10 ώρες χρησιμοποιώντας το σύνολο επαλήθευσης του FairFace, με μέγεθος batch τέσσερις και μέγεθος επαλήθευσης οκτώ. Στην πιο επιτυχημένη προσέγγιση, το προσωπικό σύνολο δεδομένων του συγγραφέα χρησιμοποιήθηκε ως πηγή με δεδομένα εκπαίδευσης ως αναφορά.

Πειράματα Επαλήθευσης

Ένα μοντέλο επαλήθευσης προσώπου κατασκευάστηκε με βάση einen υποσυνόλου 1000 εικόνων, με σκοπό να επαλήθευσει μια τυχαία εικόνα από το σύνολο. Εικόνες που πέρασαν επιτυχώς την επαλήθευση δοκιμάστηκαν στη συνέχεια ενάντια στην ταυτότητα του συγγραφέα.

Στα αριστερά, ο συγγραφέας, μια πραγματική φωτογραφία; στο κέντρο, μια τυχαία εικόνα που απέτυχε στην επαλήθευση; στα δεξιά, μια μη σχετική εικόνα από το σύνολο δεδομένων που πέρασε την επαλήθευση ως ο συγγραφέας.

Ο στόχος των πειραμάτων ήταν να δημιουργηθεί όσο το δυνατόν μεγαλύτερος χάσμα μεταξύ της αντιλαμβανόμενης οπτικής ταυτότητας ενώ διατηρούνται τα καθοριστικά χαρακτηριστικά της στόχου ταυτότητας. Αυτό αξιολογήθηκε με Mahalanobis απόσταση, einen μετρητή που χρησιμοποιείται στην επεξεργασία εικόνων για αναζήτηση προτύπων και προτύπων.

Για το βασικό γενετικό μοντέλο, τα αποτελέσματα χαμηλής ανάλυσης που αποκτήθηκαν εμφανίζουν περιορισμένη ποικιλότητα, παρά το γεγονός ότι πέρασαν την τοπική επαλήθευση προσώπου. Το StarGAN V2 αποδείχθηκε πιο ικανό να δημιουργήσει ποικίλες εικόνες που μπορούσαν να πιστοποιήσουν.

Όλες οι εικόνες που απεικονίζονται πέρασαν την τοπική επαλήθευση προσώπου. Πάνω από τις χαμηλής ανάλυσης βασικές γενετικές δημιουργίες, κάτω από τις υψηλής ανάλυσης και υψηλής ποιότητας StarGAN V2 δημιουργίες.

Οι τελικές τρεις εικόνες που απεικονίζονται παραπάνω χρησιμοποιούν το προσωπικό σύνολο δεδομένων του συγγραφέα ως πηγή και αναφορά, ενώ οι προηγούμενες εικόνες χρησιμοποιούν δεδομένα εκπαίδευσης ως αναφορά και το προσωπικό σύνολο δεδομένων του συγγραφέα ως πηγή.

Οι παραγμένες εικόνες δοκιμάστηκαν ενάντια στα συστήματα επαλήθευσης προσώπου των εφαρμογών γνωριμιών Bumble και Tinder, με την ταυτότητα του συγγραφέα ως βάση, και πέρασαν την επαλήθευση. Μια «αρσενική» γενετική του προσώπου του συγγραφέα πέρασε επίσης την επαλήθευση της Bumble, αν και το φωτισμό έπρεπε να調整θεί στην παραγμένη εικόνα πριν γίνει αποδεκτή. Η Tinder δεν αποδέχθηκε την αρσενική εκδοχή.

«Αρσενικές» εκδοχές της ταυτότητας του συγγραφέα (θηλυκός).

Συμπέρασμα

Αυτά είναι σεμινάλ πειράματα στην προβολή ταυτότητας, στο контέκστ της χειραγώγησης του.latent χώρου των GAN, η οποία παραμένει μια εξαιρετική πρόκληση στην σύνθεση εικόνων και την έρευνα deepfake. Παρόλα αυτά, η εργασία ανοίγει το концепτό της εμβύθισης υψηλά συγκεκριμένων χαρακτηριστικών συνεχώς σε διάφορες ταυτότητες και της δημιουργίας «εναλλακτικών» ταυτοτήτων που «διαβάζονται» ως κάποιος άλλος.

Πρώτη δημοσίευση 30ης Μαρτίου 2022.