Η γωνία του Anderson

«Δημιουργική» επαλήθευση προσώπου με παραγωγικά ανταγωνιστικά δίκτυα

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ μέθοδος GAN του Στάνφορντ παρέκαμψε την επαλήθευση προσώπου του Tinder και του Bumble…
Δείτε περισσότερα
  • Η μέθοδος GAN του Στάνφορντ παρέκαμψε την επαλήθευση προσώπου του Tinder και του Bumble με εικόνες αντιστροφής φύλου.
  • Το StarGAN V2 δημιούργησε ποικίλα πρόσωπα υψηλότερης ποιότητας που πέρασαν την τοπική επαλήθευση καλύτερα από το StyleGAN.
  • Η τεχνική εισάγει χαρακτηριστικά ταυτότητας σε τροποποιημένα πρόσωπα, επιτρέποντας συνεπείς εναλλακτικές ταυτότητες για συστήματα αυθεντικοποίησης.

Μια νέα εργασία από το Πανεπιστήμιο του Στάνφορντ έχει προτείνει μια νέα μέθοδο για να ξεγελάσει τα συστήματα επαλήθευσης προσώπου σε πλατφόρμες όπως οι εφαρμογές γνωριμιών, χρησιμοποιώντας ένα Παραγωγικό Ανταγωνιστικό Δίκτυο (GAN) για να δημιουργήσει εναλλακτικές εικόνες προσώπου που περιέχουν τις ίδιες βασικές πληροφορίες ταυτότητας με ένα πραγματικό πρόσωπο.

Η μέθοδος κατάφερε να παραβιάσει τις διαδικασίες επαλήθευσης προσώπου στις εφαρμογές γνωριμιών Tinder και Bumble, σε μια περίπτωση ακόμη και να παρουσιάσει ένα πρόσωπο με ανταλλαγμένο φύλο (αρσενικό) ως αυθεντικό για την ταυτότητα της πηγής (θηλυκό).

Διάφορες παραγόμενες ταυτότητες που περιέχουν τον συγκεκριμένο κωδικοποιημένο κώδικα της συγγραφέα (που παρουσιάζεται στην πρώτη εικόνα παραπάνω). Πηγή: https://arxiv.org/pdf/2203.15068.pdf

Διάφορες παραγόμενες ταυτότητες που περιέχουν τον συγκεκριμένο κωδικοποιημένο κώδικα της συγγραφέα (που παρουσιάζεται στην πρώτη εικόνα παραπάνω). Πηγή: https://arxiv.org/pdf/2203.15068.pdf

Σύμφωνα με τη συγγραφέα, η εργασία αντιπροσωπεύει την πρώτη απόπειρα να παραβιάσει την επαλήθευση προσώπου με τη χρήση παραγόμενων εικόνων που έχουν εμβληθεί με συγκεκριμένα χαρακτηριστικά ταυτότητας, αλλά που προσπαθούν να αναπαραστήσουν μια εναλλακτική ή σημαντικά μεταβλημένη ταυτότητα.

Η τεχνική δοκιμάστηκε σε ένα τοπικό σύστημα επαλήθευσης προσώπου και στη συνέχεια απέδωσε καλά σε δοκιμές μαύρου κουτιού εναντίον δύο εφαρμογών γνωριμιών που εκτελούν επαλήθευση προσώπου στις εικόνες που ανεβάζουν οι χρήστες.

Η νέα εργασία έχει τον τίτλο Παράκαμψη Επαλήθευσης Προσώπου και προέρχεται από τη Sanjana Sarda, ερευνήτρια στο Τμήμα Ηλεκτρολογικών Μηχανικών του Πανεπιστημίου του Στάνφορντ.

Ελέγχοντας τον Χώρο Προσώπου

Αν και η «έγχυση» χαρακτηριστικών ειδικών για την ταυτότητα (π.χ. από πρόσωπα, οδικές πινακίδες, κ.λπ.) σε κατασκευασμένες εικόνες είναι ένα σταθερό στοιχείο των ανταγωνιστικών επιθέσεων, η νέα μελέτη προτείνει κάτι διαφορετικό: ότι η αυξανόμενη ικανότητα του ερευνητικού τομέα να ελέγχει τον λανθάνοντα χώρο των GAN θα επιτρέψει τελικά την ανάπτυξη αρχιτεκτονικών που μπορούν να δημιουργήσουν συνεπείς εναλλακτικές ταυτότητες για εκείνη του χρήστη – και, αποτελεσματικά, να επιτρέψουν την εξαγωγή χαρακτηριστικών ταυτότητας από διαθέσιμες εικόνες του ιστού ενός αθώου χρήστη για να τις ενσωματώσουν σε μια «σκιώδη» κατασκευασμένη ταυτότητα.

Η συνέπεια και η δυνατότητα πλοήγησης υπήρξαν οι κύριες προκλήσεις σχετικά με τον λανθάνοντα χώρο του GAN από την αρχή των Παραγωγικών Ανταγωνιστικών Δικτύων. Ένα GAN που έχει επιτύχει την εναπόθεση μιας συλλογής εκπαιδευτικών εικόνων στο χώρο του δεν παρέχει εύκολο χάρτη για να «ωθήσει» χαρακτηριστικά από μια κατηγορία σε άλλη.

Ενώ τεχνικές και εργαλεία όπως το Gradient-weighted Class Activation Mapping (Grad-CAM) μπορούν να βοηθήσουν στην καθιέρωση κατευθύνσεων μεταξύ των καθορισμένων κατηγοριών και να επιτρέψουν μετασχηματισμούς (βλέπε εικόνα παρακάτω), η πρόσθετη πρόκληση της διαπλοκής των χαρακτηριστικών συνήθως οδηγεί σε μια κατά προσέγγιση διαδρομή, με περιορισμένο έλεγχο της μετάβασης.

Μια περίπου διαδρομή μεταξύ κωδικοποιημένων διανυσμάτων στον λανθάνοντα χώρο ενός GAN, ωθώντας μια δεδομένη αρσενική ταυτότητα στα «θηλυκά» κωδικοποιήσεις στην άλλη πλευρά ενός από τα πολλά γραμμικά υπερεπίπεδα στο σύνθετο και αινιγματικό λανθάνοντα χώρο. Εικόνα που προέρχεται από υλικό στο https://www.youtube.com/watch?v=dCKbRCUyop8

Μια περίπου διαδρομή μεταξύ κωδικοποιημένων διανυσμάτων στον λανθάνοντα χώρο ενός GAN, ωθώντας μια δεδομένη αρσενική ταυτότητα στα «θηλυκά» κωδικοποιήσεις στην άλλη πλευρά ενός από τα πολλά γραμμικά υπερεπίπεδα στο σύνθετο και αινιγματικό λανθάνοντα χώρο. Εικόνα που προέρχεται από υλικό στο https://www.youtube.com/watch?v=dCKbRCUyop8

Η ικανότητα να «παγώσει» και να προστατεύσει χαρακτηριστικά ειδικά για την ταυτότητα ενώ τα μετακινούν σε μετασχηματιστικές κωδικοποιήσεις αλλού στον λανθάνοντα χώρο μπορεί να κάνει δυνατή τη δημιουργία ενός συνεπούς (και ακόμη και κινήσιμου μέσω animation) ατόμου του οποίου η ταυτότητα διαβάζεται από συστήματα μηχανών ως κάποιος άλλος.

Μέθοδος

Η συγγραφέας χρησιμοποίησε δύο σύνολα δεδομένων ως βάση για πειράματα: ένα σύνολο δεδομένων ανθρώπινου χρήστη που αποτελείται από 310 εικόνες του προσώπου της, που καλύπτουν ένα χρονικό διάστημα τεσσάρων ετών, με διάφορες φωτογραφικές συνθήκες, ηλικία και γωνίες θέασης), με αποκομμένες εικόνες προσώπου που εξαγωγούνται μέσω Caffe; και το φυλετικά ισορροπημένο 108.501 εικόνες στο FairFace σύνολο δεδομένων, παρόμοια εξαγόμενα και αποκομμένα.

Το τοπικό μοντέλο επαλήθευσης προσώπου προέρχεται από μια βασική υλοποίηση του FaceNet και DeepFace, προ-εκπαιδευμένο στο ConvNet Inception, με κάθε εικόνα που αντιπροσωπεύεται από ένα διάνυσμα 128 διαστάσεων.

Η προσέγγιση χρησιμοποιεί εικόνες προσώπου από ένα εκπαιδευμένο υποσύνολο από το FairFace. Για να περάσει την επαλήθευση προσώπου, η υπολογισμένη απόσταση που προκαλείται από την Φρόμπενιους νόρμα μιας εικόνας συγκρίνεται με τον χρήστη-στόχο στη βάση δεδομένων. Κάθε εικόνα κάτω από το όριο των 0,7 ισοδυναμεί με την ίδια ταυτότητα, αλλιώς η επαλήθευση θεωρείται ότι έχει αποτύχει.

Ένα μοντέλο StyleGAN ήταν εξειδικευμένο στο προσωπικό σύνολο δεδομένων της συγγραφέα, παράγοντας ένα μοντέλο που θα δημιουργήσει αναγνωρίσιμες παραλλαγές της ταυτότητάς της, αν και καμία από τις παραγμένες εικόνες δεν ήταν ίδια με τα δεδομένα εκπαίδευσης. Αυτό επιτεύχθηκε με το πάγωμα των πρώτων τεσσάρων στρώσεων στο διακριτή, για να αποφευχθεί η υπερ-προσαρμογή των δεδομένων και να παραχθεί ποικιλόμορφο αποτέλεσμα.

Αν και ποικίλες εικόνες αποκτήθηκαν με το βασικό μοντέλο StyleGAN, η χαμηλή ανάλυση και η περιορισμένη πιστότητα οδήγησαν σε μια δεύτερη απόπειρα με StarGAN V2, το οποίο επιτρέπει την εκπαίδευση αρχικών εικόνων προς ένα πρόσωπο-στόχο.

Το μοντέλο StarGAN V2 ήταν προ-εκπαιδευμένο για περίπου 10 ώρες χρησιμοποιώντας το σύνολο επαλήθευσης του FairFace, με μέγεθος batch τέσσερις και μέγεθος επαλήθευσης οκτώ. Στην πιο επιτυχημένη προσέγγιση, το προσωπικό σύνολο δεδομένων της συγγραφέα χρησιμοποιήθηκε ως πηγή με δεδομένα εκπαίδευσης ως αναφορά.

Πειράματα Επαλήθευσης

Ένα μοντέλο επαλήθευσης προσώπου κατασκευάστηκε με βάση ένα υποσύνολο 1000 εικόνων, με σκοπό να επαλήθευσει μια τυχαία εικόνα από το σύνολο. Εικόνες που πέρασαν επιτυχώς την επαλήθευση δοκιμάστηκαν στη συνέχεια ενάντια στην ταυτότητα της συγγραφέα.

Στα αριστερά, η συγγραφέας, μια πραγματική φωτογραφία; στο κέντρο, μια τυχαία εικόνα που απέτυχε στην επαλήθευση; στα δεξιά, μια μη σχετική εικόνα από το σύνολο δεδομένων που πέρασε την επαλήθευση ως η συγγραφέας.

Στα αριστερά, η συγγραφέας, μια πραγματική φωτογραφία; στο κέντρο, μια τυχαία εικόνα που απέτυχε στην επαλήθευση; στα δεξιά, μια μη σχετική εικόνα από το σύνολο δεδομένων που πέρασε την επαλήθευση ως η συγγραφέας.

Ο στόχος των πειραμάτων ήταν να δημιουργηθεί όσο το δυνατόν μεγαλύτερο χάσμα μεταξύ της αντιλαμβανόμενης οπτικής ταυτότητας ενώ διατηρούνται τα καθοριστικά χαρακτηριστικά της ταυτότητας-στόχου. Αυτό αξιολογήθηκε με Mahalanobis απόσταση, ένα μέτρο που χρησιμοποιείται στην επεξεργασία εικόνων για αναζήτηση προτύπων και προτύπων.

Για το βασικό γενετικό μοντέλο, τα αποτελέσματα χαμηλής ανάλυσης που αποκτήθηκαν εμφανίζουν περιορισμένη ποικιλότητα, παρά το γεγονός ότι πέρασαν την τοπική επαλήθευση προσώπου. Το StarGAN V2 αποδείχθηκε πιο ικανό να δημιουργήσει ποικίλες εικόνες που μπορούσαν να πιστοποιήσουν.

Όλες οι εικόνες που απεικονίζονται πέρασαν την τοπική επαλήθευση προσώπου. Πάνω εμφανίζονται οι χαμηλής ανάλυσης εικόνες του βασικού StyleGAN και κάτω οι υψηλότερης ανάλυσης και ποιότητας εικόνες του StarGAN V2.

Όλες οι εικόνες που απεικονίζονται πέρασαν την τοπική επαλήθευση προσώπου. Πάνω εμφανίζονται οι χαμηλής ανάλυσης εικόνες του βασικού StyleGAN και κάτω οι υψηλότερης ανάλυσης και ποιότητας εικόνες του StarGAN V2.

Οι τελικές τρεις εικόνες που απεικονίζονται παραπάνω χρησιμοποιούν το προσωπικό σύνολο δεδομένων της συγγραφέα ως πηγή και αναφορά, ενώ οι προηγούμενες εικόνες χρησιμοποιούν δεδομένα εκπαίδευσης ως αναφορά και το προσωπικό σύνολο δεδομένων της συγγραφέα ως πηγή.

Οι παραγμένες εικόνες δοκιμάστηκαν ενάντια στα συστήματα επαλήθευσης προσώπου των εφαρμογών γνωριμιών Bumble και Tinder, με την ταυτότητα της συγγραφέα ως βάση, και πέρασαν την επαλήθευση. Μια παραγόμενη «αρσενική» εκδοχή του προσώπου της συγγραφέα πέρασε επίσης την επαλήθευση της Bumble, αν και ο φωτισμός έπρεπε να ρυθμιστεί στην παραγμένη εικόνα πριν γίνει αποδεκτή. Η Tinder δεν αποδέχθηκε την αρσενική εκδοχή.

«Αρσενικές» εκδοχές της ταυτότητας της συγγραφέα (γυναίκας).

«Αρσενικές» εκδοχές της ταυτότητας της συγγραφέα (γυναίκας).

Συμπέρασμα

Αυτά είναι πρωτοποριακά πειράματα στην προβολή ταυτότητας, στο πλαίσιο της χειραγώγησης του λανθάνοντος χώρου των GAN, η οποία παραμένει μια εξαιρετική πρόκληση στην σύνθεση εικόνων και την έρευνα deepfake. Παρόλα αυτά, η εργασία ανοίγει την έννοια της συνεπούς ενσωμάτωσης πολύ συγκεκριμένων χαρακτηριστικών σε διάφορες ταυτότητες και της δημιουργίας «εναλλακτικών» ταυτοτήτων που «διαβάζονται» ως κάποιος άλλος.

 

Πρώτη δημοσίευση 30ης Μαρτίου 2022.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai