Η Adobe Research επεκτείνει την επεξεργασία προσώπων GAN με διαχωρισμό χαρακτηριστικών

Δεν είναι δύσκολο να κατανοήσουμε γιατί η σύζευξη χαρακτηριστικών είναι ένα πρόβλημα στη σύνθεση εικόνων, επειδή είναι συχνά ένα πρόβλημα και σε άλλους τομείς της ζωής· για παράδειγμα, είναι πολύ πιο δύσκολο να αφαιρέσετε την κούρκουμα από ένα κάρυ παρά να απορρίψετε το αγγούρι σε ένα μπέργκερ, και είναι σχεδόν αδύνατο να αφαιρέσετε τη ζάχαρη από ένα φλιτζάνι καφέ. Ορισμένα πράγματα έρχονται σε πακέτο.

Ομοίως, η σύζευξη χαρακτηριστικών είναι εμπόδιο για τις αρχιτεκτονικές της σύνθεσης εικόνων που θα ήθελαν ιδανικά να διαχωρίσουν διαφορετικά χαρακτηριστικά και έννοιες όταν χρησιμοποιούν τη μηχανική μάθηση για να δημιουργήσουν ή να επεξεργαστούν πρόσωπα (ή σκύλους, πλοία, ή οποιοδήποτε άλλο πεδίο).

Εάν μπορούσατε να διαχωρίσετε νήματα όπως ηλικία, φύλο, χρώμα μαλλιών, χρώμα δέρματος, συναισθήματα, και ούτω καθεξής, θα είχατε τις αρχές πραγματικής δυνατότητας ελέγχου και ευελιξίας σε ένα πλαίσιο που θα μπορούσε να δημιουργήσει και να επεξεργαστεί εικόνες προσώπων σε πραγματικά λεπτομερές επίπεδο, χωρίς να σύρετε ανεπιθύμητους “επιβιβάστες” σε αυτές τις μετατροπές.

Σε μέγιστη σύζευξη (πάνω αριστερά), όλα που μπορείτε να κάνετε είναι να αλλάξετε την εικόνα ενός εκμαθημένου δικτύου GAN στην εικόνα ενός άλλου ατόμου.

Αυτό είναι αποτελεσματικά η χρήση της τελευταίας τεχνολογίας AI για την επεξεργασία εικόνων για να επιτύχετε κάτι που είχε ήδη λυθεί με άλλους τρόπους πάνω από τριάντα χρόνια πριν.

Με κάποιο βαθμό διαχωρισμού (‘Μέσος Διαχωρισμός’ στην προηγούμενη εικόνα), είναι δυνατό να πραγματοποιούνται αλλαγές βασισμένες στο στυλ, όπως το χρώμα μαλλιών, η έκφραση, η εφαρμογή κοσμητικών, και περιορισμένη περιστροφή κεφαλής, μεταξύ άλλων.

Πηγή: FEAT: Face Editing with Attention, Φεβρουάριος 2022, https://arxiv.org/pdf/2202.02713.pdf

Υπήρχε μια σειρά από προσπάθειες τα τελευταία δύο χρόνια για τη δημιουργία διαδραστικών περιβαλλόντων επεξεργασίας προσώπων που επιτρέπουν στον χρήστη να αλλάξει χαρακτηριστικά προσώπων με ρυθμιστικά και άλλες παραδοσιακές διασύνδεσεις, ενώ διατηρούν τις βασικές λειτουργίες του στόχου όταν κάνουν προσθήκες ή αλλαγές. Ωστόσο, αυτό αποδείχθηκε μια πρόκληση λόγω της υποκείμενης σύζευξης χαρακτηριστικών και στυλ στον λανθάνοντα χώρο του GAN.

Για παράδειγμα, το γυαλιά χαρακτηριστικό είναι συχνά συνυφασμένο με το ηλικία χαρακτηριστικό, που σημαίνει ότι η προσθήκη γυαλιών μπορεί επίσης να “γεράσει” το πρόσωπο, ενώ η γήρανση του προσώπου μπορεί να προσθέσει γυαλιά, ανάλογα με το βαθμό εφαρμογής διαχωρισμού υψηλού επιπέδου χαρακτηριστικών (δείτε ‘Δοκιμές’ παρακάτω για παραδείγματα).

Το πιο αξιοσημείωτο είναι ότι ήταν σχεδόν αδύνατο να αλλάξετε το χρώμα μαλλιών και άλλα χαρακτηριστικά μαλλιών χωρίς να ξαναυπολογίσετε οι τρίχες και η διάταξή τους, κάτι που δημιουργεί ένα τρεμόπαιγμα κατά τη μετάβαση.

Πηγή: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Μετακίνηση GAN από λανθάνοντα σε λανθάνοντα χώρο

Μια νέα έρευνα της Adobe (ADBE ) υποβεβλημένη για το WACV 2022 προσφέρει μια νέα προσέγγιση σε αυτά τα υποκείμενα ζητήματα σε ένα έγγραφο με τίτλο Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images.

Συμπληρωματικό υλικό από την εργασία Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Οι βασικές ιδιότητες του παραγόμενου προσώπου δεν παρασύρονται σε άσχετες αλλαγές. Δείτε το πλήρες βίντεο στο τέλος του άρθρου για περισσότερες λεπτομέρειες και υψηλότερη ανάλυση. Πηγή: https://www.youtube.com/watch?v=rf_61llRH0Q

Το έγγραφο είναι υπό την ηγεσία του Applied Scientist της Adobe Siavash Khodadadeh, μαζί με τέσσερις άλλους ερευνητές της Adobe και έναν ερευνητή από το Τμήμα Πληροφορικής του Πανεπιστημίου της Κεντρικής Φλόριντα.

Το κομμάτι είναι ενδιαφέρον κυρίως επειδή η Adobe έχει λειτουργήσει σε αυτόν τον χώρο για κάποιο χρόνο, και είναι ελκυστικό να φανταστεί αυτή η λειτουργικότητα να εισέρχεται σε ένα επόμενο έργο της Creative Suite· αλλά κυρίως επειδή η αρχιτεκτονική που δημιουργήθηκε για το έργο λαμβάνει μια διαφορετική προσέγγιση για τη διατήρηση της οπτικής ακεραιότητας σε έναν επεξεργαστή προσώπων GAN ενώ γίνονται αλλαγές.

Οι συγγραφείς δηλώνουν:

‘[Εκπαιδεύουμε] ένα νευρωνικό δίκτυο για να εκτελεί μια μετατροπή latent-to-latent που βρίσκει την κωδικοποίηση latent που αντιστοιχεί στην εικόνα με το αλλαγμένο χαρακτηριστικό. Καθώς η τεχνική είναι one-shot, δεν βασίζεται σε μια γραμμική ή μη γραμμική τροχιά της σταδιακής αλλαγής των χαρακτηριστικών.’

‘Με την εκπαίδευση του δικτύου από την αρχή έως το τέλος σε ολόκληρη τη διαδικασία δημιουργίας, το σύστημα μπορεί να προσαρμοστεί στους λανθάνοντες χώρους των έτοιμων αρχιτεκτονικών παραγωγής. Ιδιότητες συντήρησης, όπως η διατήρηση της ταυτότητας του ατόμου, μπορούν να κωδικοποιηθούν στη μορφή απωλειών εκπαίδευσης.’

‘Μόλις το δίκτυο latent-to-latent εκπαιδευτεί, μπορεί να ξαναχρησιμοποιηθεί για αυθαίρετες εικόνες χωρίς επανεκπαίδευση.’

Αυτό το τελευταίο σημαίνει ότι η προτεινόμενη αρχιτεκτονική φτάνει με τον τελικό χρήστη σε μια ολοκληρωμένη κατάσταση. Έχει ακόμα την ανάγκη να τρέξει ένα νευρωνικό δίκτυο σε τοπικούς πόρους, αλλά νέες εικόνες μπορούν να “πεταχτούν” και να είναι έτοιμες για αλλαγή σχεδόν αμέσως,καθώς το πλαίσιο είναι αποσυνδεμένο αρκετά για να μην χρειάζεται περαιτέρω εκπαίδευση ειδικά για την εικόνα.

Φύλο και γενειάδα αλλάζουν καθώς τα ρυθμιστικά χαράζουν τυχαίες και αυθαίρετες διαδρομές μέσω του latent χώρου, όχι μόνο ‘μετακίνηση μεταξύ των τελικών σημείων’. Δείτε το βίντεο στο τέλος του άρθρου για περισσότερες μετατροπές σε καλύτερη ανάλυση.

Μεταξύ των κύριων επιτευγμάτων στη δουλειά είναι η ικανότητα του δικτύου να “παγώσει” ταυτότητες στο latent χώρο αλλάζοντας μόνο το χαρακτηριστικό σε ένα στόχο διανύσματος, και παρέχοντας “διορθωτικούς όρους” που συντηρούν ταυτότητες που μετατρέπονται.

Ουσιαστικά, το προτεινόμενο δίκτυο είναι ενσωματωμένο σε μια ευρύτερη αρχιτεκτονική που διευθύνει όλα τα επεξεργασμένα στοιχεία, τα οποία περνούν από προ-εκπαιδευμένα στοιχεία με παγωμένα βάρη που δεν θα παράγουν απροσδόκητες πλευρικές επιπτώσεις στις μετατροπές.

Καθώς η διαδικασία εκπαίδευσης βασίζεται σε τριπλές που μπορούν να δημιουργηθούν είτε από μια εικόνα σπόρου (υπό GAN inversion) είτε από μια υπάρχουσα αρχική κωδικοποίηση latent, ολόκληρη η διαδικασία εκπαίδευσης είναι μη επιβλεπόμενη, με τις σιωπηλές ενέργειες του συνηθισμένου εύρους συστημάτων ετικέτας και επιμέλειας σε τέτοιους συστήματα αποτελούνται στην αρχιτεκτονική. Στην πραγματικότητα, το νέο σύστημα χρησιμοποιεί έτοιμα μοντέλα παλινδρόμησης χαρακτηριστικών:

‘[Ο] αριθμός των χαρακτηριστικών που το δίκτυό μας μπορεί να ελέγξει ανεξάρτητα είναι μόνο περιορισμένος από τις ικανότητες του αναγνωριστικού(-ων) – αν έχεις έναν αναγνωριστή για ένα χαρακτηριστικό, μπορούμε να το προσθέσουμε σε αυθαίρετα πρόσωπα. Σε πειράματά μας, εκπαιδεύσαμε το δίκτυο latent-to-latent για να επιτρέψουμε την προσαρμογή 35 διαφορετικών χαρακτηριστικών προσώπων, περισσότερα από οποιαδήποτε προηγούμενη προσέγγιση.’

Το σύστημα ενσωματώνει μια πρόσθετη ασφάλεια κατά των μη επιθυμητών “πλευρικών” μετατροπών: στην απουσία μιας αίτησης για αλλαγή χαρακτηριστικού, το δίκτυο latent-to-latent θα χαρτογραφήσει ένα λανθάνον διάνυσμα στον εαυτό του, αυξάνοντας περαιτέρω τη σταθερή διατήρηση της ταυτότητας του στόχου.

Αναγνώριση προσώπων

Ένα επαναλαμβανόμενο ζήτημα με GAN και encoder/decoder-βασισμένες επεξεργαστές προσώπων των τελευταίων ετών ήταν ότι οι εφαρμοζόμενες μετατροπές τείνουν να υποβαθμίζουν την ομοιότητα. Για να καταπολεμήσουν αυτό, το έργο της Adobe χρησιμοποιεί ένα ενσωματωμένο δίκτυο αναγνώρισης προσώπων που ονομάζεται FaceNet ως διαχωριστή.

Αρχιτεκτονική του έργου, δείτε χαμηλά αριστερά για την ένταξη του FaceNet. Πηγή: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(Σε προσωπικό επίπεδο, αυτό φαίνεται μια ενθαρρυντική κίνηση προς την ενσωμάτωση τυποποιημένων συστημάτων αναγνώρισης προσώπων και ακόμη και αναγνώρισης εκφράσεων σε παραγωγικά δίκτυα, ομολογουμένως ο καλύτερος τρόπος για την υπέρβαση της τυφλής αντιστοίχισης pixel-to-pixel που κυριαρχεί στις τρέχουσες αρχιτεκτονικές deepfake με το κόστος της πιστότητας της έκφρασης και άλλων σημαντικών τομέων στον τομέα της γεννήτριας προσώπων.)

Πρόσβαση σε Όλους τους Χώρους στο Latent Χώρο

Ένα άλλο εντυπωσιακό χαρακτηριστικό του πλαισίου είναι η ικανότητά του να ταξιδεύει αυθαίρετα μεταξύ πιθανών μετατροπών στο latent χώρο, κατά τη βούληση του χρήστη. Ορισμένα προηγούμενα συστήματα που παρείχαν διερευνητικές διεπαφές άφηναν συχνά τον χρήστη να μετακινείται μεταξύ σταθερών χρονοσειρών μετατροπής χαρακτηριστικών – εντυπωσιακό, αλλά συχνά μια γραμμική ή περιοριστική εμπειρία.

Από το Improving GAN Equilibrium by Raising Spatial Awareness: εδώ ο χρήστης μετακινείται μέσα σε μια σειρά πιθανών σημείων μετάβασης μεταξύ δύο τοποθεσιών στο latent χώρο, αλλά μέσα στα όρια προ-εκπαιδευμένων τοποθεσιών στο latent χώρο. Για να εφαρμόσετε άλλους τύπους μετατροπής με βάση το ίδιο υλικό, απαιτείται αναδιαμόρφωση και/ή επανεκπαίδευση. Πηγή: https://genforce.github.io/eqgan/

Συμπληρώνοντας την ικανότητα να είναι αποδεκτικός σε εντελώς νέες εικόνες του χρήστη, ο χρήστης μπορεί επίσης να “παγώσει” στοιχεία που θέλει να διατηρηθούν κατά τη διαδικασία μετατροπής. Με αυτόν τον τρόπο ο χρήστης μπορεί να διασφαλίσει ότι (για παράδειγμα) τα φόντα δεν μετακινούνται, ή ότι τα μάτια παραμένουν ανοιχτά ή κλειστά.

Δεδομένα

Το δίκτυο παλινδρόμησης χαρακτηριστικών εκπαιδεύτηκε σε τρία σύνολα δεδομένων: FFHQ, CelebAMask-HQ, και ένα τοπικό σύνολο δεδομένων που δημιουργήθηκε από GAN που λήφθηκε με δειγματοληψία 400.000 διανυσμάτων από τον Z χώρο του StyleGAN-V2.

Εξω-διανομής (OOD) εικόνες φιλτράρονται, και χαρακτηριστικά εξάγονται χρησιμοποιώντας τη Face API της Microsoft, με το αποτέλεσμα σύνολο να χωρίζεται 90/10, αφήνοντας 721.218 εικόνες εκπαίδευσης και 72.172 εικόνες δοκιμής για σύγκριση.

Δοκιμές

Αν και το πειραματικό δίκτυο ήταν αρχικά διαμορφωμένο για να φιλοξενήσει 35 πιθανές μετατροπές, αυτές μειώθηκαν σε οκτώ για να αναλάβουν αναλογική δοκιμή ενάντια στα συγκρίσιμα πλαισια InterFaceGAN, GANSpace, και StyleFlow.

Οι οκτώ επιλεγμένοι χαρακτηρισμοί ήταν Ηλικία, Φαλάκρα, Γενειάδα, Έκφραση, Φύλο, Γυαλιά, Κατακόρυφη κλίση κεφαλής (pitch), και Yaw. Ήταν απαραίτητο να αναμορφωθούν τα ανταγωνιστικά πλαισια για ορισμένα από τα οκτώ χαρακτηριστικά που δεν είχαν προβλεφθεί στην αρχική διανομή, όπως η προσθήκη φαλάκρας και γενειάδας στο InterFaceGAN.

Όπως αναμενόταν, υψηλότερος βαθμός σύζευξης συνέβη στις ανταγωνιστικές αρχιτεκτονικές. Για παράδειγμα, σε ένα τεστ, το InterFaceGAN και το StyleFlow άλλαξαν το φύλο του υποκειμένου όταν ζητήθηκαν να εφαρμόσουν ηλικία:

Δύο από τα ανταγωνιστικά πλαισια έριξαν μια αλλαγή φύλου στην ‘ηλικία’ μετατροπή, αλλάζοντας επίσης το χρώμα μαλλιών χωρίς άμεση πρόθεση του χρήστη.

Επιπλέον, δύο από τους ανταγωνιστές βρήκαν ότι τα γυαλιά και η ηλικία είναι αδιαχώριστα χαρακτηριστικά:

Γυαλιά και χρώμα μαλλιών αλλάζουν χωρίς επιπλέον χρέωση!

Δεν είναι μια ομοιόμορφη νίκη για την έρευνα: όπως μπορείτε να δείτε στο συνοδευτικό βίντεο στο τέλος του άρθρου, το πλαίσιο είναι το λιγότερο αποτελεσματικό όταν προσπαθεί να εξαγάγει διαφορετικές γωνίες (yaw), ενώ το GANSpace έχει ένα καλύτερο γενικό αποτέλεσμα για ηλικία και την επιβολή γυαλιών. Το πλαίσιο latent-to-latent ισοφάρισε με το GANSpace και το StyleFlow σχετικά με την προσθήκη κατακόρυφης κλίσης (pitch) της κεφαλής.

Αποτελέσματα υπολογισμένα με βάση μια βαθμονόμηση του ανιχνευτή προσώπων MTCNN. Χαμηλότερα αποτελέσματα είναι καλύτερα.

Για περαιτέρω λεπτομέρειες και καλύτερη ανάλυση παραδειγμάτων, δείτε το συνοδευτικό βίντεο στο τέλος του άρθρου.

Πρώτη δημοσίευση 16ης Φεβρουαρίου 2022.