Ορχηστρώνοντας τη σύνθεση προσώπου με σεμαντική διαίρεση

Το πρόβλημα με την εφεύρεση ανθρώπινων προσώπων με ένα Γεννητικό Αντιπαλικό Δίκτυο (GAN) είναι ότι τα δεδομένα του πραγματικού κόσμου που τροφοδοτούν τις ψευδείς εικόνες έρχονται με απροσδόκητες και αδιαίρετες προσφύσεις, όπως τα μαλλιά στο κεφάλι (και/ή στο πρόσωπο), τα φόντα και διάφορα είδη προσωπικών αντικειμένων, όπως γυαλιά, καπέλα και σκουλαρίκια· και ότι αυτά τα περιφερειακά στοιχεία της προσωπικότητας αναπόφευκτα συνδέονται με μια “συνδεδεμένη” ταυτότητα.

Υπό τις πιο συχνές αρχιτεκτονικές GAN, αυτά τα στοιχεία δεν είναι προσβάσιμα στο δικό τους αφιερωμένο χώρο, αλλά είναι πολύ στενά συνδεδεμένα με το πρόσωπο στο οποίο είναι ενσωματωμένα.

Ούτε είναι συνήθως δυνατό να διατάξει ή να επηρεάσει την εμφάνιση υποενότητας ενός προσώπου που δημιουργείται από ένα GAN, όπως η στενότητα των ματιών, η επιμήκυνση της μύτης ή η αλλαγή του χρώματος των μαλλιών με τον τρόπο που θα μπορούσε να κάνει ένας καλλιτέχνης.

Ωστόσο, ο τομέας της έρευνας της σύνθεσης εικόνων εργάζεται πάνω σε αυτό:

Νέα έρευνα για την γεννητική σύνθεση προσώπου έχει διαχωρίσει τους διάφορους τομείς του προσώπου σε διακριτά τμήματα, τα οποία έχουν το δικό τους ‘γεννήτορα’, που λειτουργεί σε συναρμογή με άλλους γεννήτορες για την εικόνα. Στη μέση σειρά, βλέπουμε τον συντονιστή ‘χάρτη χαρακτηριστικών’ που δημιουργεί επιπλέον περιοχές του προσώπου. Πηγή: https://arxiv.org/pdf/2112.02236.pdf

Σε một νέο έγγραφο, ερευνητές από το αμερικανικό τμήμα της κινεζικής πολυεθνικής τεχνολογικής εταιρείας ByteDance έχουν χρησιμοποιήσει σεμαντική διαίρεση για να διαχωρίσουν τους συνιστωσούς του προσώπου σε διακριτά τμήματα, τα οποία έχουν το δικό τους γεννήτορα, έτσι ώστε να είναι δυνατό να επιτευχθεί ένας μεγαλύτερος βαθμός διαχωρισμού. Ή, τουλάχιστον, αισθητηριακός διαχωρισμός.

Το έγγραφο έχει τον τίτλο SemanticStyleGAN: Μάθηση συνθετικών γεννητικών προτύπων για τον έλεγχο της σύνθεσης εικόνων και της επεξεργασίας και συνοδεύεται από μια πλούσια σελίδα του έργου που περιλαμβάνει πολλά παραδείγματα των λεπτομερών μετασχηματισμών που μπορούν να επιτευχθούν όταν τα στοιχεία του προσώπου και του κεφαλιού απομονώνονται με αυτόν τον τρόπο.

Η υφή του προσώπου, το στυλ και το χρώμα των μαλλιών, το σχήμα και το χρώμα των ματιών και πολλά άλλα χαρακτηριστικά του προσώπου που δημιουργούνται από το GAN μπορούν τώρα να διαχωριστούν, αν και η ποιότητα του διαχωρισμού και το επίπεδο του ελέγχου μπορεί να ποικίλλει ανάλογα με την περίπτωση. Πηγή: https://semanticstylegan.github.io/

Ο ακαταγωνιστός.latent χώρος

Ένα Γεννητικό Αντιπαλικό Δίκτυο που έχει εκπαιδευτεί για να δημιουργήσει πρόσωπα – όπως ο StyleGan2 γεννήτορας που τροφοδοτεί την δημοφιλή ιστοσελίδα thispersondoesnotexist.com – σχηματίζει σύνθετες σχέσεις μεταξύ των ‘χαρακτηριστικών’ (όχι στο πρόσωπο) που προέρχονται από την ανάλυση χιλιάδων πραγματικών προσώπων, για να μάθει πώς να δημιουργήσει πραγματικά ανθρώπινα πρόσωπα.

Αυτές οι κρυφές διαδικασίες είναι ‘κρυφές κωδικές’, συλλογικά ο κρυφός χώρος. Είναι δύσκολο να αναλυθούν και, ως εκ τούτου, δύσκολο να ελεγχθούν.

Την περασμένη εβδομάδα, ένα διαφορετικό νέο έργο σύνθεσης εικόνων εμφανίστηκε, το οποίο προσπαθεί να ‘χαρτογραφήσει’ αυτόν τον近-μυστικό χώρο κατά τη διάρκεια της διαδικασίας εκπαίδευσης και στη συνέχεια να χρησιμοποιήσει αυτούς τους χάρτες για να πλοηγηθεί σε αυτόν, και διάφορες άλλες λύσεις έχουν προταθεί για να αποκτήσουν μεγαλύτερο έλεγχο του περιεχομένου που δημιουργείται από το GAN.

Κάποια πρόοδος έχει επιτευχθεί, με μια ποικιλία αρχιτεκτονικών GAN που προσπαθούν να ‘πιάσουν’ τον κρυφό χώρο με κάποιον τρόπο και να ελέγξουν τις γεννήσεις του προσώπου από εκεί. Τέτοιες προσπάθειες περιλαμβάνουν InterFaceGAN, StyleFlow, GANSpace, και StyleRig, μεταξύ άλλων προτάσεων σε μια συνεχώς παραγωγική ροή νέων εγγράφων.

Όλα αυτά έχουν κοινό ότι έχουν περιορισμένους βαθμούς διαχωρισμού· οι έξυπνοι διακόπτες GUI για διάφορα χαρακτηριστικά (όπως ‘μαλλιά’ ή ‘έκφραση’) τείνουν να τραβούν το φόντο και/ή άλλα στοιχεία στη διαδικασία μετασχηματισμού, και κανένα από αυτά (συμπεριλαμβανομένου του εγγράφου που συζητείται εδώ) δεν έχει λύσει το πρόβλημα του χρονικού νευρικού μαλλιού.

Διαίρεση και κατάκτηση του κρυφού χώρου

Σε κάθε περίπτωση, η έρευνα της ByteDance ακολουθεί μια διαφορετική προσέγγιση: αντί να προσπαθήσει να αποκαλύψει τα μυστήρια ενός seul GAN που λειτουργεί σε ολόκληρη την εικόνα του προσώπου, το SemanticStyleGAN διατυπώνει μια βασισμένη σε διάταξη προσέγγιση, όπου τα πρόσωπα ‘συνθέτονται’ από ξεχωριστές διαδικασίες γεννήτορα.

Για να επιτύχει αυτήν τη διάκριση των (προσώπων) χαρακτηριστικών, το SemanticStyleGAN χρησιμοποιεί Fourier Features για να δημιουργήσει einen σεμαντικό χάρτη διαίρεσης (απλά χρωματισμένες διακρίσεις της τοπογραφίας του προσώπου, που εμφανίζονται προς τα δεξιά της εικόνας παρακάτω) για να απομονώσει τις περιοχές του προσώπου που θα λάβουν ατομική, αφιερωμένη προσοχή.

Αρχιτεκτονική της νέας προσέγγισης, η οποία επιβάλλει έναν ενδιάμεσο слой σεμαντικής διαίρεσης στο πρόσωπο, αποτελώντας ουσιαστικά το πλαίσιο σε einen συντονιστή πολλών γεννητόρων για διάφορες πτυχές της εικόνας.

Οι χάρτες διαίρεσης δημιουργούνται για τις ψευδείς εικόνες που παρουσιάζονται συστηματικά στον διακρίβυ του GAN για αξιολόγηση καθώς το μοντέλο βελτιώνεται, και στις (μη ψευδείς) πηγαίες εικόνες που χρησιμοποιούνται για την εκπαίδευση.

Στην αρχή της διαδικασίας, ένας Πολυστρωματικός Περίπλοκος (MLP) αρχικά χαρτογραφεί τυχαία επιλεγμένες κρυφές κωδικές, οι οποίες θα χρησιμοποιηθούν για να ελέγξουν τα βάρη των πολλών γεννητόρων που θα λάβουν τον έλεγχο ενός τμήματος της εικόνας του προσώπου που θα παραχθεί.

Κάθε γεννήτορας δημιουργεί einen χαρακτηριστικό χάρτη και einen προσομοιωμένο χάρτη βάθους από τις Fourier Features που τροφοδοτούνται σε αυτόν από πάνω. Αυτή η έξοδος είναι η βάση για τις μάσκες διαίρεσης.

Το κατωτέρω δίκτυο απόδοσης είναι μόνο προϋποθεμένο από τους προηγούμενους χαρακτηριστικούς χάρτες, και τώρα γνωρίζει πώς να δημιουργήσει einen υψηλότερης ανάλυσης χάρτη διαίρεσης, διευκολύνοντας την τελική παραγωγή της εικόνας.

Τέλος, ένας δίχαλος διακρίβυς εποπτεύει την συνδεδεμένη κατανομή και των RGB εικόνων (οι οποίες, για εμάς, είναι το τελικό αποτέλεσμα) και των χαρτών διαίρεσης που έχουν επιτρέψει να διαχωριστούν.

Με το SemanticStyleGAN, δεν υπάρχουν απροσδόκητες οπτικές διαταραχές όταν ‘ρυθμίζουμε’ τις αλλαγές των χαρακτηριστικών του προσώπου, επειδή κάθε χαρακτηριστικό του προσώπου έχει εκπαιδευτεί ξεχωριστά μέσα στο πλαίσιο της ορχήστρας.

Αντικατάσταση φόντου

Επειδή ο σκοπός του έργου είναι να αποκτήσει μεγαλύτερο έλεγχο του περιβάλλοντος που δημιουργείται, η διαδικασία απόδοσης/σύνθεσης περιλαμβάνει einen γεννήτορα φόντου που έχει εκπαιδευτεί σε πραγματικές εικόνες.

Ένας πειστικός λόγος για τον οποίο τα φόντα δεν τραβούν στις αλλαγές του προσώπου στο SemanticStyleGAN είναι ότι βρίσκονται σε έναν πιο μακρινό слой και είναι πλήρη, αν και μερικώς κρυμμένα από τα υπερθεμένα πρόσωπα.

Επειδή οι χάρτες διαίρεσης θα οδηγήσουν σε πρόσωπα χωρίς φόντα, αυτά τα ‘πτώση’ φόντα δεν μόνο παρέχουν контέxt, αλλά και ρυθμίζονται για να είναι κατάλληλα, σε όρους φωτισμού, για τα υπερθεμένα πρόσωπα.

Εκπαίδευση και δεδομένα

Τα ‘ρεαλιστικά’ μοντέλα εκπαιδεύτηκαν στις αρχικές 28.000 εικόνες στο CelebAMask-HQ, με αναδιαμόρφωση σε 256×256 pixels για να ταιριάζουν στο χώρο εκπαίδευσης (δηλαδή τον διαθέσιμο VRAM, ο οποίος καθορίζει το μέγιστο μέγεθος batch ανά επανάληψη).

Ένα αριθμός μοντέλων εκπαιδεύτηκαν, και διάφορα εργαλεία, δεδομένα και αρχιτεκτονικές πειραματίστηκαν κατά τη διάρκεια της διαδικασίας ανάπτυξης και των διαφόρων τεστ αφαίρεσης. Το μεγαλύτερο παραγωγικό μοντέλο του έργου είχε ανάλυση 512×512, εκπαιδεύτηκε σε διάστημα 2,5 ημερών σε οκτώ NVIDIA Tesla V100 GPUs. Μετά την εκπαίδευση, η δημιουργία μιας đơnικής εικόνας λαμβάνει 0,137 δευτερόλεπτα σε einen lobe GPU χωρίς παραλληλοποίηση.

Οι πιο καρτούν/ανίμε-στυλ πειραματισμοί που παρουσιάζονται σε πολλά βίντεο στη σελίδα του έργου (βλ. σύνδεσμο παραπάνω) προέρχονται από διάφορα δημοφιλή σύνολα δεδομένων προσώπων, συμπεριλαμβανομένων Toonify, MetFaces, και Bitmoji.

Μια προσωρινή λύση;

Οι συγγραφείς ισχυρίζονται ότι δεν υπάρχει λόγος για τον οποίο το SemanticStyleGAN δεν θα μπορούσε να εφαρμοστεί σε άλλους τομείς, όπως τοπία, αυτοκίνητα, εκκλησίες και όλα τα άλλα ‘πρότυπα’ τομείς στους οποίους οι νέες αρχιτεκτονικές υποβάλλονται συνήθως στις αρχές της καριέρας τους.

Ωστόσο, το έγγραφο παραδέχεται ότι καθώς ο αριθμός των κατηγοριών αυξάνεται για einen τομέα (όπως ‘αυτοκίνητο’, ‘‘φωτιστικό δρόμου’, ‘πεζός’, ‘κτίριο’, ‘αυτοκίνητο’ κ.λπ.), αυτή η τεμαχισμένη προσέγγιση μπορεί να γίνει ακαταλληλή με πολλούς τρόπους, χωρίς περαιτέρω εργασία για την βελτιστοποίηση. Το σύνολο δεδομένων CityScapes, για παράδειγμα, έχει 30 κατηγορίες σε 8 κατηγορίες.

Είναι δύσκολο να πει κανείς αν το τρέχον ενδιαφέρον για την κατάκτηση του κρυφού χώρου πιο直接 είναι τόσο καταδικασμένο όσο η αλχημεία· ή αν οι κρυφές κωδικές θα είναι τελικά αποκωδικοποιήσιμες και ελεγχόμενες – μια εξέλιξη που θα μπορούσε να καταστήσει αυτήν την πιο ‘εξωτερικά σύνθετη’ προσέγγιση περιττή.