GAN ως προγραμματιστής προσώπου για ‘παραδοσιακά’ CGI

Γνώμη Όταν τα Γεννητικά Ανταγωνιστικά Δίκτυα (GANs) απέδειξαν για πρώτη φορά την ικανότητά τους να αναπαράγουν εντυπωσιακά ρεαλιστικά 3D πρόσωπα, η έναρξή τους προκάλεσε χρυσορυχική έρευνα για το ανεκμετάλλευτο潜能 των GANs για τη δημιουργία χρονικά συνεπούς βίντεο με ανθρώπινα πρόσωπα.

Κάπου στο.latent χώρο του GAN, φαινόταν ότι υπήρχε κρυφό τάξη και ρητορική – ένα σχήμα νασέντα σημασιολογικής λογικής, θαμμένο στους κωδικούς latents, που θα επέτρεπε σε ένα GAN να γεννήσει συνεπή πολλαπλά views και πολλαπλά ερμηνείες (όπως αλλαγές έκφρασης) του ίδίου προσώπου – και στη συνέχεια να προσφέρει μια χρονικά-πείστικη μέθοδο deepfake βίντεο που θα έβγαζε autoencoders από το νερό.

Η υψηλή ανάλυση εξόδου θα ήταν εύκολη, σε σύγκριση με το χαμηλής ανάλυσης περιβάλλοντα στα οποία οι περιορισμοί GPU αναγκάζουν το DeepFaceLab και το FaceSwap να λειτουργούν, ενώ η “ζώνη ανταλλαγής” ενός προσώπου (σε εργασίες autoencoder) θα γινόταν η “ζώνη δημιουργίας” ενός GAN, ενημερωμένο από một χέρι εικόνων εισόδου, ή ακόμη και μόνο μια εικόνα.

Δεν θα υπήρχε πλέον ανταπόκριση μεταξύ του “ανταλλαγής” και “ξενιστή” προσώπου, επειδή το σύνολο της εικόνας θα δημιουργούνταν από την αρχή, συμπεριλαμβανομένων μαλλιών, γνάθων και των εξωτερικότερων ακραίων των γραμμών του προσώπου, που συχνά αποδεικνύονται μια πρόκληση για τα “παραδοσιακά” autoencoder deepfakes.

Το Χειμώνα του GAN Facial Video

Όπως αποδείχθηκε, δεν θα ήταν τόσο εύκολο. Τελικά, η αποσύνδεση αποδείχθηκε το κεντρικό ζήτημα και παραμένει η κύρια πρόκληση. Πώς μπορείτε να διατηρήσετε μια διακριτή ταυτότητα προσώπου και να αλλάξετε την πόζα ή την έκφραση χωρίς να συλλέξετε μαζί ένα σώμα αναφοράς εικόνων που διδάσκουν ένα νευρωνικό δίκτυο τι συμβαίνει όταν αυτές οι αλλαγές πραγματοποιούνται, όπως κάνουν τα συστήματα autoencoder;

Αντίθετα, η μεταγενέστερη σκέψη στην έρευνα GAN facial enactment και σύνθεσης ήταν ότι μια ταυτότητα εισόδου μπορεί να γίνει αντικείμενο τηλεολογικών, γενικών, προτυποποιημένων μετασχηματισμών που δεν είναι ειδικά για την ταυτότητα. Ένα παράδειγμα αυτού θα ήταν να εφαρμόσετε μια έκφραση σε ένα GAN πρόσωπο που δεν ήταν παρόν σε καμία από τις εικόνες του προσώπου που το GAN γνωρίζει.

Από το 2022 paper Tensor-based Emotion Editing in the StyleGAN Latent Space, προτυποποιημένες εκφράσεις εφαρμόζονται σε ένα εισαγόμενο πρόσωπο από το FFHQ dataset. Source: https://arxiv.org/pdf/2205.06102.pdf

Είναι προφανές ότι μια “ένα μέγεθος ταιριάζει σε όλα” προσέγγιση δεν μπορεί να καλύψει την ποικιλία των εκφράσεων προσώπου που είναι μοναδικές για ένα άτομο. Πρέπει να αναρωτηθούμε αν ένα χαμόγελο τόσο μοναδικό όπως αυτό του Jack Nicholson ή του Willem Dafoe θα μπορούσε ποτέ να λάβει μια πιστή ερμηνεία υπό την επήρεια τέτοιων “μέσων μέσων” κωδικών latents.

Ποιος είναι αυτός ο χαριτωμένος Λατίνος ξένος; Αν και η μέθοδος GAN παράγει ένα πιο ρεαλιστικό και υψηλής ανάλυσης πρόσωπο, η μετασχηματισμός δεν ενημερώνεται από πολλαπλές πραγματικές εικόνες του ηθοποιού, όπως συμβαίνει με το DeepFaceLab, το οποίο εκπαιδεύεται εκτενώς σε μια βάση δεδομένων χιλιάδων τέτοιων εικόνων, και κατά συνέπεια η ομοιότητα είναι επηρεασμένη. Εδώ (πίσω) ένα μοντέλο DeepFaceLab εισάγεται στο DeepFaceLive, μια εφαρμογή ροής του δημοφιλούς και αμφιλεγόμενου λογισμικού. Παραδείγματα είναι από https://www.youtube.com/watch?v=9tr35y-yQRY (2022) και https://arxiv.org/pdf/2205.06102.pdf.

Πολλά GAN facial expression editors έχουν προταθεί τα τελευταία χρόνια, τα περισσότερα από αυτά ασχολούνται με άγνωστες ταυτότητες, όπου η πιστότητα των μετασχηματισμών είναι αδύνατο για τον καθημερινό αναγνώστη να γνωρίζει,既然 αυτά δεν είναι οικεία πρόσωπα.

Αγνωστες ταυτότητες μετασχηματίζονται στο 2020 Cascade-EF-GAN. Source: https://arxiv.org/pdf/2003.05905.pdf

Ίσως το GAN face editor που έχει λάβει το μεγαλύτερο ενδιαφέρον (και παραπομπές) τα τελευταία三年 είναι InterFaceGAN, το οποίο μπορεί να thực hiện διαδρομές στο χώρο latents που σχετίζονται με πόζα (γωνία της κάμερας/προσώπου), έκφραση, ηλικία, φύλο και άλλα essencial qualities.

Οι ικανότητες “μορφώματος” του InterFaceGAN και παρόμοιων πλαισίων είναι κυρίως ένας τρόπος να εικονογραφηθεί η διαδρομή προς τη μετασχηματισμό ως μια εικόνα αναπροβάλλεται πίσω μέσω ενός κατάλληλου κωδικού latents (όπως “ηλικία”). Σε όρους παραγωγής βίντεο με χρονική συνέχεια, τέτοιες схемές μέχρι τώρα έχουν προκύψει ως “εντυπωσιακά ατυχήματα”.

Εάν προστεθεί σε αυτό η δυσκολία δημιουργίας χρονικά συνεπούς μαλλιών, και το γεγονός ότι η τεχνική της εξερεύνησης/χειραγώγησης του κωδικού latents δεν έχει κανένα εγγενή χρονικό οδηγό να εργαστεί με (και είναι δύσκολο να γνωρίζουμε πώς να.inject τέτοιους οδηγούς σε ένα πλαίσιο που σχεδιάστηκε για να γεννήσει και να αναπαράγει εικόνες, και δεν έχει κανένα εγγενή provision για βίντεο εξόδου), μπορεί να είναι λογικό να συμπεράνουμε ότι το GAN δεν είναι All You Need™ για τη σύνθεση βίντεο προσώπου.

Επομένως, μεταγενέστερες προσπάθειες έχουν οδηγήσει σε βελτιώσεις στην αποσύνδεση, ενώ άλλοι έχουν προσθέσει άλλες συμβάσεις στην υπολογιστική όραση ως “στρώμα οδηγίας”, όπως η χρήση της σημασιολογικής分割 ως μηχανισμού ελέγχου στο晚 2021 paper SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing.

Η σημασιολογική分割 ως μέθοδος instrumentality του χώρου latents στο SemanticStyleGAN. Source: https://semanticstylegan.github.io/

Παραμετρική Οδηγία

Η έρευνα GAN facial synthesis κατευθύνεται ολοένα και περισσότερο προς τη χρήση “παραδοσιακών” παραμετρικών προσώπων CGI ως μέθοδο για να οδηγήσει και να φέρει τάξη στους εντυπωσιακούς αλλά ανεξέλεγκτους κωδικούς latents στο χώρο latents του GAN.

Αν και τα παραμετρικά στοιχεία προσώπου έχουν υπάρξει ένα σταθερό στοιχείο της έρευνας υπολογιστικής όρασης για περισσότερα από είκοσι χρόνια, το ενδιαφέρον για αυτήν την προσέγγιση έχει αυξηθεί τελευταία, με την αυξημένη χρήση Skinned Multi-Person Linear Model (SMPL) παραμετρικών στοιχείων CGI, μια προσέγγιση που πρωτοπορήθηκε από το Max Planck Institute και ILM, και από τότε βελτιώθηκε με το Sparse Trained Articulated Human Body Regressor (STAR) πλαίσιο.

Το SMPL (σε αυτήν την περίπτωση μια παραλλαγή που ονομάζεται SMPL-X) μπορεί να επιβάλλει ένα παραμετρικό mesh CGI που συμφωνεί με την εκτιμώμενη πόζα (συμπεριλαμβανομένων εκφράσεων, αν χρειάζεται) του συνόλου του ανθρώπινου σώματος που εμφανίζεται σε μια εικόνα, επιτρέποντας νέες λειτουργίες να εκτελεστούν στην εικόνα χρησιμοποιώντας το παραμετρικό mesh ως οδηγό όγκου ή αντίληψης. Source: https://arxiv.org/pdf/1904.05866.pdf

Η πιο διακεκριμένη ανάπτυξη σε αυτήν τη γραμμή έχει sido η πρωτοβουλία “Rendering with Style” της Disney το 2019, η οποία συνδύασε τη χρήση παραδοσιακών texture-maps με εικόνες GAN, σε μια προσπάθεια να δημιουργηθεί βελτιωμένη, “deepfake-στυλ” κινούμενη εικόνα:

Παλιό συναντά νέο, στην υβριδική προσέγγιση της Disney για GAN-generated deepfakes. Source: https://www.youtube.com/watch?v=TwpLqTmvqVk

Η προσέγγιση της Disney επιβάλλει παραδοσιακά rendered CGI στοιχεία σε ένα δίκτυο StyleGAN2 για να “παντρεύσει” ανθρώπινα πρόσωπα σε “προβληματικές” περιοχές, όπου η χρονική συνέχεια είναι ένα ζήτημα για τη γεννήση βίντεο – περιοχές όπως η υφή του δέρματος.

Η διαδικασία Rendering with Style.

Από τότε που το παραμετρικό CGI κεφάλι που οδηγεί αυτήν τη διαδικασία μπορεί να τροποποιηθεί και να αλλάξει για να ταιριάξει με τον χρήστη, το GAN-generated πρόσωπο μπορεί να αντανακλούσει αυτές τις αλλαγές, συμπεριλαμβανομένων αλλαγών πόζας και έκφρασης.

Αν και σχεδιασμένο για να παντρεύσει την instrumentality του CGI με τον φυσικό ρεαλισμό των προσώπων GAN, τελικά, τα αποτελέσματα δείχνουν το χειρότερο των δύο κόσμων και ακόμη δεν μπορούν να διατηρήσουν τη υφή μαλλιών και ακόμη και βασικές θέσεις χαρακτηριστικών:

Μια νέα μορφή κοιλάδας αισθήσεων προκύπτει από το Rendering with Style, αν και η αρχή εξακολουθεί να έχει κάποιο δυναμικό.

Το 2020 paper StyleRig: Rigging StyleGAN για 3D έλεγχο πάνω σε εικόνες πορτρέτου ακολουθεί μια ολοένα και πιο δημοφιλή προσέγγιση, με τη χρήση τρισδιάστατων μοντέλων προσώπου (3DMMs) ωςproxies για αλλαγή χαρακτηριστικών σε ένα περιβάλλον StyleGAN, σε αυτήν την περίπτωση μέσω ενός καινούριου δικτύου ρίγμα που ονομάζεται RigNet:

3DMMs σταθμίζονται ωςproxies για ερμηνείες χώρου latents στο StyleRig. Source: https://arxiv.org/pdf/2004.00121.pdf

Ωστόσο, όπως συνήθως με αυτές τις πρωτοβουλίες, τα αποτελέσματα μέχρι τώρα φαίνονται περιορισμένα σε ελάχιστες manipulations πόζας και “απρόσωπες” αλλαγές έκφρασης/αίσθησης.

Το StyleRig βελτιώνει το επίπεδο ελέγχου, αν και η χρονικά συνεχής υφή μαλλιών παραμένει μια ανεπίλυτη πρόκληση. Source: https://www.youtube.com/watch?v=eaW_P85wQ9k

Παρόμοια εξόδου μπορεί να βρεθεί από το MOST-GAN της Mitsubishi Research, ένα 2021 paper που χρησιμοποιεί μη γραμμικά 3DMMs ως αρχιτεκτονική αποσύνδεσης, αλλά που επίσης παλεύει να επιτύχει δυναμική και συνεχή κίνηση.

Η τελευταία έρευνα που προσπαθεί να επιτύχει instrumentality και αποσύνδεση είναι το One-Shot Face Reenactment on Megapixels, το οποίο χρησιμοποιεί παραμετρικά κεφάλια 3DMM ως φιλικό interface για το StyleGAN.

Στην διαδικασία MegaFR του One-Shot Face Reenactment, το δίκτυο εκτελεί σύνθεση προσώπου συνδυάζοντας μια αντεστραμμένη εικόνα του πραγματικού κόσμου με παραμέτρους που λαμβάνονται από ένα απόδοτο μοντέλο 3DMM. Source: https://arxiv.org/pdf/2205.13368.pdf

Το OSFR ανήκει σε μια αυξανόμενη τάξη GAN face editors που προσπαθούν να αναπτύξουν ροές επεξεργασίας Photoshop/After Effects-στυλ όπου ο χρήστης μπορεί να εισάγει μια επιθυμητή εικόνα στην οποία μπορούν να εφαρμοστούν μετασχηματισμοί, αντί να ψάχνει στο χώρο latents για κωδικούς latents που σχετίζονται με μια ταυτότητα.

Πάλι, παραμετρικές εκφράσεις αντιπροσωπεύουν μια υπερκατασκευασμένη και μη προσωπική μέθοδο για να εισαγάγετε έκφραση, οδηγώντας σε manipulations που φαίνονται “αίσθητοι” με τον δικό τους, όχι πάντα θετικό τρόπο.

Εκφράσεις που εγχέονται στο OSFR.

Όπως και με προηγούμενη δουλειά, το OSFR μπορεί να συναγάγει gần-αρχικές πόζες από μια einzεικόνα, και επίσης να εκτελέσει “frontalization”, όπου μια εικόνα που είναι εκτός κέντρου μετατρέπεται σε μια εικόνα mugshot:

Αρχική (πάνω) και Mugshot εικόνες από μια από τις εφαρμογές του OSFR που περιγράφονται στο νέο paper.

Στην πράξη, αυτό το είδος συναγερμού είναι παρόμοιο με κάποιες από τις αρχές φωτογραμμετρίας που υποστηρίζουν Neural Radiance Fields (NeRF), εκτός από το γεγονός ότι η γεωμετρία εδώ πρέπει να οριστεί από μια einzεικόνα, αντί των 3-4 οπτικών γωνιών που επιτρέπουν στο NeRF να ερμηνεύσει τις λείπουσες μεσοδιαστηματικές πόζες και να δημιουργήσει εξερχόμενες νευρωνικές 3D σκηνές με ανθρώπους.

(Ωστόσο, το NeRF δεν είναι All You Need™ ούτε, καθώς φέρει ένα σχεδόν διαφορετικό σύνολο εμποδίων σε σχέση με τα GANs όσον αφορά τη σύνθεση βίντεο προσώπου)

Έχει το GAN μια θέση στη σύνθεση βίντεο προσώπου;

Η επίτευξη δυναμικών εκφράσεων και εκτός-κατανομής πόζες από μια einzεικόνα πηγή φαίνεται να είναι μια αλχημιστική εμμονή στην έρευνα GAN facial synthesis αυτή τη στιγμή, κυρίως επειδή τα GANs είναι η μόνη μέθοδος που μπορεί να παραγάγει αρκετά υψηλής ανάλυσης και σχετικά υψηλής πιστότητας νευρωνικά πρόσωπα: αν και τα deepfake frameworks autoencoder μπορούν να εκπαιδευτούν σε πολλαπλά πραγματικά πόζες και εκφράσεις, πρέπει να λειτουργούν σε VRAM-περιορισμένες εισόδους/εξόδους ανάλυσης, και απαιτούν ένα “ξενιστή”; ενώ το NeRF είναι επίσης περιορισμένο, και – σε αντίθεση με τις άλλες δύο προσεγγίσεις – δεν έχει καθορισμένες μεθόδους για αλλαγή εκφράσεων προσώπου, και υποφέρει από περιορισμένη επεξεργασία γενικά.

Φαίνεται ότι ο μόνος τρόπος για να προχωρήσει ένα ακριβές CGI/GAN σύστημα σύνθεσης προσώπου είναι για μια νέα πρωτοβουλία να βρει κάποιον τρόπο να συναρμολογήσει μια οντότητα ταυτότητας πολλαπλών φωτογραφιών μέσα στο χώρο latents, όπου ένας κωδικός latents για μια ταυτότητα δεν χρειάζεται να ταξιδέψει όλο τον δρόμο через το χώρο latents για να εκμεταλλευτεί ανεξάρτητους παράμετρους πόζας, αλλά μπορεί να αναφερθεί στις δικές του σχετικές (πραγματικές) εικόνες ως αναφορές για μετασχηματισμούς.

Ακόμη και σε τέτοια περίπτωση, ή ακόμη και αν ένα ολόκληρο δίκτυο StyleGAN εκπαιδευτεί σε ένα σύνολο προσώπων με μια einzεικόνα (παρόμοιο με τα σύνολα εκπαίδευσης που χρησιμοποιούν τα autoencoders), η λείπουσα σημασιολογική λογική θα χρειαζόταν ακόμη να παρέχεται από συναuxiliary τεχνολογίες όπως η σημασιολογική分割 ή παραμετρικά πρόσωπα 3DMM, τα οποία, σε τέτοια περίπτωση, θα είχαν τουλάχιστον περισσότερο υλικό να δουλέψουν.