Η γωνία του Anderson

Γιατί τα deepfakes δεν μπορούν προς το παρόν να αποδώσουν τις αποχρώσεις των συναισθημάτων

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
The Book of Boba Fett - Disney
Βασικά σημείαΤα deepfakes στερούνται των δεδομένων τοπολογίας προσώπου που απαιτούνται για την…
Δείτε περισσότερα
  • Τα deepfakes στερούνται των δεδομένων τοπολογίας προσώπου που απαιτούνται για την αντιστοίχιση λεπτών συναισθημάτων μεταξύ ταυτοτήτων πηγής και στόχου.
  • Οι αναντιστοιχίες δεδομένων εκπαίδευσης αναγκάζουν τα μοντέλα deepfake είτε να υποπροσαρμόζονται είτε να υπερπροσαρμόζονται σε σπάνιους συνδυασμούς εκφράσεων.
  • Η διαδικασία κωδικοποιητή-αποκωδικοποιητή θυσιάζει την πιστότητα της έκφρασης για χάρη της γενίκευσης, παράγοντας συναισθηματικά αταίριαστα αποτελέσματα.

Η πρεμιέρα του 6ου επεισοδίου της σειράς Star Wars, The Book of Boba Fett, φαίνεται να έχει διχάσει την γνώμη των φαν. Παρόλο που έλαβε γενική αποδοχή, υπάρχει μια ευρεία υπόθεση στα κοινωνικά δίκτυα ότι η πολύ βελτιωμένη αναπαράσταση ενός νεότερου Mark Hamill (σε σύγκριση με την προηγούμενη εμφάνισή του στο φινάλε της δεύτερης σεζόν του The Mandalorian το 2020) είναι αποτέλεσμα της Industrial Light and Magic που προσέλαβε τον ερασιτέχνη δημιουργό deepfakes Shamook (ο οποίος είχε βελτιώσει δραματικά το έργο της ILM με λογισμικό ανοιχτού κώδικα) και ότι οι αναπαραστάσεις του χαρακτήρα πρέπει να είναι συνδυασμός τεχνολογίας deepfake, ίσως καθαρισμένες με CGI.

Υπάρχει περιορισμένη επιβεβαίωση για αυτό, αν και ο Shamook έχει πει λίγα στον κόσμο από τότε που η ILM συνήψε NDA. Παρόλα αυτά, το έργο είναι μια εξαιρετική βελτίωση του CGI του 2020, εμφανίζει κάποια από τη “γυαλάδα” που συνδέεται με τα μοντέλα deepfake που προέρχονται από αρχειοθετημένα έργα και γενικά συμφωνεί με το καλύτερο τρέχοντα οπτικό πρότυπο για deepfakes.

Η άλλη πλευρά της γνώμης των φαν είναι ότι η νέα προσπάθεια για “Νεαρό Λουκ” έχει ένα διαφορετικό σύνολο ελαττωμάτων από την προηγούμενη. Ίσως το πιο αποκαλυπτικό, η έλλειψη εκφραστικότητας και των λεπτών, κατάλληλων συναισθημάτων στις πολύ μακρές ακολουθίες που εμφανίζουν την νέα αναπαράσταση του Skywalker είναι πιο τυπικά για deepfakes παρά για CGI, το The Verge έχει περιγράψει την αναπαράσταση του Boba Fett ως «την ανατριχιαστική, κενή όψη του παγωμένου προσώπου του Mark Hamill από το 1983».

Ανεξάρτητα από τις τεχνολογίες πίσω από την νέα αναπαράσταση του ILM, οι μετασχηματισμοί deepfakes έχουν ένα θεμελιώδες πρόβλημα με τη λεπτότητα των συναισθημάτων που είναι δύσκολο να αντιμετωπιστεί είτε με αλλαγές στην αρχιτεκτονική είτε με τη βελτίωση του υλικού εκπαίδευσης, και το οποίο συνήθως αποφεύγεται από τις προσεκτικές επιλογές που κάνουν οι ιογενείς deepfakers όταν επιλέγουν ένα στόχο βίντεο.

Περιορισμοί Προσαρμογής Προσώπου

Τα δύο πιο συχνά χρησιμοποιούμενα αποθετήρια ανοιχτού κώδικα για deepfakes είναι το DeepFaceLab (DFL) και το FaceSwap, και τα δύο προέρχονται από τον ανώνυμο και αμφιλεγόμενο κώδικα του 2017, με το DFL να έχει ένα τεράστιο προβάδισμα στη βιομηχανία VFX, παρά την περιορισμένη του χρηστικότητα.

Κάθε ένα από αυτά τα πακέτα έχει αρχικά το καθήκον να εξάγει σημεία αναφοράς προσώπου από τα πρόσωπα που έχει αναγνωρίσει από το υλικό πηγής (δηλ. καρέ βίντεο και/ή στατικές εικόνες).

Το δίκτυο ευθυγράμμισης προσώπου FAN του Adrian Bulat σε δράση, από το επίσημο αποθετήριο. Πηγή: https://github.com/1adrianb/face-alignment

Το δίκτυο ευθυγράμμισης προσώπου FAN σε δράση, από το επίσημο αποθετήριο. Πηγή: https://github.com/1adrianb/face-alignment

Τόσο το DFL όσο και το FaceSwap χρησιμοποιούν τη βιβλιοθήκη Facial Alignment Network (FAN).

Το FAN μπορεί να δημιουργήσει 2D και 3D (βλ. εικόνα παραπάνω) σημεία αναφοράς για εξαγόμενα πρόσωπα. Τα 3D σημεία αναφοράς μπορούν να λαμβάνουν υπόψη την αντίληψη της προοπτικής του προσώπου, μέχρι ακραίες προφίλ και σχετικά οξείες γωνίες.

Ωστόσο, είναι φανερό ότι αυτά είναι πολύ πρωτόγονες οδηγίες για την οδήγηση και την αξιολόγηση pixel:

Από το φόρουμ FaceSwap: ενδεικτική απεικόνιση των διαθέσιμων σημείων αναφοράς των χαρακτηριστικών του προσώπου. Πηγή: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Από το φόρουμ FaceSwap: ενδεικτική απεικόνιση των διαθέσιμων σημείων αναφοράς του προσώπου. Πηγή: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Τα πιο βασικά χαρακτηριστικά του προσώπου επιτρέπονται: τα μάτια μπορούν να ανοίξουν και να κλείσουν, όπως και το σαγόνι, ενώ βασικές διαμορφώσεις του στόματος (όπως το χαμόγελο, το βλέμμα κ.λπ.) μπορούν να ανιχνευθούν και να προσαρμοστούν. Το πρόσωπο μπορεί να περιστραφεί σε οποιαδήποτε κατεύθυνση μέχρι περίπου 200 μοίρες από τη σκοπιά της κάμερας.

Πέρα από αυτό, αυτά είναι αρκετά αδρές οριοθετήσεις για τον τρόπο που τα pixel θα συμπεριφερθούν μέσα σε αυτά τα όρια και αντιπροσωπεύουν τα μόνες πραγματικά μαθηματικές και ακριβείς οδηγίες προσώπου σε ολόκληρη τη διαδικασία deepfake. Η διαδικασία εκπαίδευσης απλώς συγκρίνει τον τρόπο με τον οποίο τα pixel διατίθενται μέσα ή κοντά σε αυτά τα όρια.

Εκπαίδευση στο DeepFaceLab. Πηγή: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Εκπαίδευση στο DeepFaceLab. Πηγή: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Επειδή δεν προβλέπεται η τοπολογία των επιμέρους τμημάτων του προσώπου — η κυρτότητα και η κοιλότητα των μάγουλων, οι λεπτομέρειες γήρανσης, τα λακκάκια κ.λπ. — δεν είναι καν δυνατό να επιχειρηθεί η αντιστοίχιση αυτών των λεπτών επιμέρους χαρακτηριστικών ανάμεσα σε μια ταυτότητα πηγής («το πρόσωπο που θέλετε να αντικαταστήσετε») και μια ταυτότητα στόχου («το πρόσωπο που θέλετε να επικολλήσετε»).

Κατασκευάζοντας με Περιορισμένα Δεδομένα

Η απόκτηση συμφωνούμενων δεδομένων μεταξύ δύο ταυτοτήτων για τους σκοπούς της εκπαίδευσης deepfakes δεν είναι εύκολη.

Όσο πιο ασυνήθιστη είναι η γωνία που πρέπει να αντιστοιχίσετε, τόσο περισσότερο ίσως χρειαστεί να συμβιβαστείτε ως προς το αν η σπάνια αντιστοίχιση γωνίας μεταξύ των ταυτοτήτων Α και Β έχει πράγματι την ίδια έκφραση.

Κοντά, αλλά όχι ακριβής αντιστοίχιση.

Κοντά, αλλά όχι ακριβής αντιστοίχιση.

Στην παραπάνω εικόνα, τα δύο πρόσωπα είναι αρκετά παρόμοια σε διάθεση, αλλά αυτό είναι όσο κοντά μπορεί να φτάσει αυτό το σύνολο δεδομένων σε μια ακριβή αντιστοιχία.

Σαφείς διαφορές παραμένουν: η γωνία και ο φακός δεν ταιριάζουν ακριβώς, και ούτε ο φωτισμός, το άτομο Α δεν έχει τα μάτια τουεντελώς κλειστά, σε αντίθεση με το άτομο Β, η ποιότητα και η συμπίεση της εικόνας είναι χειρότερη στο άτομο Α και το άτομο Β φαίνεται πολύ πιο ευτυχισμένο από το άτομο Α.

Αλλά, ξέρετε, είναι όλο που έχουμε, οπότε θα πρέπει να εκπαιδεύσουμε πάνω του ούτως ή άλλως.

Επειδή αυτή η A><B ταιριάξουσα έχει τόσο πολλά ασυνήθιστα στοιχεία, μπορείτε να είστε βέβαιοι ότι υπάρχουν λίγα, αν υπάρχουν, παρόμοια ζευγάρια στο σύνολο.

Επομένως, η εκπαίδευση θα παρουσιάσει υποπροσαρμογή ή υπερπροσαρμογή.

Υποπροσαρμογή: Αν αυτή η ταιριάξουσα είναι μια πραγματική μειονότητα (δηλ. το γονικό σύνολο δεδομένων είναι αρκετά μεγάλο και δεν εμφανίζει συχνά τα χαρακτηριστικά αυτών των δύο φωτογραφιών), δεν θα λάβει πολύ χρόνο εκπαίδευσης σε σύγκριση με πιο «συνηθισμένα» (δηλ. εύκολα/ουδέτερα) ζευγάρια. Συνεπώς, αυτή η γωνία/έκφραση δεν θα αντιπροσωπεύεται καλά σε ένα deepfake που δημιουργείται με το εκπαιδευμένο μοντέλο.

Υπερπροσαρμογή: Σε απελπισία για σπάνιες A><B ταιριάξεις, οι deepfakers θα αντιγράψουν το ζευγάρι πολλές φορές στο σύνολο δεδομένων, ώστε να έχει μια καλύτερη ευκαιρία να γίνει χαρακτηριστικό του τελικού μοντέλου. Αυτό θα οδηγήσει σε overfitting, όπου τα deepfake βίντεο που δημιουργούνται με το μοντέλο είναι πιθανό να επαναλάβουν σχολαστικά τις αποκλίσεις που είναι εμφανείς μεταξύ των δύο φωτογραφιών, όπως η διαφορετική έκταση στην οποία τα μάτια είναι κλειστά.

Στην παρακάτω εικόνα βλέπουμε τον Vladimir Putin να εκπαιδεύεται στο DeepFaceLab για αντικατάσταση του Kevin Spacey. Η εκπαίδευση είναι εδώ σχετικά προχωρημένη, στις 160.000 επαναλήψεις.

Πηγή: https://i.imgur.com/OdXHLhU.jpg (αρχικά από ιστότοπο στον οποίο δεν μπορώ να παραπέμψω εδώ).

Πηγή: https://i.imgur.com/OdXHLhU.jpg

Ένας περιστασιακός παρατηρητής μπορεί να πει ότι ο Putin φαίνεται κάπως πιο αφηρημένος από τον Spacey σε αυτές τις δοκιμές. Ας δούμε τι συμπεραίνει ένα διαδικτυακό πρόγραμμα αναγνώρισης συναισθημάτων από την αναντιστοιχία των εκφράσεων:

Πηγή: https://www.noldus.com/facereader/measure-your-emotions

Πηγή: https://www.noldus.com/facereader/measure-your-emotions

Σύμφωνα με αυτή τη συγκεκριμένη εφαρμογή, η οποία αναλύει πολύ λεπτομερέστερη τοπογραφία προσώπου από τα DFL και FaceSwap, ο Spacey είναι λιγότερο θυμωμένος, αηδιασμένος και περιφρονητικός από το προκύπτον deepfake του Putin σε αυτό το ζευγάρι.

Οι άνισες εκφράσεις αποτελούν μέρος ενός αλληλένδετου συνόλου, καθώς οι δημοφιλείς εφαρμογές deepfake δεν μπορούν να καταγράφουν ή να αντιστοιχίζουν εκφράσεις και συναισθήματα, παρά μόνο έμμεσα, ως ακατέργαστη αντιστοίχιση pixel>pixel.

Για εμάς οι διαφορές είναι τεράστιες. Μαθαίνουμε να διαβάζουμε τις εκφράσεις του προσώπου ως βασική τεχνική επιβίωσης από τα πρώτα μας χρόνια. Συνεχίζουμε να στηριζόμαστε σε αυτή την ικανότητα στην ενήλικη ζωή για κοινωνική ένταξη και πρόοδο, επιλογή συντρόφου και συνεχή αξιολόγηση απειλών. Εφόσον είμαστε τόσο ευαίσθητοι στις μικροεκφράσεις, οι τεχνολογίες deepfake θα πρέπει τελικά να το λάβουν υπόψη.

Ενάντια στο Ρεύμα

Αν και η επανάσταση των deepfakes έχει φέρει την υπόσχεση της εισαγωγής “κλασικών” αστέρων του κινηματογράφου σε σύγχρονες ταινίες και τηλεόραση, η τεχνολογία AI δεν μπορεί να πηγαίνει πίσω στο χρόνο και να γυρίζει τα κλασικά έργα τους σε μια πιο καταλληλότερη ανάλυση και ποιότητα, η οποία είναι κρίσιμη για αυτήν την περίπτωση χρήσης.

Υπό την υπόθεση (και για τους σκοπούς μας, δεν έχει σημασία αν είναι λάθος) ότι η αναπαράσταση του Hamill στο Boba Fett ήταν σε μεγάλο βαθμό το έργο ενός εκπαιδευμένου μοντέλου deepfake, το σύνολο δεδομένων για το μοντέλο θα χρειαζόταν να εκμεταλλευτεί πλάνα από την περίοδο κοντά στη χρονολογική σειρά της εκπομπής (δηλ. Hamill ως νεαρός τριάντα την εποχή της παραγωγής του Return of the Jedi, 1981-83).

Η ταινία γυρίστηκε σε Eastman Color Negative 250T 5293/7293 stock, μια 250ASA εμούλσιο που θεωρούνταν μέτρια έως λεπτή τη στιγμή, αλλά ξεπεράστηκε σε καθαρότητα, χρωματική περιοχή και πιστότητα ακόμη και μέχρι το τέλος της δεκαετίας του 1980. Είναι ένα stock της εποχής του, και η οπερατική εμβέλεια του Jedi επέτρεψε λίγες κοντινές λήψεις ακόμη και στους πρωταγωνιστές, καθιστώντας τα προβλήματα του γκρέιν ακόμη πιο κρίσιμα, καθώς τα πρόσωπα της πηγής καταλαμβάνουν μόνο ένα μέρος του πλαισίου.

Διάφορες σκηνές του Hamill στο Return of the Jedi (1983).

Διάφορες σκηνές του Hamill στο Return of the Jedi (1983).

Επιπλέον, πολλές από τις σκηνές με εφέ που εμφανίζονται τον Hamill θα είχαν περάσει από έναν οπτικό εκτυπωτή, αυξάνοντας το γκρέιν της ταινίας. Ωστόσο, η πρόσβαση στα αρχεία της Lucasfilm – τα οποία έχουν πιθανότατα φροντίσει καλά τα master αρνητικά και θα μπορούσαν να προσφέρουν ώρες επιπλέον μη χρησιμοποιημένου υλικού – θα μπορούσε να ξεπεράσει αυτό το ζήτημα.

Μερικές φορές είναι δυνατό να καλύψουν μια σειρά ετών της παραγωγής ενός ηθοποιού, προκειμένου να αυξήσουν και να ποικιλόμορφαν το σύνολο δεδομένων deepfakes. Στην περίπτωση του Hamill, οι deepfakers είναι εγκλωβισμένοι από την αλλαγή της εμφάνισής του μετά από ένα αυτοκινητιστικό ατύχημα το 1977, και το γεγονός ότι άρχισε αμέσως την δεύτερη καριέρα του ως διακεκριμένος ηθοποιός φωνής μετά το Jedi, καθιστώντας το υλικό πηγής σχετικά σπάνιο.

Περιορισμένος Χώρος Συναισθημάτων;

Αν χρειάζεστε τον deepfaked ηθοποιό σας να παίζει με πολύ έντονη εκφραστικότητα, θα χρειαστείτε υλικό πηγής που περιέχει ένα ασυνήθιστα ευρύ φάσμα εκφράσεων προσώπου. Ίσως το μόνο ηλικιακά κατάλληλο υλικό που είναι διαθέσιμο δεν εμφανίζει πολλές από αυτές τις εκφράσεις.

Για παράδειγμα, μέχρι την στιγμή που η ιστορία του Return of the Jedi ήρθε γύρω, ο χαρακτήρας του Hamill είχε κυρίως κατακτήσει τα συναισθήματά του, μια εξέλιξη απολύτως κεντρική στη μυθολογία της αρχικής σειράς. Επομένως, αν δημιουργήσετε ένα μοντέλο deepfake Hamill από δεδομένα του Jedi, θα πρέπει να εργαστείτε με το πιο περιορισμένο φάσμα συναισθημάτων και ασυνήθιστη συγκράτηση των εκφράσεων του προσώπου που απαιτείται από τον ρόλο του εκείνη την εποχή, σε σύγκριση με τις προηγούμενες συμμετοχές του στη σειρά.

Ακόμη και αν θεωρήσουμε ότι υπάρχουν στιγμές στο Return of the Jedi όπου ο χαρακτήρας του Skywalker είναι υπό πίεση, και θα μπορούσε να προσφέρει υλικό για ένα μεγαλύτερο φάσμα εκφράσεων, το υλικό προσώπου σε αυτές τις σκηνές είναι ωστόσο προσωρινό και υπόκειται στο θόλωμα από την κίνηση και στο γρήγορο μοντάζ που είναι τυπική για σκηνές δράσης, οπότε τα δεδομένα είναι αρκετά ανισορροπημένα.

Γενίκευση: Η Συγχώνευση των Συναισθημάτων

Αν η αναπαράσταση του Skywalker στο Boba Fett είναι πραγματικά ένα deepfake, η έλλειψη εκφραστικού εύρους που έχει επιβληθεί σε αυτό από κάποιες πλευρές δεν θα οφείλεται αποκλειστικά σε περιορισμένο υλικό πηγής. Η διαδικασία εκπαίδευσης encoder-decoder των deepfakes αναζητά ένα γενικευμένο μοντέλο που αποτυπώνει επιτυχώς κεντρικά χαρακτηριστικά από χιλιάδες εικόνες και μπορεί τουλάχιστον να προσπαθήσει να deepfake μια γωνία που ήταν λείπουν ή σπάνια στο σύνολο δεδομένων.

Αν δεν ήταν για αυτήν την ευελιξία, μια αρχιτεκτονική deepfake θα ήταν απλώς αντιγραφή και επικόλληση βασικών μορφών σε κάθε καρέ, χωρίς να λαμβάνει υπόψη τη χρονική προσαρμογή ή το πλαίσιο.

Ωστόσο, το οδυνηρό αντάλλαγμα για αυτήν την ευελιξία είναι ότι η πιστότητα της έκφρασης είναι πιθανό να είναι θύμα της διαδικασίας, και οποιαδήποτε εκφράσεις που είναι «λεπτές» μπορεί να μην είναι οι σωστές. Όλοι παίζουμε τα πρόσωπα μας σαν ορχήστρα 100 μουσικών, και είμαστε καλά εξοπλισμένοι να το κάνουμε, ενώ το λογισμικό deepfake στερείται πιθανώς τουλάχιστον την ορχήστρα των εγχόρδων.

Διαταραχή της Επίδρασης στις Εκφράσεις

Οι κινήσεις του προσώπου και οι επιδράσεις τους σε μας δεν είναι μια ομοιόμορφη γλώσσα σε όλα τα πρόσωπα, η ανασηκωμένη φρύδα που φαίνεται αμελή σε έναν Ρότζερ Μουρ μπορεί να φαίνεται λιγότερο σοφιστικη σε έναν Σέθ Ρόγκαν, ενώ η σεξουαλική γοητεία της Μάρλιν Μονρόε μπορεί να μεταφραστεί σε μια πιο αρνητική συγκίνηση αν μεταφερθεί με deepfake σε ένα πρόσωπο του οποίου το πιο διαθέσιμο ρόλο είναι «θυμωμένος» ή «δυσαρεστημένος» (όπως ο χαρακτήρας της Όμπρεϊ Πλάζα σε επτά σεζόν του Parks and Recreation).

Επομένως, η pixel-προς-pixel ισοδυναμία μεταξύ των συνόλων προσώπων A/B δεν είναι απαραίτητα χρήσιμη σε αυτήν την περίπτωση, αλλά είναι όλο που προσφέρεται στο state-of-the-art deepfake FOSS λογισμικό.

Τι είναι που χρειάζεται είναι ένα πλαίσιο deepfake που όχι μόνο μπορεί να αναγνωρίσει εκφράσεις και να συναγάγει συναισθήματα, αλλά έχει τη δυνατότητα να ενσωματώσει υψηλού επιπέδου έννοιες όπως θυμωμένος, σαγηνευτικός, που βαριέται, κουρασμένος κ.λπ. και να ταξινομήσει αυτά τα συναισθήματα και τις σχετικές εκφράσεις σε κάθε ένα από τα δύο σύνολα προσώπων, αντί να εξετάζει και να αναπαράγει τη διάταξη του στόματος ή του βλεφάρου.

  Πρώτη δημοσίευση στις 3 Φεβρουαρίου 2022. Ενημέρωση στις 19:47 EET: διόρθωση εσφαλμένης απόδοσης ονόματος.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai