Γιατί οι Deepfakes Δεν Μπορούν Να Μεταφέρουν Την Συγκρατημένη Έκφραση των Συναισθημάτων

Η премιέρα του 6ου επεισοδίου της σειράς Star Wars, The Book of Boba Fett, φαίνεται να έχει διχάσει την γνώμη των φαν. Παρόλο που έλαβε γενική αποδοχή, υπάρχει μια ευρεία υπόθεση στα κοινωνικά δίκτυα ότι η βελτιωμένη αναπαράσταση του Mark Hamill (σε σύγκριση με την προηγούμενη εμφάνισή του στη сезόν 2 του The Mandalorian το 2020) είναι αποτέλεσμα της Industrial Light and Magic που雇ued τον ερασιτέχνη praktikant Shamook (ο οποίος είχε βελτιώσει δραματικά την εργασία του με ανοιχτό λογισμικό) και ότι οι αναπαραστάσεις του χαρακτήρα πρέπει να είναι συνδυασμός τεχνολογίας deepfake, ίσως καθαρισμένες με CGI.

Υπάρχει περιορισμένη επιβεβαίωση για αυτό, αν και ο Shamook έχει πει λίγα στον κόσμο από τότε που η ILM συνήψε NDA. Παρόλα αυτά, το έργο είναι μια εξαιρετική βελτίωση του CGI του 2020, εμφανίζει κάποια από τη “γυαλάδα” που συνδέεται με τα μοντέλα deepfake που προέρχονται από αρχειοθετημένα έργα και γενικά συμφωνεί με το καλύτερο τρέχοντα οπτικό πρότυπο για deepfakes.

Η άλλη πλευρά της γνώμης των φαν είναι ότι η νέα προσπάθεια για “Νεαρό Λουκ” έχει ένα διαφορετικό σύνολο ελαττωμάτων από την προηγούμενη. Ίσως το πιο αποκαλυπτικό, η έλλειψη εκφραστικότητας και των λεπτών, κατάλληλων συναισθημάτων στις πολύ μακρές ακολουθίες που εμφανίζουν την νέα αναπαράσταση του Skywalker είναι πιο τυπικά για deepfakes παρά για CGI, το The Verge έχει περιγράψει την αναπαράσταση του Boba Fett σε όρους της “ακατανόητης, κενής όψης του παγωμένου προσώπου του Mark Hamill το 1983”.

Ανεξάρτητα από τις τεχνολογίες πίσω από την νέα αναπαράσταση του ILM, οι μετασχηματισμοί deepfakes έχουν ένα θεμελιώδες πρόβλημα με τη λεπτότητα των συναισθημάτων που είναι δύσκολο να αντιμετωπιστεί είτε με αλλαγές στην αρχιτεκτονική είτε με τη βελτίωση του υλικού εκπαίδευσης, και το οποίο συνήθως αποφεύγεται από τις προσεκτικές επιλογές που κάνουν οι ιογενείς deepfakers όταν επιλέγουν ένα στόχο βίντεο.

Περιορισμοί Προσαρμογής Προσώπου

Τα δύο πιο συχνά χρησιμοποιούμενα αποθετήρια ανοιχτού κώδικα για deepfakes είναι το DeepFaceLab (DFL) και το FaceSwap, και τα δύο προέρχονται από τον ανώνυμο και αμφιλεγόμενο κώδικα του 2017, με το DFL να έχει einen τεράστιο προβάδισμα στη βιομηχανία VFX, παρά την περιορισμένη του χρηστικότητα.

Κάθε ένα από αυτά τα πακέτα έχει αρχικά την Aufgabe να εξάγει σημεία αναφοράς προσώπου από τα πρόσωπα που έχει αναγνωρίσει από το υλικό πηγής (δηλ. καρέ βίντεο και/ή στατικές εικόνες).

Το FAN μπορεί να δημιουργήσει 2D και 3D (βλ. εικόνα παρακάτω) σημεία αναφοράς για εξαγόμενα πρόσωπα. Τα 3D σημεία αναφοράς μπορούν να λαμβάνουν υπόψη την αντίληψη της προοπτικής του προσώπου, μέχρι ακραίες προφίλ και σχετικά οξείες γωνίες.

Ωστόσο, είναι φανερό ότι αυτά είναι πολύ πρωτόγονα οδηγίες για την οδήγηση και την αξιολόγηση pixel:

Τα πιο βασικά χαρακτηριστικά του προσώπου επιτρέπονται: τα μάτια μπορούν να ανοίξουν και να κλείσουν, όπως και το σαγόνι, ενώ βασικές διαμορφώσεις του στόματος (όπως το χαμόγελο, το βλέμμα κ.λπ.) μπορούν να ανιχνευθούν και να προσαρμοστούν. Το πρόσωπο μπορεί να περιστραφεί σε οποιαδήποτε κατεύθυνση μέχρι περίπου 200 μοίρες από τη σκοπιά της κάμερας.

Πέρα από αυτό, αυτά είναι khá χονδρές palisades για τον τρόπο που τα pixel θα συμπεριφερθούν μέσα σε αυτά τα όρια και αντιπροσωπεύουν τα μόνα真正τικά μαθηματικά και ακριβή οδηγίες προσώπου σε ολόκληρη τη διαδικασία deepfake. Η διαδικασία εκπαίδευσης απλώς συγκρίνει τον τρόπο με τον οποίο τα pixel διατίθενται μέσα ή κοντά σε αυτά τα όρια.

Κατασκευάζοντας με Περιορισμένα Δεδομένα

Η απόκτηση συμφωνούμενων δεδομένων μεταξύ δύο ταυτοτήτων για τους σκοπούς της εκπαίδευσης deepfakes δεν είναι εύκολη.

Ο πιο ασυνήθιστος ορισμός που χρειάζεστε για να ταιριάξετε, το πιο μπορεί να πρέπει να συμβιβαστείτε στο κατά πόσο αυτή η (σπάνια) ταιριάξουσα πραγματικά χαρακτηρίζεται από την ίδια έκφραση.

Στην παραπάνω εικόνα, τα δύο πρόσωπα είναι αρκετά παρόμοια σε διάθεση, αλλά αυτό είναι όσο κοντά μπορεί να φτάσει αυτό το σύνολο δεδομένων σε μια ακριβή αντιστοιχία.

Σαφείς διαφορές παραμένουν: η γωνία και το φακό δεν ταιριάζουν ακριβώς, και ούτε η φωτισμός, το άτομο Α δεν έχει τα μάτια του完全 κλειστά, σε αντίθεση με το άτομο Β, η ποιότητα και η συμπίεση της εικόνας είναι χειρότερη στο άτομο Α και το άτομο Β φαίνεται πολύ πιο “ευτυχισμένο” από το άτομο Α.

Αλλά, ξέρετε, είναι όλο που έχουμε, οπότε θα πρέπει να εκπαιδεύσουμε πάνω του ούτως ή άλλως.

Επειδή αυτή η A><B ταιριάξουσα έχει τόσο viele ασυνήθιστα στοιχεία, μπορείτε να είστε βέβαιοι ότι υπάρχουν λίγα, αν υπάρχουν, παρόμοια ζευγάρια στο σύνολο.

Επομένως, η εκπαίδευση θα underfit ή overfit.

Underfit: Αν αυτή η ταιριάξουσα είναι μια πραγματική μειονότητα (δηλ. το γονικό σύνολο δεδομένων είναι αρκετά μεγάλο και δεν εμφανίζει συχνά τα χαρακτηριστικά αυτών των δύο φωτογραφιών), δεν θα λάβει πολύ χρόνο εκπαίδευσης σε σύγκριση με πιο “λαϊκά” (δηλ. εύκολα/ουδέτερα) ζευγάρια. Συνεπώς, αυτή η γωνία/έκφραση δεν θα αντιπροσωπεύεται καλά σε ένα deepfake που δημιουργείται με το εκπαιδευμένο μοντέλο.

Overfit: Σε απελπισία για σπάνιες A><B ταιριάξεις, οι deepfakers θα复制 đôi vezes το ζευγάρι πολλές φορές στο σύνολο δεδομένων, ώστε να έχει μια καλύτερη ευκαιρία να γίνει χαρακτηριστικό του τελικού μοντέλου. Αυτό θα οδηγήσει σε overfitting, όπου τα deepfake βίντεο που δημιουργούνται με το μοντέλο είναι πιθανό να επαναλάβουν pedantically τις ανακολουθίες που είναι εμφανείς μεταξύ των δύο φωτογραφιών, όπως η διαφορετική έκταση στην οποία τα μάτια είναι κλειστά.

Ενάντια στο Ρεύμα

Αν και η επανάσταση των deepfakes έχει φέρει την υπόσχεση της εισαγωγής “κλασικών” αστέρων του κινηματογράφου σε σύγχρονες ταινίες και τηλεόραση, η τεχνολογία AI δεν μπορεί να πηγαίνει πίσω στο χρόνο και να γυρίζει τα κλασικά έργα τους σε μια πιο συμβατή οριζόντια και ποιότητα, η οποία είναι κρίσιμη για αυτήν την περίπτωση χρήσης.

Υπό την υπόθεση (και για τους σκοπούς μας, δεν έχει σημασία αν είναι λάθος) ότι η αναπαράσταση του Boba Fett Hamill ήταν σε μεγάλο βαθμό το έργο ενός εκπαιδευμένου μοντέλου deepfake, το σύνολο δεδομένων για το μοντέλο θα χρειαζόταν να εκμεταλλευτεί кадρά από την περίοδο κοντά στη χρονολογική σειρά της εκπομπής (δηλ. Hamill ως νεαρός τριάντα την εποχή της παραγωγής του Return of the Jedi, 1981-83).

Η ταινία γυρίστηκε σε Eastman Color Negative 250T 5293/7293 stock, μια 250ASA εμούλσιο που θεωρούνταν μέτρια έως λεπτή τη στιγμή, αλλά υπερκατασκευάστηκε σε καθαρότητα, χρωματική περιοχή και πιστότητα ακόμη και μέχρι το τέλος της δεκαετίας του 1980. Είναι ένα stock της εποχής του, και η οπερατική εμβέλεια του Jedi επέτρεψε λίγες κοντινές λήψεις ακόμη και στους πρωταγωνιστές, καθιστώντας τα προβλήματα του γκρέιν ακόμη πιο κρίσιμα, поскольку τα πρόσωπα της πηγής καταλαμβάνουν μόνο ένα μέρος του πλαισίου.

Επιπλέον, πολλές από τις σκηνές με εφέ που εμφανίζονται τον Hamill θα είχαν περάσει από einen οπτικό εκτυπωτή, αυξάνοντας το γκρέιν της ταινίας. Ωστόσο, η πρόσβαση στα αρχεία της Lucasfilm – τα οποία έχουν πιθανότατα φροντίσει καλά τα master αρνητικά και θα μπορούσαν να προσφέρουν ώρες επιπλέον μη χρησιμοποιημένου υλικού – θα μπορούσε να ξεπεράσει αυτό το ζήτημα.

Μερικές φορές είναι δυνατό να καλύψουν μια σειρά ετών της παραγωγής ενός ηθοποιού, προκειμένου να αυξήσουν και να ποικιλόμορφαν το σύνολο δεδομένων deepfakes. Στην περίπτωση του Hamill, οι deepfakers είναι εγκλωβισμένοι από την αλλαγή του στην εμφάνιση μετά από einen αυτοκινητιστικό ατύχημα το 1977, και το γεγονός ότι άρχισε αμέσως την δεύτερη καριέρα του ως διακεκριμένος ηθοποιός φωνής μετά το Jedi, καθιστώντας το υλικό πηγής σχετικά σπάνιο.

Περιορισμένος Χώρος Συναισθημάτων;

Αν χρειάζεστε τον deepfaked ηθοποιό σας να τρώει την σκηνή, θα χρειαστείτε υλικό πηγής που περιέχει ένα ασυνήθιστα ευρύ φάσμα εκφράσεων προσώπου. Ίσως το μόνο age-απτό υλικό που είναι διαθέσιμο δεν εμφανίζει πολλές από αυτές τις εκφράσεις.

Για παράδειγμα, μέχρι την στιγμή που η ιστορία του Return of the Jedi ήρθε γύρω, ο χαρακτήρας του Hamill είχε κυρίως κατακτήσει τα συναισθήματά του, μια εξέλιξη απολύτως κεντρική στη μυθολογία της αρχικής σειράς. Επομένως, αν δημιουργήσετε ένα μοντέλο deepfake Hamill από δεδομένα του Jedi, θα πρέπει να εργαστείτε με το πιο περιορισμένο φάσμα συναισθημάτων και ασυνήθιστα σπάνια προσωπική σύνθεση που απαιτείται από τον ρόλο του εκείνη την εποχή, σε σύγκριση με τις προηγούμενες συμμετοχές του στη σειρά.

Ακόμη και αν θεωρήσουμε ότι υπάρχουν στιγμές στο Return of the Jedi όπου ο χαρακτήρας του Skywalker είναι υπό तनション, και θα μπορούσε να προσφέρει υλικό για ένα μεγαλύτερο φάσμα εκφράσεων, το υλικό προσώπου σε αυτές τις σκηνές είναι ωστόσο προσωρινό και υπόκειται στη κίνηση και τη γρήγορη επεξεργασία που είναι τυπική για σκηνές δράσης, οπότε τα δεδομένα είναι khá ασύμμετρα.

Γενίκευση: Η Συγχώνευση των Συναισθημάτων

Αν η αναπαράσταση του Skywalker στο Boba Fett είναι πραγματικά ένα deepfake, η έλλειψη εκφραστικού εύρους που έχει επιβληθεί σε αυτό από κάποιες πλευρές δεν θα οφείλεται αποκλειστικά σε περιορισμένο υλικό πηγής. Η διαδικασία εκπαίδευσης encoder-decoder των deepfakes αναζητά ένα γενικευμένο μοντέλο που αποτυπώνει επιτυχώς κεντρικά χαρακτηριστικά από χιλιάδες εικόνες και μπορεί να προσπαθήσει να deepfake μια γωνία που ήταν λείπουν ή σπάνια στο σύνολο δεδομένων.

Αν δεν ήταν για αυτήν την ευελιξία, μια αρχιτεκτονική deepfake θα ήταν απλώς αντιγραφή και επικόλληση βασικών μορφών σε κάθε καρέ, χωρίς να λαμβάνει υπόψη τη χρονική προσαρμογή ή το контекст.

Ωστόσο, η đauκλή ανταλλαγή για αυτήν την ευελιξία είναι ότι η πιστότητα της έκφρασης είναι πιθανό να είναι θύμα της διαδικασίας, και οποιαδήποτε εκφράσεις που είναι “λεπτές” μπορεί να μην είναι οι σωστές. Όλοι παίζουμε τα πρόσωπα μας σαν 100-πλή ορχήστρα, και είμαστε καλά εξοπλισμένοι να το κάνουμε, ενώ το λογισμικό deepfake είναι απλώς missing τουλάχιστον την ορχήστρα των εγχόρδων.

Διαταραχή της Επίδρασης στις Εκφράσεις

Οι κινήσεις του προσώπου και οι επιδράσεις τους σε μας δεν είναι μια ομοιόμορφη γλώσσα σε όλα τα πρόσωπα, η ανασηκωμένη φρύδα που φαίνεται αμελή σε έναν Ρότζερ Μουρ μπορεί να φαίνεται λιγότερο σοφιστικη σε έναν Σέθ Ρόγκαν, ενώ η σεξουαλική γοητεία της Μάρλιν Μονρόε μπορεί να μεταφραστεί σε μια πιο αρνητική emo如果 deepfaked σε ένα πρόσωπο του οποίου το πιο διαθέσιμο ρόλο είναι “θύμωσος” ή “απρόσβλητος” (όπως ο χαρακτήρας της Όμπρεϊ Πλάζα σε επτά σεζόν του Parks and Recreation).

Επομένως, η pixel-προς-pixel ισοδυναμία μεταξύ των συνόλων προσώπων A/B δεν είναι απαραίτητα χρήσιμη σε αυτήν την περίπτωση, αλλά είναι όλο που προσφέρεται στο state-of-the-art deepfake FOSS λογισμικό.

Τι είναι που χρειάζεται είναι ένα πλαίσιο deepfake που όχι μόνο μπορεί να αναγνωρίσει εκφράσεις και να συναγάγει συναισθήματα, αλλά έχει τη δυνατότητα να ενσωματώσει υψηλού επιπέδου έννοιες όπως “θυμωμένος”, “σεξουαλικός”, “βαρετός”, “κουρασμένος” κ.λπ. και να ταξινομήσει αυτά τα συναισθήματα και τις σχετικές εκφράσεις σε κάθε ένα από τα δύο σύνολα προσώπων, αντί να εξετάζει και να αναπαράγει τη διάταξη του στόματος ή του βλεφάρου.