Η Αυγή των Deepfaked Συναισθημάτων

Ερευνητές έχουν αναπτύξει μια νέα τεχνική μηχανικής μάθησης για να επιβάλλουν αυθαίρετα νέα συναισθήματα σε πρόσωπα σε βίντεο, προσαρμόζοντας τις υφιστάμενες τεχνολογίες που έχουν προσφατα αναδυθεί ως λύσεις για να ταιριάζουν τα κινήματα των χειλιών με τη ντουντλάνη ξένης γλώσσας.

Η έρευνα είναι μια ισότιμη συνεργασία μεταξύ του Πανεπιστημίου του Northeastern στη Βοστώνη και του Media Lab στο MIT, και έχει τον τίτλο Αναστρέψιμες Γραμμές Πρόσωπου: Μεταφράσεις Συναισθημάτων Βίντεο-προς-Βίντεο. Αν και οι ερευνητές παραδέχονται ότι η αρχική ποιότητα των αποτελεσμάτων πρέπει να αναπτυχθεί μέσω περαιτέρω ερευνών, ισχυρίζονται ότι η τεχνική, που ονομάζεται Wav2Lip-Emotion, είναι η πρώτη του είδους της που αντιμετωπίζει άμεσα την τροποποίηση της πλήρης έκφρασης του βίντεο μέσω τεχνικών νευρωνικών δικτύων.

Ο βασικός κώδικας έχει κυκλοφορήσει στο GitHub, αν και τα σημεία ελέγχου του μοντέλου θα προστεθούν αργότερα στο ανοικτό αποθετήριο, όπως υποσχέθηκαν οι συγγραφείς.

Στα αριστερά, ένα ‘λυπηρό’ καρέ του πηγαίου βίντεο. Στα δεξιά, ένα ‘ευτυχισμένο’ καρέ. Στο κέντρο υπάρχουν δύο νεότερες προσεγγίσεις για την σύνθεση εναλλακτικών συναισθημάτων – πρώτη σειρά: ένα πλήρως καλυμμένο πρόσωπο όπου έχει αντικατασταθεί η ολόκληρη επιφάνεια της έκφρασης; δεύτερη σειρά: μια πιο παραδοσιακή μέθοδος Wav2Lip, η οποία αντικαθιστά μόνο το κατώτερο μέρος του προσώπου. Πηγή: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Μονό Βίντεο ως Πηγή Δεδομένων

Στην θεωρία, τέτοιες χειρισμοί είναι δυνατοί τώρα μέσω πλήρους εκπαίδευσης σε παραδοσιακές βιβλιοθήκες deepfake όπως το DeepFaceLab ή το FaceSwap. Ωστόσο, η τυπική ροή εργασίας θα περιελάμβανε την χρήση μιας εναλλακτικής ταυτότητας για την ‘στόχο’ ταυτότητα, όπως ένας ηθοποιός που μιμείται την στόχο, των οποίων οι δικές τους εκφράσεις θα μεταφέρονταν σε άλλη άτομο, μαζί με την υπόλοιπη απόδοση. Επιπλέον, τεχνικές κλωνοποίησης φωνής deepfake θα ήταν συνήθως απαραίτητες για να ολοκληρώσουν την ψευδαίσθηση.

Περαιτέρω, η αλλαγή της έκφρασης του στόχου1>στόχου1 σε ένα μόνο πηγαίο βίντεο υπό αυτές τις δημοφιλείς αρχιτεκτονικές θα περιελάμβανε την αλλαγή των διανυσμάτων ευθυγράμμισης του προσώπου με έναν τρόπο που αυτές οι αρχιτεκτονικές δεν προσφέρουν τώρα.

Το Wav2Lip-Emotion διατηρεί τη συγχρονία των χειλιών του αρχικού διαλόγου βίντεο ενώ μετατρέπει τις σχετικές εκφράσεις.

Αντίθετα, το Wav2Lip-Emotion επιδιώκει να ‘αντιγράψει και να επικολλήσει’ εκφράσεις που σχετίζονται με τα συναισθήματα από ένα μέρος του βίντεο και να τις αντικαταστήσει σε άλλα σημεία, με μια αυτοεπιβεβλημένη οικονομία των πηγαίων δεδομένων που προορίζεται τελικά να προσφέρει μια μέθοδο χαμηλότερης προσπάθειας για την τροποποίηση της έκφρασης.

Μοντέλα εκτός σύνδεσης θα μπορούσαν να αναπτυχθούν αργότερα που θα εκπαιδεύονται σε εναλλακτικά βίντεο του ομιλητή, απομακρύνοντας την ανάγκη για οποιοδήποτε ένα βίντεο να περιέχει ένα ‘παλέττα’ καταστάσεων έκφρασης με τις οποίες να χειρίζεται το βίντεο.

Πιθανές Χρήσεις

Οι συγγραφείς προτείνουν eine σειρά από εφαρμογές για την τροποποίηση της έκφρασης, συμπεριλαμβανομένης μιας ζωντανής φίλτρου βίντεο για να компενσάρει τις επιπτώσεις του PTSD και των παθήσεων του προσώπου. Το έγγραφο παρατηρεί:

‘Άτομα με ή χωρίς περιορισμένες εκφράσεις του προσώπου μπορεί να ωφεληθούν από την调節 των δικών τους εκφράσεων για να ταιριάζουν καλύτερα με τις κοινωνικές τους περιστάσεις. Κάποιος μπορεί να θέλει να αλλάξει τις εκφράσεις σε βίντεο που του δείχνουν. Οι ομιλητές μπορεί να φωνάζουν ο ένας στον άλλον κατά τη διάρκεια μιας τηλεδιάσκεψης, αλλά παρόλα αυτά θέλουν να συλλέξουν το περιεχόμενο της ανταλλαγής τους χωρίς τις δυσάρεστες εκφράσεις. Ή ένας σκηνοθέτης μπορεί να θέλει να αυξήσει ή να μειώσει τις εκφράσεις ενός ηθοποιού.’

Καθώς η έκφραση του προσώπου είναι ένα κλειδί και βασικό δείκτη προθέσεων, ακόμη και όπου μπορεί να τρίβει ενάντια στις λέξεις που ομιλούνται, η ικανότητα να αλλάξει την έκφραση προσφέρει επίσης, σε κάποιο βαθμό, την ικανότητα να αλλάξει πώς η επικοινωνία λαμβάνεται.

Προηγούμενη Έρευνα

Το ενδιαφέρον για την αλλαγή της έκφρασης με τη μηχανική μάθηση επιστρέφει τουλάχιστον στο 2012, όταν μια συνεργασία μεταξύ της Adobe, της Facebook και του Πανεπιστημίου Rutgers πρότεινε μια μέθοδο για να αλλάξει τις εκφράσεις χρησιμοποιώντας μια προσεγγίση ανακατασκευής γεωμετρίας 3D με βάση τον τανυστή, η οποία επέβαλε με κόπο ένα CGI mesh πάνω σε κάθε καρέ του στόχου βίντεο για να επιτύχει την αλλαγή.

Η έρευνα του 2012 της Adobe/Facebook χειρίστηκε τις εκφράσεις επιβάλλοντας παραδοσιακές, CGI-κίνητες αλλαγές στο βίντεο. Οι εκφράσεις μπορούσαν να αυξηθούν ή να μειωθούν. Πηγή: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Αν και τα αποτελέσματα ήταν υποσχόμενα, η τεχνική ήταν βαρετή και οι πόρους που χρειάζονταν ήταν σημαντικοί. Σε αυτό το σημείο, το CGI ήταν πολύ πιο προηγμένο από τις προσεγγίσεις της υπολογιστικής όρασης για την άμεση χειρισμό χαρακτηριστικών και pixel.

Περισσότερο συναφής με το νέο έγγραφο είναι το MEAD, ένα σύνολο δεδομένων και ένα μοντέλο γεννήτριας εκφράσεων που κυκλοφόρησε το 2020, ικανό να παράγει βίντεο ‘μιλώντας κεφαλές’, αν και χωρίς το επίπεδο σοφιστικέλειας που είναι потенτικά достиγίσιμο με την τροποποίηση του πηγαίου βίντεο απευθείας.

Γεννήτρια εκφράσεων με το MEAD, μια συνεργασία μεταξύ της SenseTime Research, του Πανεπιστημίου Carnegie Mellon και τριών κινεζικών πανεπιστημίων. Πηγή: https://wywu.github.io/projects/MEAD/MEAD.html

Το 2018, άλλη μια έρευνα, με τίτλο GANimation: Ανατομική-ευαισθητοποίηση Αναίμαξης Προσώπου από μια Μονό Μηχανή, εμφανίστηκε ως ακαδημαϊκή έρευνα συνεργασίας μεταξύ ΗΠΑ/Ισπανίας, και χρησιμοποίησε Γραφικά Αντισταθμιστικά Δίκτυα για να αυξήσει ή να αλλάξει τις εκφράσεις σε στατικές εικόνες μόνο.

Αλλαγή εκφράσεων σε στατικές εικόνες με το GANimation. Πηγή: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Αντίθετα, το νέο έργο βασίζεται στο Wav2Lip, το οποίο παρουσιάστηκε το 2020 με μια πιθανή μέθοδο για να συγχρονίσει lại τα κινήματα των χειλιών με νέα ομιλία (ή τραγούδι) που δεν εμφανίστηκε ποτέ στο αρχικό βίντεο.

Η αρχική αρχιτεκτονική Wav2Lip εκπαιδεύτηκε σε ένα σώμα προφορικών προτάσεων από τα αρχεία του BBC. Για να προσαρμόσουν το Wav2Lip στην εργασία της αλλαγής της έκφρασης, οι ερευνητές ‘λειτούργησαν’ την αρχιτεκτονική στο παραπάνω αναφερθέν σύνολο δεδομένων MEAD.

Το MEAD αποτελείται από 40 ώρες βίντεο που παρουσιάζουν 60 ηθοποιούς που διαβάζουν την ίδια πρόταση ενώ εκτελούν διάφορες εκφράσεις του προσώπου. Οι ηθοποιοί προέρχονται από 15 διαφορετικές χώρες και προσφέρουν eine ποικιλία διεθνών χαρακτηριστικών που έχουν ως στόχο να βοηθήσουν το έργο (και τα παράγωγα έργα) να παράγει εφαρμόσιμη και καλώς γενικευμένη σύνθεση εκφράσεων.

Στην εποχή της έρευνας, το MEAD είχε κυκλοφορήσει μόνο το πρώτο μέρος του συνόλου δεδομένων, που παρουσίαζε 47 άτομα που εκτελούσαν εκφράσεις όπως ‘θυμωμένος’, ‘απωθητικός’, ‘φόβος’, ‘εξουσία’, ‘ευτυχισμένος’, ‘λυπημένος’ και ‘έκπληξη’. Σε αυτή την πρώτη εξόρμηση σε μια νέα προσέγγιση, οι ερευνητές περιόρισαν το πεδίο του έργου στην επιβολή ή αλλαγή των αντιλαμβανόμενων συναισθημάτων ‘ευτυχισμένος’ και ‘λυπημένος’,既然 αυτά είναι τα πιο εύκολα αναγνωρίσιμα.

Μέθοδος και Αποτελέσματα

Η αρχική αρχιτεκτονική Wav2Lip αντικαθιστά μόνο το κατώτερο μέρος του προσώπου, ενώ το Wav2Lip-Emotion πειραματίζεται επίσης με μια πλήρη μάσκα αντικατάστασης προσώπου και σύνθεση έκφρασης. Έτσι, ήταν απαραίτητο για τους ερευνητές να τροποποιήσουν επιπλέον τις ενσωματωμένες μεθόδους αξιολόγησης,既然 αυτές δεν είχαν σχεδιαστεί για μια πλήρη διαμόρφωση προσώπου.

Οι συγγραφείς βελτιώνουν τον αρχικό κώδικα διατηρώντας την αρχική είσοδο ήχου, διατηρώντας τη συνέπεια της κίνησης των χειλιών.

Το στοιχείο γεννήτριας περιλαμβάνει einen κωδικοποιητή ταυτότητας, κωδικοποιητή ομιλίας και αποκωδικοποιητή προσώπου, σύμφωνα με το προηγούμενο έργο. Το στοιχείο ομιλίας κωδικοποιείται επιπλέον ως στοίβες 2D συνβολών που συνδέονται με τα σχετικά τους καρέ.

Εκτός από το γεννητικό στοιχείο, η τροποποιημένη αρχιτεκτονική περιλαμβάνει τρία κύρια στοιχεία διακρίσεων, που στοχεύουν στην ποιότητα της συγχρονίας των χειλιών, ένα στοιχείο στόχου συναισθήματος και ένα ανταγωνιστικά εκπαιδευμένο στοιχείο οπτικής ποιότητας.

Για την πλήρη ανακατασκευή του προσώπου, η αρχική εργασία Wav2Lip δεν περιείχε κανένα προηγούμενο, και因此 το μοντέλο εκπαιδεύτηκε από την αρχή. Για την εκπαίδευση του κατώτερου μέρους του προσώπου (ημι-μάσκα), οι ερευνητές προχώρησαν από τα σημεία ελέγχου που περιλαμβάνονταν στον αρχικό κώδικα Wav2Lip.

Εκτός από την αυτόματη αξιολόγηση, οι ερευνητές χρησιμοποίησαν γνώμες που παρείχαν οι εργαζόμενοι μέσω μιας ημι-αυτόματης πλατφόρμας. Οι εργαζόμενοι αξιολόγησαν γενικά το αποτέλεσμα ως υψηλής ποιότητας όσον αφορά την αναγνώριση των επιβαλλόμενων συναισθημάτων, ενώ αξιολόγησαν μόνο ‘μετρίου επιπέδου’ την ποιότητα της εικόνας.

Οι συγγραφείς προτείνουν ότι, εκτός από τη βελτίωση της ποιότητας του γεννημένου βίντεο με περαιτέρω βελτιώσεις, μελλοντικές ιτεράλες του έργου θα μπορούσαν να περιλαμβάνουν ένα ευρύτερο φάσμα συναισθημάτων, και ότι το έργο θα μπορούσε να εφαρμοστεί επίσης σε μελλοντικές πηγαίες δεδομένες και συνόλου δεδομένων, οδηγώντας τελικά σε ένα αυθεντικό σύστημα στο οποίο τα συναισθήματα θα μπορούσαν να ρυθμιστούν προς τα πάνω ή προς τα κάτω με τη βούληση του χρήστη, ή τελικά να αντικατασταθούν από αντίθετα συναισθήματα σε σχέση με το αρχικό πηγαίο βίντεο.