Τροποποίηση Συναισθημάτων σε Βίντεο με τη Βοήθεια του AI

Ερευνητές από την Ελλάδα και το Ηνωμένο Βασίλειο έχουν αναπτύξει μια καινοτόμο προσέγγιση βαθιάς μάθησης για την αλλαγή των εκφράσεων και της φαινομενικής διάθεσης των ανθρώπων σε βίντεο, διατηρώντας την πιστότητα των κινήσεων των χειλιών τους στο αρχικό ήχο με τρόπο που προηγούμενες προσπάθειες δεν είχαν καταφέρει να επιτύχουν.

Από το βίντεο που συνοδεύει το έγγραφο (ενσωματωμένο στο τέλος του άρθρου), μια σύντομη κλιπ του ηθοποιού Αλ Πατσίνο με την έκφρασή του να τροποποιείται υποδουλώνοντας από το NED, με βάση υψηλού επιπέδου σεμαντικών εννοιών που ορίζουν μεμονωμένες εκφράσεις προσώπου και τις συνδεδεμένες συναισθήματα. Η μέθοδος “Reference-Driven” στο δεξί μέρος λαμβάνει την ερμηνεία συναισθήματος/των από ένα βίντεο πηγής και τις εφαρμόζει στο σύνολο μιας ακολουθίας βίντεο. Πηγή: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Αυτή η συγκεκριμένη περιοχή ανήκει στην αυξανόμενη κατηγορία deepfaked συναισθημάτων, όπου η ταυτότητα του αρχικού ομιλητή διατηρείται, αλλά οι εκφράσεις και οι μικρο-εκφράσεις του τροποποιούνται. Όσο αυτή η τεχνολογία AI ωριμάζει, προσφέρει τη δυνατότητα για παραγωγές ταινιών και τηλεόρασης να κάνουν λεπτές αλλαγές στις εκφράσεις των ηθοποιών – αλλά cũng ανοίγει μια σχετικά νέα κατηγορία ‘τροποποιημένων συναισθημάτων’ βίντεο deepfakes.

Τροποποίηση Προσώπων

Οι εκφράσεις προσώπου για δημόσιες προσωπικότητες, όπως πολιτικοί, είναι αυστηρά επιλεγμένες· το 2016, οι εκφράσεις προσώπου της Χίλαρι Κλίντον ήρθαν υπό έντονη μέディア επιτήρηση για την πιθανή αρνητική επίδραση στις εκλογικές της προοπτικές· οι εκφράσεις προσώπου, όπως αποδείχθηκε, είναι επίσης θέμα ενδιαφέροντος για το FBI· και είναι κρίσιμο δείκτη σε συνεντεύξεις εργασίας, καθιστώντας την (μακρινή) προοπτική ενός ζωντανού φίλτρου ελέγχου έκφρασης μια επιθυμητή εξέλιξη για τους υποψήφιους που προσπαθούν να περάσουν ένα προ-έλεγχο στο Zoom.

Μια μελέτη του 2005 από το Ηνωμένο Βασίλειο ισχυρίστηκε ότι η εμφάνιση προσώπου επηρεάζει τις αποφάσεις ψηφοφορίας, ενώ ένα χαρακτηριστικό του Washington Post το 2019 εξέτασε την χρήση ‘εξωθεματίων’ βίντεο κλιπ, που είναι αυτή τη στιγμή το πλησιέστερο που οι υποστηρικτές των ψευδών ειδήσεων έχουν στην πραγματική αλλαγή του πώς φαίνεται ένας δημόσιος άνθρωπος να συμπεριφέρεται, να απαντά ή να αισθάνεται.

Προς τη Νευρωνική Τροποποίηση της Έκφρασης

Στην παρούσα στιγμή, η κατάσταση της τέχνης στην τροποποίηση της προσώπιας είναι αρκετά πρωτογενής,既然 ότι περιλαμβάνει την αποσύνδεση υψηλού επιπέδου εννοιών (όπως λυπημένος, θυμωμένος, ευτυχισμένος, χαμογελαστός) από πραγματικό περιεχόμενο βίντεο. Αν και οι παραδοσιακές αρχιτεκτονικές deepfake φαίνεται να επιτύχουν αυτήν την αποσύνδεση αρκετά καλά, η αντανακλοή συναισθημάτων σε διαφορετικές ταυτότητες vẫn απαιτεί ότι δύο σετ προσώπων εκπαίδευσης περιέχουν αντίστοιχες εκφράσεις για κάθε ταυτότητα.

Τυπικά παραδείγματα εικόνων προσώπων σε σετ δεδομένων που χρησιμοποιούνται για την εκπαίδευση deepfakes. Τώρα, μπορείτε μόνο να τροποποιήσετε την έκφραση ενός προσώπου δημιουργώντας μονοπατικά μονοπάτια έκφρασης-έκφρασης σε ένα νευρωνικό δίκτυο deepfake. Το λογισμικό deepfake της εποχής του 2017 δεν έχει keine intrinsische, σεμαντική κατανόηση ενός ‘χαμογελάστου’ – απλώς αντιστοιχίζει και συσχετίζει τις αντιλαμβανόμενες αλλαγές στη γεωμετρία του προσώπου μεταξύ των δύο θεμάτων.

Τι είναι επιθυμητό, και δεν έχει ακόμη επιτευχθεί απόλυτα, είναι να αναγνωρίσει πώς το αντικείμενο Β (για παράδειγμα) χαμογελά, και απλώς να δημιουργήσει ένα ‘χαμογελάστρα’ διακόπτη στην αρχιτεκτονική, χωρίς να χρειαστεί να το αντιστοιχίσει σε μια αντίστοιχη εικόνα του αντικειμένου Α που χαμογελά.

Το νέο έγγραφο έχει τον τίτλο Νευρωνικός Διευθυντής Συναισθημάτων: Ελέγχου συναισθημάτων με σεμαντική έλεγχο σε βίντεο “στον αγώνα”, και προέρχεται από ερευνητές στο Τμήμα Ηλεκτρικής και Ηλεκτρονικής Μηχανικής στο Εθνικό Μετσόβιο Πολυτεχνείο Αθηνών, το Ινστιτούτο Πληροφορικής tại το Ίδρυμα Έρευνας και Τεχνολογίας (FORTH), και το Κολλέγιο Μηχανικής, Μαθηματικών και Φυσικών Επιστημών στο Πανεπιστήμιο του Έξετερ στο Ηνωμένο Βασίλειο.

Η ομάδα έχει αναπτύξει ένα πλαίσιο που ονομάζεται Νευρωνικός Διευθυντής Συναισθημάτων (NED), που περιλαμβάνει ένα δίκτυο μετάφρασης συναισθημάτων με βάση το 3D, 3D-Βάση Τροποποίηση Συναισθημάτων.

Το NED λαμβάνει μια ληφθείσα ακολουθία παραμέτρων έκφρασης και τις μεταφράζει σε ένα στόχο τομέα. Εκπαιδεύεται σε μη-παράλληλα δεδομένα, που σημαίνει ότι δεν είναι απαραίτητο να εκπαιδευτεί σε σετ δεδομένων όπου κάθε ταυτότητα έχει αντίστοιχες εκφράσεις προσώπου.

Το βίντεο, που εμφανίζεται στο τέλος του άρθρου, περνάει από μια σειρά δοκιμών όπου το NED επιβάλλει μια φαινομενική συναισθηματική κατάσταση σε βίντεο από το σετ δεδομένων του YouTube.

Οι συγγραφείς ισχυρίζονται ότι το NED είναι η πρώτη μεθοδος βίντεο για ‘κατεύθυνση’ ηθοποιών σε τυχαίες και απρόβλεπτες καταστάσεις, και έχουν δημοσιεύσει τον κώδικα στη σελίδα του έργου.

Μέθοδος και Αρχιτεκτονική

Το σύστημα εκπαιδεύεται σε δύο μεγάλα σετ βίντεο που έχουν αναλυθεί με ‘ετικέτες συναισθήματος’.

Η έξοδος είναι δυνατή χάρη σε einen αποδοτή βίντεο προσώπου που αποδίδει την επιθυμητή έκφραση στο βίντεο χρησιμοποιώντας παραδοσιακές τεχνικές σύνθεσης εικόνας προσώπου, συμπεριλαμβανομένης της απομόνωσης προσώπου, της ευθυγράμμισης σημείων προσώπου και της συγχώνευσης, όπου μόνο η περιοχή του προσώπου συνθετείται και στη συνέχεια επιβάλλεται στο αρχικό βίντεο.

Η αρχιτεκτονική για τη διαδικασία του Νευρωνικού Διευθυντή Συναισθημάτων (NED). Πηγή: https://arxiv.org/pdf/2112.00585.pdf

Αρχικά, το σύστημα λαμβάνει την ανάκτηση 3D προσώπου και επιβάλλει ευθυγράμμισης σημείων προσώπου στις είσοδους καρέ για να αναγνωρίσει την έκφραση. Μετά από αυτό, αυτές οι ανακτηθείσες παράμετροι έκφρασης περνούν στο δίκτυο μετάφρασης συναισθημάτων με βάση το 3D, και ένας διανυσματικός υπολογισμός πραγματοποιείται με τη βοήθεια είτε μιας σεμαντικής ετικέτας (όπως ‘ευτυχισμένος’) είτε ενός αρχείου αναφοράς.

Ένα αρχείο αναφοράς είναι ένα βίντεο που απεικονίζει μια συγκεκριμένη αναγνωρισμένη έκφραση/συναισθηματική κατάσταση, η οποία στη συνέχεια επιβάλλεται στο σύνολο του στόχου βίντεο, αντικαθιστώντας την αρχική έκφραση.

Στάδια στη διαδικασία μεταφοράς συναισθήματος, με δείγματα ηθοποιών από βίντεο του YouTube.

Η τελική παραγμένη 3D μορφή προσώπου στη συνέχεια συνδυάζεται με το Συντελεστή Μέσης Συστάδας (NMFC) και τις εικόνες ματιών (τα κόκκινα σημεία στην εικόνα παραπάνω), και περνά στο νευρωνικό αποδοτή, το οποίο πραγματοποιεί την τελική τροποποίηση.

Αποτελέσματα

Οι ερευνητές διεξήγαγαν εκτεταμένες μελέτες, συμπεριλαμβανομένων μελετών χρηστών και μελετών αφαίρεσης, για να αξιολογήσουν την αποτελεσματικότητα της μεθόδου έναντι προηγούμενων εργασιών, και βρήκαν ότι σε большин των κατηγοριών, το NED υπερέχει της τρέχουσας κατάστασης της τέχνης σε αυτόν τον υπο-τομέα της νευρωνικής τροποποίησης προσώπου.

Οι συγγραφείς του εγγράφου φαντάζονται ότι μεταγενέστερες εφαρμογές αυτής της εργασίας, και εργαλεία類似 nature, θα είναι χρήσιμα κυρίως στις βιομηχανίες τηλεόρασης και κινηματογράφου, αναφέροντας:

‘Η μέθοδός μας ανοίγει πλήθος νέων δυνατοτήτων για χρήσιμες εφαρμογές τεχνολογιών απόδοσης νευρωνικών, που κυμαίνονται από την μετα-παραγωγή ταινιών και βιντεοπαιχνίδια σε φωτο-ρεαλιστικές συναισθηματικές εικονίδια.’

Αυτή είναι μια πρώιμη εργασία στο πεδίο, αλλά μια από τις πρώτες που προσπαθούν να τροποποιήσουν την έκφραση προσώπου με βίντεο και όχι με στατικές εικόνες. Αν και τα βίντεο είναι ουσιαστικά πολλές στατικές εικόνες που τρέχουν μαζί πολύ γρήγορα, υπάρχουν χρονικές σκέψεις που κάνουν τις προηγούμενες εφαρμογές της μεταφοράς συναισθήματος λιγότερο αποτελεσματικές. Στο συνοδευτικό βίντεο και τα παραδείγματα στο έγγραφο, οι συγγραφείς περιλαμβάνουν οπτικές συγκρίσεις της έξοδου του NED με άλλες σύγκρινες πρόσφατες μεθόδους.

Περισσότερες λεπτομερείς συγκρίσεις, και πολλά περισσότερα παραδείγματα του NED, μπορούν να βρεθούν στο πλήρες βίντεο παρακάτω:

3η Δεκεμβρίου 2021, 18:30 GMT+2  – Κατόπιν αιτήματος ενός από τους συγγραφείς του εγγράφου, διορθώσεις έγιναν σχετικά με το ‘αρχείο αναφοράς’, το οποίο είχα λανθασμένα αναφέρει ως στατική φωτογραφία (ενώ στην πραγματικότητα είναι ένα βίντεο κλιπ). Επίσης, μια διόρθωση στο όνομα του Ινστιτούτου Πληροφορικής στο Ίδρυμα Έρευνας και Τεχνολογίας.
3η Δεκεμβρίου 2021, 20:50 GMT+2  – Ένα δεύτερο αίτημα από έναν από τους συγγραφείς του εγγράφου για μια weitere διόρθωση στο όνομα του ανωτέρω ιδρύματος.