Πίστη vs. Ρεαλισμός σε Βίντεο Deepfake

Δεν μοιράζονται όλοι οι prakticioners του deepfake το ίδιο αντικείμενο: η έμπνευση του τομέα της έρευνας της σύνθεσης εικόνας – υποστηριζόμενη από επιρροείς υποστηρικτές όπως η Adobe, η NVIDIA και η Facebook – είναι να προωθήσει την κατάσταση της τέχνης ώστε οι τεχνικές του machine learning να μπορέσουν τελικά να αναπαράγουν ή να συνθέσουν ανθρώπινη δραστηριότητα σε υψηλή ανάλυση και υπό τις πιο απαιτητικές συνθήκες (πίστη).

Αντίθετα, το αντικείμενο εκείνων που επιθυμούν να χρησιμοποιήσουν τις τεχνολογίες deepfake για τη διάδοση της δυσπιστίας είναι να δημιουργήσουν πιστόχρονες προσομοιώσεις πραγματικών ανθρώπων με πολλούς άλλους τρόπους παρά μόνο με την απλή αλήθεια των deepfaked προσώπων. Σε αυτή τη σκηνή, παράγοντες όπως ο контекst και η πιθανότητα είναι σχεδόν ίσοι με τη δυνατότητα του βίντεο να προσομοιώσει πρόσωπα (ρεαλισμός).

Αυτή η «τεχνική» επέκταση στους χειρισμούς της τελικής ποιότητας εικόνας ενός βίντεο deepfake, ώστε όλο το βίντεο (και όχι μόνο το αποπλανητικό τμήμα που αντιπροσωπεύεται από ένα deepfaked πρόσωπο) να έχει μια συνεκτική «εμφάνιση» που είναι ακριβής στην αναμενόμενη ποιότητα για το μέσο.

«Συνεκτική» δεν σημαίνει απαραίτητα «καλή» – είναι αρκετό ότι η ποιότητα είναι συνεχής σε όλο το πρωτότυπο και το εισαγόμενο, αλλοιωμένο περιεχόμενο, και συμμορφώνεται με τις προσδοκίες. Όσον αφορά την έξοδο ροής VOIP σε πλατφόρμες όπως το Skype και το Zoom, η μπάρα μπορεί να είναι εξαιρετικά χαμηλή, με σακατεμένα, τραχιά βίντεο και μια σειρά από πιθανές αρτεφάκτες συμπίεσης, καθώς και «λείανση» αλγορίθμους που σχεδιάστηκαν για να μειώσουν τις επιπτώσεις τους – οι οποίοι από μόνοι τους συνιστούν μια επιπλέον σειρά «μη γνήσιων» επιπτώσεων που έχουμε αποδεχθεί ως συναφείς με τις περιορισμοί και τις ιδιομορφίες της ζωντανής ροής.

DeepFaceLive σε δράση: αυτή η εκδοχή ροής του προηγμένου λογισμικού deepfake DeepFaceLab μπορεί να παρέχει контεκστικό ρεαλισμό παρουσιάζοντας ψεύτικα στο контέκστ της περιορισμένης ποιότητας βίντεο, μαζί με προβλήματα αναπαραγωγής και άλλες επαναλαμβανόμενες αρτεφάκτες σύνδεσης. Πηγή: https://www.youtube.com/watch?v=IL517EgYH8U

Ενσωματωμένη υποβάθμιση

Πράγματι, τα δύο πιο δημοφιλή πακέτα deepfake (και τα δύο προέρχονται από τον αμφιλεγόμενο κώδικα πηγής του 2017) περιέχουν компонόντα που προορίζονται να ενσωματώνουν το deepfaked πρόσωπο στο контέκστ του «ιστορικού» ή χαμηλότερης ποιότητας βίντεο με την υποβάθμιση του γεννημένου προσώπου. Στο DeepFaceLab, ο παράμετρος bicubic_degrade_power επιτυγχάνει αυτό, και στο FaceSwap, η ρύθμιση «grain» στη διαμόρφωση Ffmpeg βοηθά επίσης στην ενσωμάτωση του ψεύτικου προσώπου διατηρώντας το grain κατά τη διάρκεια της κωδικοποίησης*.

Η ρύθμιση ‘grain’ στο FaceSwap βοηθά στην αυθεντική ενσωμάτωση σε μη HQ περιεχόμενο βίντεο, και σε παλαιότερο περιεχόμενο που μπορεί να διαθέτει εφέ grain φιλμ που είναι σχετικά σπάνια αυτές τις μέρες.

Συχνά, αντί για ένα πλήρες και ενσωματωμένο βίντεο deepfake, οι deepfakers θα εξαγάγουν μια απομονωμένη σειρά αρχείων PNG με κανάλια αλφα, κάθε εικόνα δείχνει μόνο το συνθετικό πρόσωπο εξόδου, ώστε η ροή εικόνας να μπορεί να μετατραπεί σε βίντεο σε πλατφόρμες με πιο εξειδικευμένες δυνατότητες «υποβαθμιστικών» εφέ, όπως το Adobe After Effects, πριν το ψευδές και το πραγματικό περιεχόμενο ενωθούν για το τελικό βίντεο.

Εκτός από αυτές τις ενθετικές υποβαθμίσεις, το περιεχόμενο του deepfake εργασίας συχνά ανασυμπιέζεται, είτε αλγοριθμικά (όπου οι πλατφόρμες κοινωνικών μέσων επιδιώκουν να εξοικονομήσουν εύρος ζώνης παράγοντας ελαφρύτερες εκδόσεις των ανεβάσεων των χρηστών) σε πλατφόρμες όπως το YouTube και το Facebook, ή με την επεξεργασία του αρχικού έργου σε κινούμενα GIF, τμήματα λεπτομερειών ή άλλα διαφορετικά κίνητρα που αντιμετωπίζουν την αρχική έκδοση ως σημείο εκκίνησης και στη συνέχεια εισάγουν πρόσθετη συμπίεση.

Πραγματικοί περιβαλλοντικοί контέκστες ανίχνευσης deepfake

Με αυτή τη σκέψη, μια νέα εργασία από την Ελβετία έχει προτείνει μια αναθεώρηση της μεθοδολογίας πίσω από τις προσεγγίσεις ανίχνευσης deepfake, διδάσκοντας τα συστήματα ανίχνευσης να μάθουν τις ιδιότητες του περιεχομένου deepfake όταν παρουσιάζεται σε σκόπιμα υποβαθμισμένους контέκστες.

Στοχαστική aumento δεδομένων εφαρμοσμένη σε ένα από τα σύνολα δεδομένων που χρησιμοποιούνται στην νέα εργασία, που περιλαμβάνει Gaussian θόρυβο, γάμμα διόρθωση και Gaussian θόρυβο, καθώς και αρτεφάκτες από την壓縮 JPEG. Πηγή: https://arxiv.org/pdf/2203.11807.pdf

Στην νέα εργασία, οι ερευνητές υποστηρίζουν ότι τα προηγμένα πακέτα ανίχνευσης deepfake βασίζονται σε μη ρεαλιστικές συνθήκες αναφοράς για το контέκστ των μετρικών που εφαρμόζουν, και ότι «υποβαθμισμένα» εξόδου deepfake μπορεί να πέσει κάτω από το ελάχιστο όριο ποιότητας για ανίχνευση,尽管 το ρεαλιστικό «βρώμικο» περιεχόμενο είναι πιθανό να εξαπατήσει τους θεατές λόγω της σωστής προσοχής στο контέκστ.

Οι ερευνητές έχουν θεσμοθετήσει μια νέα «πραγματική» διαδικασία υποβαθμισμένων δεδομένων που επιτυγχάνει τη βελτίωση της γενικευσιμότητας των leading ανιχνευτών deepfake, με μόνο περιφερειακή απώλεια ακρίβειας στα αρχικά ποσοστά ανίχνευσης που λαμβάνονται από «καθαρά» δεδομένα. Επίσης, προσφέρουν ένα νέο πλαίσιο αξιολόγησης που μπορεί να αξιολογήσει τη σταθερότητα των ανιχνευτών deepfake σε πραγματικές συνθήκες, υποστηριζόμενο από εκτεταμένες μελέτες αφαίρεσης.

Η εργασία έχει τον τίτλο Μια Νέα Προσέγγιση για τη Βελτίωση της Μάθησης-Βασισμένης Ανίχνευσης Deepfake σε Πραγματικές Συνθήκες, και προέρχεται από ερευνητές στο Multimedia Signal Processing Group (MMSPG) και το Ecole Polytechnique Federale de Lausanne (EPFL), και τα δύο базισμένα στο Lausanne.

Χρήσιμη σύγχυση

Προηγούμενες προσπάθειες να ενσωματώσουν υποβαθμισμένα εξόδου σε προσεγγίσεις ανίχνευσης deepfake περιλαμβάνουν το Mixup νευρωνικό δίκτυο, μια προσφορά του 2018 από το MIT και το FAIR, και AugMix, μια συνεργασία του 2020 μεταξύ DeepMind και Google, και τα δύο είναι μέθοδοι aumento δεδομένων που προσπαθούν να «λερώσουν» το υλικό εκπαίδευσης με τρόπο που προορίζεται να βοηθήσει τη γενίκευση.

Οι ερευνητές της νέας εργασίας σημειώνουν επίσης προηγούμενες μελέτες που εφαρμόζουν Gaussian θόρυβο και αρτεφάκτες συμπίεσης στα δεδομένα εκπαίδευσης για να καθορίσουν τα όρια της σχέσης μεταξύ μιας παραγώμενης ιδιότητας και του θορύβου στο οποίο είναι ενσωματωμένη.

Η νέα μελέτη προσφέρει μια διαδικασία που προσομοιώνει τις υποβαθμισμένες συνθήκες και της διαδικασίας απόκτησης εικόνας και της συμπίεσης και των διαφόρων άλλων αλγορίθμων που μπορούν να υποβαθμίσουν περαιτέρω την έξοδο εικόνας. Ενσωματώνοντας αυτή τη πραγματική ροή εργασίας σε ένα αξιολογητικό πλαίσιο, είναι δυνατό να παραχθεί εκπαιδευτικό υλικό για ανιχνευτές deepfake που είναι πιο ανθεκτικό σε αρτεφάκτες.

Η концепτουαλική λογική και η ροή εργασίας για την νέα προσέγγιση.

Η διαδικασία υποβαθμισμένων δεδομένων εφαρμόστηκε σε δύο δημοφιλείς και επιτυχείς σύνολα δεδομένων που χρησιμοποιούνται για την ανίχνευση deepfake: FaceForensics++ και Celeb-DFv2. Επιπλέον, τα leading πλαίσια ανίχνευσης deepfake Capsule-Forensics και XceptionNet εκπαιδεύτηκαν στα αλλοιωμένα αντίγραφα των δύο συνόλων δεδομένων.

Οι ανιχνευτές εκπαιδεύτηκαν με τον βελτιστοποιητή Adam για 25 και 10 επαναλήψεις αντίστοιχα. Για τη μετατροπή του συνόλου δεδομένων, 100 καρέ αναλήφθηκαν τυχαία από κάθε βίντεο εκπαίδευσης, με 32 καρέ εξαγμένα για δοκιμή, πριν από την προσθήκη των διαδικασιών υποβαθμισμένων.

Οι_distorsions που εξετάστηκαν για τη ροή εργασίας ήταν θόρυβος, όπου εφαρμόστηκε zero-mean Gaussian θόρυβος σε έξι διαφορετικά επίπεδα; μετατροπή μεγέθους, για να προσομοιώσει τη μειωμένη ανάλυση του τυπικού εξωτερικού βίντεο, που μπορεί συνήθως να επηρεάσει τους ανιχνευτές; συμπίεση, όπου εφαρμόστηκαν διάφορα επίπεδα συμπίεσης JPEG στα δεδομένα; λείανση, όπου τρεις τυπικές φίλτρες λείανσης που χρησιμοποιούνται στη «αποθορύβωση» αξιολογήθηκαν για το πλαίσιο; βελτίωση, όπου调节θηκε η αντίθεση και η φωτεινότητα; και συνδυασμοί, όπου οποιοσδήποτε συνδυασμός των τριών προηγουμένων μεθόδων εφαρμόστηκε ταυτόχρονα σε μια εικόνα.

Δοκιμές και Αποτελέσματα

Στις δοκιμές των δεδομένων, οι ερευνητές υιοθέτησαν τρεις μετρήσεις: Ακρίβεια (ACC); Εμβαδόν Κάτω από την Καμπύλη Λειτουργίας Δέκτη (AUC); και F1-σκορ.

Οι ερευνητές δοκιμάζουν τις τυποποιημένες εκπαιδευμένες εκδόσεις των δύο ανιχνευτών deepfake εναντίον των αλλοιωμένων δεδομένων και βρήκαν ότι τους λείπουν:

«Γενικά, οι περισσότερες ρεαλιστικές υποβαθμίσεις και επεξεργασίες είναι εξαιρετικά επιβλαβείς για τους τυπικά εκπαιδευμένους ανιχνευτές deepfake. Για παράδειγμα, η μέθοδος Capsule-Forensics δείχνει πολύ υψηλά σκορ AUC και στα δύο σύνολα δεδομένων FFpp και Celeb-DFv2 μετά την εκπαίδευση στα αντίστοιχα σύνολα δεδομένων, αλλά στη συνέχεια υποφέρουν από δραστική πτώση της απόδοσης στα τροποποιημένα δεδομένα από το πλαίσιο αξιολόγησής μας. Παρόμοιες τάσεις έχουν παρατηρηθεί με τον ανιχνευτή XceptionNet.»

Αντίθετα, η απόδοση των δύο ανιχνευτών βελτιώθηκε σημαντικά με την εκπαίδευση στα μετασχηματισμένα δεδομένα, με κάθε ανιχνευτή να είναι τώρα πιο ικανός να ανιχνεύει μη προβλεπόμενο παραπλανητικό περιεχόμενο.

«Το σχήμα aumento δεδομένων βελτιώνει σημαντικά τη σταθερότητα των δύο ανιχνευτών και ταυτόχρονα διατηρούν υψηλή απόδοση στα αρχικά, μη αλλοιωμένα δεδομένα.»

Συγκρίσεις απόδοσης μεταξύ των сыρών και των aumented συνόλων δεδομένων που χρησιμοποιούνται στα δύο ανιχνευτές deepfake που αξιολογήθηκαν στη μελέτη.

Η εργασία ολοκληρώνεται:

«Οι τρέχουσες μεθόδους ανίχνευσης σχεδιάστηκαν για να επιτύχουν όσο το δυνατόν υψηλότερη απόδοση σε συγκεκριμένα βENCHMARKS. Αυτό συχνά οδηγεί στο θυσίασμα της ικανότητας γενίκευσης σε πιο ρεαλιστικές σκηνές. Σε αυτή τη δουλειά, μια προσεκτικά σχεδιασμένη διαδικασία aumento δεδομένων βασισμένη στη φυσική διαδικασία υποβαθμισμένων εικόνων προτείνεται.»

«Εκτεταμένες πειραματικές δοκιμές δείχνουν ότι η απλή αλλά αποτελεσματική τεχνική βελτιώνει σημαντικά τη σταθερότητα του μοντέλου εναντίον των ρεαλιστικών υποβαθμίσεων και επεξεργασιών σε τυπικές ροές εργασίας εικόνας.»

* Η αντιστοίχηση grain στην παραγώμενη εικόνα είναι μια λειτουργία της μεταφοράς στυλ κατά τη διαδικασία μετατροπής.

Πρώτη δημοσίευση 29ης Μαρτίου 2022. Ενημερώθηκε 8:33 μ.μ. EST για να διευκρινιστεί η χρήση grain στο Ffmpeg.