Ερευνητές Αναγνωρίζουν Ένα Ανθεκτικό Χαρακτηριστικό των Deepfakes που Μπορεί να Βοηθήσει στη Μακροχρόνια Ανίχνευση

Από τότε που οι πρώτες λύσεις ανίχνευσης deepfake ξεκίνησαν να εμφανίζονται το 2018, ο τομέας της έρευνας υπολογιστικής όρασης και ασφάλειας έχει προσπαθήσει να ορίσει ένα απαραίτητο χαρακτηριστικό των βίντεο deepfake – σήματα που θα μπορούσαν να αποδειχθούν ανθεκτικά στις βελτιώσεις στις δημοφιλείς τεχνολογίες σύνθεσης προσώπου (όπως τα πακέτα deepfake που βασίζονται σε autoencoder, όπως το DeepFaceLab και το FaceSwap, και η χρήση Γεννητικών Αντισταθμιστικών Δικτύων για την αναπαράσταση,模拟 ή αλλαγή ανθρώπινων προσώπων).

Πολλά από τα ‘σημάδια’, όπως η έλλειψη αναβληθέας, έγιναν απαρχαιωμένα από τις βελτιώσεις στα deepfakes, ενώ η πιθανή χρήση τεχνικών ψηφιακής προέλευσης (όπως η πρωτοβουλία Content Authenticity Initiative της Adobe) – συμπεριλαμβανομένων των προσεγγίσεων blockchain και ψηφιακών watermarks των πιθανών πηγαίων φωτογραφιών – είτε απαιτούν εκτεταμένες και δαπανηρές αλλαγές στο υπάρχον σώμα των διαθέσιμων εικόνων στο διαδίκτυο, είτε θα χρειαζόταν μια αξιοσημείωτη συνεργατική προσπάθεια μεταξύ εθνών και κυβερνήσεων για τη δημιουργία συστημάτων επιτήρησης και αυθεντικοποίησης.

Επομένως, θα ήταν πολύ χρήσιμο αν ένα πραγματικά θεμελιώδες και ανθεκτικό χαρακτηριστικό θα μπορούσε να διακριθεί στο περιεχόμενο εικόνας και βίντεο που εμφανίζει τροποποιημένα, εφευρεμένα ή ανταλλαγμένα ανθρώπινα πρόσωπα· ένα χαρακτηριστικό που θα μπορούσε να συναχθεί απευθείας από τα ψευδεπίγραφα βίντεο, χωρίς μεγάλη κλίμακα επαλήθευσης, κρυπτογραφική διαδικασία ελέγχου, έλεγχο περιεχομένου, αξιολόγηση πιθανοτήτων, ρουτίνες ανίχνευσης αντικειμένων ή άλλες επιβαρύνουσες προσεγγίσεις για την ανίχνευση deepfakes.

Deepfakes στο Πλαίσιο

Μια νέα συνεργασία έρευνας μεταξύ Κίνας και Αυστραλίας πιστεύει ότι έχει βρει αυτό το ‘άγιο δισκοπότηρο’, με τη μορφή διατάραξης της τακτοποίησης.

Οι συγγραφείς έχουν αναπτύξει μια μέθοδο σύγκρισης της χωρικής ακεραιότητας και της χρονικής συνεχούς των πραγματικών βίντεο με αυτά που περιέχουν περιεχόμενο deepfake, και έχουν διαπιστώσει ότι οποιοδήποτε είδος παρέμβασης deepfake διαταράσσει την τακτοποίηση της εικόνας, όσο αόρατα κι αν είναι.

Αυτό οφείλεται εν μέρει στο ότι η διαδικασία deepfake διαλύει το στόχο βίντεο σε καρέ και εφαρμόζει την επίδραση ενός εκπαιδευμένου μοντέλου deepfake σε κάθε (αντικαταστατικό) καρέ. Οι δημοφιλείς διανομές deepfake λειτουργούν με τον ίδιο τρόπο όπως οι animators, σε αυτό το σημείο, δίνοντας περισσότερη προσοχή στην αυθεντικότητα κάθε καρέ παρά στη συμβολή κάθε καρέ στην συνολική χωρική ακεραιότητα και χρονική συνεχή του βίντεο.

Αυτό δεν είναι ο τρόπος με τον οποίο ένας κωδικοποιητής βίντεο αντιμετωπίζει μια σειρά καρέ όταν μια αρχική εγγραφή γίνεται ή επεξεργάζεται. Για να αποθηκεύσει το μέγεθος του αρχείου ή να κάνει το βίντεο κατάλληλο για ροή, ένας τεράστιος όγκος πληροφοριών απορρίπτεται από τον κωδικοποιητή βίντεο. Ακόμη και στις υψηλότερες ρυθμίσεις ποιότητας, ο κωδικοποιητής θα αναθέσει κλειδιά-καρέ (μια μεταβλητή που μπορεί να οριστεί από τον χρήστη) – ολόκληρες, πρακτικά α未壓縮 εικόνες που εμφανίζονται σε προκαθορισμένα διαστήματα στο βίντεο.

Τα ενδιάμεσα καρέ μεταξύ των κλειδιών-καρέν είναι, σε κάποιο βαθμό, εκτιμώμενα ως μια παραλλαγή των καρέ, και θα επαναχρησιμοποιήσουν όσο το δυνατόν περισσότερες πληροφορίες από τα γειτονικά κλειδιά-καρέ, αντί να είναι πλήρη καρέ από μόνα τους.

Στα αριστερά, μια πλήρης κλειδί-εικόνα, ή ‘i-εικόνα’, αποθηκεύεται στο συμπιεσμένο βίντεο, με κάποιο κόστος μεγέθους αρχείου· στα δεξιά, ένα ενδιάμεσο ‘δέλτα-καρέ’ επαναχρησιμοποιεί οποιοδήποτε εφαρμόσιμο μέρος της πιο πλουσιότερης κλειδί-εικόνας.

Με αυτόν τον τρόπο, το μπλοκ (περιέχοντας x αριθμό καρέ, ανάλογα με τις ρυθμίσεις κλειδιών-καρέ) είναι ενδεχομένως η μικρότερη μονάδα που θεωρείται σε ένα τυπικό συμπιεσμένο βίντεο, αντί για οποιοδήποτε ατομικό καρέ. Ακόμη και η κλειδί-εικόνα herself, γνωστή ως i-εικόνα, αποτελεί μέρος αυτής της μονάδας.

Σε σχέση με την παραδοσιακή animation, ένας κωδικοποιητής εκτελεί ένα είδος in-betweening, με τα κλειδιά-καρέ να λειτουργούν ως στήλες για τα ενδιάμεσα, παραγόμενα καρέ, γνωστά ως δέλτα-καρέ.

Αντίθετα, η υπέρθεση deepfake αφιερώνει τεράστιες προσοχές και πόρους σε κάθε ατομικό καρέ, χωρίς να λαμβάνει υπόψη το ευρύτερο πλαίσιο του καρέ, και χωρίς να κάνει διατάξεις για τον τρόπο με τον οποίο η συμπίεση και η κωδικοποίηση με βάση τα μπλοκ επηρεάζουν τα χαρακτηριστικά του ‘αυθεντικού’ βίντεο.

Μια πιο προσεκτική ματιά στη διακοπή μεταξύ της χρονικής ποιότητας ενός αυθεντικού βίντεο (αριστερά) και του ίδιου βίντεο όταν διαταράσσεται από deepfakes (δεξιά).

Αν και κάποιοι από τους καλύτερους deepfakers χρησιμοποιούν εκτεταμένη μετα-επεξεργασία, σε πακέτα όπως το After Effects, και αν και η διανομή DeepFaceLab έχει κάποια εγγενή ικανότητα να εφαρμόσει διαδικασίες ‘μιξοποίησης’ όπως η κίνηση θόλων, τέτοια δόλια δεν επηρεάζουν την αντίθεση της χωρικής και χρονικής ποιότητας μεταξύ αυθεντικών και ψευδεπίγραφων βίντεο.

Το νέο έγγραφο έχει τον τίτλο Ανίχνευση Deepfake με τη Δημιουργία Διαταραχής Χωροχρονικής Τακτοποίησης, και προέρχεται από ερευνητές στο Πανεπιστήμιο Tsinghua, το Τμήμα Τεχνολογίας Υπολογιστικής Όρασης (VIS) στην Baidu Inc. και το Πανεπιστήμιο του Melbourne

‘Ψευδές’ Ψευδεπίγραφα Βίντεο

Οι ερευνητές πίσω από το έγγραφο έχουν ενσωματώσει τη λειτουργικότητα της έρευνας σε ένα μοντέλο με το όνομα Pseudo-fake Generator (P-fake Generator), το οποίο μετατρέπει πραγματικά βίντεο σε ψευδεπίγραφα βίντεο, διαταράσσοντας τα με τον ίδιο τρόπο που η πραγματική διαδικασία deepfake το κάνει, χωρίς να εκτελεί πραγματικές λειτουργίες deepfake.

Δοκιμές δείχνουν ότι το μοντέλο μπορεί να προστεθεί σε όλα τα υπάρχοντα συστήματα ανίχνευσης deepfake με πρακτικά μηδενικό κόστος πόρων, και ότι βελτιώνει σημαντικά την απόδοσή τους.

Η ανακάλυψη αυτή μπορεί να βοηθήσει στην αντιμετώπιση ενός από τα άλλα εμπόδια στην έρευνα ανίχνευσης deepfakes: την έλλειψη αυθεντικών και ενημερωμένων συνόλων δεδομένων.既然 η γεννήθηκε deepfake είναι μια περίπλοκη και χρονοβόρα διαδικασία, η κοινότητα έχει αναπτύξει μια σειρά από συνόλου δεδομένων deepfake τα τελευταία πέντε χρόνια, πολλά από τα οποία είναι αρκετά παλιά.

Βάσει της διατάραξης της τακτοποίησης ως ενός deepfake-αγνοητικού σήματος για βίντεο που τροποποιούνται μετά, η νέα μέθοδος καθιστά δυνατή τη δημιουργία απεριόριστων δειγμάτων και συνόλων δεδομένων που εστιάζουν σε αυτό το χαρακτηριστικό των deepfakes.

Επισκόπηση του μπλοκ STE, όπου η χρονική σύγκλιση χρησιμοποιείται ως ερέθισμα για τη γεννήθεια χωροχρονικά ενισχυμένων κωδικοποιήσεων, με αποτέλεσμα το ίδιο σήμα που θα έδινε ακόμη και ένα πολύ πειστικό deepfake. Με αυτόν τον τρόπο, ‘ψευδές’ ψευδεπίγραφα βίντεο μπορούν να γεννηθούν που φέρουν τα ίδια χαρακτηριστικά σήματος με οποιοδήποτε τροποποιημένο, deepfake-στυλ βίντεο, και τα οποία δεν εξαρτώνται από συγκεκριμένες διανομές ή από εύθραυστα χαρακτηριστικά όπως η συμπεριφορά χαρακτηριστικών ή τα τεχνικά αρτεφάκτα.

Δοκιμές

Οι ερευνητές διεξήγαγαν πειράματα σε έξι γνωστά συνόλου δεδομένων που χρησιμοποιούνται στην έρευνα ανίχνευσης deepfakes: FaceForensics++ (FF++); WildDeepFake; Δημόσια Προεπισκόπηση Ανίχνευσης Deepfake (DFDCP); Celeb-DF; Ανίχνευση Deepfake (DFD); και Face Shifter (FSh).

Για το FF++, οι ερευνητές εκπαίδευσαν το μοντέλο τους στην αρχική βάση δεδομένων και έκαναν δοκιμές σε κάθε μια από τις τέσσερις υπο-συνόλους ξεχωριστά. Χωρίς τη χρήση οποιασδήποτε υλικού deepfake στη διαδικασία εκπαίδευσης, η νέα μέθοδος κατάφερε να ξεπεράσει τα αποτελέσματα του κράτους της τέχνης.

Η μέθοδος κατέλαβε επίσης την πρώτη θέση όταν συγκρίνεται με το συνόλου δεδομένων FF++ C23, το οποίο παρέχει παραδείγματα που εμφανίζουν τα είδη των θορύβων που είναι πιστευτά σε πραγματικά περιβάλλοντα deepfakes.

Οι συγγραφείς σχολιάζουν:

‘Οι επιδόσεις στο FF++ επικυρώνουν τη δυνατότητα της κύριας ιδέας μας, ενώ η γενικευσιμότητα παραμένει ένα σημαντικό πρόβλημα των υφιστάμενων μεθόδων ανίχνευσης deepfakes, καθώς η απόδοση δεν εγγυάται όταν δοκιμάζεται σε deepfakes που παράγονται από μη είδικες τεχνικές.

‘Σκεφτείτε περαιτέρω την πραγματικότητα του αγώνα μεταξύ ανιχνευτών και δημιουργών, η γενικευσιμότητα είναι ένα σημαντικό κριτήριο για τη μέτρηση της αποτελεσματικότητας μιας μεθόδου ανίχνευσης στον πραγματικό κόσμο.’

Αν και οι ερευνητές διεξήγαγαν eine σειρά από υπο-δοκιμές (δείτε το έγγραφο για λεπτομέρειες) γύρω από ‘ανθεκτικότητα’ και την αλλαγή των τύπων βίντεο εισόδου (π.χ. πραγματικά, ψευδεπίγραφα, p-faked, κ.λπ.), τα πιο ενδιαφέροντα αποτελέσματα είναι από τη δοκιμή για την απόδοση μεταξύ συνόλων δεδομένων.

Για αυτό, οι συγγραφείς εκπαίδευσαν το μοντέλο τους στην ‘πραγματική’ εκδοχή C23 του FF++ και το έκαναν δοκιμές σε τέσσερα συνόλου δεδομένων, αποκτώντας, όπως αναφέρουν οι συγγραφείς, ανώτερη απόδοση σε όλα αυτά.

Αποτελέσματα από την δοκιμή μεταξύ συνόλων δεδομένων. Το έγγραφο σημειώνει ότι η SBI χρησιμοποιεί μια παρόμοια προσέγγιση με τη δική μας, ενώ, ισχυρίζονται οι ερευνητές, ο p-fake δείχνει καλύτερη απόδοση για τη διαταραχή χωροχρονικής τακτοποίησης.

Το έγγραφο αναφέρει:

‘Στο πιο απαιτητικό Deepwild, η μέθοδός μας ξεπερνά τη μέθοδο SOTA περίπου 10 ποσοστιαίες μονάδες σε όρους AUC%. Νομίζουμε ότι αυτό οφείλεται στη μεγάλη ποικιλία των deepfakes στο Deepwild, η οποία κάνει τις άλλες μεθόδους να αποτυγχάνουν να γενικευθούν καλά από τα είδικα deepfakes.’

Οι μετρήσεις που χρησιμοποιήθηκαν για τις δοκιμές ήταν ο Βαθμός Ακρίβειας (ACC), η Περιοχή Κάτω από την Καμπύλη Λήψης και Επεξεργασίας (AUC) και ο Ισοπαλής Βαθμός Λάθους (EER).

Αντεπιθέσεις;

Αν και τα μέσα ενημέρωσης χαρακτηρίζουν την ένταση μεταξύ των δημιουργών deepfakes και των ερευνητών ανίχνευσης deepfakes σε όρους τεχνολογικού πολέμου, είναι αμφισβητούμενο αν οι πρώτοι προσπαθούν να κάνουν πιο πειστική έξοδο, και αν η αυξημένη δυσκολία ανίχνευσης deepfakes είναι ένα περιστασιακό προϊόν αυτών των προσπαθειών.

Εάν οι δημιουργοί θα προσπαθήσουν να αντιμετωπίσουν αυτή τη νεοαποκαλυφθείσα αδυναμία εξαρτάται, ίσως, από το αν αισθάνονται ότι η διατάραξη της τακτοποίησης μπορεί να ανιχνευθεί σε ένα βίντεο deepfake, με γυμνό μάτι, ως ένα σημάδι μη αυθεντικότητας, και ότι επομένως αυτό το μέτρο αξίζει να αντιμετωπιστεί από μια καθαρά ποιοτική άποψη.

Αν και πέντε χρόνια έχουν περάσει από τότε που τα πρώτα deepfakes δημοσιεύθηκαν στο διαδίκτυο, η τεχνολογία deepfake είναι ακόμη μια σχετικά νέα τεχνολογία, και η κοινότητα είναι ενδεχομένως πιο εστιασμένη στη λεπτομέρεια και την ανάλυση παρά στη σωστή контέκστ και τη σύγκλιση με τα σήματα του συμπιεσμένου βίντεο, τα οποία απαιτούν μια bestimmμένη ‘καταστροφή’ της έξοδου – το ίδιο πράγμα που η 整η κοινότητα deepfake παλεύει τώρα.

Εάν η γενική συναίνεση εκεί αποδειχθεί ότι η διατάραξη της τακτοποίησης είναι ένα νεοαποκαλυφθέν σήμα που δεν επηρεάζει την ποιότητα, μπορεί να μην existει καμία προσπάθεια να αντιμετωπιστούν – ακόμη και αν μπορεί να ‘ακυρωθεί’ από κάποιες μετα-επεξεργασίες ή αρχιτεκτονικές διαδικασίες, το οποίο είναι μακράν από το σαφές.

Πρώτη δημοσίευση 22ης Ιουλίου 2022.