Αναγνώριση Πηγών Δεδομένων Deepfake με Βάση Tagging AI

Μια συνεργασία ερευνητών στην Κίνα, τη Σιγκαπούρη και τις ΗΠΑ έχει παραγάγει ένα ανθεκτικό σύστημα για “ετικέτα” φωτογραφιών προσώπου, ώστε να είναι αρκετά ανθεκτικά τα αναγνωριστικά σημάδια, έτσι ώστε να μην καταστρέφονται κατά τη διάρκεια μιας deepfake διαδικασίας εκπαίδευσης, ανοίγοντας το δρόμο για αξιώματα πνευματικών δικαιωμάτων που θα μπορούσαν να μειώσουν την ικανότητα των συνθετικών συστημάτων γεννήτριας εικόνων να “ανονοποιούν” άδικως πηγές δεδομένων.

Το σύστημα, με τίτλο FakeTagger, χρησιμοποιεί μια διαδικασία κωδικοποιητή/αποκωδικοποιητή για να ενσωματώσει οπτικά αδιάκριτα στοιχεία ID σε εικόνες σε ένα τόσο χαμηλό επίπεδο, ώστε οι ενθεμένες πληροφορίες θα ερμηνευτούν ως απαραίτητα χαρακτηριστικά προσώπου και, επομένως, θα διατηρηθούν άθικτες μέσω αφαίρεσης διαδικασιών, με τον ίδιο τρόπο, για παράδειγμα, όπως τα δεδομένα των ματιών ή του στόματος.

Μια επισκόπηση της αρχιτεκτονικής του FakeTagger. Τα δεδομένα πηγής χρησιμοποιούνται για τη δημιουργία ενός ‘πλεονάζοντος’ χαρακτηριστικού προσώπου, αγνοώντας τα στοιχεία του φόντου που θα.masked μέσω μιας τυπικής διαδικασίας deepfake. Το μήνυμα είναι ανακτήσιμο στο άλλο άκρο της διαδικασίας και αναγνωρίσιμο μέσω μιας αντίστοιχης αλγόριθμου αναγνώρισης. Πηγή: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Η έρευνα προέρχεται από το Τμήμα Κυβερνοεπιστήμης και Μηχανικής στο Wuhan, το Κλειδί Εργαστήριο Αεροδιαστημικής Πληροφορικής Ασφαλείας και Εμπιστευτικών Υπολογιστών στο Υπουργείο Παιδείας της Κίνας, την Alibaba Group στις ΗΠΑ, το Πανεπιστήμιο Northeastern στο Boston και το Πανεπιστήμιο Nanyang στη Σιγκαπούρη.

Πειραματικά αποτελέσματα με το FakeTagger δείχνουν ένα ποσοστό αναγνώρισης έως και σχεδόν 95% σε τέσσερις κοινές μεθόδους deepfake: ανταλλαγή ταυτότητας (π.χ. DeepFaceLab, FaceSwap); αναπαράσταση προσώπου; επεξεργασία χαρακτηριστικών; και ολική σύνθεση.

Ελαττώματα της Ανίχνευσης Deepfake

Αν και τα τελευταία三年 έχουν φέρει μια νέα σειρά προσεγγίσεων για μεθόδους ανίχνευσης deepfake, όλες αυτές οι προσεγγίσεις βασίζονται σε θεραπεύσιμα ελαττώματα των ροών εργασίας deepfake, όπως η λάμψη των ματιών σε μη εκπαιδευμένα μοντέλα και η έλλειψη αναβληθέντος σε προηγούμενες deepfakes με ανεπαρκώς διαφορετικά σύνολα προσώπων. Όσο αναγνωρίζονται νέα κλειδιά, τα αποθετήρια λογισμικού ανοικτού κώδικα έχουν απομακρύνει αυτά, είτε σκόπιμα, είτε ως αποτέλεσμα βελτιώσεων στις τεχνικές deepfake.

Η νέα εργασία παρατηρεί ότι η πιο αποτελεσματική μέθοδος ανίχνευσης μετά την ολοκλήρωση (DFDC) που παράγεται από τον πιο πρόσφατο διαγωνισμό ανίχνευσης deepfake της Facebook είναι περιορισμένη σε 70% ακρίβεια, όσον αφορά την ανίχνευση deepfakes στο άγριο. Οι ερευνητές αποδίδουν αυτή την αντιπροσωπευτική αποτυχία σε κακή γενίκευση κατά των νέων και καινοτόμων συστημάτων deepfake GAN και κωδικοποιητή/αποκωδικοποιητή, και στην συχνά υποβαθμισμένη ποιότητα των deepfake υποκαταστάσεων.

Επιβίωση Ετικέτας ως Βοήθημα για την Ανάστροφη Μοντελοποίησης

Η αναγνώριση δεδομένων πηγής από έξοδο μοντέλου μηχανικής μάθησης είναι ένα σχετικά νέο και αναπτυσσόμενο πεδίο, και ένα που επιτρέπει μια νέα εποχή νομικών αγώνων με βάση τα πνευματικά δικαιώματα, καθώς οι τρέχουσες περίεργες κανονισμοί οθόνης (σχεδιασμένες για να μην εμποδίζουν την εθνική έρευνα στην αντιμετώπιση ενός παγκόσμιου AI ‘πολέμου’) εξελίσσονται σε αυστηρότερες νομοθεσίες καθώς ο τομέας εμπορευματοποιείται.

Ανάστροφη Μοντελοποίηση ασχολείται με τη χαρτογράφηση και την αναγνώριση δεδομένων πηγής από την έξοδο που παράγεται από συστήματα σύνθεσης σε μια σειρά τομέων, συμπεριλαμβανομένης της Φυσικής Γλώσσας (NLG) και της σύνθεσης εικόνας. Η ανάστροφη μοντελοποίηση είναι ιδιαίτερα αποτελεσματική στην αναγνώριση προσώπων που έχουν διαβληθεί, pixelated ή έχουν περάσει από τη διαδικασία αφαίρεσης eines ΓAN ή κωδικοποιητή/αποκωδικοποιητή συστήματος όπως το DeepFaceLab.

Ετικέτα Μετά την Ολοκλήρωση

Το FakeTagger προορίζεται ως μια μετα-επεξεργασία προσέγγισης. Για παράδειγμα, όταν ένας χρήστης ανεβάζει μια φωτογραφία σε ένα κοινωνικό δίκτυο (το οποίο συνήθως περιλαμβάνει κάποιο είδος διαδικασίας βελτιστοποίησης και σπάνια μια άμεση και ανεπηρέαστη μεταφορά της αρχικής εικόνας), ο αλγόριθμος θα επεξεργαστεί την εικόνα για να εφαρμόσει υποτιθέμενες αμετάβλητες χαρακτηριστικά στο πρόσωπο.

Εναλλακτικά, ο αλγόριθμος θα μπορούσε να εφαρμοστεί σε ιστορικές συλλογές εικόνων, όπως έχει συμβεί πολλές φορές τα τελευταία είκοσι χρόνια, καθώς μεγάλες συλλογές φωτογραφιών και εμπορικών εικόνων έχουν αναζητήσει μέθοδους για την αναγνώριση περιεχομένου που έχει χρησιμοποιηθεί χωρίς άδεια.

Το FakeTagger επιδιώκει να ενσωματώσει ανακτήσιμα χαρακτηριστικά ID από διάφορες διαδικασίες deepfake.

Ανάπτυξη και Δοκιμή

Οι ερευνητές δοκιμάζουν το FakeTagger ενάντια σε eine σειρά εφαρμογών λογισμικού deepfake σε τέσσερις προσεγγίσεις, συμπεριλαμβανομένης της πιο ευρέως χρησιμοποιούμενης αποθήκης, DeepFaceLab; το Face2Face του Stanford, το οποίο μπορεί να μεταφέρει εκφράσεις προσώπου σε εικόνες και ταυτότητες; και STGAN, το οποίο μπορεί να επεξεργαστεί χαρακτηριστικά προσώπου.

Η δοκιμή πραγματοποιήθηκε με CelebA-HQ, μια δημοφιλή δημόσια αποθήκη που περιέχει 30.000 εικόνες προσώπου διασημοτήτων σε διάφορες αναλύσεις έως 1024 x 1024 pixels.

Ως βάση, οι ερευνητές αρχικά δοκιμάζουν συμβατικές τεχνικές ετικέτας εικόνας, για να δουν αν οι επιβαλλόμενες ετικέτες θα επιβιώσουν από τις διαδικασίες εκπαίδευσης των ροών εργασίας deepfake, αλλά οι μέθοδοι απέτυχαν σε όλες τις τέσσερις προσεγγίσεις.

Τα ενσωματωμένα δεδομένα του FakeTagger ενέκθηκαν στο στάδιο του κωδικοποιητή σε εικόνες face-set χρησιμοποιώντας μια αρχιτεκτονική που βασίζεται στο U-Net για τη διαδικασία αναίρεσης εικόνας. Κατόπιν, το τμήμα αποκωδικοποιητή του πλαισίου εκπαιδεύτηκε για να βρει τις ενσωματωμένες πληροφορίες.

Η διαδικασία δοκιμάστηκε σε ένα GAN simulator που αξιοποίησε τις προαναφερθείσες εφαρμογές/αλγόριθμους FOSS, σε μια μαύρη κουτί ρύθμιση με keine διακριτή ή ειδική πρόσβαση στις ροές εργασίας κάθε συστήματος. Τυχαία σήματα επισυνάπτονται στις εικόνες διασημοτήτων και καταγράφονται ως σχετικές δεδομένα για κάθε εικόνα.

Σε μια μαύρη κουτί ρύθμιση, το FakeTagger ήταν σε θέση να επιτύχει ακρίβεια που υπερβαίνει το 88,95% στις τέσσερις εφαρμογές. Σε μια παράλληλη λευκή κουτί ρύθμιση, η ακρίβεια αυξήθηκε σε σχεδόν 100%. Ωστόσο, поскольку αυτό υποδηλώνει μελλοντικές επαναλήψεις του λογισμικού deepfake που ενσωματώνει το FakeTagger απευθείας, είναι μια απίθανη ρύθμιση στο άμεσο μέλλον.

Λογαριασμός του Κόστους

Οι ερευνητές σημειώνουν ότι η πιο απαιτητική περίπτωση για το FakeTagger είναι η πλήρης σύνθεση εικόνας, όπως η αφαίρεση CLIP-βασισμένης αφαίρεσης,既然 το εισαγόμενο δεδομένο εκπαίδευσης υπόκειται στα βαθύτερα επίπεδα αφαίρεσης σε τέτοια περίπτωση. Ωστόσο, αυτό δεν ισχύει για τις ροές εργασίας deepfake που έχουν κυριαρχήσει στα τελευταία χρόνια, καθώς αυτές βασίζονται στην πιστή αναπαράσταση των χαρακτηριστικών ταυτότητας.

Η εργασία σημειώνει επίσης ότι οι επιθετικοί επιτιθέμενοι θα μπορούσαν να προσπαθήσουν να προσθέσουν διαταραχές, όπως τεχνητό θόρυβο και κόκκους, για να αποτρέψουν ένα τέτοιο σύστημα ετικέτας, αν και αυτό θα ήταν πιθανό να έχει μια επιζήμια επίδραση στην αυθεντικότητα της έξοδου deepfake.

Επιπλέον, σημειώνουν ότι το FakeTagger πρέπει να προσθέσει πλεονάζοντα δεδομένα σε εικόνες για να διασφαλίσει την επιβίωση των ετικετών που ενσωματώνει, και ότι αυτό θα μπορούσε να έχει ένα αξιοσημείωτο υπολογιστικό κόστος σε κλίμακα.

Οι συγγραφείς καταλήγουν στο συμπέρασμα ότι το FakeTagger μπορεί να έχει δυνατότητες για την παρακολούθηση προέλευσης σε άλλους τομείς, όπως επιθετικές επιθέσεις βροχής και άλλους τύπους επιθέσεων με βάση εικόνες, όπως επιθετικές επιθέσεις εκθέσεων, ομίχλη, θόλωση, σκοτεινότητα και χρωματική διαταραχή.