Η γωνία του Anderson
Η πληροφορία βάθους μπορεί να αποκαλύψει Deepfakes σε πραγματικό χρόνο

Βασικά σημείαΟι χάρτες βάθους επιτρέπουν την ανίχνευση deepfake σε πραγματικό χρόνο σε ελαφριά…
Δείτε περισσότερα
- Οι χάρτες βάθους επιτρέπουν την ανίχνευση deepfake σε πραγματικό χρόνο σε ελαφριά δίκτυα όπως το MobileNet.
- Οι ανακρίβειες βάθους στην περιφέρεια του προσώπου αποκαλύπτουν deepfake ακόμη και για άγνωστες ταυτότητες.
- Οι χάρτες βάθους σε κλίμακα του γκρι υπερτερούν των έγχρωμων εικόνων στην ακρίβεια ταξινόμησης deepfake.
Νέα έρευνα από την Ιταλία έχει βρει ότι η πληροφορία βάθους που λαμβάνεται από εικόνες μπορεί να είναι ένα χρήσιμο εργαλείο για την ανίχνευση deepfakes – ακόμη και σε πραγματικό χρόνο.
Ενώ η πλειονότητα της έρευνας για την ανίχνευση deepfakes τα τελευταία πέντε χρόνια έχει επικεντρωθεί στην αναγνώριση τεχνουργημάτων (που μπορεί να μειωθεί με βελτιωμένες τεχνικές ή να συγχέεται με κακή συμπίεση βίντεο), φωτισμό περιβάλλοντος, βιομετρικά χαρακτηριστικά, χρονική διαταραχή, και ακόμη ανθρώπινο ένστικτο, η νέα μελέτη είναι η πρώτη που προτείνει ότι η πληροφορία βάθους θα μπορούσε να είναι ένα πολύτιμο κλειδί για το περιεχόμενο deepfake.

Παραδείγματα παραγώγων χαρτών βάθους και της διαφοράς στη αντιληπτή πληροφορία βάθους μεταξύ πραγματικών και ψευδών εικόνων. Πηγή: https://arxiv.org/pdf/2208.11074.pdf
Κριτικά, τα πλαίσια ανίχνευσης που αναπτύχθηκαν για τη νέα μελέτη λειτουργούν πολύ καλά σε ένα ελαφρύ δίκτυο όπως το Xception, και αποδεκτά καλά στο MobileNet, και η νέα εργασία αναγνωρίζει ότι η χαμηλή καθυστέρηση της εξαγωγής συμπερασμάτων που προσφέρεται μέσω τέτοιων δικτύων μπορεί να επιτρέψει την ανίχνευση deepfakes σε πραγματικό χρόνο ενάντια στη νέα τάση προς ζωντανούς deepfakes, όπως η πρόσφατη επίθεση στη Binance.
Μια μεγαλύτερη οικονομία στο χρόνο εξαγωγής συμπερασμάτων μπορεί να επιτευχθεί επειδή το σύστημα δεν χρειάζεται πλήρεις εικόνες σε χρώμα για να καθορίσει τη διαφορά μεταξύ ψευδών και πραγματικών χαρτών βάθους, αλλά μπορεί να λειτουργήσει εκπληκτικά αποτελεσματικά μόνο με εικόνες σε κλίμακα του γκρι του βάθους.
Οι συγγραφείς δηλώνουν: ‘Αυτό το αποτέλεσμα δείχνει ότι το βάθος σε αυτή την περίπτωση προσθέτει μια πιο σχετική συμβολή στην ταξινόμηση από τα χρωματικά τεχνουργήματα.’
Τα ευρήματα αντιπροσωπεύουν μέρος ενός νέου κύματος έρευνας για την ανίχνευση deepfakes που κατευθύνεται ενάντια σε συστήματα σύνθεσης προσώπου σε πραγματικό χρόνο όπως το DeepFaceLive – ένα σημείο εστίασης που έχει επιταχύνει αξιοσημείωτα τους τελευταίους 3–4 μήνες, μετά την προειδοποίηση του FBI τον Μάρτιο για τον κίνδυνο βίντεο και ήχου deepfakes σε πραγματικό χρόνο.
Η εργασία έχει τον τίτλο DepthFake: μια στρατηγική βάθους για την ανίχνευση βίντεο Deepfake, και προέρχεται από πέντε ερευνητές στο Πανεπιστήμιο Σάπιενζα της Ρώμης.
Περιπτώσεις άκρων
Κατά τη διάρκεια της εκπαίδευσης, τα αυτοκωδικοποιητικά μοντέλα deepfake δίνουν προτεραιότητα στις εσωτερικές περιοχές του προσώπου, όπως τα μάτια, η μύτη και το στόμα. Στις περισσότερες περιπτώσεις, σε ανοιχτές πηγές όπως DeepFaceLab και FaceSwap (και τα δύο διακλαδωμένα από τον αρχικό κώδικα Reddit του 2017 πριν από τη διαγραφή του), οι εξωτερικές γραμμές του προσώπου δεν γίνονται καλά καθορισμένες μέχρι ένα πολύ όψιμο στάδιο της εκπαίδευσης, και είναι απίθανο να ταιριάζουν με την ποιότητα της σύνθεσης στην εσωτερική περιοχή του προσώπου.

Από μια προηγούμενη μελέτη, βλέπουμε μια οπτικοποίηση των ‘χαρτών σημαντικότητας’ του προσώπου. Πηγή: https://arxiv.org/pdf/2203.01318.pdf
Κανονικά, αυτό δεν είναι σημαντικό, επειδή η τάση μας να επικεντρωθούμε πρώτα στα μάτια και να δώσουμε προτεραιότητα, ‘εξωτερικά’ με μειωμένα επίπεδα προσοχής σημαίνει ότι είναι απίθανο να μας ενοχλήσει η μείωση της περιφερειακής ποιότητας – ιδιαίτερα αν μιλάμε ζωντανά με το άτομο που μιμείται μια άλλη ταυτότητα, το οποίο ενεργοποιεί κοινωνικές συμβάσεις και περιορισμούς επεξεργασίας που δεν υπάρχουν όταν αξιολογούμε προκατασκευασμένα βίντεο deepfake.
Ωστόσο, η έλλειψη λεπτομέρειας ή ακρίβειας στις επηρεαζόμενες περιφερειακές περιοχές ενός deepfaked προσώπου μπορεί να ανιχνευθεί αλγοριθμικά. Τον Μάρτιο, ένα σύστημα που βασίζεται στην περιφερειακή περιοχή του προσώπου ανακοινώθηκε. Ωστόσο, επειδή απαιτεί μια πάνω από το μέσο όρο ποσότητα δεδομένων εκπαίδευσης, είναι μόνο για διασημότητες που είναι πιθανό να εμφανιστούν σε δημοφιλή σύνολα δεδομένων προσώπων (όπως το ImageNet) που έχουν αποδεικτική αξία στις τρέχουσες τεχνικές όρασης και ανίχνευσης deepfakes.
Αντίθετα, το νέο σύστημα, που ονομάζεται DepthFake, μπορεί να λειτουργήσει γενικά ακόμη και σε ελάχιστα γνωστές ή άγνωστες ταυτότητες, διακρίνοντας την ποιότητα της εκτιμώμενης πληροφορίας βάθους σε πραγματικά και ψευδή βίντεο περιεχόμενο.
Βυθίζοντας βαθύτερα
Η πληροφορία βάθους γίνεται ολοένα και πιο ενσωματωμένη στα smartphones, συμπεριλαμβανομένων στερεοσκοπικών υλοποιήσεων με υποστήριξη AI που είναι ιδιαίτερα χρήσιμες για μελέτες όρασης υπολογιστή. Στη νέα μελέτη, οι συγγραφείς έχουν χρησιμοποιήσει το μοντέλο FaceDepth του Εθνικού Πανεπιστημίου της Ιρλανδίας, ένα συνελικτικό δίκτυο κωδικοποιητή/αποκωδικοποιητή που μπορεί να εκτιμήσει αποτελεσματικά χάρτες βάθους από εικόνες μιας πηγής.
Επόμενο, η διαδικασία για το νέο πλαίσιο των Ιταλών ερευνητών εξάγει ένα τμήμα 224×224 pixel του προσώπου του υποκειμένου από την αρχική εικόνα RGB και τον παραγώγο χάρτη βάθους. Κριτικά, αυτό επιτρέπει στη διαδικασία να αντιγράψει το βασικό περιεχόμενο χωρίς να αλλάξει το μέγεθός του· αυτό είναι σημαντικό, επειδή οι τυπικοί αλγόριθμοι αλλαγής μεγέθους θα επηρεάσουν αρνητικά την ποιότητα των στοχευόμενων περιοχών.
Χρησιμοποιώντας αυτή την πληροφορία, και από πραγματικές και deepfaked πηγές, οι ερευνητές έπειτα εκπαίδευσαν ένα συνελικτικό νευρωνικό δίκτυο (CNN) ικανό να διακρίνει πραγματικές από ψεύτικες περιπτώσεις, με βάση τις διαφορές στην αντιληπτή ποιότητα των αντίστοιχων χαρτών βάθους.
Το μοντέλο FaceDepth έχει εκπαιδευτεί σε πραγματικά και συνθετικά δεδομένα χρησιμοποιώντας μια υβριδική συνάρτηση που προσφέρει μεγαλύτερη λεπτομέρεια στις εξωτερικές περιφέρειες του προσώπου, καθιστώντας το κατάλληλο για το DepthFake. Χρησιμοποιεί μια περίπτωση MobileNet ως εξαγωγέα χαρακτηριστικών, και εκπαιδεύτηκε με είσοδο εικόνων 480×640 που παρήγαγε χάρτες βάθους 240×320. Κάθε χάρτης βάθους αντιπροσωπεύει ένα από τα τέσσερα κανάλια εισόδου του διακριτή της νέας εργασίας.
Ο χάρτης βάθους ενσωματώνεται αυτόματα στην αρχική εικόνα RGB για να παρέχει το είδος εικόνας RGBD, πλούσιο σε πληροφορία βάθους, που μπορούν να παράγουν οι σύγχρονες κάμερες smartphone.
Εκπαίδευση
Το μοντέλο εκπαιδεύτηκε σε ένα δίκτυο Xception που είχε ήδη προ-εκπαιδευτεί στο ImageNet, αν και η αρχιτεκτονική χρειαζόταν κάποια προσαρμογή για να φιλοξενήσει την πρόσθετη πληροφορία βάθους ενώ διατηρούσε τη σωστή αρχικοποίηση των βαρών.
Επιπλέον, μια ανισότητα στις τιμές μεταξύ της πληροφορίας βάθους και αυτής που περιμένει το δίκτυο απαιτούσε ότι οι ερευνητές να κανονικοποιήσουν τις τιμές σε 0-255.
Κατά τη διάρκεια της εκπαίδευσης, μόνο η αναστροφή και η περιστροφή εφαρμόστηκαν. Σε πολλές περιπτώσεις, διάφορες άλλες οπτικές παραλλαγές θα παρουσιάζονταν στο μοντέλο για να αναπτύξουν ανθεκτική εξαγωγή συμπερασμάτων, αλλά η αναγκαιότητα να διατηρηθεί η περιορισμένη και πολύ εύθραυστη πληροφορία βάθους στα άκρα του προσώπου στις φωτογραφίες πηγής ανάγκασε τους ερευνητές να υιοθετήσουν ένα περιορισμένο πρόγραμμα εκπαίδευσης.
Το σύστημα εκπαιδεύτηκε επίσης σε απλές 2-κανάλι εικόνες σε κλίμακα του γκρι, για να καθορίσει πόσο σύνθετες χρειάζονταν να είναι οι εικόνες πηγή για να ληφθεί ένα λειτουργικό αλγόριθμο.
Η εκπαίδευση πραγματοποιήθηκε μέσω της API TensorFlow σε ένα NVIDIA GTX 1080 με 8GB VRAM, χρησιμοποιώντας τον βελτιστοποιητή ADAMAX, για 25 εποχές, με μέγεθος παρτίδας 32. Η ανάλυση εισόδου ήταν σταθερή σε 224×224 κατά τη διάρκεια της περικοπής, και η ανίχνευση και εξαγωγή του προσώπου πραγματοποιήθηκε με τη βιβλιοθήκη C++ dlib.
Αποτελέσματα
Η ακρίβεια των αποτελεσμάτων ελέγχθηκε ενάντια στο Deepfake, Face2Face, FaceSwap, Neural Texture, και το πλήρες σύνολο δεδομένων με είσοδο RGB και RGBD, χρησιμοποιώντας το πλαίσιο FaceForensic++.

Αποτελέσματα στην ακρίβεια για τέσσερις μεθόδους deepfake, και ενάντια στο πλήρες μη διαχωρισμένο σύνολο δεδομένων. Τα αποτελέσματα χωρίζονται μεταξύ ανάλυσης εικόνων πηγή RGB, και των ίδιων εικόνων με ενσωματωμένο χάρτη βάθους. Τα καλύτερα αποτελέσματα είναι σε έντονα, με ποσοστά που δείχνουν το βαθμό στον οποίο η πληροφορία βάθους βελτιώνει το αποτέλεσμα.
Σε όλες τις περιπτώσεις, το κανάλι βάθους βελτιώνει την απόδοση του μοντέλου σε όλες τις διαμορφώσεις. Το Xception λαμβάνει τα καλύτερα αποτελέσματα, με το MobileNet κοντά. Σε αυτό, οι συγγραφείς σχολιάζουν:
‘[Είναι] ενδιαφέρον να σημειωθεί ότι το MobileNet είναι ελαφρώς κατώτερο από το Xception και υπερέχει του βαθύτερου ResNet50. Αυτό είναι ένα αξιοσημείωτο αποτέλεσμα όταν εξετάζεται ο στόχος της μείωσης του χρόνου εξαγωγής συμπερασμάτων για εφαρμογές σε πραγματικό χρόνο. Αν και αυτό δεν είναι η κύρια συνεισφορά αυτής της εργασίας, ακόμη το θεωρούμε ως ένα ενθαρρυντικό αποτέλεσμα για μελλοντικές αναπτύξεις.’
Οι ερευνητές επίσης σημειώνουν μια συνεχή υπεροχή της εισόδου RGBD και 2-κανάλι εικόνων σε κλίμακα του γκρι έναντι της εισόδου RGB και απλής εικόνας σε κλίμακα του γκρι, παρατηρώντας ότι οι μετατροπές σε κλίμακα του γκρι των εκτιμήσεων βάθους, οι οποίες είναι υπολογιστικά πολύ φθηνές, επιτρέπουν στο μοντέλο να λάβει βελτιωμένα αποτελέσματα με πολύ περιορισμένους τοπικούς πόρους, διευκολύνοντας την μελλοντική ανάπτυξη ανίχνευσης deepfakes σε πραγματικό χρόνο με βάση την πληροφορία βάθους.
Πρώτη δημοσίευση 24ης Αυγούστου 2022.














