GOTCHA– Ένα Σύστημα CAPTCHA για Ζωντανούς Deepfakes

Νέα έρευνα από το Πανεπιστήμιο της Νέας Υόρκης προσθέτει στις αυξανόμενες ενδείξεις ότι μπορεί να χρειαστεί να περάσουμε από το ισοδύναμο ενός “τεστ μεθύσιος” για να πιστοποιήσουμε την ταυτότητά μας, πριν ξεκινήσουμε μια ευαίσθητη βίντεο κλήση – όπως μια τηλεδιάσκεψη εργασίας ή οποιαδήποτε άλλη ευαίσθητη κατάσταση που μπορεί να προσελκύσει απάτες με χρήση λογισμικού ροής deepfake σε πραγματικό χρόνο.

Ορισμένες από τις ενεργές και παθητικές προκλήσεις που εφαρμόζονται σε σενάρια βίντεο-κλήσεων στο GOTCHA. Ο χρήστης πρέπει να συμμορφώνεται με και να περάσει τις προκλήσεις, ενώ επιπλέον ‘παθητικές’ μεθόδους (όπως η προσπάθεια υπερφόρτωσης ενός πιθανόυ συστήματος deepfake) χρησιμοποιούνται πάνω στις οποίες ο συμμετέχων δεν έχει καμία επιρροή. Πηγή: http://export.arxiv.org/pdf/2210.06186

Το προτεινόμενο σύστημα ονομάζεται GOTCHA – μια αναφορά στα συστήματα CAPTCHA που έχουν γίνει ένα αυξανόμενο εμπόδιο στη διαδικτυακή πλοήγηση τα τελευταία 10-15 χρόνια, όπου αυτόματα συστήματα απαιτούν από τον χρήστη να εκτελέσει εργασίες που οι μηχανές δεν είναι καλές, όπως η αναγνώριση ζώων ή η αποκωδικοποίηση παραμορφωμένου κειμένου (και, ειρωνικά, αυτές οι προκλήσεις συχνά μετατρέπουν τον χρήστη σε einen δωρεάν AMT-style εξωτερικό annotator).

Συνοπτικά, το GOTCHA επεκτείνει το έγγραφο του Αυγούστου 2022 DF-Captcha από το Πανεπιστήμιο Ben-Gurion, το οποίο ήταν το πρώτο που πρότεινε να κάνει τον άνθρωπο στο άλλο άκρο της κλήσης να πηδήξει μέσα από quelques οπτικά σημασιολογικούς κρίκους για να αποδείξει την αυθεντικότητά του.

Το έγγραφο του Αυγούστου 2022 από το Πανεπιστήμιο Ben Gurion πρότεινε για πρώτη φορά μια σειρά από互动 tests για τον χρήστη, συμπεριλαμβανομένης της σκέψης του προσώπου του ή ακόμη και της καταπίεσης του δέρματος του – εργασίες που ακόμη και καλά εκπαιδευμένα συστήματα deepfake μπορεί να μην είχαν προβλέψει ή να μπορέσουν να αντιμετωπίσουν φωτορεαλιστικά. Πηγή: https://arxiv.org/pdf/2208.08524.pdf

Ξεχωριστά, το GOTCHA προσθέτει ‘παθητικές’ μεθόδους σε μια ‘κασκάδα’ προτεινόμενων tests, συμπεριλαμβανομένης της αυτόματης επικάλυψης μη πραγματικών στοιχείων πάνω στο πρόσωπο του χρήστη, και της ‘υπερφόρτωσης’ των καδράων που περνούν από το σύστημα πηγή. Ωστόσο, μόνο οι εργασίες που απαιτούν απάντηση από τον χρήστη μπορούν να αξιολογηθούν χωρίς ειδικές άδειες για πρόσβαση στο τοπικό σύστημα του χρήστη – που, προφανώς, θα έρθουν στη μορφή τοπικών μονάδων ή προσθηκών σε δημοφιλείς συστήματα όπως το Skype και το Zoom, ή ακόμη και στη μορφή αφιερωμένου ιδιωτικού λογισμικού που έχει ανατεθεί να απομακρύνει τους ψεύτες.

Από το έγγραφο, μια εικονογράφηση της αλληλεπίδρασης μεταξύ του καλούντος και του συστήματος στο GOTCHA, με пункtiρικές γραμμές ως ροές απόφασης.

Οι ερευνητές επικύρωσαν το σύστημα σε ένα νέο σύνολο δεδομένων που περιέχει πάνω από 2,5 εκατομμύρια βίντεο-πλαισιά στο οποίο 47 συμμετέχοντες, κάθε ένας εκ των οποίων εκτέλεσε 13 προκλήσεις από το GOTCHA. Ισχυρίζονται ότι το πλαίσιο προκαλεί ‘συνεχή και μετρήσιμο’ μειώνει την ποιότητα του περιεχομένου deepfake για ψευδείς χρήστες, φτάνοντας το τοπικό σύστημα μέχρι που τα φανερά αρτεφάκτα γίνονται σαφή στο γυμνό ανθρώπινο μάτι (αν και το GOTCHA περιέχει επίσης μερικές πιο υποtle αλγοριθμικές μεθόδους ανάλυσης).

Το νέο έγγραφο ονομάζεται Gotcha: Ένα Σύστημα Απάντησης σε Προκλήσεις για Ανίχνευση Deepfake σε Πραγματικό Χρόνο (το όνομα του συστήματος είναι με κεφαλαία στο σώμα αλλά όχι στον τίτλο της δημοσίευσης, αν και δεν είναι ένα ακρωνύμιο).

Μια Σειρά Προκλήσεων

Συνοπτικά, οι πραγματικές προκλήσεις που αντιμετωπίζουν οι χρήστες διαιρούνται σε διάφορους τύπους εργασιών.

Για οσκληροποίηση, ο χρήστης απαιτείται είτε να σκεπάσει το πρόσωπό του με το χέρι του, ή με άλλα αντικείμενα, ή να παρουσιάσει το πρόσωπό του σε γωνία που δεν είναι πιθανό να έχει εκπαιδευτεί σε ένα μοντέλο deepfake (συνήθως λόγω έλλειψης δεδομένων εκπαίδευσης για ‘παράξενα’ στάσεις – δείτε σειρά εικόνων στην πρώτη εικονογράφηση παραπάνω).

Εκτός από τις εργασίες που ο χρήστης μπορεί να εκτελέσει ο ίδιος σύμφωνα με τις οδηγίες, το GOTCHA μπορεί να επικάλυψη τυχαία κομμάτια προσώπου, αυτοκόλλητα και φίλτρα εικονικής πραγματικότητας, για να ‘διαφθαρεί’ η ροή προσώπου που ένα τοπικό εκπαιδευμένο μοντέλο deepfake μπορεί να περιμένει, προκαλώντας του να αποτύχει. Όπως αναφέρθηκε πριν, αν και αυτή είναι μια ‘παθητική’ διαδικασία για τον χρήστη, είναι μια εισβολική για το λογισμικό, το οποίο χρειάζεται να μπορέσει να παρέμβει απευθείας στη ροή του τελικού συνεδρίου.

Επόμενο, ο χρήστης μπορεί να απαιτείται να τοποθετήσει το πρόσωπό του σε ασυνήθιστες εκφράσεις προσώπου που είναι πιθανό να λείπουν ή να είναι υποαντιπροσωπεύονται σε οποιοδήποτε σύνολο δεδομένων εκπαίδευσης, προκαλώντας μια μείωση της ποιότητας της εξόδου deepfake (εικόνα ‘b’, δεύτερη στήλη από αριστερά, στην πρώτη εικονογράφηση παραπάνω).

Ως μέρος αυτής της σειράς tests, ο χρήστης μπορεί να απαιτείται να διαβάσει κείμενο ή να κάνει συνομιλία που έχει σχεδιαστεί για να προκαλέσει ένα τοπικό ζωντανό σύστημα deepfaking, το οποίο μπορεί να μην έχει εκπαιδευτεί σε επαρκές εύρος φωνημάτων ή άλλων τύπων δεδομένων στόματος για να αναπαράγει ακριβή κίνηση χειλιών υπό τέτοια σκрутίνια.

Τέλος (και αυτό θα φαίνεται να προκαλεί τις ηθοποιικές ικανότητες του τελικού συνεδρίου), σε αυτήν την κατηγορία, ο χρήστης μπορεί να ζητηθεί να εκτελέσει μια ‘μικρο-έκφραση’ – μια σύντομη και ανεπαίσθητη έκφραση προσώπου που αποκαλύπτει μια эмоция. Για αυτό, το έγγραφο λέει ‘[αυτή] συνήθως διαρκεί 0,5-4,0 δευτερόλεπτα, και είναι δύσκολο να την υποκριθεί’.

Αν και το έγγραφο δεν περιγράφει πώς να εξαγάγει μια μικρο-έκφραση, η λογική υποδηλώνει ότι ο唯一 τρόπος να το κάνει είναι να δημιουργήσει ένα κατάλληλο συναισθηματικό στοιχείο στον τελικό χρήστη, ίσως με κάποιο είδος εκπληκτικού περιεχομένου που παρουσιάζεται σε αυτόν ως μέρος της διαδικασίας του test.

Διαστρέβλωση Προσώπου, Φωτισμός, καιΑπροσδόκητοι Επισκέπτες

Επιπλέον, σύμφωνα με τις προτάσεις από το έγγραφο του Αυγούστου, η νέα εργασία προτείνει να ζητήσει από τον τελικό χρήστη να εκτελέσει ασυνήθιστες διαστρεβλώσεις και χειρισμούς προσώπου, όπως να πιέσει το δάχτυλό του στο μάγουλο του, να αλληλεπιδράσει με το πρόσωπό του και/ή τα μαλλιά του, και να εκτελέσει άλλες κινήσεις που κανένα τρέχον ζωντανό σύστημα deepfake δεν είναι πιθανό να μπορέσει να χειριστεί καλά,既然 αυτά είναι περιφερειακές ενέργειες – ακόμη και αν ήταν παρόντα στο σύνολο δεδομένων εκπαίδευσης, η αναπαραγωγή τους θα ήταν πιθανότατα χαμηλής ποιότητας, σύμφωνα με άλλα ‘περιφερειακά’ δεδομένα.

Ένα χαμόγελο, αλλά αυτό το ‘καταθλιπτικό πρόσωπο’ δεν μεταφράζεται καλά από ένα τοπικό ζωντανό σύστημα deepfake.

Μια πρόσθετη πρόκληση έγκειται στη μεταβολή των συνθηκών φωτισμού στις οποίες ο τελικός χρήστης βρίσκεται,既然 είναι δυνατό ότι η εκπαίδευση ενός μοντέλου deepfake έχει βελτιστοποιηθεί για τυπικές συνθήκες φωτισμού βίντεο-κλήσεων, ή ακόμη και τις ακριβείς συνθήκες φωτισμού που η κλήση λαμβάνει χώρα.

Έτσι, ο χρήστης μπορεί να ζητηθεί να στρέψει το φακό του κινητού τηλεφώνου του στο πρόσωπό του, ή με κάποιον άλλο τρόπο να τροποποιήσει το φωτισμό (και αξίζει να σημειωθεί ότι αυτή η τακτική είναι η κεντρική πρόταση ένα άλλο έγγραφο ανίχνευσης ζωντανού deepfake που κυκλοφόρησε αυτό το καλοκαίρι).

Ζωντανά συστήματα deepfake προκαλούνται από απροσδόκητο φωτισμό – και ακόμη από πολλά άτομα στη ροή, όπου περίμενε μόνο ένα άτομο.

Στην περίπτωση που το προτεινόμενο σύστημα έχει τη δυνατότητα να παρέμβει στη τοπική ροή του χρήστη (η οποία υποψιάζεται ότι φιλοξενεί ένα μεσάζοντα deepfake), η προσθήκη απροσδόκητων μοτίβων (δείτε τη μέση στήλη στην εικόνα παραπάνω) μπορεί να υπονομεύσει την ικανότητα του αλγορίθμου deepfake να διατηρήσει μια模拟.

Επιπλέον, αν και είναι ακατόρθωτο να ζητηθεί από έναν συνεδρία να έχει επιπλέον άτομα στη διάθεσή του για να πιστοποιήσει την ταυτότητά του, το σύστημα μπορεί να παρέμβει επιπλέον πρόσωπα (δεξιά-most εικόνα παραπάνω), και να δει αν κάποιο τοπικό σύστημα deepfake κάνει το λάθος να αλλάξει την προσοχή – ή ακόμη και να προσπαθήσει να deepfake όλα αυτά (αυτο-κωδικοποιητές deepfake δεν έχουν ‘αναγνώριση ταυτότητας’ ικανότητες που θα μπορούσαν να διατηρήσουν την προσοχή στο ένα άτομο σε αυτήν την περίπτωση).

Στεγανογραφία και Υπερφόρτωση

Το GOTCHA ενσωματώνει επίσης μια προσέγγιση πρώτη προτεινόμενη από το Πανεπιστήμιο της Καλιφόρνιας στο Σαν Ντιέγκο τον Απρίλιο του этого έτους, και η οποία χρησιμοποιεί στεγανογραφία για να κρυπτογραφήσει ένα μήνυμα στη τοπική βίντεο-ροή του χρήστη. Ρουτίνες deepfake θα καταστρέψουν πλήρως αυτό το μήνυμα, οδηγώντας σε μια αποτυχία πιστοποίησης.

Από ένα έγγραφο του Απριλίου 2022 από το Πανεπιστήμιο της Καλιφόρνιας στο Σαν Ντιέγκο και το Πανεπιστήμιο του Σαν Ντιέγκο, μια μέθοδος για τον καθορισμό της αυθεντικής ταυτότητας με το να δει αν ένα στεγανογραφικό σήμα που στάλθηκε στη βίντεο-ροή του χρήστη επιβιώνει της τοπικής βρόχης άθικτο – αν δεν το κάνει, deepfaking chicanery μπορεί να είναι στο χέρι. Πηγή: https://arxiv.org/pdf/2204.01960.pdf

Επιπλέον, το GOTCHA είναι ικανό να υπερφορτώνει το τοπικό σύστημα (με πρόσβαση και άδεια), με τη複製 μιας ροής και την παρουσίαση ‘υπερβολικών’ δεδομένων σε οποιοδήποτε τοπικό σύστημα, σχεδιασμένο να προκαλέσει αναπαραγωγική αποτυχία σε ένα τοπικό σύστημα deepfake.

Το σύστημα περιέχει περαιτέρω tests (δείτε το έγγραφο για λεπτομέρειες), συμπεριλαμβανομένης μιας πρόκλησης, στην περίπτωση ενός smartphone-χρήστη, να γυρίσει το τηλέφωνό του ανάποδα, το οποίο θα διαστρέψει ένα τοπικό σύστημα deepfake:

Πάλι, αυτό το είδος πράγματος θα λειτουργούσε μόνο με ένα πειστικό use case, όπου ο χρήστης αναγκάζεται να χορηγήσει τοπική πρόσβαση στη ροή, και δεν μπορεί να εφαρμοστεί με απλή παθητική αξιολόγηση της βίντεο-ροής του χρήστη, αντίθετα με τις互动 tests (όπως η πίεση του δακτύλου στο πρόσωπο).

Πρακτικότητα

Το έγγραφο αγγίζει σύντομα το βαθμό στον οποίο tests αυτού του είδους μπορεί να ενοχλήσουν τον τελικό χρήστη, ή να τον δυσκολέψουν με κάποιον τρόπο – για παράδειγμα, με το να τον υποχρεώσουν να έχει στη διάθεσή του một αριθμό αντικειμένων που μπορεί να χρειαστούν για τις προκλήσεις, όπως γυαλιά ηλίου.

Αναγνωρίζει επίσης ότι μπορεί να είναι δύσκολο να πείσουν ισχυρούς συνεδρίες να συμμορφωθούν με τις ρουτίνες δοκιμών. Σε σχέση με την περίπτωση μιας τηλεδιάσκεψης με έναν CEO, οι συγγραφείς δηλώνουν:

‘Η χρηστικότητα μπορεί να είναι το κλειδί εδώ, οπότε ανεπίσημες ή φριβόλες προκλήσεις (όπως διαστρεβλώσεις ή εκφράσεις προσώπου) μπορεί να μην είναι κατάλληλες. Προκλήσεις που χρησιμοποιούν εξωτερικά φυσικά αντικείμενα μπορεί να μην είναι επιθυμητές. Ο контекστ εδώ είναι κατάλληλα τροποποιημένος και το GOTCHA προσαρμόζει το σύνολο των προκλήσεων του ανάλογα.’

Δεδομένα και Δοκιμές

Το GOTCHA δοκιμάστηκε εναντίον τεσσάρων στελεχών τοπικού ζωντανού συστήματος deepfake, συμπεριλαμβανομένων δύο παραλλαγών του πολύ δημοφιλούς δημιουργού autoencoder deepfakes DeepFaceLab (‘DFL’, αν και το έγγραφο δεν αναφέρει DeepFaceLive, το οποίο έχει sido, από τον Αύγουστο του 2021, η ‘ζωντανή’ υλοποίηση του DeepFaceLab, και φαίνεται το πιθανότερο αρχικό πόρο για einen πιθανό faker).

Τα τέσσερα συστήματα ήταν DFL εκπαιδευμένα ‘ελαφρά’ σε ένα μη διάσημο άτομο που συμμετείχε σε δοκιμές, και ένα ζευγάρι διασημότητων; DFL εκπαιδευμένα πιο πλήρως, σε 2m+ επαναλήψεις ή βήματα, όπου θα περιμέναμε ένα πολύ πιο αποτελεσματικό μοντέλο; Latent Image Animator (LIA); και Face Swapping Generative Adversarial Network (FSGAN).

Για τα δεδομένα, οι ερευνητές κατέγραψαν και κατέταξαν βίντεο-κλιπ που περιείχαν πάνω από 2,5 εκατομμύρια βίντεο-πλαισιά από 47 χρήστες, κάθε ένας εκ των οποίων εκτέλεσε 13 προκλήσεις από το GOTCHA. Οι συγγραφείς δηλώνουν επίσης ότι αυτά τα δεδομένα θα κυκλοφορήσουν τελικά δημόσια.

Η ανίχνευση ανωμαλιών μπορεί να πραγματοποιηθεί είτε από έναν ανθρώπινο παρατηρητή είτε αλγοριθμικά. Για τη δεύτερη επιλογή, το σύστημα εκπαιδεύτηκε σε 600 πρόσωπα από το FaceForensics dataset. Η συνάρτηση απώλειας regression ήταν η ισχυρή Learned Perceptual Image Patch Similarity (LPIPS), ενώ η δυαδική cross-entropy χρησιμοποιήθηκε για την εκπαίδευση του ταξινομητή. EigenCam χρησιμοποιήθηκε για την οπτικοποίηση των βαρών του ανιχνευτή.

Πρωτεύουσες αποτελέσματα από τις δοκιμές για το GOTCHA.

Οι ερευνητές βρήκαν ότι για την πλήρη κασκάδα των tests σε όλα τα τέσσερα συστήματα, ο χαμηλότερος αριθμός και η σοβαρότητα των ανωμαλιών (δηλαδή, των αρτεφάκτων που θα αποκάλυπταν την παρουσία ενός συστήματος deepfake) επιτεύχθηκαν από το υψηλότερα εκπαιδευμένο DFL. Η λιγότερο εκπαιδευμένη έκδοση δυσκολεύτηκε ιδιαίτερα να αναπαράγει σύνθετες κινήσεις χειλιών (οι οποίες καταλαμβάνουν πολύ λίγο του πλαισίου, αλλά οι οποίες λαμβάνουν υψηλή ανθρώπινη προσοχή), ενώ το FSGAN κατέλαβε το μεσαίο έδαφος μεταξύ των δύο εκδόσεων του DFL, και το LIA αποδείχθηκε完全 ανεπαρκές για την εργασία, με τους ερευνητές να δηλώνουν ότι το LIA θα αποτύχει σε μια πραγματική ανάπτυξη. Πρώτη δημοσίευση 17ης Οκτωβρίου 2022.