Γιατί οι επιθέσεις εικόνας ανταγωνιστών δεν είναι αστεία

Η επίθεση σε συστήματα αναγνώρισης εικόνας με προσεκτικά κατασκευασμένες εικόνες ανταγωνιστών θεωρήθηκε ένα διασκεδαστικό αλλά ασήμαντο απόδειξη-ενός-ενός κατά τα τελευταία πέντε χρόνια. Ωστόσο, νέα έρευνα από την Αυστραλία υποδηλώνει ότι η άνετη χρήση εξαιρετικά δημοφιλών συνόλων δεδομένων εικόνας για εμπορικά προγράμματα AI μπορεί να δημιουργήσει ένα νέο μόνιμο πρόβλημα ασφαλείας.

Για ένα paar χρόνια τώρα, μια ομάδα ακαδημαϊκών στο Πανεπιστήμιο του Αδελαΐδας προσπαθεί να εξηγήσει κάτι πραγματικά σημαντικό σχετικά με το μέλλον των συστημάτων αναγνώρισης εικόνας που βασίζονται σε AI.

Είναι κάτι που θα ήταν δύσκολο (και πολύ ακριβό) να διορθωθεί αμέσως, και που θα ήταν αισχρότατα ακριβό να επιδιορθωθεί μια φορά που οι τρέχουσες τάσεις στην έρευνα αναγνώρισης εικόνας θα έχουν αναπτυχθεί πλήρως σε εμπορικές και βιομηχανικές αναπτύξεις σε 5-10 χρόνια.

Πριν προχωρήσουμε, ας δούμε ένα λουλούδι που ταξινομείται ως Πρόεδρος Μπαράκ Ομπάμα, από ένα από τα έξι βίντεο που η ομάδα έχει δημοσιεύσει στη σελίδα του προγράμματος:

Πηγή: https://www.youtube.com/watch?v=Klepca1Ny3c

Στην παραπάνω εικόνα, ένα σύστημα αναγνώρισης προσώπου που ξέρει rõώς να αναγνωρίζει τον Μπαράκ Ομπάμα αποτυγχάνει να αναγνωρίσει ένα ανώνυμο άντρα που κρατάει μια κατασκευασμένη, εκτυπωμένη εικόνα ανταγωνιστή ενός λουλουδιού ως τον Μπαράκ Ομπάμα. Το σύστημα δεν ενδιαφέρεται καν ότι το “ψευδές πρόσωπο” είναι στο στήθος του ανθρώπου, αντί να είναι στους ώμους του.

Αν και είναι εντυπωσιακό ότι οι ερευνητές κατάφεραν να επιτύχουν αυτό το είδος αναγνώρισης ταυτότητας με τη δημιουργία μιας συνεκτικής εικόνας (ένα λουλούδι) αντί για το συνήθως τυχαίο θόρυβο, φαίνεται ότι τέτοιες αστείες εκμεταλλεύσεις εμφανίζονται αρκετά συχνά στην έρευνα ασφαλείας για την όραση του υπολογιστή. Για παράδειγμα, τα γυαλιά με περίεργους σχέδια που μπορούσαν να εξαπατήσουν την αναγνώριση προσώπου το 2016, ή ειδικά κατασκευασμένες εικόνες ανταγωνιστών που προσπαθούν να ξαναγράψουν σημάδια οδών.

Εάν ενδιαφέρεστε, το μοντέλο Convolutional Neural Network (CNN) που επιτίθεται στο παραπάνω παράδειγμα είναι το VGGFace (VGG-16), εκπαιδευμένο στο σύνολο δεδομένων PubFig του Πανεπιστημίου Κολούμπια. Άλλα δείγματα επιθέσεων που αναπτύχθηκαν από τους ερευνητές χρησιμοποιούσαν διαφορετικά μέσα σε διαφορετικές συνδυασίες.

Ένα πλήκτρο επαναταξινομείται ως κοχύλι, σε ένα μοντέλο WideResNet50 στο ImageNet. Οι ερευνητές έχουν επίσης διασφαλίσει ότι το μοντέλο δεν έχει προκατάληψη για κοχύλια. Δείτε το πλήρες βίντεο για επεκτάσεις και πρόσθετες διαδηλώσεις στο https://www.youtube.com/watch?v=dhTTjjrxIcU

Η αναγνώριση εικόνας ως αναδυόμενη διαδικασία επίθεσης

Οι πολλές εντυπωσιακές επιθέσεις που περιγράφουν και εικονογραφούν οι ερευνητές δεν είναι κριτικές για συγκεκριμένα σύνολα δεδομένων ή συγκεκριμένες αρχιτεκτονικές μηχανικής μάθησης που τις χρησιμοποιούν. Ούτε μπορούν να αμυνθούν εύκολα με την αλλαγή συνόλων δεδομένων ή μοντέλων, την επαναεκπαίδευση μοντέλων ή άλλα “εύκολα” θεραπευτικά μέτρα που κάνουν τους μηχανικούς μάθησης να περιγελάνε τις σποραδικές αποδείξεις αυτού του είδους της εξαπάτησης.

Αντίθετα, οι εκμεταλλεύσεις της ομάδας του Αδελαΐδας επιδεικνύουν μια κεντρική αδυναμία στην整ική τρέχουσα αρχιτεκτονική της ανάπτυξης AI αναγνώρισης εικόνας, μια αδυναμία που θα μπορούσε να εκθέσει πολλά μελλοντικά συστήματα αναγνώρισης εικόνας σε εύκολη χειραγώγηση από επιτιθέμενους και να τοποθετήσει οποιαδήποτε μελλοντική αμυντική μέτρα σε δυσχερή θέση.

Φανταστείτε τις τελευταίες επιθέσεις εικόνας ανταγωνιστών (όπως το λουλούδι παραπάνω) να προστίθενται ως “zero-day exploits” σε συστήματα ασφαλείας του μέλλοντος, όπως τα τρέχοντα πλαίσια αντι-ιού και αντι-ιού που ενημερώνουν τις ορισμοί ιών κάθε μέρα.

Η δυνατότητα για νέες επιθέσεις εικόνας ανταγωνιστών θα ήταν απεριόριστη, επειδή η αρχιτεκτονική του συστήματος δεν προέβλεψε προβλήματα κατά τη διαδικασία, όπως συνέβη με το διαδίκτυο, το προβλήματα του χιλιάδων και την πύργο της Πίζας.

Ποιο είναι, τότε, ο τρόπος με τον οποίο ορίζουμε αυτή τη σκηνή;

Παίρνοντας τα δεδομένα για μια επίθεση

Εικόνες ανταγωνιστών όπως το “λουλούδι” παραπάνω παράγονται με την πρόσβαση στα σύνολα δεδομένων που εκπαιδεύουν τα μοντέλα υπολογιστή. Δεν χρειάζεται “ιδιωτική” πρόσβαση σε δεδομένα εκπαίδευσης (ή αρχιτεκτονικές μοντέλων),既然 τα πιο δημοφιλή σύνολα δεδομένων (και πολλά εκπαιδευμένα μοντέλα) είναι ευρέως διαθέσιμα σε μια ισχυρή και συνεχώς ενημερωμένη σκηνή torrent.

Για παράδειγμα, το θρυλικό γίγαντας των συνόλων δεδομένων της όρασης υπολογιστή, το ImageNet, είναι διαθέσιμο σε torrent σε όλες τις πολλές ενημερώσεις του, παρακάμπτοντας τις συνήθεις περιορισμούς του, και καθιστώντας διαθέσιμα κρίσιμα δευτερεύοντα στοιχεία, όπως σύνολα επικύρωσης.

Πηγή: https://academictorrents.com

Εάν έχετε τα δεδομένα, μπορείτε (όπως παρατηρούν οι ερευνητές του Αδελαΐδας) να “αναστρέψετε” αποτελεσματικά οποιοδήποτε δημοφιλές σύνολο δεδομένων, όπως CityScapes ή CIFAR.

Στην περίπτωση του PubFig, του συνόλου δεδομένων που επέτρεψε το “λουλούδι του Ομπάμα” στο προηγούμενο παράδειγμα, το Πανεπιστήμιο Κολούμπια έχει αντιμετωπίσει μια αυξανόμενη τάση σε θέματα πνευματικών δικαιωμάτων γύρω από την αναδιανομή συνόλων δεδομένων εικόνας, οδηγώντας τους ερευνητές να αναπαράγουν το σύνολο δεδομένων μέσω κατηρτισμένων συνδέσμων, αντί να το κάνουν απευθείας διαθέσιμο, παρατηρώντας ‘Αυτό φαίνεται να είναι ο τρόπος με τον οποίο άλλες μεγάλες βάσεις δεδομένων του ιντερνέτ εξελίσσονται’.

Στις περισσότερες περιπτώσεις, αυτό δεν είναι απαραίτητο: το Kaggle εκτιμά ότι τα δέκα πιο δημοφιλή σύνολα δεδομένων εικόνας στην όραση υπολογιστή είναι: CIFAR-10 και CIFAR-100 (και τα δύο διαθέσιμα για λήψη); CALTECH-101 και 256 (και τα δύο διαθέσιμα, και τα δύο διαθέσιμα ως torrents); MNIST (διαθέσιμο, επίσης σε torrents); ImageNet (βλ. παραπάνω); Pascal VOC (διαθέσιμο, επίσης σε torrents); MS COCO (διαθέσιμο, και σε torrents); Sports-1M (διαθέσιμο); και YouTube-8M (διαθέσιμο).

Αυτή η διαθεσιμότητα αντιπροσωπεύει επίσης το ευρύτερο φάσμα διαθέσιμων συνόλων δεδομένων εικόνας,既然 η αφάνεια είναι θάνατος σε μια κουλτούρα ανοιχτής ανάπτυξης “δημοσιεύστε ή πεθαίνετε”.

Σε κάθε περίπτωση, η σπανιότητα διαχειρίσιμων νέων συνόλων δεδομένων, το υψηλό κόστος ανάπτυξης συνόλων εικόνας, η εξάρτηση από “παλιά αγαπημένα” και η τάση να απλά προσαρμόσουν παλαιότερα σύνολα δεδομένωνすべて ενισχύουν το πρόβλημα που περιγράφεται στην νέα έρευνα του Αδελαΐδας.

Τυπικές κριτικές μεθόδων επιθέσεων εικόνας ανταγωνιστών

Η πιο συχνή και επίμονη κριτική των μηχανικών μάθησης κατά της αποτελεσματικότητας της τελευταίας μεθόδου επίθεσης εικόνας ανταγωνιστών είναι ότι η επίθεση είναι ειδική σε ένα συγκεκριμένο σύνολο δεδομένων, ένα συγκεκριμένο μοντέλο ή και τα δύο; ότι δεν είναι “γενικεύσιμη” σε άλλα συστήματα; και, συνεπώς, αντιπροσωπεύει μόνο μια ασήμαντη απειλή.

Η δεύτερη πιο συχνή παρατήρηση είναι ότι η επίθεση εικόνας ανταγωνιστών είναι ‘λευκή κούκλα’, που σημαίνει ότι θα χρειαζόταν άμεση πρόσβαση στο περιβάλλον εκπαίδευσης ή στα δεδομένα. Αυτό είναι πραγματικά ένα απίθανο σενάριο, στις περισσότερες περιπτώσεις – για παράδειγμα, εάν θέλατε να εκμεταλλευτείτε τη διαδικασία εκπαίδευσης για τα συστήματα αναγνώρισης προσώπου της Μητροπολιτικής Αστυνομίας του Λονδίνου, θα πρέπει να διαρρήξετε τον NEC, είτε με μια κονσόλα είτε με μια αξίνα.

Το μακροπρόθεσμο “DNA” των δημοφιλών συνόλων δεδομένων όρασης υπολογιστή

Σχετικά με την πρώτη κριτική, πρέπει να λάβουμε υπόψη ότι όχι μόνο ένας μικρός αριθμός συνόλων δεδομένων όρασης υπολογιστή κυριαρχεί στην βιομηχανία ανά ετος (π.χ. ImageNet για πολλά είδη αντικειμένων, CityScapes για σκηνές οδήγησης και FFHQ για αναγνώριση προσώπου); αλλά και ότι, ως απλά αναγνωρισμένα δεδομένα εικόνας, είναι “αγνόστευση πλατφόρμας” και高度 μεταφέρσιμα.

Ανάλογα με τις ικανότητές του, οποιαδήποτε αρχιτεκτονική εκπαίδευσης όρασης υπολογιστή θα βρει κάποια χαρακτηριστικά αντικειμένων και κατηγοριών στο σύνολο δεδομένων ImageNet. Ορισμένες αρχιτεκτονικές μπορεί να βρουν περισσότερα χαρακτηριστικά από άλλες, ή να κάνουν πιο χρήσιμες συνδέσεις από άλλες, αλλά όλες θα βρουν τουλάχιστον τα υψηλότερα χαρακτηριστικά:

Δεδομένα ImageNet, με τον ελάχιστο βιώσιμο αριθμό σωστών αναγνωρίσεων – ‘υψηλά’ χαρακτηριστικά.

Είναι αυτά τα “υψηλά” χαρακτηριστικά που διακρίνουν και “αποτυπώνουν” ένα σύνολο δεδομένων, και τα οποία είναι οι αξιόπιστες “αντίχειρες” στις οποίες μπορεί να आधεσε μια μακροπρόθεσμη μέθοδο επίθεσης εικόνας ανταγωνιστών που μπορεί να διασχίσει διαφορετικά συστήματα και να μεγαλώσει παράλληλα με το “παλιό” σύνολο δεδομένων, καθώς αυτό αναπαράγεται σε νέα έρευνα και προϊόντα.

Μια πιο εξελιγμένη αρχιτεκτονική θα παράγει πιο ακριβείς και λεπτομερείς αναγνωρίσεις, χαρακτηριστικά και κατηγορίες:

Ωστόσο, όσο περισσότερο μια επίθεση εικόνας ανταγωνιστών βασίζεται σε αυτά τα χαμηλότερα χαρακτηριστικά (π.χ. “Νεαρός Καυκασιανός Άντρας” αντί για “Πρόσωπο”), τόσο λιγότερο αποτελεσματική θα είναι σε διαφορετικές αρχιτεκτονικές που χρησιμοποιούν διαφορετικές εκδόσεις του αρχικού συνόλου δεδομένων – όπως ένα υποσύνολο ή ένα φιλτράρισμα, όπου πολλές από τις αρχικές εικόνες του πλήρους συνόλου δεδομένων δεν είναι παρόντες:

Επιθέσεις ανταγωνιστών σε “μηδενικά”, προ-εκπαιδευμένα μοντέλα

Τι γίνεται με τις περιπτώσεις όπου απλά κατεβάζετε ένα προ-εκπαιδευμένο μοντέλο που αρχικά εκπαιδεύτηκε σε ένα εξαιρετικά δημοφιλές σύνολο δεδομένων, και του δίνετε完全 νέες δεδομένα;

Το μοντέλο έχει ήδη εκπαιδευτεί σε (για παράδειγμα) ImageNet, και όλα που μένουν είναι τα βαρίδια, τα οποία μπορεί να χρειάστηκαν εβδομάδες ή μήνες για να εκπαιδευτούν, και είναι τώρα έτοιμα να σας βοηθήσουν να αναγνωρίσετε παρόμοια αντικείμενα με αυτά που υπήρχαν στα αρχικά (τώρα απών) δεδομένα.

Με τα αρχικά δεδομένα αφαιρεμένα από την αρχιτεκτονική εκπαίδευσης, ότι μένει είναι η ‘προκατάληψη’ του μοντέλου να ταξινομεί αντικείμενα με τον τρόπο που αρχικά έμαθε να κάνει, που θα προκαλέσει πολλά από τα αρχικά ‘σημάδια’ να αναμορφωθούν και να γίνουν ξανά ευάλωτα στις ίδιες παλιές μεθόδους επιθέσεων εικόνας ανταγωνιστών.

Αυτά τα βαρίδια είναι πολύτιμα. Χωρίς τα δεδομένα ή τα βαρίδια, έχετε βασικά μια κενή αρχιτεκτονική χωρίς δεδομένα. Θα πρέπει να την εκπαιδεύσετε από την αρχή, με μεγάλο κόστος χρόνου και υπολογιστικών πόρων, όπως οι αρχικοί συγγραφείς (πιθανότατα σε πιο ισχυρό υλικό και με υψηλότερο προϋπολογισμό από ότι έχετε διαθέσιμο).

Το πρόβλημα είναι ότι τα βαρίδια είναι ήδη αρκετά καλά διαμορφωμένα και ανθεκτικά. Αν και θα προσαρμοστούν κάπως κατά την εκπαίδευση, θα συμπεριφερθούν παρόμοια με τα νέα σας δεδομένα όπως και με τα αρχικά δεδομένα, παράγοντας χαρακτηριστικά που ένα σύστημα επιθέσεων εικόνας ανταγωνιστών μπορεί να αναγνωρίσει.

Στο μακροπρόθεσμο, αυτό επίσης διατηρεί το “DNA” των συνόλων δεδομένων όρασης υπολογιστή που είναι δώδεκα ή περισσότερα χρόνια παλιά, και μπορεί να έχουν περάσει από μια αξιοσημείωτη εξέλιξη από ανοιχτές προσπάθειες μέχρι εμπορικές αναπτύξεις – ακόμη και όταν τα αρχικά δεδομένα εκπαίδευσης είχαν完全 αφαιρεθεί στην αρχή του έργου. Ορισμένες από αυτές τις εμπορικές αναπτύξεις μπορεί να μην συμβούν για χρόνια ακόμη.

Χωρίς λευκή κούκλα

Σχετικά με τη δεύτερη κοινή κριτική των συστημάτων επιθέσεων εικόνας ανταγωνιστών, οι συγγραφείς της νέας εργασίας έχουν βρει ότι η ικανότητά τους να εξαπατούν συστήματα αναγνώρισης με κατασκευασμένες εικόνες λουλουδιών είναι εξαιρετικά μεταφέρσιμη σε eine σειρά αρχιτεκτονικών.

Ενώ παρατηρούν ότι η μέθοδος “Universal NaTuralistic adversarial paTches” (TnT) είναι η πρώτη που χρησιμοποιεί αναγνωρίσιμες εικόνες (αντί για τυχαίο θόρυβο) για να εξαπατήσει συστήματα αναγνώρισης εικόνας, οι συγγραφείς επίσης δηλώνουν:

‘[TnTs] είναι αποτελεσματικά κατά των state-of-the-art ταξινομητών που κυμαίνονται από το WideResNet50 στο Large-Scale Visual Recognition task του συνόλου δεδομένων ImageNet στο VGG-face μοντέλο στην αναγνώριση προσώπου του συνόλου δεδομένων PubFig, και σε στόχους και μη στόχους επιθέσεις.

‘TnTs μπορούν να έχουν: i) την φυσικότητα που επιτυγχάνεται [με] τις προκαταρκτικές μεθόδους επιθέσεων Τrojan; και ii) την γενικευσιμότητα και τη μεταφέρσιμότητα των αντι-παραδειγμάτων σε άλλα δίκτυα.

‘Αυτό προκαλεί προβλήματα ασφαλείας και προβλήματα ασφαλείας σχετικά με τα ήδη αναπτυγμένα DNNs, καθώς και μελλοντικές αναπτύξεις DNN, όπου οι επιτιθέμενοι μπορούν να χρησιμοποιήσουν αόρατες φυσιολογικές εικόνες για να εξαπατήσουν συστήματα νευρωνικών δικτύων χωρίς να διαταράξουν το μοντέλο και να κινδυνεύσουν να ανακαλυφθούν.’

Οι συγγραφείς προτείνουν ότι συμβατικές αντίμετρα, όπως η μείωση της Clean Acc. ενός δικτύου, θα μπορούσαν θεωρητικά να παρέχουν κάποια άμυνα ενάντια στις επιθέσεις TnT, αλλά ότι ‘TnTs μπορούν ακόμη να παρακάμψουν αυτή τη SOTA προβλήματα άμυνας με την πλειοψηφία των αμυντικών συστημάτων που επιτυγχάνουν 0% Ρομποτική.’

Πιθανές άλλες λύσεις περιλαμβάνουν αμοιβαία μάθηση, όπου η προέλευση των συνεισφορών εικόνων προστατεύεται, και νέες προσεγγίσεις που θα μπορούσαν να “κρυπτογραφήσουν” δεδομένα κατά την εκπαίδευση, όπως μια πρόσφατη πρόταση από το Πανεπιστήμιο Αεροναυπηγικής και Αστροναυτικής της Ναντζίνγκ.

Ακόμη και σε αυτές τις περιπτώσεις, θα ήταν σημαντικό να εκπαιδευτείτε σε πραγματικά νέα δεδομένα εικόνας – τώρα οι εικόνες και οι συνδεδεμένες αναnotations στα λίγα πιο δημοφιλή σύνολα δεδομένων CV είναι τόσο ενσωματωμένα στις κύκλους ανάπτυξης σε όλο τον κόσμο, ώστε να μοιάζουν περισσότερο με λογισμικό παρά με δεδομένα; λογισμικό που συχνά δεν έχει ενημερωθεί αξιοσημείωτα τα τελευταία χρόνια.

Συμπέρασμα

Οι επιθέσεις εικόνας ανταγωνιστών γίνονται δυνατές όχι μόνο από τις ανοιχτές πρακτικές μηχανικής μάθησης, αλλά και από μια εταιρική κουλτούρα ανάπτυξης AI που είναι мотивημένη να ξαναχρησιμοποιήσει καλά καθιερωμένα σύνολα δεδομένων εικόνας για διάφορους λόγους: έχουν ήδη αποδείξει την αποτελεσματικότητά τους; είναι πολύ φθηνότερα από το να “ξεκινήσετε από την αρχή”; και διατηρούνται και ενημερώνονται από πρωτοπόρες μυαλά και οργανισμούς σε όλο τον ακαδημαϊκό και βιομηχανικό κόσμο, σε επίπεδα χρηματοδότησης και προσωπικού που θα ήταν δύσκολο για μια einz εταιρεία να αναπαράγει.

Επιπλέον, σε πολλές περιπτώσεις όπου τα δεδομένα δεν είναι πρωτότυπα (αντίθετα με το CityScapes), οι εικόνες συλλέχθηκαν πριν από τις πρόσφατες διαμάχες γύρω από θέματα ιδιωτικότητας και πρακτικών συλλογής δεδομένων, αφήνοντας αυτά τα παλαιότερα σύνολα δεδομένων σε ένα είδος ημι-νομικής λίμνης που μπορεί να μοιάζει με “ασφαλή λιμάνι”, από την πλευρά μιας εταιρείας.

TnT Attacks! Universal Naturalistic Adversarial Patches Against Deep Neural Network Systems είναι συν-συγγραφέας από Bao Gia Doan, Minhui Xue, Ehsan Abbasnejad, Damith C. Ranasinghe από το Πανεπιστήμιο του Αδελαΐδας, μαζί με Shiqing Ma από το Τμήμα Επιστήμης Υπολογιστών στο Πανεπιστήμιο Rutgers.

Ενημερώθηκε 1η Δεκεμβρίου 2021, 7:06 π.μ. GMT+2 – διορθώθηκε τυπογραφικό λάθος.