Επιθέσεις σε Συστήματα Φυσικής Γλώσσας με Αντιπαράδειγμα

Ερευνητές στο Ηνωμένο Βασίλειο και τον Καναδά έχουν αναπτύξει μια σειρά επιθέσεων με μαύρο κουτί εναντίον συστημάτων Φυσικής Γλώσσας (NLP) που είναι αποτελεσματικές εναντίον ενός ευρέος φάσματος δημοφιλών πλαισίων επεξεργασίας γλώσσας, συμπεριλαμβανομένων των ευρέως αναπτυγμένων συστημάτων από την Google, την Facebook, την IBM και τη Microsoft.

Η επίθεση μπορεί να χρησιμοποιηθεί για να αναστατώσει συστήματα μετάφρασης μηχανικής μάθησης, αναγκάζοντάς τα να παράγουν ανοησίες ή να αλλάξουν τη φύση της μετάφρασης· να εμποδίσει την εκπαίδευση μοντέλων NLP· να λανθασμένα ταξινομήσει τοξικό περιεχόμενο· να δηλητηριάσει τα αποτελέσματα των μηχανών αναζήτησης, προκαλώντας ελαττωματική ευρετηρίαση· να κάνει τις μηχανές αναζήτησης να αποτύχουν να αναγνωρίσουν κακόβουλο ή αρνητικό περιεχόμενο που είναι τέλειο για ανάγνωση από一个人· και ακόμη να προκαλέσει επιθέσεις άρνησης υπηρεσίας (DoS) σε πλαισια NLP.

Αν και οι συγγραφείς έχουν αποκαλύψει τις προτεινόμενες ευπάθειες του εγγράφου σε διάφορους ανώνυμους φορείς των οποίων τα προϊόντα εμφανίζονται στην έρευνα, θεωρούν ότι η βιομηχανία NLP έχει καθυστερήσει στην προστασία του εαυτού της από επιθέσεις αντιπαράδειγματος. Το έγγραφο αναφέρει:

‘Αυτές οι επιθέσεις εκμεταλλεύονται χαρακτηριστικά κωδικοποίησης γλώσσας, όπως οι αόρατοι χαρακτήρες και οι ομογλύφοι. Αν και έχουν εμφανιστεί περιστασιακά στο παρελθόν σε spam και απάτες phishing, οι σχεδιαστές των πολλών συστημάτων NLP που αναπτύσσονται τώρα σε κλίμακα φαίνεται να τα έχουν πλήρως αγνοήσει.’

Μερικές από τις επιθέσεις πραγματοποιήθηκαν σε ένα περιβάλλον “μαύρο κουτί” μέσω κλήσεων API σε συστήματα MLaaS, αντί να εγκατασταθούν τοπικά FOSS εκδόσεις των πλαισίων NLP. Για την συνδυασμένη αποτελεσματικότητα των συστημάτων, οι συγγραφείς γράφουν:

‘Όλες οι πειραματικές δοκιμές πραγματοποιήθηκαν σε ένα περιβάλλον μαύρου κουτιού, όπου επιτρέπονται απεριόριστες αξιολογήσεις μοντέλων, αλλά δεν επιτρέπεται η πρόσβαση στα βάρη ή την κατάσταση του αξιολογούμενου μοντέλου. Αυτό αντιπροσωπεύει ένα από τα ισχυρότερα μοντέλα απειλής για τα οποία είναι δυνατές επιθέσεις σε几乎 όλα τα περιβάλλοντα, συμπεριλαμβανομένων των εμπορικών προσφόρεων MLaaS. Κάθε μοντέλο που εξετάστηκε ήταν ευάλωτο σε επιθέσεις αόρατων παρεμβολών.’

‘Πιστεύουμε ότι η εφαρμοσιμότητα αυτών των επιθέσεων πρέπει θεωρητικά να γενικευτεί σε οποιοδήποτε μοντέλο NLP που δεν έχει επαρκείς αμυντικές δομές.’

Το έγγραφο έχει τον τίτλο Κακόηθες Χαρακτήρες: Αόρατες Επιθέσεις NLP και προέρχεται από τρεις ερευνητές σε τρεις τμήματα στο Πανεπιστήμιο του Κέιμπριτζ και στο Πανεπιστήμιο του Εδιμβούργου, και έναν ερευνητή από το Πανεπιστήμιο του Τορόντο.

Ο τίτλος του εγγράφου είναι ενδεικτικός: είναι γεμάτος με “αόρατους” χαρακτήρες Unicode που αποτελούν τη βάση μιας από τις τέσσερις βασικές μεθόδους επίθεσης που υιοθετούν οι ερευνητές.

Ακόμη και ο τίτλος του εγγράφου έχει κρυφές μυστήρια.

Μέθοδος/ες

Το έγγραφο προτείνει τρεις основικές αποτελεσματικές μεθόδους επίθεσης: αόρατοι χαρακτήρες· ομογλύφοι· και ανακατατάξεις. Αυτές είναι οι ” универсальные” μεθόδους που οι ερευνητές έχουν βρει να έχουν ευρύ φάσμα εναντίον πλαισίων NLP σε σενάρια μαύρου κουτιού. Μια επιπλέον μέθοδος, που涉ίζει τη χρήση ενός διαγράμματος χαρακτήρα, βρέθηκε από τους ερευνητές να είναι κατάλληλη μόνο για ασυνήθιστα πλαισια NLP που χρησιμοποιούν το clipboard του λειτουργικού συστήματος.

1: Αόρατοι Χαρακτήρες

Αυτή η επίθεση χρησιμοποιεί κωδικοποιημένους χαρακτήρες σε μια γραμματοσειρά που δεν αντιστοιχούν σε einen Glyph στο σύστημα Unicode. Το σύστημα Unicode σχεδιάστηκε για να τυποποιήσει την ηλεκτρονική γραφή και τώρα καλύπτει 143.859 χαρακτήρες σε πολλές γλώσσες και ομάδες συμβόλων. Πολλοί από αυτούς τους χάρτες δεν θα περιέχουν κανένα ορατό χαρακτήρα σε μια γραμματοσειρά (η οποία δεν μπορεί, φυσικά, να περιλαμβάνει χαρακτήρες για κάθε δυνατή είσοδο στο Unicode).

Από το έγγραφο, ένα υποθετικό παράδειγμα μιας επίθεσης που χρησιμοποιεί αόρατους χαρακτήρες, οι οποίοι χωρίζουν τις λέξεις σε τμήματα που είτε δεν σημαίνουν τίποτα σε ένα σύστημα NLP, είτε, αν σχεδιαστούν προσεκτικά, μπορούν να σημαίνουν κάτι διαφορετικό σε μια ακριβή μετάφραση. Για τον καθημερινό αναγνώστη, ο αρχικός κείμενος είναι σωστός.

Τυπικά, δεν μπορείτε να χρησιμοποιήσετε έναν από αυτούς τους μη-χαρακτήρες για να δημιουργήσετε ένα χώρο μηδενικού πλάτους,既然 hầu hết τα συστήματα θα αποδώσουν ένα “placeholder” σύμβολο (όπως ένα τετράγωνο ή ένα ερωτηματικό σε μια γωνία) για να αντιπροσωπεύουν τον μη αναγνωρισμένο χαρακτήρα.

Ωστόσο, όπως παρατηρεί το έγγραφο, μόνο μια μικρή ποσότητα γραμματοσειρών κυριαρχεί στην τρέχουσα σκηνή υπολογιστών, και, όχι απροσδόκητα, αυτές τις γραμματοσειρές τείνουν να ακολουθούν το πρότυπο Unicode.

Επομένως, οι ερευνητές επέλεξαν τα γλυφικά Unifont για τους πειραματισμούς τους, частично λόγω της “robust” κάλυψης του Unicode, αλλά και επειδή μοιάζει με πολλές από τις “τυπικές” γραμματοσειρές που είναι πιθανό να τροφοδοτηθούν σε συστήματα NLP. Ενώ οι αόρατοι χαρακτήρες που παράγονται από το Unifont δεν αποδίδονται, ωστόσο θεωρούνται ως ορατοί χαρακτήρες από τα συστήματα NLP που δοκιμάστηκαν.

Εφαρμογές

Επιστρέφοντας στον “σχεδιασμένο” τίτλο του εγγράφου, μπορούμε να δούμε ότι η実 hiện μιας αναζήτησης Google από το επιλεγμένο κείμενο δεν επιτυγχάνει το αναμενόμενο αποτέλεσμα:

Αυτό είναι ένα client-side αποτέλεσμα, αλλά τα server-side επιπτώσεις είναι немного πιο σοβαρές. Το έγγραφο παρατηρεί:

‘Ακόμη και αν ένα perturbed έγγραφο μπορεί να ανακτηθεί από μια μηχανή αναζήτησης, οι όροι που χρησιμοποιούνται για την ευρετηρίασή του θα επηρεαστούν από τις perturbations, καθιστώντας το λιγότερο πιθανό να εμφανιστεί από μια αναζήτηση σε unperturbed όρους. Είναι έτσι δυνατό να κρύψουμε έγγραφα από τις μηχανές αναζήτησης “σε πλήρη θέα”.

‘Ως ένα παράδειγμα εφαρμογής, μια αδιάκριτη εταιρεία θα μπορούσε να μασκαρεύσει αρνητικές πληροφορίες στις χρηματοοικονομικές της δηλώσεις, ώστε οι ειδικοί μηχανές αναζήτησης που χρησιμοποιούνται από τους αναλυτές μετοχών να μην τις ανακαλύψουν.’

Οι μόνοι σενάρια στα οποία η επίθεση με αόρατους χαρακτήρες αποδείχθηκε λιγότερο αποτελεσματική ήταν εναντίον τοξικού περιεχομένου, αναγνώρισης ονομάτων οντοτήτων (NER) και μοντέλων ανάλυσης συναισθήματος. Οι συγγραφείς υποθέτουν ότι αυτό οφείλεται είτε στο ότι τα μοντέλα είχαν εκπαιδευτεί σε δεδομένα που περιείχαν αόρατους χαρακτήρες, είτε το tokenizer του μοντέλου (το οποίο διασπά την сыρή είσοδο γλώσσας σε modularity components) ήταν ήδη ρυθμισμένο να αγνοεί αυτούς.

2: Ομογλύφοι

Ένας ομογλύφος είναι ένας χαρακτήρας που μοιάζει με έναν άλλο χαρακτήρα – μια σημασιολογική αδυναμία που εκμεταλλεύτηκε το 2000 για να δημιουργήσει ένα απάτη της τομέα πληρωμών PayPal (PYPL ).

Σε αυτό το υποθετικό παράδειγμα από το έγγραφο, μια επίθεση ομογλύφου αλλάζει τη σημασία μιας μετάφρασης αντικαθιστώντας οπτικά αδιακρίτους ομογλύφους (περιτριγυρισμένους με κόκκινο) για κοινές λατινικές γραμματοσειρές.

Οι συγγραφείς σχολιάζουν:

‘Έχουμε βρει ότι τα μοντέλα μηχανικής μάθησης που επεξεργάζονται κείμενο που παρέχεται από τον χρήστη, όπως τα νευρωνικά συστήματα μετάφρασης, είναι ιδιαίτερα ευάλωτα σε αυτό το είδος επίθεσης. Για παράδειγμα, η ηγετική υπηρεσία Google Translate. Στην εποχή της γραφής, η εισαγωγή της συμβολοσειράς “paypal” στο αγγλικό-ρωσικό μοντέλο εξόδου σωστά “PayPal”, αλλά αντικαθιστώντας το λατινικό χαρακτήρα “a” στην είσοδο με τον κυριλλικό χαρακτήρα а λανθασμένα εξόδου “папа” (“πατέρας” στα αγγλικά).’

Οι ερευνητές παρατηρούν ότι ενώ πολλά πλαισια NLP θα αντικαταστήσουν χαρακτήρες που βρίσκονται έξω από το λεξικό τους με ένα <unk> (‘άγνωστο’) token, οι διαδικασίες που καλούν το δηλητηριασμένο κείμενο στο πλαισιο μπορεί να προωθήσουν άγνωστα λόγια για αξιολόγηση πριν από αυτή τη μέτρηση ασφαλείας. Οι συγγραφείς δηλώνουν ότι αυτό ‘ανοίγει ένα εκπληκτικά μεγάλο επιφάνεια επίθεσης’.

3: Ανακατατάξεις

Το Unicode επιτρέπει γλώσσες που γράφονται από αριστερά προς τα δεξιά, με την τάξη που χειρίζεται το αλγόριθμο Bidirectional (BIDI) του Unicode. Η ανάμιξη δεξιών-αριστερών και αριστερών-δεξιών χαρακτήρων σε μια seule συμβολοσειρά είναι confounding, και το Unicode έχει κάνει πρόνοια για αυτό επιτρέποντας το BIDI να αντικατασταθεί από ειδικούς χαρακτήρες ελέγχου. Αυτοί οι χαρακτήρες επιτρέπουν σχεδόν αυθαίρετη απόδοση για μια σταθερή κωδικοποίηση.

Σε ένα άλλο θεωρητικό παράδειγμα από το έγγραφο, μια επίθεση ανακατατάξεως προκαλεί μια μηχανή μετάφρασης να τοποθετήσει όλα τα γράμματα του μεταφρασμένου κειμένου σε λάθος σειρά, επειδή ακολουθεί την λανθασμένη δεξιά-αριστερή/αριστερή-δεξιά κωδικοποίηση, λόγω ενός μέρους του αντιπαράδειγματος (περιτριγυρισμένου) που της δίνει εντολή να το κάνει.

Οι συγγραφείς δηλώνουν ότι στην εποχή της γραφής, η μέθοδος ήταν αποτελεσματική εναντίον της υλοποίησης Unicode στο πρόγραμμα περιήγησης Chromium, την πηγή για το πρόγραμμα περιήγησης Google Chrome, το πρόγραμμα περιήγησης Microsoft Edge και πολλά άλλα fork.

Ακόμη: Διαγραφές

Συμπεριλαμβανόμενο εδώ, ώστε να είναι σαφείς οι επόμενες γραφικές παραστάσεις, η επίθεση διαγραφής περιλαμβάνει την ένταξη ενός χαρακτήρα που αντιπροσωπεύει ένα backspace ή άλλο κείμενο-επηρεάζον ελέγχου/εντολής, το οποίο εφαρμόζεται αποτελεσματικά από το σύστημα ανάγνωσης γλώσσας με τρόπο παρόμοιο με ένα κείμενο-μακρό.

Οι συγγραφείς παρατηρούν:

‘Μια μικρή ποσότητα ελέγχου χαρακτήρων στο Unicode μπορεί να προκαλέσει την αφαίρεση γειτονικών κειμένων. Τα απλούστερα παραδείγματα είναι το backspace (BS) και το διαγραφή (DEL). Υπάρχει επίσης το carriage return (CR) που προκαλεί τον αλγόριθμο απόδοσης κειμένου να επιστρέψει στην αρχή της γραμμής και να αντικαταστήσει το περιεχόμενό της.’

‘Για παράδειγμα, κωδικοποιημένο κείμενο που αντιπροσωπεύει “Hello CRGoodbye World” θα αποδοθεί ως “Goodbye World”.’

Ως đã αναφερθεί νωρίτερα, αυτή η επίθεση απαιτεί ένα απίθανο επίπεδο πρόσβασης για να λειτουργήσει, και θα ήταν πλήρως αποτελεσματική μόνο με κείμενο που αντιγράφεται και επικολλούται μέσω του clipboaard – ένα ασυνήθιστο πλαισιο NLP.

Οι ερευνητές το δοκιμάζουν dù vậy, και αυτό λειτουργεί συγκρίσιμο με τα σταθερά του. Ωστόσο, οι επιθέσεις με τις τρεις πρώτες μεθόδους μπορούν να εφαρμοστούν απλώς με την ανέβασή τους εγγράφων ή ιστοσελίδων (σε περίπτωση επίθεσης εναντίον μηχανών αναζήτησης και/ή πλαισίων NLP).

Σε μια επίθεση διαγραφής, οι σχεδιασμένοι χαρακτήρες απομακρύνουν αποτελεσματικά το προηγούμενο κείμενο, ή else αναγκάζουν το κείμενο μιας γραμμής σε δεύτερη παράγραφο, και στις δύο περιπτώσεις χωρίς να κάνουν αυτό φανερό στον καθημερινό αναγνώστη.

Αποτελεσματικότητα Εναντίον Τρεχουσών Συστημάτων NLP

Οι ερευνητές πραγματοποίησαν μια σειρά από ανεξάρτητες και στόχευσης επιθέσεων σε πέντε δημοφιλείς κλειστά μοντέλα από την Facebook, την IBM, τη Microsoft, την Google και την HuggingFace, καθώς και τρία ανοιχτά μοντέλα.

Επίσης, δοκιμάζουν ‘sponge’ επιθέσεις εναντίον των μοντέλων. Eine ‘sponge’ επίθεση είναι αποτελεσματικά μια DoS επίθεση για συστήματα NLP, όπου η είσοδος κειμένου ‘δεν υπολογίζεται’, και προκαλεί την εκπαίδευση να επιβραδύνεται κριτικά – μια διαδικασία που θα πρέπει να γίνει αδύνατη από την προεπεξεργασία δεδομένων.

Οι πέντε εργασίες NLP που αξιολογήθηκαν ήταν η μετάφραση μηχανής, η ανίχνευση τοξικού περιεχομένου, η ταξινόμηση επιπρόσθετης κλάσης, η αναγνώριση ονομάτων οντοτήτων και η ανάλυση συναισθήματος.

Οι δοκιμές πραγματοποιήθηκαν σε ένα μη καθορισμένο αριθμό Tesla P100 GPUs, κάθε ένας εκ των οποίων εκτελούσε έναν επεξεργαστή Intel Xeon Silver 4110 πάνω από Ubuntu. Για να μην παραβιάσουν τους όρους υπηρεσίας στην περίπτωση της πραγματοποίησης κλήσεων API, οι πειραματικές δοκιμές повторήθηκαν ομοιόμορφα με einen προϋπολογισμό perturbation μηδέν (απαράλλακτο κείμενο πηγής) έως πέντε (μέγιστη διαταραχή). Οι ερευνητές ισχυρίζονται ότι τα αποτελέσματα που έλαβαν θα μπορούσαν να υπερβούν εάν επιτρεπόταν ένας μεγαλύτερος αριθμός επαναλήψεων.

Αποτελέσματα από την εφαρμογή αντιπαράδειγματος εναντίον του μοντέλου Fairseq της Facebook.

Αποτελέσματα από επιθέσεις εναντίον του ταξινομητή τοξικού περιεχομένου της IBM και του API Perspective της Google.

Δύο επιθέσεις εναντίον του μοντέλου Fairseq της Facebook: ‘αστόχευτη’ αποσκοπεί στην διαταραχή, ενώ ‘στόχευση’ αποσκοπεί στην αλλαγή της σημασίας της μεταφρασμένης γλώσσας.

Οι ερευνητές δοκιμάζουν επίσης το σύστημά τους εναντίον προηγούμενων πλαισίων που δεν ήταν σε θέση να παράγουν ‘ανθρώπινα’ perturbing κείμενο με τον ίδιο τρόπο, και βρήκαν το σύστημα σε μεγάλο βαθμό ισότιμο με αυτά, και συχνά αξιοσημείωτα καλύτερο, ενώ διατηρούσε το τεράστιο πλεονέκτημα της κρυφής.

Η μέση αποτελεσματικότητα σε όλες τις μεθόδους, διανυσματικούς φορείς και στόχους περιστρέφεται γύρω στο 80%, με πολύ λίγες επαναλήψεις.

Σχολιάζοντας τα αποτελέσματα, οι ερευνητές λένε:

‘Ίσως το πιο ανησυχητικό χαρακτηριστικό των αόρατων perturbation επιθέσεων μας είναι η ευρεία εφαρμοσιμότητά τους: όλα τα συστήματα NLP που δοκιμάστηκαν είναι ευάλωτα. Πράγματι, κάθε μοντέλο μηχανικής μάθησης που επεξεργάζεται κείμενο που παρέχεται από τον χρήστη ως είσοδο είναι θεωρητικά ευάλωτο σε αυτήν την επίθεση.

‘Οι αντιπαράδειγματικές επιπτώσεις μπορεί να ποικίλλουν από μια εφαρμογή σε μια άλλη και από ένα μοντέλο σε ένα άλλο, αλλά όλα τα μοντέλα NLP βασίζονται σε κωδικοποιημένο κείμενο, και όλα τα κείμενα υπόκεινται σε αντιπαράδειγμα κωδικοποίησης, εκτός εάν η κωδικοποίηση είναι κατάλληλα περιορισμένη.’

Οικουμενική Οπτική Αναγνώριση Χαρακτήρων;

Αυτές οι επιθέσεις εξαρτώνται από ότι είναι αποτελεσματικά “ευπάθειες” στο Unicode, και θα ήταν αναιρεμένες σε ένα πλαισιο NLP που ραστώνει όλα τα εισερχόμενα κείμενα και χρησιμοποιεί Οπτική Αναγνώριση Χαρακτήρων ως μέτρο αποστείρωσης. Σε αυτήν την περίπτωση, η ίδια μη-κακόβουλη σημασιολογική σημασία που είναι ορατή στους ανθρώπους που διαβάζουν αυτές τις perturbed επιθέσεις θα μεταφερθεί στο σύστημα NLP.

Ωστόσο, όταν οι ερευνητές υλοποίησαν μια πορεία OCR για να δοκιμάσουν αυτήν την θεωρία, βρήκαν ότι οι βαθμοί BLEU (Bilingual Evaluation Understudy) μειώθηκαν την ακρίβεια της γραμμής βάσης κατά 6,2%, και προτείνουν ότι βελτιωμένες τεχνολογίες OCR θα ήταν πιθανό να θεραπεύσουν αυτό.

Προτείνουν επίσης ότι οι χαρακτήρες ελέγχου BIDI θα πρέπει να αφαιρεθούν από την είσοδο εξ’ ορισμού, οι ασυνήθιστοι ομογλύφοι να χαρτογραφηθούν και να ευρετηριαστούν (το οποίο χαρακτηρίζουν ως “μια απαιτητική εργασία”), και οι tokenizers και άλλες μηχανισμοί εισαγωγής να εξοπλιστούν εναντίον αόρατων χαρακτήρων.

Συμπεραίνοντας, η ερευνητική ομάδα ενθαρρύνει τον τομέα NLP να γίνει πιο προσεκτικός στις πιθανότητες για αντιπαράδειγμα επίθεση, που είναι目前 ένα πεδίο μεγάλου ενδιαφέροντος στην έρευνα οπτικής.

‘[Εμείς] συνιστούμε σε όλες τις εταιρείες που κατασκευάζουν και αναπτύσσουν συστήματα NLP να εφαρμόσουν τέτοιες αμυντικές δομές εάν θέλουν οι εφαρμογές τους να είναι robust εναντίον κακόβουλων ενεργειών.’

* Η μετατροπή μου των εσωτερικών παραπομπών σε υπερσύνδεσμους

18:08 14ης Δεκεμβρίου 2021 – αφαιρέθηκε διπλή αναφορά της IBM, μετακινήθηκε η αυτο-εσωτερική σύνδεσμος από την παράθεση – MA