Angriffe auf Natural Language Processing-Systeme mit adversarialen Beispielen

Forscher im Vereinigten Königreich und Kanada haben eine Reihe von Black-Box-Angriffen auf Natural Language Processing- (NLP-) Systeme entwickelt, die gegen eine breite Palette von populären Sprachverarbeitungsframeworks wirksam sind, einschließlich weit verbreiteter Systeme von Google, Facebook, IBM und Microsoft.

Der Angriff kann möglicherweise verwendet werden, um maschinelle Übersetzungssysteme zu behindern, indem sie dazu gebracht werden, entweder Unsinn zu produzieren oder tatsächlich die Natur der Übersetzung zu ändern; um die Schulung von NLP-Modellen zu behindern; um toxische Inhalte falsch zu klassifizieren; um Suchmaschinenergebnisse durch fehlerhafte Indizierung zu vergiften; um Suchmaschinen dazu zu bringen, fehlerhaft zu funktionieren und schädliche oder negative Inhalte, die für einen Menschen perfekt lesbar sind, nicht zu identifizieren; und sogar um Denial-of-Service- (DoS-) Angriffe auf NLP-Systeme auszuführen.

Obwohl die Autoren die in der Arbeit vorgeschlagenen Schwachstellen verschiedenen nicht genannten Parteien mitgeteilt haben, deren Produkte in der Forschung vorkommen, betrachten sie die NLP-Branche als nachlässig, wenn es darum geht, sich gegen adversarialen Angriffe zu schützen. Die Arbeit besagt:

‘Diese Angriffe nutzen Sprachcodierungsmerkmale wie unsichtbare Zeichen und Homoglyphen aus. Obwohl sie in der Vergangenheit gelegentlich in Spam- und Phishing-Betrügereien aufgetaucht sind, scheinen die Designer der vielen NLP-Systeme, die derzeit im großen Maßstab bereitgestellt werden, sie völlig ignoriert zu haben.’

Einige der Angriffe wurden in einer “Black-Box”-Umgebung durchgeführt, wie sie über API-Aufrufe an MLaaS-Systeme und nicht über lokal installierte FOSS-Versionen der NLP-Systeme möglich ist. Zu der kombinierten Wirksamkeit der Systeme schreiben die Autoren:

‘Alle Experimente wurden in einer Black-Box-Umgebung durchgeführt, in der unbegrenzte Modellbewertungen erlaubt sind, aber der Zugriff auf die bewerteten Modellgewichte oder den Modellzustand nicht erlaubt ist. Dies stellt eines der stärksten Bedrohungsmodelle dar, gegen die Angriffe in fast allen Umgebungen, einschließlich gegen kommerzielle Machine-Learning-as-a-Service-Angebote, möglich sind. Jedes untersuchte Modell war anfällig für nicht wahrnehmbare Störungsangriffe.

‘Wir glauben, dass die Anwendbarkeit dieser Angriffe sich theoretisch auf jedes textbasierte NLP-Modell ohne angemessene Verteidigungsmechanismen erstrecken sollte.’

Die Arbeit trägt den Titel Schlechte Zeichen: Nicht wahrnehmbare NLP-Angriffe und stammt von drei Forschern aus drei Abteilungen der University of Cambridge und der University of Edinburgh sowie einem Forscher der University of Toronto.

Der Titel der Arbeit ist exemplarisch: Er enthält “nicht wahrnehmbare” Unicode-Zeichen, die die Grundlage für eine der vier Hauptangriffsmethoden bilden, die von den Forschern eingesetzt werden.

Auch der Titel der Arbeit hat verborgene Geheimnisse.

Methoden

Die Arbeit schlägt drei primäre wirksame Angriffsmethoden vor: unsichtbare Zeichen; Homoglyphen; und Umstellungen. Diese sind die “universellen” Methoden, die die Forscher als wirksam gegen NLP-Systeme in Black-Box-Szenarien gefunden haben. Eine zusätzliche Methode, die die Verwendung eines Löschzeichens beinhaltet, wurde von den Forschern als nur für ungewöhnliche NLP-Pipelines geeignet befunden, die den Betriebssystem-Clipboard verwenden.

1: Unsichtbare Zeichen

Dieser Angriff verwendet codierte Zeichen in einer Schriftart, die nicht auf ein Glyph im Unicode-System abgebildet werden. Das Unicode-System wurde entwickelt, um elektronischen Text zu standardisieren und deckt nun 143.859 Zeichen in mehreren Sprachen und Symbolgruppen ab. Viele dieser Abbildungen enthalten keine sichtbaren Zeichen in einer Schriftart (die natürlich nicht alle möglichen Einträge im Unicode-System enthalten kann).

Aus der Arbeit, ein hypothetisches Beispiel für einen Angriff mit unsichtbaren Zeichen, der die Wörter in Segmente aufteilt, die entweder nichts bedeuten oder, wenn sorgfältig erstellt, eine andere Bedeutung haben können.

Typischerweise kann man nicht einfach eines dieser Nicht-Zeichen verwenden, um einen Nullbreitenraum zu erstellen, da die meisten Systeme ein “Platzhalter”-Symbol (wie ein Quadrat oder ein Fragezeichen in einem schrägen Kasten) rendern, um das nicht erkannte Zeichen darzustellen.

Wie die Arbeit jedoch feststellt, dominieren nur eine Handvoll Schriftarten die derzeitige Computerlandschaft, und sie halten sich überraschenderweise an den Unicode-Standard.

Daher wählten die Forscher die GNU-Unifont-Glyphen für ihre Experimente, teilweise wegen ihrer “robusten Abdeckung” von Unicode, aber auch, weil sie vielen anderen “Standard”-Schriftarten ähnelt, die wahrscheinlich an NLP-Systeme gesendet werden. Während die unsichtbaren Zeichen, die aus Unifont erstellt werden, nicht gerendert werden, werden sie dennoch von den getesteten NLP-Systemen als sichtbare Zeichen gezählt.

Anwendungen
Zurück zum “erstellten” Titel der Arbeit selbst können wir sehen, dass die Durchführung einer Google-Suche aus dem ausgewählten Text nicht das erwartete Ergebnis liefert:

Dies ist eine clientseitige Auswirkung, aber die serverseitigen Auswirkungen sind ein wenig ernster. Die Arbeit bemerkt:

‘Obwohl ein gestörtes Dokument von einem Suchdienst-Crawler durchsucht werden kann, werden die zur Indizierung verwendeten Begriffe durch die Störungen beeinflusst, was es weniger wahrscheinlich macht, dass es bei einer Suche mit ungestörten Begriffen gefunden wird. Es ist somit möglich, Dokumente vor Suchmaschinen “im Klartext” zu verstecken.’

‘Als Beispielanwendung könnte ein unehrlicher Unternehmer negative Informationen in seinen Finanzberichten maskieren, sodass die von Aktienanalysten verwendeten Spezialsuchmaschinen sie nicht finden.’

Die einzigen Szenarien, in denen der Angriff mit “unsichtbaren Zeichen” weniger effektiv war, waren gegen toxische Inhalte, Named Entity Recognition (NER) und Sentiment-Analyse-Modelle. Die Autoren vermuten, dass dies entweder daran liegt, dass die Modelle auf Daten trainiert wurden, die auch unsichtbare Zeichen enthielten, oder dass der Tokenizer des Modells (der rohe Spracheingaben in modulare Komponenten aufbricht) bereits so konfiguriert war, dass er sie ignorierte.

2: Homoglyphen

Ein Homoglyph ist ein Zeichen, das einem anderen Zeichen ähnelt – eine semantische Schwäche, die 2000 ausgenutzt wurde, um eine Scam-Replikation des PayPal (PYPL ) -Zahlungsverarbeitungs-Domänennamens zu erstellen.

In diesem hypothetischen Beispiel aus der Arbeit ändert ein Homoglyphenangriff die Bedeutung einer Übersetzung, indem er visuell nicht unterscheidbare Homoglyphen (rot umrandet) für lateinische Zeichen einsetzt.

Die Autoren bemerken:

‘Wir haben festgestellt, dass maschinelle Lernmodelle, die benutzergenerierten Text verarbeiten, wie neuronale maschinelle Übersetzungssysteme, besonders anfällig für diesen Angriffstyp sind. Betrachten Sie beispielsweise den marktführenden Dienst Google Translate. Zum Zeitpunkt des Schreibens gab das Eingeben der Zeichenfolge “paypa” im Englisch-Russisch-Modell korrekt “PayPa” aus, aber das Ersetzen des lateinischen Zeichens “a” in der Eingabe durch das kyrillische Zeichen а gab fälschlicherweise “папа” (“Vater” auf Englisch) aus.’

Die Forscher bemerken, dass viele NLP-Pipelines Zeichen, die außerhalb ihres sprachspezifischen Wörterbuchs liegen, durch ein <unk>– (“unbekanntes”) Token ersetzen, die Softwareprozesse, die den vergifteten Text in die Pipeline rufen, können jedoch unbekannte Wörter für die Bewertung weiterleiten, bevor diese Sicherheitsmaßnahme greifen kann. Die Autoren stellen fest, dass dies ‘eine überraschend große Angriffsfläche öffnet’.

3: Umstellungen

Unicode ermöglicht es, Sprachen von links nach rechts zu schreiben, wobei die Reihenfolge durch den Unicode-Bidirectional- (BIDI-) Algorithmus gehandhabt wird. Das Mischen von rechts nach links und links nach rechts Zeichen in einer Zeichenfolge ist daher verwirrend, und Unicode hat eine Ausnahme für diesen Fall vorgesehen, indem BIDI durch spezielle Steuerzeichen außer Kraft gesetzt werden kann. Diese ermöglichen fast beliebige Rendering für eine feste Kodierungsreihenfolge.

In einem anderen theoretischen Beispiel aus der Arbeit wird ein Übersetzungmechanismus dazu gebracht, alle Buchstaben des übersetzten Textes in die falsche Reihenfolge zu bringen, weil er der falschen Rechts-nach-Links-Links-nach-Rechts-Kodierung folgt, aufgrund eines Teils des adversarialen Quelltextes (umkreist), der ihn dazu anweist.

Die Autoren stellen fest, dass die Methode zum Zeitpunkt des Schreibens der Arbeit gegen die Unicode-Implementierung im Chromium-Webbrowser wirksam war, der Quellcode für den Google Chrome-Browser, den Microsoft Edge-Browser und eine ganze Reihe anderer Forks.

Auch: Löschungen

Hier aufgenommen, damit die nachfolgenden Ergebnisgrafiken klar sind, beinhaltet der Löschungen-Angriff das Einfügen eines Zeichens, das einen Backspace oder einen anderen Text-auf-Effekt darstellt, der auf eine Weise implementiert wird, die einem Text-Macro ähnelt.

Die Autoren bemerken:

‘Eine kleine Anzahl von Steuerzeichen in Unicode kann dazu führen, dass benachbarte Text entfernt wird. Die einfachsten Beispiele sind der Backspace (BS) und das Löschzeichen (DEL). Es gibt auch den Wagenrücklauf (CR), der die Text-Rendering-Algorithmen dazu veranlasst, zum Anfang der Zeile zurückzukehren und deren Inhalt zu überschreiben.

‘Beispielsweise wird kodierter Text, der “Hello CRGoodbye World” darstellt, als “Goodbye World” gerendert.’

Wie bereits erwähnt, erfordert dieser Angriff effektiv ein unwahrscheinliches Maß an Zugriff, um zu funktionieren, und wäre nur dann vollständig wirksam, wenn Text systematisch oder nicht über die Zwischenablage kopiert und eingefügt wird – eine ungewöhnliche NLP-Eingabepipeline.

Die Forscher testeten es dennoch und es funktioniert vergleichbar mit seinen stabilen Mitbewerbern. Allerdings können Angriffe mit den ersten drei Methoden einfach durch das Hochladen von Dokumenten oder Webseiten (im Falle eines Angriffs gegen Suchmaschinen und/oder Web-Scraping-NLP-Pipelines) durchgeführt werden.

Bei einem Löschungsangriff löschen die erstellten Zeichen effektiv das Vorherige oder zwingen einzelne Zeilentext in einen zweiten Absatz, in beiden Fällen ohne dass dies für den normalen Leser offensichtlich ist.

Wirksamkeit gegen aktuelle NLP-Systeme

Die Forscher führten eine Reihe von ungerichteten und gerichteten Angriffen gegen fünf beliebte Closed-Source-Modelle von Facebook, IBM, Microsoft, Google und HuggingFace sowie gegen drei Open-Source-Modelle durch.

Sie testeten auch ‘sponge’-Angriffe gegen die Modelle. Ein Sponge-Angriff ist im Wesentlichen ein DoS-Angriff für NLP-Systeme, bei dem der Eingabetext “nicht funktioniert” und die Schulung erheblich verlangsamt, ein Prozess, der normalerweise durch Daten-Preprocessing unmöglich gemacht werden sollte.

Die fünf NLP-Aufgaben, die bewertet wurden, waren maschinelle Übersetzung, Erkennung von toxischen Inhalten, textuelle Implikationsklassifizierung, benannte Entitätsrekognition und Sentiment-Analyse.

Die Tests wurden auf einer nicht spezifizierten Anzahl von Tesla P100-GPUs durchgeführt, die jeweils einen Intel Xeon Silver 4110-CPU unter Ubuntu ausführten. Um keine Nutzungsbedingungen im Falle von API-Aufrufen zu verletzen, wurden die Experimente einheitlich mit einem Störbudget von null (unbeeinflusster Quelltext) bis fünf (maximale Störung) wiederholt. Die Forscher behaupten, dass die Ergebnisse, die sie erhielten, übertroffen werden könnten, wenn eine größere Anzahl von Iterationen zugelassen würde.

Ergebnisse aus der Anwendung von adversarialen Beispielen gegen Facebooks Fairseq-EN-FR-Modell.

Ergebnisse aus Angriffen gegen IBMs toxischen Inhalt-Klassifizierer und Googles Perspective-API.

Zwei Angriffe gegen Facebooks Fairseq: ‘Untargeted’ zielt darauf ab, zu stören, während ‘Targeted’ darauf abzielt, die Bedeutung der übersetzten Sprache zu ändern.

Die Forscher testeten ihr System auch gegen frühere Frameworks, die nicht in der Lage waren, “lesbare” störende Texte auf die gleiche Weise zu generieren, und fanden das System weitgehend gleichwertig mit diesen und oft deutlich besser, während es den großen Vorteil der Heimlichkeit behielt.

Die durchschnittliche Wirksamkeit über alle Methoden, Angriffsvektoren und Ziele liegt bei etwa 80 %, bei sehr wenigen Iterationen.

In einem Kommentar zu den Ergebnissen sagen die Forscher:

‘Vielleicht das Beunruhigendste an unseren nicht wahrnehmbaren Störungsangriffen ist ihre breite Anwendbarkeit: Alle textbasierten NLP-Systeme, die wir getestet haben, sind anfällig. Tatsächlich ist jedes maschinelle Lernmodell, das benutzergenerierten Text als Eingabe verarbeitet, theoretisch anfällig für diesen Angriff.

‘Die adversarialen Auswirkungen können je nach Anwendung und Modell variieren, aber alle textbasierten Modelle basieren auf kodiertem Text, und alle Texte sind anfällig für adversarialen Kodierungen, es sei denn, die Kodierung ist angemessen eingeschränkt.’

Universelle optische Zeichenerkennung?

Diese Angriffe basieren auf dem, was effektiv “Schwachstellen” in Unicode sind, und würden in einer NLP-Pipeline, die alle eingehenden Texte rasterisiert und optische Zeichenerkennung als Sanierungsmaßnahme verwendet, ausgerottet. In diesem Fall würde die gleiche nicht-maligne semantische Bedeutung, die für Menschen lesbar ist, die diese gestörten Angriffe lesen, an das NLP-System weitergegeben.

Wenn die Forscher jedoch eine OCR-Pipeline implementierten, um diese Theorie zu testen, stellten sie fest, dass die BLEU- (Bilingual Evaluation Understudy) -Werte die Baseline-Genauigkeit um 6,2 % senkten und schlugen vor, dass verbesserte OCR-Technologien wahrscheinlich notwendig wären, um dies zu beheben.

Sie schlagen weiter vor, dass BIDI-Steuerzeichen standardmäßig aus der Eingabe entfernt, ungewöhnliche Homoglyphen kartiert und indiziert (was sie als “eine schwierige Aufgabe” bezeichnen) und Tokenizer und andere Eingabemechanismen gegen unsichtbare Zeichen gewappnet werden sollten.

In ihrem Abschlussappell an die NLP-Branche, wachsam gegenüber den Möglichkeiten von adversarialen Angriffen zu sein, einem Bereich, der derzeit in der Computer-Vision-Forschung von großem Interesse ist:

‘[Wir] empfehlen allen Unternehmen, die textbasierte NLP-Systeme entwickeln und bereitstellen, derartige Verteidigungsmechanismen zu implementieren, wenn sie ihre Anwendungen gegenüber böswilligen Akteuren robust machen möchten.’

* Meine Umwandlung von inline-Zitaten in Hyperlinks

18:08 14. Dez. 2021 – Entfernte doppelte Erwähnung von IBM, verschob auto-interne Verknüpfung von Zitat – MA