Die “Nonsens-Sprache”, die Bildsynthese-Moderationssysteme untergraben könnte

Neue Forschungsergebnisse der Columbia-Universität deuten darauf hin, dass die Sicherheitsmechanismen, die verhindern, dass Bildsynthesemodellen wie DALL-E 2, Imagen und Parti schädliche oder kontroversielle Bilder erstellen, anfällig für eine Art von Angriff sind, der “erfundene Wörter” verwendet.

Der Autor hat zwei Ansätze entwickelt, die möglicherweise die Inhaltsmoderationsmaßnahmen in einem Bildsynthesesystem umgehen können, und festgestellt, dass sie bemerkenswert robust sind, auch über unterschiedliche Architekturen hinweg, was darauf hindeutet, dass die Schwäche nicht nur systemisch ist, sondern möglicherweise auf einige der grundlegendsten Prinzipien der Text-Bild-Synthese zurückzuführen ist.

Der erste und stärkere Ansatz wird als macaronische Prompting bezeichnet. Der Begriff “macaronisch” bezieht sich ursprünglich auf eine Mischung aus mehreren Sprachen, wie sie in Esperanto oder Unwinese zu finden ist. Ein Beispiel dafür wäre Urdu-Englisch, eine Art “Code-Mixing”, die in Pakistan häufig vorkommt und englische Substantive mit Urdu-Suffixen frei mischt.

Kompositionelle macaronische Prompting in DALL-E 2. Quelle: https://arxiv.org/pdf/2208.04135.pdf

In einigen der oben genannten Beispiele wurden Teile von sinnvollen Wörtern zusammengefügt, wobei Englisch als “Gerüst” verwendet wurde. Andere Beispiele im Papier verwenden mehrere Sprachen in einem einzigen Prompt.

Das System reagiert auf semantisch sinnvolle Weise, weil die Webquellen, auf denen das System trainiert wurde, relativ wenig Kuratierung aufweisen. Solche Quellen enthalten oft multilinguale Labels (d. h. aus Datensätzen, die nicht speziell für eine Bildsynthese-Aufgabe entwickelt wurden), und jedes Wort, das eingegeben wird, wird zu einem “Token”; auch Teile dieser Wörter werden zu “Subwörtern” oder fraktionellen Token. In der natürlichen Sprachverarbeitung (NLP) hilft diese Art von “Stemming” dabei, die Etymologie längerer abgeleiteter Wörter zu unterscheiden, die bei Transformationen auftreten können, aber auch ein riesiges lexikalisches “Lego-Set” erstellt, das “kreative” Prompting nutzen kann.

Monolinguale Portmanteau-Wörter sind auch effektiv, um Bilder durch indirekte oder nicht-prosaische Sprache zu erhalten, mit sehr ähnlichen Ergebnissen, die oft über unterschiedliche Architekturen hinweg erzielt werden können, wie z. B. DALL-E 2 und DALL-E Mini (Craiyon).

Im zweiten Ansatz, der als evocative Prompting bezeichnet wird, sind einige der konjugierten Wörter ähnlich wie die jugendliche Variante des “Schülerlatein” demonstriert in Monty Pythons Life of Brian (1979).

Es ist kein Witz – Faux-Latin funktioniert oft, um eine sinnvolle Antwort von DALL-E 2 zu erhalten.

Der Autor erklärt:

‘Ein offensichtliches Problem mit dieser Methode ist die Umgehung von Inhaltssicherungen auf der Grundlage von schwarzen Listen. Im Prinzip könnte macaronische Prompting eine einfache und scheinbar zuverlässige Möglichkeit bieten, solche Filter zu umgehen, um schädliche, anstößige, illegale oder sonstige sensible Inhalte zu erstellen, einschließlich gewalttätiger, hassender, rassistischer, sexistischer oder pornografischer Bilder, und vielleicht Bilder, die geistiges Eigentum verletzen oder reale Personen darstellen.

‘Unternehmen, die Bildgenerierung als Dienst anbieten, haben große Sorgfalt darauf verwendet, die Erstellung solcher Ausgaben gemäß ihrer Inhaltspolitik zu verhindern. Folglich sollte macaronische Prompting systematisch als Bedrohung für die Sicherheitsprotokolle untersucht werden, die für die kommerzielle Bildgenerierung verwendet werden.’

Der Autor schlägt eine Reihe von Abhilfemaßnahmen gegen diese Verwundbarkeit vor, von denen er einige als übermäßig restriktiv ansieht.

Die erste mögliche Lösung ist die teuerste: die Quellbilder für die Ausbildung sorgfältiger zu kuratieren, mit mehr menschlicher und weniger algorithmischer Aufsicht. Allerdings räumt das Papier ein, dass dies nicht verhindern würde, dass das Bildsynthesesystem eine anstößige Verbindung zwischen zwei Bildkonzepten herstellt, die für sich genommen möglicherweise harmlos sind.

Zweitens schlägt das Papier vor, dass Bildsynthesesysteme ihre tatsächlichen Ausgaben durch ein Filtersystem laufen lassen könnten, um problematische Assoziationen abzufangen, bevor sie dem Benutzer präsentiert werden. Es ist möglich, dass DALL-E 2 derzeit ein solches Filter verwendet, obwohl OpenAI nicht genau offenlegt, wie die Inhaltssicherung von DALL-E 2 funktioniert.

Schließlich erwägt der Autor die Möglichkeit einer “Wörter-Weißliste”, die nur geprüfte und genehmigte Wörter zulassen würde, um Konzepte abzurufen und darzustellen, räumt aber ein, dass dies eine übermäßig strenge Einschränkung der Nützlichkeit des Systems darstellen könnte.

Obwohl der Forscher nur fünf Sprachen (Englisch, Deutsch, Französisch, Spanisch und Italienisch) bei der Erstellung von Prompt-Zusammensetzungen verwendet hat, glaubt er, dass diese Art von “Angriff” noch “kryptischer” und schwieriger zu verhindern werden könnte, wenn die Anzahl der Sprachen erweitert wird, da Hyperscale-Modelle wie DALL-E 2 auf mehreren Sprachen trainiert werden (da es einfacher ist, leicht gefilterte oder “rohe” Eingaben zu verwenden, und da die zusätzliche Dimensionalität wahrscheinlich die Nützlichkeit des Systems erhöht).

Die Studie trägt den Titel Adversarial Attacks on Image Generation With Made-Up Words und stammt von Raphaël Millièr an der Columbia-Universität.

Kryptische Sprache in DALL-E 2

Es wurde bereits vorgeschlagen, dass die Unsinnssprache, die DALL-E 2 ausgibt, wenn es versucht, geschriebene Sprache darzustellen, selbst eine “verborgene Sprache” sein könnte. Allerdings hat die vorherige Forschung zu dieser mysteriösen Sprache keine Möglichkeit angeboten, “Nonce-Strings” zu entwickeln, die spezifische Bilder heraufbeschwören können.

Von der vorherigen Arbeit heißt es:

‘[Es] bietet keine zuverlässige Methode, um Nonce-Strings zu finden, die spezifische Bilder heraufbeschwören. Die meisten der Unsinnstexte, die DALL-E 2 in Bilder einfügt, scheinen nicht zuverlässig mit spezifischen visuellen Konzepten assoziiert zu sein, wenn sie transkribiert und als Prompt verwendet werden. Dies begrenzt die Machbarkeit dieses Ansatzes als Möglichkeit, die Moderation von schädlichem oder anstößigem Inhalt zu umgehen; als solche ist es kein besonders besorgniserregendes Risiko für den Missbrauch von textgesteuerter Bildgenerierung.’

Stattdessen werden die beiden Methoden des Autors als Mittel erläutert, mit denen Unsinn sinnvolle und bedeutungsvolle Bilder heraufbeschwören kann, während die konventionelle Etikette, die sich gerade entwickelt, umgangen wird.

Als Beispiel betrachtet der Autor das Wort für “Vögel” in den fünf Sprachen, die im Rahmen des Papiers untersucht werden: Vögel auf Deutsch, uccelli auf Italienisch, oiseaux auf Französisch und pájaros auf Spanisch.

Mit der Byte-Pair-Encoding (BPE)-Tokenisierung, die von der Implementierung von CLIP verwendet wird, die in DALL-E 2 integriert ist, werden die Wörter in nicht akzentuiertes Englisch tokenisiert und können “kreativ kombiniert” werden, um Nonce-Wörter zu bilden, die für uns sinnlos erscheinen, aber ihre zusammengefügte Bedeutung für DALL-E 2 beibehalten, um das wahrgenommene Intent zu auszudrücken:

Im obigen Beispiel werden zwei der “fremden” Wörter für Vogel zusammengefügt, um einen Unsinn-String zu bilden. Dank des fraktionellen Gewichts der Subwörter wird die Bedeutung beibehalten.

Der Autor betont, dass sinnvolle Ergebnisse auch ohne Einhaltung der Grenzen der Subwort-Segmentierung erzielt werden können, vermutlich weil DALL-E 2 (die primäre Studie des Papiers) gut genug generalisiert hat, um die Grenzen der Subwörter zu verwischen, ohne ihre Bedeutung zu zerstören.

Um die entwickelten Ansätze weiter zu demonstrieren, bietet das Papier Beispiele für macaronische Prompting in verschiedenen Bereichen, unter Verwendung der Liste der Token-Wörter, die unten abgebildet sind (mit Unsinn-Hybridwörtern auf der rechten Seite).

Der Autor erklärt, dass die folgenden Beispiele von DALL-E 2 nicht “ausgewählt” sind:

Lingua Franca

Das Papier bemerkt auch, dass mehrere solcher Beispiele gleich gut oder zumindest sehr ähnlich über DALL-E 2 und DALL-E Mini (jetzt Craiyon) funktionieren und dass dies überraschend ist, da DALL-E 2 ein Diffusionsmodell ist und DALL-E Mini nicht; die beiden Systeme werden auf unterschiedlichen Datensätzen trainiert; und DALL-E Mini ein BART-Tokenizer anstelle des CLIP-Tokenizers verwendet, der von DALL-E 2 bevorzugt wird.

Überraschend ähnliche Ergebnisse von DALL-E Mini im Vergleich zum vorherigen Bild, das Ergebnisse von DALL-E 2 mit dem gleichen ‘Unsinn’-Eingabe zeigte.

Wie im ersten der oben genannten Bilder zu sehen ist, kann macaronische Prompting auch in syntaktisch korrekte Sätze zusammengefügt werden, um komplexere Szenen zu generieren. Allerdings erfordert dies die Verwendung von Englisch als “Gerüst”, um die Konzepte zusammenzufügen, was das Verfahren wahrscheinlicher macht, von Standard-Zensursystemen in einem Bildsynthesesystem abgefangen zu werden.

Das Papier bemerkt, dass lexikale Hybridisierung, das “Zusammenfügen” von Wörtern, um verwandte Inhalte von einem Bildsynthesesystem zu erhalten, auch in einer einzigen Sprache durch die Verwendung von Portmanteau-Wörtern erreicht werden kann.

Evocative Prompting

Der “evocative Prompting”-Ansatz, der im Papier vorgestellt wird, hängt von der “Evokation” einer umfassenderen Antwort des Systems mit Wörtern ab, die nicht streng auf Subwörtern oder Subtokenen oder teilweise geteilten Labels basieren.

Ein Typ von evocativer Prompting ist Pseudolatin, das unter anderem dazu verwendet werden kann, Bilder von fiktiven Medikamenten zu generieren, auch ohne dass DALL-E 2 angewiesen wird, das Konzept von “Medikament” abzurufen:

Evocative Prompting funktioniert auch besonders gut mit nonsensicalen Prompts, die sich auf mögliche geografische Orte beziehen, und funktioniert zuverlässig über die unterschiedlichen Architekturen von DALL-E 2 und DALL-E Mini:

Die Wörter, die für diese Prompts zu DALL-E 2 und DALL-E Mini verwendet werden, erinnern an reale Namen, sind aber an sich völliger Unsinn. Dennoch haben die Systeme die ‘Atmosphäre’ der Wörter ‘aufgegriffen’.

Es scheint, dass es eine gewisse Überschneidung zwischen macaronischer und evocativer Prompting gibt. Das Papier erklärt:

‘Es scheint, dass Unterschiede in den Trainingsdaten, der Modellgröße und der Modellarchitektur dazu führen können, dass unterschiedliche Modelle Prompts wie voiscellpajaraux und eidelucertlagarzard auf “macaronische” oder “evocative” Weise parsen, auch wenn diese Modelle als auf beide Prompt-Methoden ansprechbar erwiesen sind.’

Das Papier schließt:

‘Während verschiedene Eigenschaften dieser Modelle – einschließlich Größe, Architektur, Tokenisierung und Trainingsdaten – ihre Anfälligkeit für textbasierte Angriffe beeinflussen können, deutet vorläufige Evidenz, die in dieser Arbeit diskutiert wird, darauf hin, dass einige dieser Angriffe möglicherweise dennoch zuverlässig über Modelle hinweg funktionieren.’

Das größte Hindernis für echte Experimente um diese Methoden ist das Risiko, von dem Host-System geflaggt und gesperrt zu werden. DALL-E 2 erfordert eine mit dem Benutzerkonto verknüpfte Telefonnummer, was die Anzahl der “Burner-Contos” begrenzt, die wahrscheinlich benötigt würden, um die Grenzen dieser Art von lexikalischem Hacken zu testen, im Hinblick auf die Umgehung der bestehenden Moderationsmethoden. Derzeit bleibt die primäre Sicherheitsmaßnahme von DALL-E 2 die Volatilität des Zugriffs.

Erstveröffentlicht am 9. August 2022.