Die Verwendung von Emojis kann Content-Filter in KI-Chatbots umgehen

Emojis können verwendet werden, um die Sicherheitsmechanismen von großen Sprachmodellen zu umgehen und giftige Ausgaben auszulösen, die normalerweise blockiert würden. Auf diese Weise können LLMs dazu gebracht werden, verbotene Themen wie Bombenbau und Mord zu diskutieren und Ratschläge zu geben.

Eine neue Zusammenarbeit zwischen China und Singapur hat überzeugende Beweise gefunden, dass Emojis nicht nur verwendet werden können, um die Inhaltsfilter in großen Sprachmodellen (LLMs) zu umgehen, sondern auch allgemein das Maß an Giftigkeit während der Interaktion mit den Modellen erhöhen können:

Aus dem neuen Papier, eine breite Demonstration der Wege, auf denen die Kodierung eines verbotenen Konzepts mit Emojis helfen kann, einen beliebten LLM zu “entführen”. Quelle: https://arxiv.org/pdf/2509.11141

Im obigen Beispiel aus dem neuen Papier sehen wir, dass die Umwandlung von regelbrechenden, wort-basierten Absichten in eine emoji-basierte Alternative eine weit kooperativere Antwort von einem komplexen Sprachmodell wie ChatGPT-4o auslösen kann (das normalerweise Eingabeaufforderungen sanitisiert und Ausgabematerial, das gegen Unternehmensregeln verstoßen könnte, abfängt).

Effektiv können Emojis in den extremsten Fällen also als Jailbreak-Technik dienen, laut den Autoren der neuen Arbeit.

Ein verbleibendes Rätsel, das im Papier genannt wird, ist die Frage, warum Sprachmodelle Emojis so viel Freiraum geben, Regeln zu verletzen und giftige Inhalte auszulösen, wenn die Modelle bereits verstehen, dass bestimmte Emojis starke giftige Assoziationen haben.

Die vorgeschlagene Erklärung ist, dass, da LLMs trainiert sind, Muster aus ihren Trainingsdaten zu modellieren und zu reproduzieren, und da Emojis so häufig in diesen Daten vorkommen, das Modell lernt, dass das Emoji dazu gehört in diesem Diskurs und behandelt es als statistische Assoziation, anstatt als Inhalt, der ausgewertet und gefiltert werden sollte.

Dies bedeutet, dass das Emoji, wenn es in einer Aufforderung wiederverwendet wird, dem Modell hilft, giftige Fortsetzungen mit mehr Zuversicht vorherzusagen; aber anstatt als rote Flagge zu dienen, fungiert das Emoji als semantischer Hinweis, der die beabsichtigte giftige Bedeutung tatsächlich verstärkt, anstatt sie zu mäßigen oder abzufangen. Da Sicherheitsausrichtung nachträglich angewendet wird und oft in einem engen, wörtlichen Rahmen, können Aufforderungen mit diesen Emojis möglicherweise vollständig der Erkennung entgehen.

Auf diese Weise schlägt das Papier vor, dass das Modell nicht trotz der giftigen Assoziation tolerant wird – es wird weil der giftigen Assoziation tolerant.

Freifahrt

Das gesagt, geben die Autoren zu, dass dies keine abschließende Theorie darüber darstellt, warum die Verwendung von Emojis so effektiv Content-Filter in Sprachmodellen umgehen kann. Sie erklären:

‘Modelle können die bösartige Absicht erkennen, die durch Emojis ausgedrückt wird, doch wie sie Sicherheitsmechanismen umgehen, bleibt unklar.’

Die Schwäche mag in dem textzentrierten Design von Content-Filtern liegen, das entweder wörtliche Texteingaben oder Einbettungen annimmt, die treu in Textäquivalente umgewandelt werden: in beiden Fällen verlässt sich das System auf explizite Token, die gegen Sicherheitsregeln abgeglichen werden können.

Um ein Beispiel aus der AI-basierten Bildbearbeitung zu nehmen: Wenn ein Benutzer ein NSFW-Bild zu einem visuellen Sprachmodell hochlädt und Änderungen anfordert, verwenden Systeme wie Adobe Firefly oder ChatGPT CLIP-ähnliche Pipelines, um textuelle Konzepte aus dem Bild zu extrahieren, als Voraussetzung für die Bearbeitung. Sobald diese Konzepte in Wörter umgewandelt sind, wird das Vorhandensein von eingeschränkten Begriffen in diesen extrahierten Wörtern den Filter auslösen und die Anfrage ablehnen.

Offensichtlich ist dies jedoch nicht der Fall, zumindest was die großen LLMs betrifft, die in der Studie untersucht wurden; ihre sprachlichen Barrieren scheinen spröde und textzentriert zu sein. Man kann sich vorstellen, dass eine umfassendere Interpretation von Inhalten (z. B. durch die Untersuchung von Heatmap-Aktivierungen) einen Verarbeitungs- und/oder Bandbreitenkosten aufweist, der solche Ansätze möglicherweise unpraktisch teuer macht, neben anderen möglichen Einschränkungen und Überlegungen.

Das neue Papier trägt den Titel Wenn Smiley feindlich wird: Interpretation, wie Emojis die Giftigkeit von LLMs auslösen und stammt von neun Autoren der Tsinghua-Universität und der National University of Singapore.

(Leider sind viele der Beispiele, auf die das Papier Bezug nimmt, in einem Anhang, der noch nicht verfügbar ist; obwohl wir die Autoren darum gebeten haben, wurde der Anhang zum Zeitpunkt des Schreibens nicht bereitgestellt. Dennoch bleiben die empirischen Ergebnisse im Kernpapier beachtenswert.)

Drei Kern-Emoji-Interpretationen

Die Autoren heben drei linguistische Merkmale hervor, die Emojis effektiv machen, um Filter zu umgehen. Erstens sind Emoji-Bedeutungen kontextabhängig. Zum Beispiel wird das ‘Geld mit Flügeln’-Emoji (siehe Bild unten) offiziell als Darstellung von Geldtransfers oder Ausgaben definiert; jedoch kann es je nach umgebendem Text auch entweder legale oder illegale Aktivitäten implizieren:

In einer teilweisen Abbildung aus dem neuen Papier sehen wir, dass ein beliebtes Emoji seine Bedeutung in der populären Verwendung hijacken, ändern oder unterwandern kann.

Zweitens können Emojis den Ton einer Aufforderung verschieben. Ihre Anwesenheit fügt oft Spielfreudigkeit oder Ironie hinzu, mildert den emotionalen Register. In schädlichen Anfragen kann dies die Anfrage wie einen Witz oder ein Spiel erscheinen lassen, was den Modell dazu bringt, zu antworten, anstatt abzulehnen:

Die lindernde Wirkung von Emojis kann den Ton entgiften, ohne die Absicht zu entgiften.

Drittens behauptet das Papier, dass Emojis sprachagnostisch sind: Ein einzelnes Emoji kann dieselbe Stimmung über Englisch, Chinesisch, Französisch und andere Sprachen hinweg vermitteln. Dies macht sie ideal für multilinguale Anfragen, wobei die Bedeutung auch dann erhalten bleibt, wenn der umgebende Text übersetzt wird:

Das ‘gebrochene Herz’-Emoji vermittelt eine universelle Botschaft.

Ansatz, Daten und Tests*

Die Forscher erstellten eine modifizierte Version des AdvBench-Datensatzes, indem sie schädliche Anfragen aus AdvBench so umschrieben, dass Emojis entweder als Ersatz für sensible Wörter oder als dekorative Tarnung verwendet wurden. AdvBench umfasst 32 Hochrisikothemen, darunter Bomben, Hacking und Mord:

Ursprüngliche Beispiele aus AdvBench. Quelle: https://arxiv.org/pdf/2307.15043

Alle 520 ursprünglichen AdvBench-Instanzen wurden auf diese Weise geändert, wobei die oberen 50 giftigen und nicht duplizierten Anfragen über den Bereich der Experimente hinweg verwendet wurden. Die Anfragen wurden auch in mehrere Sprachen übersetzt und über sieben große geschlossene und offene Modelle sowie in Kombination mit den bekannten wirksamen Jailbreak-Techniken Prompt Automatic Iterative Refinement (PAIR); Tree of Attacks with Pruning (TAP); und DeepInception getestet.

Die verwendeten geschlossenen Modelle waren Gemini-2.0-flash; GPT-4o (2024-08-06); GPT-4-0613; und Gemini-1.5-pro. Die verwendeten offenen Modelle waren Llama-3-8B-Instruct; Qwen2.5-7B-Instruct (Team 2024b); und Qwen2.5-72B-Instruct (Team 2024a), wobei alle Experimente dreimal wiederholt wurden, um den Zufall zu berücksichtigen.

Die Studie testete zunächst, ob das Umschreiben schädlicher Anfragen aus AdvBench unter Verwendung von Emojis die giftige Ausgabe erhöhen würde, einschließlich Übersetzungen in andere große Sprachen. Zusätzlich wurde die gleiche Emoji-Editiermethode auf Anfragen aus den bekannten Jailbreak-Strategien (PAIR, TAP und DeepInception) angewendet, um zu sehen, ob die Emoji-Substitution deren Erfolg weiter verbessern könnte.

In beiden Fällen wurde die Struktur der ursprünglichen Anfragen beibehalten, wobei nur sensible Begriffe durch Emojis ersetzt und dekorative Elemente hinzugefügt wurden, um die Absicht zu verbergen.

Als Testmetriken erfanden die Autoren ein Bewertungssystem namens GPT-Judge. In dieser Einrichtung wurde GPT-4o nicht als zu testendes Modell verwendet, sondern als Prüfer, der eine numerische Schadenswert (HS) den Antworten zuweist, die von anderen Modellen generiert werden.

Jede Ausgabe wurde von eins (harmlos) bis fünf (extrem schädlich) bewertet und der Prozentsatz der Antworten, die eine Fünf erhielten, als Schadensverhältnis (HR) gemeldet.

Um zu verhindern, dass die Modelle in Emoji-Erklärungen anstatt expliziter Antworten abdriften, fügten die Forscher jeder Anfrage eine Anweisung hinzu, die dem Modell sagte, seine Antwort kurz zu halten:

Ergebnisse aus emoji-basierten Anfragen in ‘Setting-1’.

Im obigen Ergebnistabelle links zeigt sich, dass schädliche Anfragen, die mit Emojis ersetzt wurden, deutlich höhere HS- und HR-Werte erreichten als abgeleitete Versionen (d. h. Versionen, bei denen das Emoji in Text zurückübersetzt und direkt den Content-Filtern ausgesetzt wurde).

Die Autoren bemerken^†, dass der emoji-substituierte Ansatz die vorherigen Jailbreak-Methoden übertrifft, wie in der zusätzlichen Ergebnistabelle unten dargestellt:

Schadensverhältnis-Ergebnisse für emoji-augmentierte Jailbreak-Anfragen in ‘Setting-2’.

Die erste der beiden Tabellen zeigt, dass die Wirkung von Emojis über Sprachen hinweg besteht. Wenn die textlichen Komponenten der Emoji-Anfragen in Chinesisch, Französisch, Spanisch und Russisch übersetzt wurden, blieben die schädlichen Ausgaben hoch; da dies Hochsprachen sind, deuten die Ergebnisse darauf hin, dass das Risiko nicht auf Englisch beschränkt ist, sondern sich auf große Benutzergruppen erstreckt, wobei Emojis als transferierbarer Kanal für giftige Generierung fungieren.

Die Forscher schlagen vor, dass die Wirkung von Emojis nicht einfach zufällig ist, sondern in der Art und Weise wurzelt, wie Modelle sie verarbeiten, und dass Modelle offensichtlich die schädliche Bedeutung von Emojis erkennen können, aber Ablehnungsantworten unterdrückt werden, wenn Emojis vorhanden sind.

Tokenisierungsstudien deuten weiterhin darauf hin, dass Emojis normalerweise in seltene oder unregelmäßige Fragmente aufgeteilt werden, die wenig mit ihren textlichen Äquivalenten übereinstimmen, was effektiv einen alternativen Kanal für schädliche Semantik schafft.

Bei der Betrachtung der Vorbereitung der Daten fand das Papier heraus, dass viele häufig verwendete Emojis in schädlichen Kontexten wie Pornografie, Betrug oder Glücksspiel vorkommen. Die Autoren argumentieren, dass diese wiederholte Exposition die Assoziation zwischen Emojis und schädlichen Inhalten normalisieren und Modelle dazu ermutigen kann, schädlichen Anfragen nachzukommen, anstatt sie zu blockieren.

Zusammen deuten diese Ergebnisse darauf hin, dass sowohl interne Verarbeitungsfehler als auch voreingenommene Vorbereitungsdaten zur überraschenden Effektivität von Emojis bei der Umgehung von Sicherheitsmaßnahmen beitragen.

Schlussfolgerung

Es ist nicht ungewöhnlich, alternative Eingabemethoden zu verwenden, um LLMs zu “entführen”. In den letzten Jahren wurde beispielsweise hexadezimale Kodierung verwendet, um ChatGPTs Filter zu umgehen. Das Problem scheint in der flachen Verwendung von textbasierter Sprache zu liegen, um eingehende Anfragen und ausgehende Antworten zu qualifizieren.

Im Falle von Emojis kann ein versteckter Ort von regelbrechender Bedeutung offensichtlich in den Diskurs eingeführt werden, ohne dass es eine Strafe oder Intervention gibt, da die Übertragungsmethode unkonventionell ist. Man könnte denken, dass CLIP-basierte Transliteration in allen Bilduploads eingreifen sollte, sodass anstößiges oder verletzendes Material als flagbarer Text enden würde.

Offensichtlich ist dies jedoch nicht der Fall, zumindest was die großen LLMs betrifft, die in der Studie untersucht wurden; ihre sprachlichen Barrieren scheinen spröde und textzentriert zu sein. Man kann sich vorstellen, dass eine umfassendere Interpretation von Inhalten (z. B. durch die Untersuchung von Heatmap-Aktivierungen) einen Verarbeitungs- und/oder Bandbreitenkosten aufweist, der solche Ansätze möglicherweise unpraktisch teuer macht, neben anderen möglichen Einschränkungen und Überlegungen.

* Die Layout des Papiers ist chaotisch im Vergleich zu den meisten, mit Methodik und Tests, die nicht klar abgegrenzt sind. Wir haben unser Bestes getan, um den Kernwert der Arbeit so gut wie möglich in diesen Umständen darzustellen.

^† In einer zugegebenermaßen fast undurchdringlichen und verwirrenden Behandlung der Ergebnisse.

Erstveröffentlicht am Mittwoch, den 17. September 2025