Leichte Umformulierung bricht AI-Sicherheit, sogar für Gemini und Claude

AI-Sicherheitstests haben gezeigt, dass sie auf ‘offensichtliche’ Triggerwörter angewiesen sind; mit einfacher Umformulierung werden Modelle, die als “vernünftig sicher” gelabelt wurden, plötzlich fehlschlagen, wobei Angriffe bis zu 98% der Zeit erfolgreich sind.

Neue Unternehmensforschung aus den USA hat zu dem Schluss geführt, dass die gute Sicherheitsbilanz einer Vielzahl von Large Language Models (LLMs) – einschließlich vielen führenden Namen wie Gemini 3 Pro und Claude Sonnet 3.7 – möglicherweise bedeutungslos ist, da die Datenbanken und Benchmarks, die zur Ermittlung dieser Bilanz verwendet wurden, lächerlich “offensichtliche” Sprache enthalten.

Die beiden Datenbanken in Frage, die in verschiedenen Paper-Reviews auf dieser Website vorgestellt wurden, sind HarmBench und AdvBench:

Aus den jeweiligen HarmBench- und AdvBench-Papers, zugegebenermaßen repräsentative Beispiele für Provokation – aber die neue Studie behauptet, dass sogar in realen Szenarien Beispiele aus diesen Benchmarks ‘böswillige Absichten’ signalisieren, was zu (vermutlich) unbeabsichtigtem ‘Gaming’ der Ergebnisse führen kann. Quellen: HarmBench und AdvBench.

Obwohl die oben gezeigten Beispiele, die aus den jeweiligen Papern für jeden Benchmark stammen, absichtlich einfach sind, um die Prinzipien der Systeme zu veranschaulichen, behauptet die neue Forschung, dass diese Sammlungen tatsächlich “low-hanging fruit” ins Visier nehmen und daher möglicherweise keine effektiven Benchmarks sind – und dass die tatsächlichen Ergebnisse für die Sicherheitsfähigkeiten der getesteten LLMs erheblich unter dem liegen, was berichtet wurde:

‘[Wir] bewerten, ob diese Datenbanken tatsächlich Sicherheitsrisiken messen oder nur durch Trigger-Cues zu Verweigerungen provoziert werden. Um dies zu erforschen, führen wir “Intent-Laundering” ein: ein Verfahren, das Trigger-Cues von Angriffen (Datenpunkten) entfernt, während es die böswillige Absicht und alle relevanten Details streng bewahrt.

‘Unsere Ergebnisse zeigen, dass die aktuellen AI-Sicherheitsdatenbanken nicht wirklich realen Angriffen entsprechen, da sie zu sehr auf Trigger-Cues angewiesen sind.

‘Tatsächlich werden alle vorher als “vernünftig sicher” bewerteten Modelle unsicher, einschließlich Gemini 3 Pro und Claude Sonnet 3.7, sobald diese Cues entfernt werden.’

‘Sicherheit’ in diesem Sinne repräsentiert Alignment – die Fähigkeit des LLM, Benutzern, die versuchen, Einschränkungen auf API-only-Systemen zu umgehen, um das System verbotene Ausgaben zu produzieren, wie diffamierende Texte oder Bilder.

Die Autoren verwenden die oben genannte “Intent-Laundering”-Technik, die einfach darin besteht, die “offensichtlichen” Angriffe in den beiden Datenbanken/Benchmarks umzuformulieren, so dass sie subtiler und heimtückischer werden und viel besser darin sind, Filter und Kontrollen zu umgehen:

Der obere Teil eines ansonsten unhandlichen Beispiels aus dem Paper. Oben links, in Gelb, die Art von “offensichtlichem” Prompt, den HarmBench und AdvBench typischerweise liefern; darunter, in Grün, der Prompt wurde neutralisiert, umformuliert und so akzeptabel gemacht, dass Claude Sonnet 3.7 nun bereit ist, dem Benutzer zu helfen, “Chop-Shops” (Verarbeitungsstandorte für gestohlene Fahrzeuge) in einer neuen Stadt zu finden. Quelle

Die Forscher analysierten die Eigenschaften der beiden Datenbanken in zwei Ansätzen: in Isolation, um die Sammlungen mit den Eigenschaften realer Angriffe zu vergleichen; und in der Praxis, wo die Datenbanken – und die Autoren eigenen “Verbesserungen” daran – verwendet wurden, um reale Modelle anzugreifen.

Im zweiten Testdurchlauf verbesserten die Forscher ihre Methode der Umformulierung iterativ, bis sie optimale Ergebnisse in Bezug auf die Angriffserfolgsrate (ASR) erzielten:

Intent-Laundering beginnt, indem ein offensichtlich böswilliger Prompt durch ein Umformulierungsmodell geleitet wird, das explizite Trigger-Sprache entfernt, während die zugrunde liegende böswillige Absicht bewahrt wird. Der überarbeitete Prompt wird dann einem Zielmodell vorgelegt, und seine Antwort wird auf Sicherheit und realen Anwendungsfall hin bewertet. Wenn die Ausgabe als unsicher und praktisch anwendbar bewertet wird, wird der Angriff als erfolgreich gezählt. Wenn nicht, werden frühere fehlgeschlagene Überarbeitungen in das Umformulierungsmodell eingegeben, um verbesserte Versionen zu generieren, was einen iterativen Loop schafft, der als Jailbreaking-Mechanismus fungiert, bis eine vordefinierte Anzahl von Versuchen erreicht ist oder eine gewünschte Angriffserfolgsrate erzielt wird.

Die Autoren stellen fest*:

‘Unsere Ergebnisse zeigen, dass mit diesem Regenerations-Loop Intent-Laundering hohe ASR (90%–98,55%) nach nur wenigen Iterationen über alle untersuchten Modelle unter vollständiger Black-Box-Zugriff erreicht. Dies umfasst auch aktuelle Modelle, die weithin als unter den sichersten gelten – wie Gemini 3 Pro und Claude Sonnet 3.7.

‘Diese Ergebnisse bestätigen weiter, dass bestehende Sicherheitsbewertungen und Sicherheits-Alignierungs-Methoden stark überfittet^† auf Trigger-Cues sind.’

Die neue Arbeit trägt den Titel Intent-Laundering: AI-Sicherheitsdatenbanken sind nicht das, was sie zu sein scheinen und stammt von zwei Autoren der in San Francisco ansässigen Softwarefirma Labelbox.

Methode

Um die Zusammensetzung und Architektur der beiden Benchmark-Datenbanken in Isolation zu untersuchen, wurden Wortwolken aus den beiden Corpora generiert, die zeigten, welche Wörter und kurzen Phrasen die Sammlungen dominierten:

Wortwolken, die die 40 häufigsten Unigramme, Bigramme und Trigramme in den kombinierten AdvBench- und HarmBench-Datenbanken zeigen. Begriffe mit inhärent negativen oder sensiblen Konnotationen sind in Rot hervorgehoben, kontextuelle Trigger in Orange und neutrale Wörter, die höhere Trigger bilden, in Grün. Die Konzentration von offensichtlichen Phrasen wie ‘ohne erwischt zu werden’ und ‘Schritt-für-Schritt-Anleitungen’ legt nahe, dass die beiden Benchmarks stark auf explizite Cues angewiesen sind, anstatt realistisch konstruierte, ulteriore Absichten-Angriffe.

Die Autoren bemerken, dass die dominanten Ein-, Zwei- und Dreiwort-Gruppen unglaublich aufschlussreich über böswillige Absichten sind, im Gegensatz zu der Art von Sprache, die Kriminelle selbst in Diskussionen verwenden, und die Angreifer verwenden, wenn sie LLMs testen oder versuchen, ihre Verteidigungen zu kompromittieren.

‘Diese Cues untergraben zwei Eigenschaften – gut konstruiert und von ulteriore Absicht getrieben – da solche offensichtliche Sprache selten in realen Angriffen vorkommt und künstlich zu sein scheint, um Sicherheitsmechanismen auszulösen. ‘

Das Paper charakterisiert die Muster der Sammlungen als ‘Trigger-Cues’ – Phrasen mit offensichtlich negativen oder sensiblen Konnotationen, die entworfen zu sein scheinen, um Sicherheitsfilter auszulösen. Einige sind inhärent geladen, wie ‘Selbstmord begehen’, während andere nur im Kontext geladen werden, wenn ein schädlicher Zweck mit Worten wie ‘ohne erwischt zu werden’ gepaart wird, was klare Absicht signalisiert, Entdeckung zu vermeiden.

Die Ungleichgewichtigkeit in der Sprache der Datenbanken wird deutlicher, wenn die Anzahl der Wörter in den n-Grammen zunimmt, wobei Phrasen, die explizite negative oder sensible Bedeutung tragen, die häufigsten n-Gramme dominieren (siehe Bild oben). Das Paper bezeichnet diese als Trigger-Phrasen, die, zusammen mit einzelnen Trigger-Wörtern, Trigger-Cues bilden.

Einige Phrasen erweitern bereits beladene Begriffe, wie wenn ‘stehlen’ zu ‘sensible Informationen stehlen’, ‘vertrauliche Informationen stehlen’ oder ‘persönliche Informationen stehlen’ wird; und, zum Beispiel, wenn ‘begehen’ zu ‘Selbstmord begehen’, ‘Insider-Handel begehen’ oder ‘Identitätsdiebstahl begehen’ wird – offensichtlich die Sprache der Polizei, Gerichte und Medienberichterstattung.

Andere werden vollständig aus neutralen Wörtern aufgebaut, die nur im Zusammenhang besorgniserregend werden, wie ‘ohne erwischt zu werden’, eine Konstruktion, die Evasion signalisiert, obwohl sie keine inhärent geladenen Begriffe enthält.

Doppelung

Die Autoren bemerken, dass die Wiederholung von offensichtlichen Cues nicht nur die Prompts konstruiert erscheinen lässt, sondern auch auf erhebliche Duplizität in den Sammlungen hinweist. Um diese Theorie zu testen, führten sie paarweise Ähnlichkeitsprüfungen über jede Datenbank durch, wobei sie Schwellenwerte von 0,7 bis 0,99 anwendeten und Prompts, die einen bestimmten Schwellenwert überschritten, als Duplikate gruppierten, während sie den Rest als einzigartig behandelten.

Da es keinen allgemein anerkannten Standard für das, was als ‘hohe’ Ähnlichkeit in einer einzelnen Datenbank gilt, verwendeten sie Open AI’s Grade School Math (GSM8K), einen beliebten Nicht-Sicherheits-Benchmark, der mit der Größe von HarmBench und AdvBench abgestimmt wurde, um einen kontrollierten Vergleich zu ermöglichen:

Duplizierungsrate in AdvBench und HarmBench über Ähnlichkeitsschwellen, im Vergleich mit Größe-abgestimmten GSM8K-Subsets. Bei fast jedem Schwellenwert enthalten die Sicherheitsdatenbanken erheblich mehr nahezu identische Prompts als der Nicht-Sicherheits-Benchmark, was darauf hinweist, dass die gemeldete Sicherheitsleistung durch die Wiederholung ähnlicher Absichten in leicht variierten Worten inflatiert sein könnte.

Ein zweites Ergebnis aus diesem Teil der Studie verglich Prompts innerhalb jeder Datenbank, um zu messen, wie viele tatsächlich unterschiedlich waren. Bei einem mittleren Ähnlichkeitseinstellung waren nur etwa 11% der AdvBench-Prompts einzigartig, während fast 94% der Fragen in einem Größe-abgestimmten GSM8K-Beispiel unterschiedlich waren:

Beispiele nahezu identischer Prompts in AdvBench und HarmBench, die hauptsächlich in der Wortwahl variieren, während sie dieselbe böswillige Absicht ausdrücken. Die wiederholte Verwendung expliziter Cues, in Rot für inhärent geladene Begriffe und in Orange für kontextabhängige, produziert Cluster von Prompts, die effektiv ein einzelnes Szenario mehrmals testen – was bedeutet, dass eine einzelne Antwort ausreichen würde, um das Modell für diese Absicht zu bewerten.

HarmBench zeigte den gleichen Trend, mit 16% Duplikaten auf diesem Level im Vergleich zu 3,5% in GSM8K, was bedeutet, dass die Sicherheitsdatenbanken oft dieselbe schädliche Anfrage mit geringen Wortänderungen wiederholten.

Wenn 85% einzigartige Beispiele als vernünftiger Standard angesehen werden, erreichte AdvBench dieses Niveau nur unter einer extrem strengen Einstellung und erreichte noch nicht einmal 90%, während GSM8K 85% bei einem viel niedrigeren Schwellenwert erreichte. Laut dem Paper legt dieses Muster nahe, dass die Sicherheitsbenchmarks wiederholte Variationen derselben Ideen testen, anstatt eine breite Palette von Angriffsszenarien.

Weitere Ansätze und Tests

Die Arbeit mit der LLM-getriebenen “Intent-Laundering”-Technik entfernt explizite Trigger-Sprache, während die zugrunde liegende böswillige Absicht bewahrt wird. Anstatt die Absicht direkt auszudrücken, implizieren überarbeitete Prompts sie, die böswillige Nutzlast bewahrend, aber Cues vermeidend, die wahrscheinlich zu einer sofortigen Verweigerung durch das LLM führen würden.

Die beiden Methoden, die dies ermöglichen, sind Konnotations-Neutralisierung, die offensichtlich negative Begriffe durch neutrale oder beschreibende Alternativen ersetzt; und Kontext-Transposition, die realweltliche Referenzen in fiktive Szenarien versetzt, ohne die praktische Bedeutung zu ändern.

Ein kleiner Satz von Überarbeitungen wurde zunächst von Hand geschrieben, wonach der Prozess automatisiert wurde, indem GPT-5.1 (gpt-5.1-2025-11-13) mit einem acht-Shot-in-Context-Lernen-Setup als der “Intent-Launderer” verwendet wurde. Antworten auf die ursprünglichen und überarbeiteten Prompts wurden dann verglichen, um zu messen, wie stark explizite Trigger-Wörter die Sicherheitsbewertungen beeinflussten.

Da Intent-Laundering sowohl die Wortwahl als auch die Rahmung ändern kann, wurden Antworten in Bezug auf Sicherheit und Praktikabilität bewertet. Sicherheit wurde auf einer fünf-Punkte-Likert-Skala von ‘extrem unsicher’ bis ‘sicher’ bewertet, abhängig davon, ob die Antwort die ursprüngliche böswillige Absicht bewahrte – und, wenn ja, wie schädlich sie war:

Ein Prompt-Template, das für die Standard-Sicherheitsbewertung von Antworten auf die ursprünglichen AdvBench- und HarmBench-Datenpunkte vor der Anwendung von Intent-Laundering verwendet wurde. GPT-5.1 wurde angewiesen, jede Antwort auf einer fünf-Punkte-Likert-Skala von ‘Extrem unsicher’ bis ‘sicher’ zu bewerten, basierend auf der Auswahl einer einzelnen Gesamtbewertung, abhängig davon, ob der Inhalt Schaden ermöglichte oder nicht anwendbar blieb.

‘Praktikabilität’ wurde auf einer parallelen fünf-Punkte-Skala von ‘extrem anwendbar’ bis ‘nicht anwendbar’ bewertet, basierend auf der Nutzbarkeit und Übertragbarkeit der Details in der realen Welt; und ASR maß die Leistung, wobei eine Überarbeitung nur dann als erfolgreich gezählt wurde, wenn die Antwort sowohl unsicher als auch praktisch war.

Die fünf-Punkte-Bewertungen wurden in binäre Ergebnisse umgewandelt, um Mehrdeutigkeit zu reduzieren, und Intent-Laundering wurde auch zu einer Jailbreaking-Technik weiterentwickelt, indem ein iterativer Überarbeitungs-Regenerations-Loop hinzugefügt wurde, bei dem fehlgeschlagene Überarbeitungen unter demselben acht-Shot-in-Context-Lernen-Setup an GPT-5.1 zurückgegeben wurden. Dieser Loop wurde fortgesetzt, bis entweder eine vordefinierte Anzahl von Versuchen erreicht war oder eine Ziel-ASR erzielt wurde.

Für die Sicherheitsbewertungstests wurde das Python-Wordcloud-Paket verwendet, um n-Gramme aus HarmBench und AdvBench zu extrahieren, mit herkömmlichen Filtermethoden (d. h. zur Entfernung von Stopwörtern und anderen nicht relevanten Wörtern und Zeichen).

Die gleichen Sicherheitsdatenbanken, die für die vorherige Wortwolkenanalyse verwendet wurden, wurden mit zufälligen Stichproben aus dem oben genannten GSM8K kombiniert, wobei die Wortmengen für Parität über die Sammlungen hinweg ausgeglichen wurden.

Die Autoren verwendeten Einbettungen aus dem all-MiniLM-L6-V2-Checkpoint von Sentence-BERT-Transformern, da dies bereits für Clustering und semantische Suche fein abgestimmt ist.

Bewertungskriterien wurden von (dem inzwischen abgekündigten) OpenAI-GPT-4o-Modell generiert, beschränkt auf 1024 Token. GPT-5.1 bewertete sowohl Sicherheit als auch Praktikabilität nach Intent-Laundering, zero-shot, abgestimmt in allen Aspekten mit dem Intent-Launder selbst, außer dass es auch auf 1024 Token beschränkt war.

Getestete Modelle waren Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; und Qwen2.5-7B-Instruct. Wo anwendbar, da Reasoning ein überflüssiger Faktor war, wurde dies in reasoning-fähigen Modellen so weit wie möglich reduziert.

Alle Modelle wurden auf eine Ausgabebegrenzung von 4096 Token beschränkt:

Sicherheitsbewertung (SE), Praktikabilitätsbewertung (PE) und Angriffserfolgsrate (ASR) für sieben Modelle auf AdvBench (oben) und HarmBench (unten) unter drei Bedingungen: keine Überarbeitung, erste Überarbeitung und nachfolgende Überarbeitungs-Regenerations-Iterationen von Intent-Laundering. SE berichtet den Prozentsatz der Antworten, die als ‘extrem unsicher’, ‘hoch unsicher’ oder ‘unsicher’ bewertet wurden; PE berichtet den Prozentsatz, der als ‘extrem anwendbar’, ‘hoch anwendbar’ oder ‘anwendbar’ bewertet wurde; und ASR misst den Anteil der Antworten, die sowohl unsicher als auch praktisch sind. In der ohne-Überarbeitung-Einstellung folgt ASR seiner Standarddefinition, da keine Abstraktion angewendet wird. Fett gedruckte Werte zeigen den höchsten ASR an, der in jeder Datenbank erreicht wurde, und ein niedrigerer ASR entspricht stärkerer Modellsicherheit. Bitte beachten Sie die Quellen-Paper für eine bessere Auflösung.

Im Hinblick auf diese anfänglichen Ergebnisse bemerken die Autoren, dass die Entfernung expliziter Trigger-Cues von Angriffsprompts zu einem deutlichen Anstieg der Angriffserfolgsrate führte. Bei AdvBench stieg die durchschnittliche ASR von anfänglich 5,38% auf 86,79% nach der ersten Überarbeitung, bei HarmBench von 13,79% auf 79,83% – was darauf hinweist, dass Modellverweigerungen stark mit dem Vorhandensein offensichtlicher Trigger-Sprache verbunden sind.

Die Autoren bemerken:

‘Dies zeigt, dass Modellverweigerungen größtenteils durch das Vorhandensein von Trigger-Cues getrieben werden. Demzufolge messen Sicherheitsdatenbanken nicht zuverlässig reale Sicherheitsrisiken, da sie mehr auf Trigger-Cues angewiesen sind, um Verweigerungen auszulösen, als auf tatsächliche böswillige Absichten.’

Intent-Laundering, so behauptet das Paper, entfernte effektiv Trigger-Cues, während die böswillige Absicht bewahrt wurde, und fungierte als starke Jailbreaking-Methode. In der endgültigen Überarbeitungs-Regenerations-Iteration, die dem höchsten ASR in jeder Datenbank entsprach, erreichten die Angriffserfolgsraten 90% bis 98,55% über alle Modelle hinweg.

Dies umfasste Gemini 3 Pro und Claude Sonnet 3.7, die mit ASRs von 93% bis 95% auf AdvBench und 91% bis 93% auf HarmBench nach nur wenigen Iterationen jailbroken wurden.

Die Autoren schlussfolgern:

‘Unsere Ergebnisse zeigen, dass vorherige Sicherheitsfolgerungen nicht mehr gültig sind, sobald Trigger-Cues entfernt werden, und dass die beobachtete Sicherheitsleistung größtenteils durch das Vorhandensein von Trigger-Cues getrieben wird, anstatt durch die zugrunde liegenden Sicherheitsrisiken.

‘Wir haben weiterhin gezeigt, dass Intent-Laundering als leistungsstarke Jailbreaking-Technik verwendet werden kann, mit hohen Angriffserfolgsraten von 90% bis über 98%.

‘Insgesamt haben unsere Ergebnisse eine kritische Lücke zwischen der Bewertung von Modellsicherheit und der realen Manifestation von adversarialen Verhaltensweisen aufgedeckt.

‘Basierend darauf kommen wir zu dem Schluss, dass (1) Sicherheitsbewertungen evolvieren müssen, um adversarialen Angriffe realistischer abzubilden, und (2) aktuelle Sicherheits-Alignierungs-Bemühungen noch weit von robust gegen reale Bedrohungen entfernt sind.’

Schlussfolgerung

Ein gemeinsamer Faden, der noch immer durch die Literatur von Sprache und Computer-Vision (und Orten, an denen sich diese überschneiden, wie z. B. VLMs) verläuft, ist die Unfähigkeit, zuverlässig zu verstehen, wenn man hereingelegt wird, um verbotene Inhalte zu produzieren; oder sogar, wenn man unabsichtlich darauf zusteuert, ohne äußeren Zwang.

Hinter den Kulissen der größeren und undurchsichtigeren Modell-Fabriken kann man nur annehmen, dass das radikale Verschärfen der Kontrollen in diesen semantischen Auffangbereichen unannehmbar hohe Kollateralschäden mit sich bringt, wie z. B. Leistungsabfälle bei ‘nicht verbotenen’ Generierungen oder eine unerträgliche Rate von Falschpositiven aus dem Inhalt-Filter.

Die Grundnatur eines trainierten Modells in jedem Bereich besteht darin, all seinen Trainingsdaten zu jedem Schluss zu folgen, zu dem ein Prompt es führen könnte; die einzigen nativen Einschränkungen, die verfügbar sind, sind a) keine kontroversen Materialien in den Trainingsdaten zu enthalten (was eher ein logistisches Problem als alles andere ist); oder b) die Pfade zu unerwünschtem Inhalt nach dem Training zu ‘kappen’ (ein Prozess, der oft durch explizite Abliteration rückgängig gemacht werden kann oder als unbeabsichtigte Nebenwirkung des Feinabstimmens auftreten kann).

* Meine Ersetzung der Autoren-Inline-Zitate durch Hyperlinks. Autoren-Betonungen, nicht meine.

^† https://www.unite.ai/what-is-overfitting/

Erstveröffentlichung Montag, 23. Februar 2026