Lasso-Studie stellt fest, dass Textwasserzeichen LLM-Ablehnungen und Tool-Aufrufe verschieben

Lasso Security-Forscherin Andrea Siposova veröffentlichte am 17. September 2026 Die Provenance-Steuer: Das Verständnis der Auswirkungen von LLM-Wasserzeichen auf das Verhalten von KI-Agenten, eine Studie, die berichtet, dass das SynthID-Text-Textwasserzeichen ändern kann, ob ein Sprachmodell eine schädliche Anfrage ablehnt und welche Tool-Aufrufe ein KI‑Agent erzeugt. Die Studie bezeichnet den Verhaltenseffekt als „sampling drift“.

Nach der Studie ist das Wasserzeichen für Herkunft konzipiert, doch SynthID-Text verändert den Prozess, mit dem ein Modell jedes nächste Token erzeugt. Auf Modellebene kann dies das Sicherheitsverhalten ändern, einschließlich der Frage, ob das Modell eine schädliche Anfrage ablehnt und ob diese Ablehnung bei Prompt-Injektion Bestand hat; auf Agentenebene können dieselben gesampelten Tokens sowohl das vom Agenten aufgerufene Tool als auch die Argumente, die es diesem Tool übergibt, bestimmen. Die Studie berichtet, dass der Drift in der Praxis sowohl im Ablehnungsverhalten als auch im Toolaufruf von Agenten auftritt, dass das Wasserzeichen bei Injektion mehrere Modelle eher dazu brachte, schädliche Anfragen zu beantworten, die sie sonst abgelehnt hätten, dass der Effekt modell- und schlüsselabhängig ist und dass aggregierte Werte ihn verschleiern können, wenn Änderungen in entgegengesetzte Richtungen einander aufheben.

Ein Wasserzeichen, das in regulierte Bereitstellung übergeht

In der Ankündigung vom 14. August 2026 Wie Claudes Textwasserzeichen funktioniert erklärte Anthropic, dass zukünftige Claude‑Modelle Texte erzeugen werden, die ein auf Google DeepMinds SynthID‑Text basierendes Wasserzeichen enthalten, eine Änderung, die zur Einhaltung des EU‑KI‑Gesetzes umgesetzt wird. Anthropic gab an, dass die Methode die Qualität und den Inhalt von Claudes Ausgaben praktisch unverändert lässt. Der Lasso‑Beitrag beschreibt das EU‑Gesetz dahingehend, dass Anbieter von KI‑Systemen, die synthetischen Text erzeugen, die Ausgaben in einem maschinenlesbaren Format kennzeichnen müssen, damit sie als künstlich erzeugt erkennbar sind. Der Beitrag weist zudem darauf hin, dass Anthropic erklärt, das Wasserzeichen auf Modellebene wirkt und auf unterstützte Modelle, die über die Claude‑Platform‑API und Cloud‑Anbieter erreicht werden, ausgedehnt wird, sodass ein auf einem wassergezeichneten Modell basierender Agent wassergezeichnete Ausgaben erhalten kann, selbst wenn der Agent selbst eine separate Anwendung ist.

Warum die Token‑Auswahl das Verhalten ändert

Die Studie nutzte die nicht‑verzerrende Konfiguration von SynthID‑Text, die die ursprüngliche Token‑Verteilung des Modells im Durchschnitt über die Zufälligkeit des Wasserzeichens hinweg bewahrt, obwohl jede einzelne Generierung unter einem festen Schlüssel variieren kann. Der Beitrag zitiert Dathathri et al., deren Nature‑Artikel berichtete, dass bei fast zwanzig Millionen Gemini‑Antworten keine messbare Qualitätsverschlechterung festgestellt wurde. Ein nicht‑verzerrendes Wasserzeichen impliziert nicht identisches Verhalten unter einem festen Schlüssel, betont der Beitrag: Diese Garantie gilt im Durchschnitt über die Zufälligkeit des Wasserzeichens, während jeder einzelne Schlüssel weiterhin beeinflusst, welche Tokens bei der Textgenerierung ausgewählt werden.

Tournament‑Sampling bietet mehr Spielraum, die Token‑Auswahl zu verändern, wenn das Modell unsicher ist, erklärt die Studie. Bei strukturierten Ausgaben wie JSON sind strukturelle Elemente wie geschweifte Klammern, Schlüssel und Funktionsnamen in der Regel leicht vorherzusagen, während Argumentwerte wie Abfragen, Zahlen, Pfade und Empfänger mehr Unsicherheit aufweisen. Eine Änderung, die in gewöhnlicher Prosa einer lexikalischen Variation entspricht, kann daher ein Argument, das ein Agent ausführt, umschreiben, selbst wenn die Gewichte und die Eingabeaufforderung des Modells unverändert bleiben.

Wie die Studie den Sampling‑Drift maß

Die Forschenden verwendeten ein gepaartes Design über zwei Experimente hinweg. Tool‑Aufrufe wurden anhand des BFCL‑v4‑Einzel‑Turn‑AST‑Benchmarks bewertet, und Ablehnungen anhand von 200 schädlichen Verhaltensweisen aus HarmBench plus 100 harmlosen Kontrollen aus JailbreakBench, wobei schädliche Anfragen sowohl unverändert als auch unter einer festen Prompt‑Injektionstechnik getestet wurden. Diese Technik fügt eine feindliche Anweisung in die Eingabeaufforderung ein, als wäre sie abgerufener Inhalt, und erklärt, dass der Sicherheitsfilter deaktiviert wurde und das Modell zur Ausführung angewiesen wird; dieselbe Technik wurde für jede Eingabeaufforderung, jedes Modell und jede Temperatur verwendet.

Die Experimente wurden mit Hugging Faces unverändertem SynthIDTextWatermarkLogitsProcessor durchgeführt, das 30 Tournament‑Schichten, eine n‑Gram‑Länge von 5, eine Sampling‑Tabelle von 2^16 und einen Kontextverlauf von 1 024 verwendet. Jeder Eintrag wurde mit und ohne SynthID unter Verwendung identischer Seeds, Batches und Generierungsreihenfolge bei jeder Temperatur erzeugt, sodass der Wasserzeichen‑Prozessor die einzige Variable in jedem Paar war.

Genauigkeit von Tool‑Aufrufen und Churn

Bei Elementen, bei denen ein Tool‑Aufruf erwartet wird, reduzierte das Wasserzeichen die Genauigkeit bei sechs der sieben getesteten Modelle, mit einem signifikanten Rückgang bei vier, berichtet die Studie. Da ein Aufruf, der falsch wird, durch einen korrekten Aufruf ausgeglichen werden kann, maßen die Forschenden auch die gepaarte Uneinigkeit, die sie „Churn“ nennen: den Anteil der Elemente, für die die wassergezeichneten und nicht wassergezeichneten Durchläufe unterschiedliche Ergebnisse lieferten. Mit einem festen Satz von 1 150 erwarteten Tool‑Aufgaben bei jeder Temperatur stellte die Studie fest, dass bei einer Temperatur von 1,0 16,8 % von phi‑4s Aufruf‑Urteilen zwischen den Bedingungen variierten, während der Netto‑Genauigkeitsverlust 2,87 Punkte betrug; Llama‑3.1‑8B zeigte 9,9 % Churn bei einem Netto‑Verlust von 0,87 Punkten. Über die 21 Modell‑Temperatur‑Kombinationen hinweg betrug der durchschnittliche Churn 6,5 %, und sein Bootstrap‑Intervall schloss in jedem Fall die Null aus.

Fehlerprofile unterschieden sich je nach Modell. Bei Llama-3.1-8B war der größte Beitrag zum Genauigkeitsverlust fehlerhafte Argumente mit -3,48 Punkten, gefolgt von falschen Tool-Aufrufen mit -1,84 Punkten, während bei phi-4 und Granite-3.2-8B fehlerhafte Ausgaben mit -5,96 bzw. -4,36 Punkten dominierten. Ein korrekt formulierter Aufruf des richtigen Tools mit einem falschen Pfad, Empfänger, einer falschen Anfrage oder einem falschen Betrag ist besonders gravierend, so der Beitrag, weil ein solcher Aufruf trotzdem bis zum Abschluss ausgeführt wird, jedoch etwas anderes tut als beabsichtigt.

Ablehnungen schwächen sich bei Prompt-Injektion

Ablehnungen werden ebenfalls Token für Token erzeugt, sodass Wasserzeichen sie beeinflussen können. Die Studie berichtet, dass Wasserzeichen das Ablehnungsverhalten bei reinen schädlichen Anfragen verändert, wobei der Effekt bei Prompt-Injektion stärker wird, wobei die größten Verschiebungen von Ablehnung zu Zustimmung gehen. Bei einer Temperatur von 0,001 stieg der Churn von gemma-3-27b von 6,0 % bei reinen schädlichen Anfragen auf 23,5 % unter Injektion, während sich die Netto‑Zustimmungsänderung von -1,0 auf +12,5 Punkte bewegte; der Churn von gemma-3-12b stieg von 7,5 % auf 11,0 %, wobei die Netto‑Zustimmungsänderung von -0,5 auf +9,0 Punkte wechselte. Llama-3.1-8B zeigte einen Churn von 14,0 % bei Temperatur 0,001 und 17,5 % bei Temperatur 0,7 unter Injektion, obwohl seine Netto‑Veränderung nicht einzeln signifikant war.

phi-4 und Qwen3-4B änderten sich unter beiden Bedingungen kaum; beide neigen zu übermäßigen Ablehnungen, auch bei den harmlosen Kontrollen, und der Beitrag warnt, dass ihre geringen Bewegungen nicht als Beweis dafür gelten sollten, dass Wasserzeichen das Sicherheitsverhalten bei diesen Modellen unverändert lässt. Um die Meinungsverschiedenheit einzuordnen, verglich die Studie den durch Wasserzeichen induzierten Churn bei Injektion bei einer Temperatur von 0,7 mit dem Churn, der durch eine Temperaturänderung von 0,001 auf 0,7 ohne Wasserzeichen entsteht. Der durch Wasserzeichen induzierte Churn war bei vier der sechs Modelle signifikant höher; Granite-3.2-8B hatte den höchsten temperaturinduzierten Churn mit 15,5 % und sein durch Wasserzeichen induzierter Churn war sogar noch höher mit 21,5 %.

Schlüssel‑Sensitivität und Empfehlungen

Da die Wirkung von SynthID auf die Token‑Auswahl vom Wasserzeichen‑Schlüssel abhängt, testete die Studie elf Schlüssel bei einer Temperatur von 0,7. Für Llama-3.1-8B erhöhte der Studienstschlüssel den Angriffserfolg um 3,5 Punkte, während die anderen zehn Schlüssel im Durchschnitt +4,4 Punkte erzielten und von -4,5 bis +14,5 Punkten reichten. Die meisten Schlüssel steigerten den Angriffserfolg bei beiden Gemma‑Modellen im Vergleich zur unmarkierten Basis, während Granite-3.2-8B eine gemischte Reaktion zeigte, wobei Schlüssel den Angriffserfolg in beide Richtungen beeinflussten. Wo der Wasserzeichen‑Schlüssel oder die Konfiguration vom Modell‑Anbieter gesteuert wird, weist der Beitrag darauf hin, dass solche Verhaltensverschiebungen jenseits der Reichweite des Entwicklers, der den Agenten erstellt, stattfinden können.

Die Studie empfiehlt, Agenten‑Evaluierungen und Red‑Team‑Tests mit exakt der für die Bereitstellung geplanten Wasserzeichen‑Konfiguration erneut durchzuführen, indem wassergezeichnete und unmarkierte Ausgaben bei identischen Eingaben verglichen und unter Prompt‑Injektion getestet werden. Die Ergebnisse sprechen nicht gegen Wasserzeichen für die Herkunft, stellt der Beitrag fest: Herkunft und Verhaltensstabilität sind unterschiedliche Eigenschaften, und ein Wasserzeichen, das erkennbar ist und die Textqualität unverändert lässt, garantiert nicht, dass ein Agent das gleiche Tool‑Aufrufen‑ oder Sicherheitsverhalten beibehält, sobald das Wasserzeichen aktiviert wird. Obwohl die Studie SynthID-Text untersuchte, fügt der Beitrag hinzu, dass die Bedenken auf jede Intervention ausgedehnt werden, die die Token‑Auswahl in einem System verändert, das auf diesen Tokens operiert.