Lasso‑studie ontdekt dat tekstwatermarking LLM‑weigeringen en tool‑oproepen verschuift

Lasso Security-onderzoeker Andrea Siposova publiceerde op 17 september 2026 De Provenance Tax: Het begrijpen van de impact van LLM-watermarking op AI-agentgedrag, een studie waarin wordt gerapporteerd dat SynthID-Text-tekstwatermarking kan wijzigen of een taalmodel een schadelijk verzoek weigert en welke tool‑oproepen een AI‑agent genereert. De studie noemt het gedragsverschijnsel “sampling drift”.

Volgens de studie is watermarking bedoeld voor herkomst, maar SynthID-Text verandert het proces waarmee een model elk volgend token genereert. Op modelniveau kan dit het veiligheidsgedrag beïnvloeden, inclusief of het model een schadelijk verzoek weigert en of die weigering standhoudt bij prompt‑injectie; op agentniveau kunnen dezelfde gesamplede tokens zowel bepalen welke tool een agent aanroept als de argumenten die aan die tool worden doorgegeven. De studie meldt dat de drift in de praktijk zowel in weigeringsgedrag als in tool‑aanroepen van agents voorkomt, dat bij injectie watermarking verschillende modellen eerder schadelijke verzoeken beantwoordden die ze anders zouden weigeren, dat het effect afhankelijk is van model en sleutel, en dat geaggregeerde scores het kunnen verhullen wanneer veranderingen in tegengestelde richtingen elkaar opheffen.

Een watermark die naar gereguleerde inzet beweegt

In de aankondiging van 14 augustus 2026 Hoe Claude’s tekstwatermerk werkt zei Anthropic dat toekomstige Claude‑modellen tekst zullen genereren met een watermark gebaseerd op Google DeepMind’s SynthID-Text, een wijziging die wordt doorgevoerd om te voldoen aan de EU‑AI‑wet. Anthropic stelde dat de methode de kwaliteit en inhoud van Claude’s output praktisch onveranderd laat. De Lasso‑post beschrijft de EU‑wetgeving als een vereiste voor aanbieders van AI‑systemen die synthetische tekst genereren om de output te markeren in een machine‑leesbaar formaat zodat deze als kunstmatig gegenereerd kan worden gedetecteerd. De post merkt ook op dat Anthropic aangeeft dat het watermark op modelniveau werkt en zich uitstrekt tot ondersteunde modellen die via de Claude Platform‑API en cloud‑providers worden bereikt, zodat een agent die is gebouwd rond een gemarkeerd model gemarkeerde output kan ontvangen, zelfs wanneer de agent zelf een aparte applicatie is.

Waarom tokenselectie gedrag verandert

De studie gebruikte de niet‑vervormende configuratie van SynthID-Text, die de oorspronkelijke token‑distributie van het model gemiddeld behoudt over de willekeurigheid van het watermark, hoewel elke afzonderlijke generatie onder één vaste sleutel kan afwijken. De post citeert Dathathri et al., waarvan het Nature‑artikel meldde dat er geen meetbare kwaliteitsdegradatie was over bijna twintig miljoen Gemini‑reacties. Een niet‑vervormend watermark impliceert niet identiek gedrag onder een vaste sleutel, benadrukt de post: die garantie is een gemiddelde over de willekeurigheid van het watermark, terwijl elke enkele sleutel nog steeds bepaalt welke tokens worden gekozen wanneer tekst wordt gegenereerd.

Toernooisampling biedt meer ruimte om tokenselectie te wijzigen wanneer het model onzeker is, legt de studie uit. Bij gestructureerde output zoals JSON zijn structurele elementen zoals accolades, sleutels en functienamen meestal gemakkelijk te voorspellen, terwijl argumentwaarden zoals zoekopdrachten, cijfers, paden en ontvangers meer onzekerheid laten. Een wijziging die neerkomt op een lexicale variatie in gewone proza kan daardoor een argument dat een agent uitvoert herschrijven, zelfs als de gewichten en prompt van het model ongewijzigd blijven.

Hoe de studie sampling drift meette

De onderzoekers gebruikten een gekoppeld ontwerp over twee experimenten. Tool‑aanroepen werden geëvalueerd op de BFCL v4 single‑turn AST‑benchmark, en weigeringsgedrag op 200 schadelijke handelingen uit HarmBench plus 100 onschuldige controles uit JailbreakBench, waarbij schadelijke verzoeken zowel onbewerkt als onder één vaste prompt‑injectietechniek werden getest. Die techniek voegt een vijandige instructie toe aan de prompt alsof het opgehaalde inhoud is, waarin wordt gesteld dat het veiligheidsfilter is uitgeschakeld en het model wordt opgedragen om te voldoen; dezelfde techniek werd gebruikt voor elke prompt, elk model en elke temperatuur.

Experimenten werden uitgevoerd via Hugging Face’s ongewijzigde SynthIDTextWatermarkLogitsProcessor met 30 toernooilagen, een n‑gram‑lengte van 5, een sampling‑tabel van 2^16 en een contextgeschiedenis van 1.024. Elk item werd gegenereerd met en zonder SynthID met identieke seeds, batches en generatievolgorde bij elke temperatuur, zodat de watermark‑processor de enige variabele binnen elk paar was.

Nauwkeurigheid van tool‑aanroepen en churn

Bij items waarvoor een tool‑aanroep wordt verwacht, verminderde watermarking de nauwkeurigheid bij zes van de zeven geteste modellen, met een significante daling bij vier, meldt de studie. Omdat een oproep die onjuist wordt gecompenseerd kan worden door een oproep die juist wordt, maten de onderzoekers ook de gepaarde discrepantie, die zij “churn” noemen: het aandeel items waarvoor de gemarkeerde en ongemarkeerde runs verschillende uitkomsten opleverden. Met een vaste set van 1.150 verwachte‑aanroep‑taken bij elke temperatuur vond de studie dat bij een temperatuur van 1,0, 16,8 % van phi-4’s aanroep‑uitspraken verschilden tussen de condities terwijl het netto‑nauwkeurigheidsverlies 2,87 punten bedroeg; Llama-3.1-8B toonde 9,9 % churn tegen een netto‑verlies van 0,87 punten. Over de 21 model‑temperatuurcombinaties gemiddeldte churn 6,5 %, en het bootstrap‑interval sloot nul in elk geval uit.

Foutprofielen verschilden per model. Bij Llama-3.1-8B kwam de grootste bijdrage aan het nauwkeurigheidsverlies van onjuiste argumenten met -3,48 punten, gevolgd door verkeerde tool‑aanroepen met -1,84 punten, terwijl bij phi-4 en Granite-3.2-8B misvormde output domineerde met -5,96 en -4,36 punten. Een goed gevormde aanroep naar de juiste tool met een onjuist pad, ontvanger, query of bedrag is bijzonder consequential, stelt de post, omdat zo’n aanroep toch tot voltooiing wordt uitgevoerd terwijl hij iets anders doet dan bedoeld.

Weigeringen verzwakken bij promptinjectie

Weigeringen worden ook token voor token gegenereerd, dus kan watermerken ze beïnvloeden. De studie meldt dat watermerken het weigergedrag bij kale schadelijke verzoeken verandert, waarbij het effect sterker wordt bij promptinjectie, waar de grootste verschuivingen van weigering naar naleving lopen. Bij een temperatuur van 0,001 steeg de churn van gemma-3-27b van 6,0 % bij kale schadelijke verzoeken naar 23,5 % onder injectie, terwijl de netto‑nalevingsverandering ging van -1,0 naar +12,5 punten; de churn van gemma-3-12b steeg van 7,5 % naar 11,0 %, met een netto‑nalevingsverandering van -0,5 naar +9,0 punten. Llama-3.1-8B vertoonde een churn van 14,0 % bij temperatuur 0,001 en 17,5 % bij temperatuur 0,7 onder injectie, hoewel de netto‑verandering niet individueel significant was.

phi-4 en Qwen3-4B veranderden weinig onder beide omstandigheden; beide neigen tot over‑weigering, ook bij de onschuldige controles, en de post waarschuwt dat hun kleine bewegingen niet moeten worden opgevat als bewijs dat watermerken het veiligheidsgedrag van die modellen onaangetast laten. Om de onenigheid in perspectief te plaatsen, vergeleek de studie de door watermerken veroorzaakte churn onder injectie bij temperatuur 0,7 met de churn die ontstaat door de temperatuur te wijzigen van 0,001 naar 0,7 zonder watermerken. De door watermerken veroorzaakte churn was significant hoger bij vier van de zes modellen; Granite-3.2-8B had de hoogste temperatuur‑geïnduceerde churn met 15,5 %, en zijn door watermerken veroorzaakte churn was nog hoger met 21,5 %.

Sleutelgevoeligheid en aanbevelingen

Omdat het effect van SynthID op tokenselectie afhangt van de watermerk‑sleutel, testte de studie elf sleutels bij temperatuur 0,7. Voor Llama-3.1-8B verhoogde de studiedetail de aanvalssucces met 3,5 punten, terwijl de andere tien sleutels gemiddeld +4,4 punten opleverden en varieerden van -4,5 tot +14,5 punten. De meeste sleutels verhoogden het aanvalssucces voor beide Gemma‑modellen ten opzichte van de niet‑watergemerkte basislijn, terwijl Granite-3.2-8B een gemengd antwoord gaf, met sleutels die het aanvalssucces in beide richtingen bewogen. Waar de watermerk‑sleutel of configuratie wordt beheerd door de modelprovider, merkt de post op, kunnen dergelijke gedragsverschuivingen plaatsvinden buiten het bereik van de ontwikkelaar die de agent bouwt.

De studie beveelt aan om agent‑evaluaties en red‑team‑tests opnieuw uit te voeren met exact de watermerkconfiguratie die voor implementatie is gepland, waarbij watergemerkte en niet‑watergemerkte uitvoer op identieke invoer worden vergeleken en getest onder promptinjectie. De resultaten spreken niet tegen watermerken voor herkomst, stelt de post: herkomst en gedragsstabiliteit zijn afzonderlijke eigenschappen, en een watermerk dat detecteerbaar is en de tekstkwaliteit ongewijzigd laat, garandeert niet dat een agent hetzelfde tool‑aanroep‑ of veiligheidsgedrag behoudt zodra het watermerk wordt ingeschakeld. Hoewel de studie SynthID-Text onderzocht, voegt de post toe dat de zorg zich uitstrekt tot elke interventie die de manier waarop tokens worden geselecteerd in een systeem dat op die tokens handelt, wijzigt.