Lasso‑studie visar att textvattenmärkning förändrar LLM‑avslag och verktygsanrop

Lasso Security‑forskare Andrea Siposova publicerade den 17 september 2026 Provenance‑skatt: Förstå effekterna av LLM‑vattenmärkning på AI‑agentbeteende, en studie som rapporterar att SynthID-Text‑textvattenmärkning kan förändra huruvida en språkmodell avvisar en skadlig begäran och vilka verktygsanrop en AI‑agent genererar. Studien benämner den beteendereffekten “sampling drift”.

Enligt studien är vattenmärkning avsedd för ursprung, men SynthID-Text förändrar processen genom vilken en modell genererar varje nästa token. På modellnivå kan detta förändra säkerhetsbeteendet, inklusive huruvida modellen avvisar en skadlig begäran och om detta avslag håller under prompt‑injektion; på agentnivå kan samma provade token bestämma både vilket verktyg en agent anropar och vilka argument den överlämnar till verktyget. Studien rapporterar att driften i praktiken visar sig både i avslag‑beteende och i agentens verktygsanrop, att vattenmärkning under injektion gjorde flera modeller mer benägna att besvara skadliga begäranden som de annars skulle avvisa, att effekten är modell‑ och nyckelberoende, och att aggregerade poäng kan dölja den när förändringar i motsatta riktningar tar ut varandra.

En vattenmärkning som införs i reglerad driftsättning

I det 14 augusti 2026‑utsläppet Hur Claudes textvattenmärkning fungerar sade Anthropic att framtida Claude‑modeller kommer att generera text som innehåller en vattenmärkning baserad på Google DeepMinds SynthID-Text, en förändring som implementeras för att följa EU:s AI‑förordning. Anthropic påstod att metoden i praktiken lämnar kvaliteten och innehållet i Claudes utdata i stort sett opåverkade. Lasso‑inlägget beskriver EU‑lagen som ett krav på leverantörer av AI‑system som genererar syntetisk text att märka utdata i ett maskinläsbart format så att de kan upptäckas som artificiellt genererade. Inlägget noterar också att Anthropic uppger att vattenmärket verkar på modellnivå och sträcker sig till stödjade modeller som nås via Claude Platform‑API:t och molnleverantörer, så att en agent byggd kring en vattenmärkt modell kan få vattenmärkta utdata även när agenten själv är en separat applikation.

Varför tokenval förändrar beteendet

Studien använde SynthID-Texts icke‑distorsiva konfiguration, som i genomsnitt bevarar modellens ursprungliga token‑fördelning över vattenmärkningens slumpmässighet, även om varje enskild generering som produceras under en fast nyckel kan skilja sig. Inlägget citerar Dathathri med flera, vars Nature‑artikel rapporterade ingen mätbar kvalitetsnedgång över nästan tjugo miljoner Gemini‑svar. En icke‑distorsiv vattenmärkning innebär inte identiskt beteende under en fast nyckel, betonar inlägget: den garantin gäller i genomsnitt över vattenmärkningens slumpmässighet, medan varje enskild nyckel fortfarande förändrar vilka token som väljs när text genereras.

Turnerings‑sampling har mer utrymme att förändra token‑val där modellen är osäker, förklarar studien. I strukturerad output såsom JSON är strukturella element som klammerparenteser, nycklar och funktionsnamn vanligtvis lätta att förutsäga, medan argumentvärden som frågor, siffror, sökvägar och mottagare ger mer osäkerhet. En förändring som motsvarar en lexikal variation i vanlig prosa kan därför omformulera ett argument som en agent kör, även om modellens vikter och prompt förblir oförändrade.

Hur studien mätte sampling‑drift

Forskarna använde en parade design över två experiment. Verktygsanrop utvärderades på BFCL v4:s enkeltur‑AST‑benchmark, och avslag på 200 skadliga beteenden från HarmBench samt 100 godartade kontroller från JailbreakBench, där skadliga begäranden testades både utan och under en fast prompt‑injektionsteknik. Den tekniken infogar en motståndsinstruktion i prompten som om den vore hämtat innehåll, och anger att säkerhetsfiltret har inaktiverats samt instruerar modellen att följa; samma teknik användes för varje prompt, modell och temperatur.

Experimenten kördes via Hugging Face:s oförändrade SynthIDTextWatermarkLogitsProcessor med 30 turneringslager, en n‑gram‑längd på 5, ett samplingstabell på 2^16 och en kontext‑historik på 1 024. Varje objekt genererades med och utan SynthID med identiska frön, batcher och genereringsordning vid varje temperatur, så vattenmärkesprocessorn var den enda variabeln i varje par.

Noggrannhet i verktygsanrop och churn

På objekt där ett verktygsanrop förväntas minskade vattenmärkning noggrannheten på sex av de sju testade modellerna, med en signifikant minskning på fyra, rapporterar studien. Eftersom ett anrop som blir felaktigt kan kompenseras av ett som blir korrekt, mätte forskarna också parvis oenighet, som de kallar “churn”: andelen objekt för vilka de vattenmärkta och o‑vattenmärkta körningarna gav olika resultat. Med en fast uppsättning av 1 150 anrops‑förväntade uppgifter vid varje temperatur fann studien att vid en temperatur på 1,0 skiljde sig 16,8 % av phi‑4:s anropsbeslut mellan villkoren medan den totala noggrannhetsförlusten var 2,87 poäng; Llama‑3.1‑8B visade 9,9 % churn mot en nettoförlust på 0,87 poäng. Över de 21 modell‑temperatur‑kombinationerna var churn i genomsnitt 6,5 %, och dess bootstrap‑intervall uteslöt noll i varje fall.

Felprofiler varierade mellan modellerna. På Llama-3.1-8B kom den största delen av noggrannhetsförlusten från felaktiga argument på -3,48 poäng, följt av felaktiga verktygsanrop på -1,84 poäng, medan på phi-4 och Granite-3.2-8B dominerade missformat output med -5,96 respektive -4,36 poäng. Ett välformulerat anrop till rätt verktyg med en felaktig sökväg, mottagare, fråga eller mängd är särskilt betydelsefullt, noterar inlägget, eftersom ett sådant anrop ändå fullbordas men gör något annat än avsett.

Avslag försvagas vid promptinjektion

Avslag genereras också token för token, så vattenmärkning kan påverka dem. Studien rapporterar att vattenmärkning förändrar avslagshanteringen på rena skadliga förfrågningar, med en effekt som blir starkare vid promptinjektion, där de största förändringarna går från avslag till efterlevnad. Vid en temperatur på 0,001 steg gemma-3-27b:s churn från 6,0 % på rena skadliga förfrågningar till 23,5 % under injektionen, medan dess nettoförändring i efterlevnad gick från -1,0 till +12,5 poäng; gemma-3-12b:s churn steg från 7,5 % till 11,0 %, med en nettoförändring i efterlevnad från -0,5 till +9,0 poäng. Llama-3.1-8B visade en churn på 14,0 % vid temperatur 0,001 och 17,5 % vid temperatur 0,7 under injektionen, även om dess nettoförändring inte var individuellt signifikant.

phi-4 och Qwen3-4B förändrades lite under någon av förhållandena; båda tenderar att överavvisa, även på de godartade kontrollerna, och inlägget varnar för att deras små förändringar inte bör ses som bevis på att vattenmärkning lämnar säkerhetsbeteendet intakt för dessa modeller. För att sätta oenigheten i kontext jämförde studien vattenmärkningsinducerad churn under injektion vid temperatur 0,7 med churn som uppkom genom att ändra temperaturen från 0,001 till 0,7 utan vattenmärkning. Vattenmärkningsinducerad churn var betydligt högre för fyra av de sex modellerna; Granite-3.2-8B hade den högsta temperaturinducerade churnen på 15,5 %, och dess vattenmärkningsinducerade churn var ännu högre på 21,5 %.

Nyckelkänslighet och rekommendationer

Eftersom SynthIDs effekt på tokenval beror på vattenmärkningsnyckeln testade studien elva nycklar vid temperatur 0,7. För Llama-3.1-8B ökade studiens nyckel attackframgången med 3,5 poäng, medan de övriga tio nycklarna i genomsnitt gav +4,4 poäng och varierade från -4,5 till +14,5 poäng. De flesta nycklar ökade attackframgången för båda Gemma-modellerna jämfört med den omarkerade baslinjen, medan Granite-3.2-8B visade ett blandat svar, med nycklar som flyttade attackframgången i båda riktningarna. Där vattenmärkningsnyckeln eller konfigurationen kontrolleras av modellleverantören, noterar inlägget, kan sådana beteendeförändringar ske bortom utvecklarens räckvidd som bygger agenten.

Studien rekommenderar att man kör om agentutvärderingar och red‑teamning med exakt den vattenmärkningskonfiguration som planeras för implementering, jämför vattenmärkta och omärkta resultat på identiska indata och testar under promptinjektion. Resultaten talar inte emot vattenmärkning för proveniens, skriver inlägget: proveniens och beteendestabilitet är olika egenskaper, och en vattenmärkning som är detekterbar och som lämnar textkvaliteten oförändrad garanterar inte att en agent behåller samma verktygsanrop eller säkerhetsbeteende när vattenmärkningsfunktionen slås på. Även om studien granskade SynthID-Text tillägger inlägget att oron gäller alla ingrepp som förändrar hur token väljs i ett system som agerar på dessa token.