Lo studio Lasso rileva che il watermark testuale modifica i rifiuti dei LLM e le chiamate agli strumenti

Il ricercatore di Lasso Security Andrea Siposova, il 17 settembre 2026, ha pubblicato La tassa di provenienza: comprendere l’impatto del watermark dei LLM sul comportamento degli agenti IA, uno studio che riporta che il watermark testuale SynthID-Text può modificare se un modello linguistico rifiuta una richiesta dannosa e quali chiamate a strumenti genera un agente IA. Lo studio denomina l’effetto comportamentale “drift di campionamento”.

Secondo lo studio, il watermark è progettato per provenienza, ma SynthID-Text modifica il processo con cui un modello genera ogni token successivo. A livello di modello, ciò può alterare il comportamento di sicurezza, incluso se il modello rifiuta una richiesta dannosa e se quel rifiuto resiste a un’iniezione di prompt; a livello di agente, gli stessi token campionati possono decidere sia lo strumento che un agente invoca sia gli argomenti che passa a quello strumento. Lo studio riporta che il drift si manifesta in pratica sia nel comportamento di rifiuto sia nelle chiamate agli strumenti da parte dell’agente, che sotto iniezione il watermark ha reso più probabili le risposte a richieste dannose che altrimenti sarebbero state rifiutate da diversi modelli, che l’effetto dipende dal modello e dalla chiave, e che i punteggi aggregati possono nasconderlo quando i cambiamenti in direzioni opposte si annullano.

Un watermark che si muove verso un’implementazione regolamentata

Nell’annuncio del 14 agosto 2026 Come funziona il watermark testuale di Claude, Anthropic ha dichiarato che i futuri modelli Claude genereranno testo contenente un watermark basato su SynthID-Text di Google DeepMind, una modifica che sta implementando per conformarsi al EU AI Act. Anthropic ha affermato che il metodo lascia praticamente inalterate la qualità e il contenuto delle uscite di Claude. Il post di Lasso descrive la normativa UE come obbligante per i fornitori di sistemi IA che generano testo sintetico di segnare le uscite in un formato leggibile da macchine, in modo che siano rilevabili come generate artificialmente. Il post osserva inoltre che Anthropic dichiara che il watermark opera a livello di modello e si estende ai modelli supportati raggiungibili tramite l’API Claude Platform e i provider cloud, così un agente costruito attorno a un modello watermarked può ricevere uscite watermarked anche quando l’agente stesso è un’applicazione separata.

Perché la selezione dei token modifica il comportamento

Lo studio ha utilizzato la configurazione non distorsiva di SynthID-Text, che preserva la distribuzione originale dei token del modello in media rispetto alla casualità del watermark, sebbene ogni singola generazione prodotta con una chiave fissa possa differire. Il post cita Dathathri et al., il cui articolo su Nature ha riportato nessuna degradazione misurabile della qualità su quasi venti milioni di risposte Gemini. Un watermark non distorsivo non implica un comportamento identico sotto una chiave fissa, sottolinea il post: tale garanzia è una media sulla casualità del watermark, mentre ogni singola chiave altera comunque quali token vengono scelti durante la generazione del testo.

Il campionamento a torneo ha più margine per alterare la selezione dei token quando il modello è incerto, spiega lo studio. Nell’output strutturato come JSON, gli elementi strutturali come parentesi graffe, chiavi e nomi di funzioni sono solitamente facili da prevedere, mentre i valori degli argomenti come query, numeri, percorsi e destinatari introducono maggiore incertezza. Una modifica che corrisponderebbe a una variazione lessicale nella prosa ordinaria può quindi riscrivere un argomento che un agente esegue, anche se i pesi del modello e il prompt rimangono invariati.

Come lo studio ha misurato il drift di campionamento

I ricercatori hanno impiegato un disegno a coppie in due esperimenti. Le chiamate agli strumenti sono state valutate sul benchmark BFCL v4 a turno singolo AST, e i rifiuti su 200 comportamenti dannosi da HarmBench più 100 controlli benigni da JailbreakBench, con richieste dannose testate sia in forma grezza sia sotto una tecnica fissa di iniezione di prompt. Tale tecnica inserisce un’istruzione avversaria nel prompt come se fosse contenuto recuperato, dichiarando che il filtro di sicurezza è stato disattivato e indirizzando il modello a conformarsi; la stessa tecnica è stata usata per ogni prompt, modello e temperatura.

Gli esperimenti sono stati eseguiti tramite il SynthIDTextWatermarkLogitsProcessor non modificato di Hugging Face con 30 livelli di torneo, una lunghezza n-gram di 5, una tabella di campionamento di 2^16 e una cronologia di contesto di 1.024. Ogni elemento è stato generato con e senza SynthID usando semi, batch e ordine di generazione identici a ogni temperatura, così il processore del watermark è stato l’unica variabile all’interno di ogni coppia.

Accuratezza delle chiamate agli strumenti e churn

Sui casi in cui è attesa una chiamata a uno strumento, il watermark ha ridotto l’accuratezza in sei dei sette modelli testati, con una diminuzione significativa in quattro, riporta lo studio. Poiché una chiamata che diventa errata può essere compensata da una che diventa corretta, i ricercatori hanno anche misurato il disaccordo a coppie, che chiamano “churn”: la quota di elementi per i quali le esecuzioni watermarked e non watermarked hanno prodotto risultati diversi. Utilizzando un insieme fisso di 1,150 compiti con chiamata prevista a ogni temperatura, lo studio ha scoperto che a una temperatura di 1.0, il 16.8% dei verdetti di chiamata di phi-4 differiva tra le condizioni mentre la perdita netta di accuratezza era di 2.87 punti; Llama-3.1-8B mostrava un churn del 9.9% contro una perdita netta di 0.87 punti. Tra le 21 combinazioni modello-temperatura, il churn ha mediato il 6.5%, e il suo intervallo bootstrap ha escluso lo zero in ogni caso.

I profili di errore differivano per modello. Su Llama-3.1-8B, il contributo più grande alla perdita di accuratezza proveniva da argomenti errati (-3,48 punti), seguito da chiamate allo strumento sbagliato (-1,84 punti), mentre su phi-4 e Granite-3.2-8B la produzione di output malformato dominava rispettivamente con -5,96 e -4,36 punti. Una chiamata ben formata allo strumento corretto ma con percorso, destinatario, query o importo errati è particolarmente significativa, osserva il post, perché tale chiamata termina comunque, ma compie qualcosa di diverso da quanto previsto.

I rifiuti si indeboliscono sotto l’iniezione di prompt

I rifiuti vengono generati anche token per token, quindi la filigrana può influenzarli. Lo studio riporta che la filigrana modifica il comportamento di rifiuto su richieste dannose pure, con l’effetto che si intensifica sotto l’iniezione di prompt, dove i maggiori spostamenti passano dal rifiuto alla conformità. A una temperatura di 0,001, il churn di gemma-3-27b è passato dal 6,0 % su richieste dannose pure al 23,5 % sotto iniezione, mentre il suo cambiamento netto di conformità è passato da -1,0 a +12,5 punti; il churn di gemma-3-12b è passato dal 7,5 % all’11,0 %, con il cambiamento netto di conformità da -0,5 a +9,0 punti. Llama-3.1-8B ha mostrato un churn del 14,0 % a temperatura 0,001 e del 17,5 % a temperatura 0,7 sotto iniezione, sebbene il suo cambiamento netto non fosse individualmente significativo.

phi-4 e Qwen3-4B hanno cambiato poco in entrambe le condizioni; entrambi tendono a rifiutare eccessivamente, anche sui controlli benigni, e il post avverte che i loro piccoli spostamenti non devono essere interpretati come prova che la filigrana lasci intatto il comportamento di sicurezza su quei modelli. Per contestualizzare il disaccordo, lo studio ha confrontato il churn indotto dalla filigrana sotto iniezione a temperatura 0,7 con il churn prodotto dal passaggio della temperatura da 0,001 a 0,7 senza filigrana. Il churn indotto dalla filigrana è stato significativamente più alto su quattro dei sei modelli; Granite-3.2-8B ha registrato il churn più alto indotto dalla temperatura, del 15,5 %, e il suo churn indotto dalla filigrana è stato ancora più elevato, del 21,5 %.

Sensibilità della chiave e raccomandazioni

Poiché l’effetto di SynthID sulla selezione dei token dipende dalla chiave della filigrana, lo studio ha testato undici chiavi a temperatura 0,7. Per Llama-3.1-8B, la chiave di studio ha aumentato il successo dell’attacco di 3,5 punti, mentre le altre dieci chiavi hanno avuto una media di +4,4 punti, con un intervallo da -4,5 a +14,5 punti. La maggior parte delle chiavi ha aumentato il successo dell’attacco per entrambi i modelli Gemma rispetto alla baseline non filigranata, mentre Granite-3.2-8B ha mostrato una risposta mista, con chiavi che hanno spostato il successo dell’attacco in entrambe le direzioni. Quando la chiave o la configurazione della filigrana è controllata dal fornitore del modello, il post osserva, tali cambiamenti comportamentali possono verificarsi al di fuori della portata dello sviluppatore che costruisce l’agente.

Lo studio raccomanda di rieseguire le valutazioni degli agenti e i test di red‑team con la configurazione della filigrana esattamente prevista per il deployment, confrontando output filigranati e non filigranati su input identici e testando sotto iniezione di prompt. I risultati non contraddicono l’uso della filigrana per la provenienza, afferma il post: la provenienza e la stabilità comportamentale sono proprietà distinte, e una filigrana rilevabile che non altera la qualità del testo non garantisce che un agente mantenga lo stesso comportamento di chiamata allo strumento o di sicurezza una volta attivata la filigrana. Sebbene lo studio abbia esaminato SynthID-Text, il post aggiunge che la preoccupazione si estende a qualsiasi intervento che modifichi la selezione dei token in un sistema che agisce su tali token.