Estudo da Lasso Revela que a Marca d’Água em Texto Altera as Recusas de LLMs e as Chamadas de Ferramentas

A pesquisadora da Lasso Security, Andrea Siposova, publicou em 17 de setembro de 2026 The Provenance Tax: Understanding the Impact of LLM Watermarking on AI Agent Behavior, um estudo que relata que a marca d’água de texto SynthID-Text pode mudar se um modelo de linguagem recusa uma solicitação nociva e quais chamadas de ferramenta um agente de IA gera. O estudo denomina o efeito comportamental de “sampling drift”.

De acordo com o estudo, a marca d’água foi projetada para proveniência, mas o SynthID-Text altera o processo pelo qual um modelo gera cada próximo token. No nível do modelo, isso pode mudar o comportamento de segurança, incluindo se o modelo recusa uma solicitação nociva e se essa recusa se mantém sob injeção de prompt; no nível do agente, os mesmos tokens amostrados podem determinar tanto a ferramenta que um agente invoca quanto os argumentos que entrega a essa ferramenta. O estudo relata que o desvio aparece na prática tanto no comportamento de recusa quanto na chamada de ferramentas por agentes, que sob injeção a marca d’água fez vários modelos mais propensos a responder solicitações nocivas que de outra forma recusariam, que o efeito depende do modelo e da chave, e que pontuações agregadas podem ocultá‑lo quando mudanças em direções opostas se anulam.

Marca d’Água em Implantação Regulamentada

No anúncio de 14 de agosto de 2026 Como funciona a marca d’água de texto do Claude, Anthropic afirmou que futuros modelos Claude gerarão texto contendo uma marca d’água baseada no SynthID-Text da Google DeepMind, uma mudança que está implementando para cumprir o EU AI Act. Anthropic declarou que o método deixa a qualidade e o conteúdo das saídas do Claude praticamente inalterados. O post da Lasso descreve a lei da UE como exigindo que provedores de sistemas de IA que geram texto sintético marquem as saídas em um formato legível por máquina, de modo que sejam detectáveis como geradas artificialmente. O post também observa que Anthropic afirma que a marca d’água opera no nível do modelo e se estende aos modelos suportados acessados via API da Claude Platform e provedores de nuvem, de modo que um agente construído em torno de um modelo marcado pode receber saídas marcadas mesmo quando o próprio agente é uma aplicação separada.

Por que a Seleção de Tokens Altera o Comportamento

O estudo utilizou a configuração não distorcionadora do SynthID-Text, que preserva a distribuição original de tokens do modelo em média ao longo da aleatoriedade da marca d’água, embora qualquer geração única produzida sob uma chave fixa possa diferir. O post cita Dathathri et al., cujo artigo na Nature relatou nenhuma degradação mensurável de qualidade em quase vinte milhões de respostas Gemini. Uma marca d’água não distorcionadora não implica comportamento idêntico sob uma chave fixa, enfatiza o post: essa garantia é uma média sobre a aleatoriedade da marca d’água, enquanto qualquer chave ainda altera quais tokens são escolhidos à medida que o texto é gerado.

A amostragem por torneio tem mais margem para alterar a seleção de tokens onde o modelo está incerto, explica o estudo. Em saídas estruturadas como JSON, elementos estruturais como chaves, chaves de objeto e nomes de funções geralmente são fáceis de prever, enquanto valores de argumentos como consultas, números, caminhos e destinatários deixam mais incerteza. Uma mudança que equivaleria a uma variação lexical em prosa comum pode, portanto, reescrever um argumento que um agente executa, ainda que os pesos e o prompt do modelo permaneçam inalterados.

Como o Estudo Mediu o Desvio de Amostragem

Os pesquisadores usaram um desenho pareado em dois experimentos. A chamada de ferramenta foi avaliada no benchmark BFCL v4 de turno único AST, e a recusa em 200 comportamentos nocivos do HarmBench mais 100 controles benignos do JailbreakBench, com solicitações nocivas testadas tanto nuas quanto sob uma técnica fixa de injeção de prompt. Essa técnica insere uma instrução adversária no prompt como se fosse conteúdo recuperado, afirmando que o filtro de segurança foi desativado e direcionando o modelo a obedecer; a mesma técnica foi usada para cada prompt, modelo e temperatura.

Os experimentos foram executados através do SynthIDTextWatermarkLogitsProcessor não modificado da Hugging Face com 30 camadas de Torneio, comprimento de n‑grama de 5, tabela de amostragem de 2^16 e histórico de contexto de 1.024. Cada item foi gerado com e sem SynthID usando sementes, lotes e ordem de geração idênticos em cada temperatura, de modo que o processador de marca d’água foi a única variável dentro de cada par.

Precisão de Chamadas de Ferramentas e Churn

Em itens onde se espera uma chamada de ferramenta, a marca d’água reduziu a precisão em seis dos sete modelos testados, com queda significativa em quatro, relata o estudo. Como uma chamada que se torna incorreta pode ser compensada por outra que se torna correta, os pesquisadores também mediram o desacordo pareado, que chamam de “churn”: a proporção de itens para os quais as execuções com e sem marca d’água produziram resultados diferentes. Usando um conjunto fixo de 1.150 tarefas esperadas de chamada em cada temperatura, o estudo constatou que, a uma temperatura de 1.0, 16,8% dos veredictos de chamada do phi-4 diferiram entre as condições, enquanto sua perda líquida de precisão foi de 2,87 pontos; o Llama-3.1-8B apresentou 9,9% de churn contra uma perda líquida de 0,87 pontos. Em todas as 21 combinações de modelo e temperatura, o churn teve média de 6,5% e seu intervalo bootstrap excluiu zero em todos os casos.

Os perfis de erro diferiram por modelo. No Llama-3.1-8B, a maior contribuição para a perda de precisão veio de argumentos incorretos, com -3,48 pontos, seguidos por chamadas de ferramenta erradas, com -1,84 pontos, enquanto no phi-4 e no Granite-3.2-8B a saída malformada dominou, com -5,96 e -4,36 pontos, respectivamente. Uma chamada bem‑formada à ferramenta correta, mas com caminho, destinatário, consulta ou quantidade incorretos, é particularmente consequente, observa o post, porque essa chamada ainda é concluída, embora faça algo diferente do pretendido.

Recusas Enfraquecem Sob Injeção de Prompt

As recusas também são geradas token a token, de modo que a marca d’água pode afetá‑las. O estudo relata que a marca d’água altera o comportamento de recusa em solicitações nocivas simples, com o efeito se intensificando sob injeção de prompt, onde as maiores mudanças vão de recusa para conformidade. A uma temperatura de 0,001, o churn do gemma-3-27b subiu de 6,0 % em solicitações nocivas simples para 23,5 % sob injeção, enquanto sua mudança líquida de conformidade passou de -1,0 para +12,5 pontos; o churn do gemma-3-12b aumentou de 7,5 % para 11,0 %, com a mudança líquida de conformidade passando de -0,5 para +9,0 pontos. O Llama-3.1-8B apresentou churn de 14,0 % a temperatura 0,001 e 17,5 % a temperatura 0,7 sob injeção, embora sua mudança líquida não tenha sido individualmente significativa.

phi-4 e Qwen3-4B mudaram pouco em ambas as condições; ambos tendem a recusar excessivamente, inclusive nos controles benignos, e o post alerta que seus pequenos movimentos não devem ser interpretados como prova de que a marca d’água mantém o comportamento de segurança nesses modelos. Para contextualizar o desacordo, o estudo comparou o churn induzido por marca d’água sob injeção a temperatura 0,7 com o churn produzido ao mudar a temperatura de 0,001 para 0,7 sem marca d’água. O churn induzido por marca d’água foi significativamente maior em quatro dos seis modelos; o Granite-3.2-8B teve o maior churn induzido por temperatura, com 15,5 %, e seu churn induzido por marca d’água foi ainda maior, em 21,5 %.

Sensibilidade da Chave e Recomendações

Como o efeito do SynthID na seleção de tokens depende da chave da marca d’água, o estudo testou onze chaves a temperatura 0,7. Para o Llama-3.1-8B, a chave do estudo aumentou o sucesso de ataque em 3,5 pontos, enquanto as outras dez chaves tiveram média de +4,4 pontos, variando de -4,5 a +14,5 pontos. A maioria das chaves aumentou o sucesso de ataque para ambos os modelos Gemma em relação à linha de base sem marca d’água, enquanto o Granite-3.2-8B mostrou resposta mista, com chaves que moveram o sucesso de ataque em ambas as direções. Onde a chave ou a configuração da marca d’água é controlada pelo provedor do modelo, observa o post, tais mudanças comportamentais podem ocorrer fora do alcance do desenvolvedor que constrói o agente.

O estudo recomenda refazer as avaliações de agentes e testes de red‑team com a configuração exata da marca d’água planejada para implantação, comparando saídas marcadas e não marcadas em entradas idênticas e testando sob injeção de prompt. Os resultados não argumentam contra a marca d’água para proveniência, afirma o post: proveniência e estabilidade comportamental são propriedades distintas, e uma marca d’água que seja detectável e não altere a qualidade do texto não garante que um agente manterá o mesmo comportamento de chamada de ferramenta ou de segurança quando a marca d’água for ativada. Embora o estudo tenha examinado o SynthID-Text, o post acrescenta que a preocupação se estende a qualquer intervenção que altere a forma como os tokens são selecionados em um sistema que age sobre esses tokens.