L’étude Lasso constate que le filigrane texte modifie les refus des LLM et les appels d’outils

La chercheuse en sécurité chez Lasso, Andrea Siposova, le 17 septembre 2026 a publié La taxe de provenance : comprendre l’impact du filigrane LLM sur le comportement des agents IA, une étude rapportant que le filigrane texte SynthID-Text peut modifier la décision d’un modèle de langage de refuser une requête nuisible ainsi que les appels d’outils générés par un agent IA. L’étude désigne cet effet comportemental « dérive d’échantillonnage ».

Selon l’étude, le filigrane est conçu pour la provenance, mais SynthID-Text modifie le processus par lequel un modèle génère chaque token suivant. Au niveau du modèle, cela peut altérer le comportement de sécurité, notamment la décision du modèle de refuser une requête nuisible et la persistance de ce refus en cas d’injection d’invite ; au niveau de l’agent, les mêmes tokens échantillonnés peuvent déterminer à la fois l’outil qu’un agent invoque et les arguments qu’il transmet à cet outil. L’étude indique que la dérive se manifeste concrètement tant dans le comportement de refus que dans les appels d’outils des agents, que sous injection le filigrane a rendu plusieurs modèles plus enclins à répondre à des requêtes nuisibles qu’ils refuseraient autrement, que l’effet dépend du modèle et de la clé, et que les scores agrégés peuvent le masquer lorsque des changements dans des directions opposées s’annulent.

Un filigrane entrant dans un déploiement réglementé

Dans l’annonce du 14 août 2026 Comment le filigrane texte de Claude fonctionne, Anthropic a déclaré que les futurs modèles Claude généreront du texte contenant un filigrane basé sur SynthID-Text de Google DeepMind, une modification mise en œuvre pour se conformer au AI Act de l’UE. Anthropic a affirmé que la méthode laisse la qualité et le contenu des sorties de Claude pratiquement inchangés. Le billet de Lasso décrit la législation européenne comme imposant aux fournisseurs de systèmes d’IA générant du texte synthétique de marquer les sorties dans un format lisible par machine afin qu’elles soient détectables comme artificiellement générées. Le billet indique également qu’Anthropic précise que le filigrane fonctionne au niveau du modèle et s’étend aux modèles pris en charge accessibles via l’API Claude Platform et les fournisseurs de cloud, de sorte qu’un agent construit autour d’un modèle filigrané peut recevoir des sorties filigranées même lorsque l’agent lui‑même est une application distincte.

Pourquoi la sélection de tokens modifie le comportement

L’étude a utilisé la configuration non‑distorsive de SynthID-Text, qui préserve la distribution originale des tokens du modèle en moyenne sur la variabilité du filigrane, même si chaque génération unique produite sous une même clé fixe peut différer. Le billet cite Dathathri et al., dont l’article dans Nature a rapporté aucune dégradation mesurable de la qualité sur près de vingt millions de réponses Gemini. Un filigrane non‑distorsif n’implique pas un comportement identique sous une clé fixe, souligne le billet : cette garantie est une moyenne sur la variabilité du filigrane, tandis qu’une clé donnée modifie toujours les tokens sélectionnés lors de la génération du texte.

L’échantillonnage par tournoi offre davantage de latitude pour modifier la sélection de tokens lorsque le modèle est incertain, explique l’étude. Dans une sortie structurée comme du JSON, les éléments structurels tels que les accolades, les clés et les noms de fonctions sont généralement faciles à prévoir, tandis que les valeurs d’argument comme les requêtes, les nombres, les chemins et les destinataires introduisent plus d’incertitude. Un changement qui correspondrait à une variation lexicale dans une prose ordinaire peut ainsi réécrire un argument exécuté par un agent, même si les poids du modèle et l’invite restent inchangés.

Comment l’étude a mesuré la dérive d’échantillonnage

Les chercheurs ont employé un dispositif apparié sur deux expériences. L’appel d’outil a été évalué sur le benchmark BFCL v4 à tour unique AST, et le refus sur 200 comportements nuisibles provenant de HarmBench plus 100 contrôles bénins de JailbreakBench, les requêtes nuisibles étant testées à la fois à l’état brut et sous une technique d’injection d’invite fixe. Cette technique insère une instruction hostile dans l’invite comme s’il s’agissait d’un contenu récupéré, indiquant que le filtre de sécurité a été désactivé et orientant le modèle à se conformer ; la même technique a été utilisée pour chaque invite, modèle et température.

Les expériences ont été exécutées via le SynthIDTextWatermarkLogitsProcessor non modifié de Hugging Face avec 30 couches de tournoi, une longueur de n‑gramme de 5, une table d’échantillonnage de 2^16 et un historique de contexte de 1 024. Chaque élément a été généré avec et sans SynthID en utilisant des graines, des lots et un ordre de génération identiques à chaque température, de sorte que le processeur de filigrane était la seule variable dans chaque paire.

Précision des appels d’outils et churn

Sur les éléments où un appel d’outil est attendu, le filigrane a réduit la précision sur six des sept modèles testés, avec une diminution significative sur quatre, rapporte l’étude. Parce qu’un appel devenu incorrect peut être compensé par un autre devenu correct, les chercheurs ont également mesuré le désaccord apparié, qu’ils appellent “churn” : la proportion d’éléments pour lesquels les exécutions filigranées et non filigranées ont produit des résultats différents. En utilisant un ensemble fixe de 1 150 tâches d’appel attendu à chaque température, l’étude a constaté qu’à une température de 1,0, 16,8 % des verdicts d’appel de phi-4 différaient entre les conditions alors que sa perte nette de précision était de 2,87 points ; Llama-3.1-8B affichait 9,9 % de churn contre une perte nette de 0,87 point. Sur les 21 combinaisons modèle‑température, le churn moyen était de 6,5 %, et son intervalle bootstrap excluait zéro dans chaque cas.

Les profils d’erreur différaient selon le modèle. Sur Llama-3.1-8B, la plus grande contribution à la perte de précision provenait d’arguments incorrects à -3.48 points, suivie des appels d’outil erronés à -1.84 points, tandis que sur phi-4 et Granite-3.2-8B, la sortie malformée dominait à -5.96 et -4.36 points. Un appel bien formé à l’outil correct contenant un chemin, un destinataire, une requête ou un montant incorrect est particulièrement conséquent, note le post, car un tel appel s’exécute jusqu’à son terme tout en faisant autre chose que ce qui était prévu.

Les refus s’affaiblissent sous l’injection d’invite

Les refus sont également générés token par token, de sorte que le filigrane peut les affecter. L’étude rapporte que le filigrane modifie le comportement de refus sur les requêtes nocives simples, l’effet se renforçant sous l’injection d’invite, où les plus grands changements passent du refus à la conformité. À une température de 0.001, le churn de gemma-3-27b est passé de 6.0 % sur les requêtes nocives simples à 23.5 % sous injection, tandis que son changement net de conformité est passé de -1.0 à +12.5 points ; le churn de gemma-3-12b est passé de 7.5 % à 11.0 %, avec le changement net de conformité passant de -0.5 à +9.0 points. Llama-3.1-8B a présenté un churn de 14.0 % à la température 0.001 et de 17.5 % à la température 0.7 sous injection, bien que son changement net ne soit pas individuellement significatif.

phi-4 et Qwen3-4B ont peu changé dans les deux conditions ; les deux ont tendance à refuser excessivement, même sur les contrôles bénins, et le post avertit que leurs petites variations ne doivent pas être considérées comme une preuve que le filigrane maintient le comportement de sécurité intact sur ces modèles. Pour mettre le désaccord en perspective, l’étude a comparé le churn induit par le filigrane sous injection à une température de 0.7 avec le churn produit par le changement de température de 0.001 à 0.7 sans filigrane. Le churn induit par le filigrane était nettement plus élevé sur quatre des six modèles ; Granite-3.2-8B présentait le churn induit par la température le plus élevé à 15.5 %, et son churn induit par le filigrane était encore plus élevé à 21.5 %.

Sensibilité à la clé et recommandations

Comme l’effet de SynthID sur la sélection de tokens dépend de la clé du filigrane, l’étude a testé onze clés à une température de 0.7. Pour Llama-3.1-8B, la clé étudiée a augmenté le taux de réussite d’attaque de 3.5 points, tandis que les dix autres clés ont donné une moyenne de +4.4 points et variaient de -4.5 à +14.5 points. La plupart des clés ont augmenté le taux de réussite d’attaque pour les deux modèles Gemma par rapport à la référence non filigranée, tandis que Granite-3.2-8B a présenté une réponse mitigée, les clés faisant varier le taux de réussite d’attaque dans les deux sens. Lorsque la clé ou la configuration du filigrane est contrôlée par le fournisseur du modèle, le post note que de tels changements comportementaux peuvent se produire hors de portée du développeur qui construit l’agent.

L’étude recommande de réexécuter les évaluations d’agents et les tests de red‑team avec la configuration exacte du filigrane prévue pour le déploiement, en comparant les sorties filigranées et non filigranées sur des entrées identiques et en testant sous injection d’invite. Les résultats ne remettent pas en cause le filigrane pour la provenance, indique le post : la provenance et la stabilité comportementale sont des propriétés distinctes, et un filigrane détectable qui ne modifie pas la qualité du texte ne garantit pas qu’un agent conservera le même appel d’outil ou le même comportement de sécurité une fois le filigrane activé. Bien que l’étude ait examiné SynthID-Text, le post ajoute que la préoccupation s’étend à toute intervention qui modifie la façon dont les tokens sont sélectionnés dans un système qui agit sur ces tokens.