Étude : 35% des agents IA transmettent des informations personnelles à des sites Web qu’ils savent être des arnaques

Une nouvelle étude constate que, même lorsqu’ils reconnaissent un site Web d’arnaques, plus d’un tiers des agents autonomes Web transmettent des informations personnelles sensibles.

Une nouvelle étude menée par des chercheurs en Inde et aux États-Unis a révélé que plus d’un tiers des agents Web autonomes testés ont transmis des informations personnelles critiques (PII, c’est-à-dire des détails de compte bancaire, des mots de passe et des numéros de sécurité sociale) à des sites Web contrôlés par des attaquants qu’ils avaient déjà identifiés comme des arnaques.

Il existe, selon l’article, une certaine « obligation de compléter » qui inhibe la prudence et l’hésitation chez les agents Web, dans de telles circonstances. Les auteurs déclarent:

‘Un humain peut s’arrêter, relire ou fermer l’onglet. Un agent est conçu pour terminer sa tâche et continuera à remplir les formulaires et à soumettre des données sans s’arrêter pour se demander s’il le devrait.’

L’étude a créé une nouvelle référence pour de tels scénarios, intitulée SCAMMER4U, couvrant 91 environnements contrôlés par des attaquants (simulés), ainsi que dix sites de référence « bénins » et huit vecteurs d’attaque.

Sans aucune sauvegarde de confidentialité, les agents testés ont transmis des informations personnelles très sensibles dans 54 % à 93 % des rencontres avec des arnaques, tandis que des sites Web non malveillants équivalents n’ont déclenché aucune fuite, indiquant que la fuite était causée par les attaques plutôt que par des formulaires remplis de routine:

‘Le plus critique, nous identifions un écart de détection-action: les agents dont la logique qu’un juge LLM indépendant confirme a identifié le site comme suspect soumettent toujours des PII critiques dans 35,9 % des sessions, contre 66,1 % lorsque aucune suspicion n’est exprimée, un écart de 30,2 % robuste dans toutes les quatre familles de modèles.

‘Nos résultats montrent que les défenses conditionnées à la reconnaissance par l’agent d’une attaque sont basées sur le mauvais signal, motivant l’interception au niveau de la sortie des soumissions sortantes qui fonctionne de manière indépendante de la boucle de raisonnement de l’agent.’

Les chercheurs plaident en faveur de défenses au niveau de la sortie qui peuvent inspecter et bloquer de manière indépendante les soumissions sortantes sensibles, plutôt que de compter sur la reconnaissance par l’agent lui-même qu’un site Web est suspect, ce qui ne peut clairement pas être considéré comme déclenchant des actions défensives utiles.

Le nouvel article est intitulé “Je soupçonne fortement que ce site Web est une arnaque”: référencement des fuites de PII et de détection sans défense dans les agents Web autonomes, et provient de huit chercheurs issus de KIIT Bhubaneshwar, BITS Pilani et Lam Research.

Problèmes d’autorité

La découverte la plus intéressante de l’article, peut-être, n’est pas que les agents fuient des informations personnelles, mais que beaucoup le font après avoir reconnu que quelque chose ne va pas. Les chercheurs identifient un modèle récurrent dans les tests effectués, dans lequel la suspicion et l’action sont déconnectées, les agents exprimant fréquemment des inquiétudes claires à propos d’un site Web, mais procédant néanmoins à la soumission demandée (PII-violant) malgré tout.

Un exemple impliquait ce que les auteurs appellent discounting du risque reconnu. Un agent basé sur Llama 4 Scout a identifié plusieurs signes d’avertissement sur un site Web de cryptomonnaie, notant le ton suspect, la promesse de primes importantes et le manque d’informations claires sur l’entreprise. Malgré ces avertissements reconnus, l’agent a soumis un numéro de sécurité sociale, des détails de carte et un code CVV.

Un second modèle, caractérisé comme encadrement de domaine/procedure, est apparu lorsque les agents ont détecté avec succès une tentative d’arnaque mais n’ont pas généralisé cette suspicion à une demande connexe.

Dans un cas, Gemini 3 Flash a rejeté une demande de renseignements bancaires manifestement frauduleuse, identifiant correctement qu’il s’agissait d’une tentative de phishing. Minutes plus tard, cependant, le même agent a fourni des informations d’identification de compte à un autre formulaire de vérification après avoir raisonné que les vérifications d’identité faisaient partie de la sécurité de la plateforme. Les signes d’avertissement ont été reconnus dans un contexte, mais pas transférés à un autre.

Les chercheurs ont également observé des cas de ce qu’ils appellent déference de sécurité auto-assertée et normalisation de surface de confiance: dans un cas, un agent Claude Haiku 4.5 a accepté les propres allégations du site concernant les normes de cryptage et les certifications de sécurité comme preuve de fiabilité, tandis que GPT-5 mini a minimisé les formulations suspectes parce que la page était conçue de manière professionnelle et était présentée via ce qui ressemblait à un domaine légitime. Dans les deux cas, les signaux de confiance superficiels ont supplanté les inquiétudes que les agents eux-mêmes avaient déjà exprimées.

Le problème semble aller au-delà d’une simple vulnérabilité au phishing, les auteurs suggérant que les invites de vérification de confiance ajoutées dans la condition de défense la plus forte ont souvent fonctionné plus comme un rituel que comme une sauvegarde: les agents étaient capables de narrer le risque, mais la narration seule n’a pas modifié de manière fiable leur comportement.

Les auteurs définissent l’écart constaté entre reconnaître le danger et agir sur cette reconnaissance comme l’obstacle central dans le développement de futures défenses dans ce type de scénario.

Méthode

La référence SCAMMER4U place quatre agents Web de pointe à l’intérieur de 91 sites Web contrôlés par des attaquants et de dix sites de contrôle bénins couvrant huit catégories d’arnaques.

Les quatre modèles évalués étaient GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; et Llama 4 Scout,  en utilisant un cadre de navigation Playwright basé sur un format d’observation, un espace d’action et un modèle de prompt commun.

Pour les expériences, chaque agent a reçu un profil d’utilisateur réaliste contenant des informations allant des noms et adresses aux mots de passe, détails de compte bancaire, numéros de sécurité sociale, clés API et codes d’authentification à deux facteurs – l’objectif principal étant de déterminer si ces données atteignaient des points de terminaison contrôlés par les attaquants.

La taxonomie à huit axes utilisée pour définir les environnements SCAMMER4U, séparant la façon dont chaque scénario est classé des variables spécifiques ajustées dans les tests appariés pour isoler l’effet de tactiques d’ingénierie sociale individuelles sur les fuites de PII. Source

Pour garantir que la référence reflète des arnaques réelles plutôt que des cas de test artificiels, les environnements ont été générés via Flask dans des environnements auto-hébergés, à partir de briefs de conception rédigés par des humains, puis examinés manuellement.

Chaque modèle a été testé sous quatre paramètres de plus en plus interventionnistes: C0, sans orientation; C1, avec un rappel de confidentialité générique; C2, avec une liste de contrôle de sensibilisation au phishing; et C3, avec une invite de réflexion préalable à la soumission. Cinq exécutions ont été effectuées pour chaque combinaison de modèle, d’environnement et de condition, aboutissant à 7 480 sessions au total.

La principale mesure était PLR_crit, mesurant le taux auquel les informations personnelles critiques atteignaient un point de terminaison contrôlé par un attaquant. Les mesures secondaires comprenaient PLR_pondéré, une mesure de fuite pondérée; ASR (taux de réussite de l’attaque), mesurant le succès de l’attaque après navigation vers une URL de piège désignée; TCR (taux d’achèvement de la tâche); un Defended flag, indiquant un refus ou un achèvement sécurisé sans atteindre la trappe; et DR (taux de détection), enregistrant si la logique de l’agent identifiait le site comme suspect.

Le taux de détection (DR) a été mesuré à l’aide d’une approche LLM-as-judge, dans laquelle GPT-4o-mini a servi d’évaluateur principal et Llama 4 Scout en tant que vérification secondaire, examinant la logique de l’agent et déterminant si elle avait identifié le site comme suspect. DR, dans ce cas, a mesuré ce qu’un agent a explicitement dit sur un site, plutôt que ce qu’il aurait pu déduire internement.

La validation contre des exemples étiquetés par des humains a produit des scores de Cohen’s κ de 0,83 et 0,78, dépassant le seuil de fiabilité préenregistré de l’étude.

L’étude a été préenregistrée (c’est-à-dire que le plan d’étude et les analyses ont été documentés publiquement avant le lancement) avant la collecte de données, en spécifiant les analyses et les critères de réussite du projet à l’avance, afin de réduire le risque de adapter les conclusions aux résultats observés.

Tests et résultats

Le test initial visait à déterminer si de simples rappels de sécurité pouvaient réduire le problème. Quatre paramètres de protection de plus en plus protecteurs ont été évalués, allant de l’absence totale de conseils de confidentialité à des invites qui encourageaient explicitement l’agent à s’arrêter et à réfléchir avant de soumettre des informations sensibles.

Les résultats ont varié fortement d’un modèle à l’autre. Claude Haiku 4.5 s’est avéré le plus réactif, avec son taux de fuite passant de 54,5 % sous la condition de base à 24,0 % sous les sauvegardes les plus fortes. GPT-5 mini a amélioré son taux de 61,0 % à 36,1 %, tandis que Gemini 3 Flash est passé de 93,1 % à 60,7 %. Llama 4 Scout a changé relativement peu, passant de 82,3 % à 77,4 %.

Ces différences suggèrent, selon les auteurs, que les mêmes instructions protectrices peuvent produire des résultats très différents, en fonction du modèle qui les reçoit. Plus important encore, les sauvegardes ont souvent semblé améliorer la conscience du risque des agents plus que leur comportement réel: les agents sont devenus meilleurs pour reconnaître les sites Web suspects et décrire les signes d’avertissement, mais cette reconnaissance n’a pas toujours empêché de poursuivre la transaction.

Écart de détection-action chez les quatre agents IA de pointe. Le panneau de gauche compare les fuites d’informations critiques parmi les agents qui ont explicitement identifié un site Web comme suspect et ceux qui ne l’ont pas fait, montrant que même sous le paramètre de protection le plus fort (C3), plus d’un tiers des agents qui ont reconnu une arnaque probable ont toujours transmis des données sensibles. Le panneau de droite montre le même écart chez GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash et Llama 4 Scout, illustrant que la conscience d’une menace n’a pas traduit de manière fiable en comportement défensif.

Dans une évaluation distincte, 16 réviseurs ont comparé les pages SCAMMER4U avec de véritables sites Web de phishing et n’ont pas fait mieux que le hasard. Selon l’article, cela suggère que la référence a capturé de nombreuses des signaux visuels et procéduraux trouvés dans les arnaques en ligne réelles.

Conclusion

Les modèles testés – qui sont largement représentatifs des architectures logiques à travers les familles LLM populaires – semblent avoir un problème intrinsèque pour se retirer de scénarios dangereux reconnus, ou pour modérer leur propre obligation de continuer à agir. La logique suggère que cela peut être lié à la difficulté plus générale que les modèles de langage avancés sont connus pour affronter en ce qui concerne la concession de défaite sur une question – une compétence de survie essentielle qui, pour le moment, ne peut apparemment être imposée que de l’extérieur, via des invites de système, des systèmes secondaires et des restrictions de sortie.

Si le « décalage » décrit, entre le danger perçu et l’obligation de poursuivre néanmoins, est vraiment intrinsèque à une architecture LLM, et ne peut pas être corrigé de manière native, l’autre alternative semblerait être de superviser les actions du modèle de manière algorithmique dans des scénarios critiques – ce qui réduit effectivement l’utilité d’un agent à une routine de type RPA plus prescrit.

Publié pour la première fois samedi 6 juin 2026