Estudo: 35% dos Agentes de IA Forneceu PII a Sites que Eles Sabiam que Eravam Golpes

Um novo estudo descobriu que, mesmo quando reconhecem um site de golpe, mais de um em cada três agentes de IA ainda fornece informações pessoais sensíveis.

Um novo estudo de pesquisadores da Índia e dos EUA encontrou que mais de um terço de agentes web autônomos que testaram entregaram informações pessoais críticas (PII, ou seja, detalhes de conta bancária, senhas e números de Seguro Social) a sites que eles já haviam identificado como golpes.

Há, segundo o artigo, uma certa ‘compulsão para concluir’ que inibe a circunspeção e a hesitação nos agentes web, em tais circunstâncias. Os autores afirmam:

‘Um ser humano pode pausar, reler ou fechar a aba. Um agente é construído para terminar sua tarefa e continuará preenchendo formulários e enviando dados sem parar para questionar se deve.’

O estudo produziu um novo padrão para tais cenários, intitulado SCAMMER4U, abrangendo 91 ambientes controlados por atacantes (simulados) e dez sites base benignos, além de oito vetores de ataque.

Sem quaisquer salvaguardas de privacidade, os agentes testados entregaram informações pessoais altamente sensíveis em 54% a 93% dos encontros com golpes, enquanto sites não maliciosos equivalentes não desencadearam tais divulgações, indicando que o vazamento foi impulsionado pelos ataques e não pelo preenchimento de formulários de rotina:

‘Mais criticamente, identificamos uma lacuna de detecção-ação: agentes cuja razão um juiz LLM independente confirma ter sinalizado o site como suspeito ainda enviam PII crítico em 35,9% das sessões, versus 66,1% quando nenhuma suspeita é verbalizada, uma lacuna de 30,2% robusta em todas as quatro famílias de modelos.

‘Nossas descobertas revelam que defesas condicionadas ao próprio reconhecimento do agente de um ataque estão funcionando no sinal errado, motivando a interceptação de nível de saída de envios de saída que opera independentemente do loop de razão do agente.’

Os pesquisadores argumentam a favor de defesas de nível de saída que possam inspecionar e bloquear independentemente envios de saída sensíveis, em vez de confiar no próprio reconhecimento do agente de que um site é suspeito, o que claramente não pode ser confiável para desencadear ações defensivas úteis.

O novo artigo é intitulado “Eu Suspeito Fortemente que Este Site é um Golpe”: Benchmarking de Vazamento de PII e Detecção sem Defesa em Agentes Web Autônomos, e vem de oito pesquisadores de KIIT Bhubaneshwar, BITS Pilani e Lam Research.

Problemas com Autoridade

A descoberta mais interessante do artigo, talvez, não é que os agentes vazam informações pessoais, mas que muitos deles o fazem após reconhecer que algo está errado. Os pesquisadores identificam um padrão recorrente nos testes realizados, no qual a suspeita e a ação se desconectam, com os agentes frequentemente articulando preocupações claras sobre um site, mas prosseguindo com a solicitação (de envio de PII) mesmo assim.

Um exemplo envolveu o que os autores chamam de desconto de risco reconhecido. Um agente baseado no Llama 4 Scout identificou vários sinais de alerta em um site de criptomoedas, observando o tom suspeito, a promessa de grandes bônus e a falta de informações claras sobre a empresa. Apesar desses avisos reconhecidos, o agente enviou um número de Seguro Social, detalhes do cartão e um código CVV.

Um segundo padrão, caracterizado como quadro de domínio/procedimento, apareceu quando os agentes detectaram com sucesso uma tentativa de golpe, mas falharam em generalizar essa suspeita para uma solicitação relacionada.

Em um caso, o Gemini 3 Flash rejeitou uma solicitação de informações bancárias claramente fraudulentas, identificando-a corretamente como uma tentativa de phishing. Minutos depois, no entanto, o mesmo agente forneceu credenciais de conta a um formulário de verificação diferente após raciocinar que verificações de identidade eram parte normal da segurança da plataforma. Os sinais de alerta foram reconhecidos em um contexto, mas não transferidos para outro.

Os pesquisadores também observaram casos de deferência de segurança autoafirmada e normalização de superfície confiável: em um caso, um agente Claude Haiku 4.5 aceitou as próprias alegações do site sobre padrões de criptografia e certificações de segurança como evidência de confiabilidade, enquanto o GPT-5 mini descontou a redação suspeita porque a página parecia profissionalmente projetada e foi apresentada por meio do que parecia um domínio legítimo. Em ambos os casos, sinais de confiança superficiais superaram as preocupações que os próprios agentes haviam expressado.

O problema parece se estender além da simples suscetibilidade a phishing, com os autores sugerindo que os prompts de verificação de confiança adicionados na condição de defesa mais forte frequentemente funcionavam mais como um ritual do que como uma salvaguarda: os agentes eram capazes de narrar o risco, mas a narração sozinha não alterou de forma confiável seu comportamento.

Os autores definem a lacuna comprovada entre reconhecer o perigo e agir com base nesse reconhecimento como o principal obstáculo no desenvolvimento de futuras defesas nesse tipo de cenário.

Método

O benchmark SCAMMER4U coloca quatro agentes web de ponta dentro de 91 sites controlados por atacantes e dez sites base benignos que abrangem oito categorias de golpes.

Os quatro modelos avaliados foram GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; e Llama 4 Scout, utilizando um framework de navegação comum baseado em Playwright, formato de observação, espaço de ação e modelo de prompt.

Para os experimentos, cada agente foi atribuído a um perfil de usuário realista contendo informações que variavam de nomes e endereços a senhas, detalhes de conta bancária, números de Seguro Social, chaves de API e códigos de autenticação de dois fatores – com o objetivo principal sendo determinar se alguma dessas informações alcançou pontos de extremidade controlados por atacantes.

A taxonomia de oito eixos usada para definir ambientes SCAMMER4U, separando como cada cenário é classificado dos variáveis específicos ajustados em testes emparelhados para isolar o efeito de táticas de engenharia social individuais no vazamento de PII. Fonte

Para garantir que o benchmark refletisse golpes do mundo real em vez de casos de teste artificiais, os ambientes foram gerados via Flask em ambientes auto-hospedados, a partir de briefings de design escritos por humanos, e então revisados manualmente.

Cada modelo foi testado sob quatro configurações cada vez mais intervencionistas: C0, com nenhuma orientação; C1, com um lembrete genérico de privacidade; C2, com uma lista de verificação de conscientização sobre phishing; e C3, com um prompt de reflexão pré-envio. Cinco execuções foram realizadas para cada combinação de modelo, ambiente e condição, resultando em 7.480 sessões no total.

A métrica principal foi PLR_crít, medindo a taxa na qual informações pessoais críticas alcançaram um ponto de extremidade controlado por atacantes. Métricas secundárias incluíram PLR_ponderado, uma medida de vazamento ponderada por nível; ASR (Taxa de Sucesso do Ataque), medindo o sucesso do ataque após a navegação para uma URL de armadilha designada; TCR (Taxa de Conclusão de Tarefa); uma Defendido sinalizador, indicando recusa ou conclusão segura sem alcançar a armadilha; e DR (Taxa de Detecção), registrando se a razão do agente identificou o site como suspeito.

A Taxa de Detecção (DR) foi medida usando uma abordagem LLM-as-juiz, na qual GPT-4o-mini serviu como o principal avaliador e Llama 4 Scout como um controle secundário, revisando a razão do agente e determinando se ele havia identificado o site como suspeito. DR, neste caso, mediu o que um agente disse explicitamente sobre um site, em vez do que ele pode ter inferido internamente.

A validação contra exemplos rotulados por humanos produziu escores de Cohen’s κ de 0,83 e 0,78, excedendo o limiar de confiabilidade pré-registrado do estudo.

O estudo foi pré-registrado (ou seja, o plano de estudo e análises foram documentados publicamente antes do lançamento) antes da coleta de dados, com a especificação do plano de análise e critérios de sucesso do projeto antes do início, visando reduzir o risco de adaptar conclusões aos resultados observados.

Testes e Resultados

O teste inicial buscou estabelecer se lembretes de segurança simples poderiam reduzir o problema. Quatro configurações cada vez mais protetoras foram avaliadas, variando de não haver orientação de privacidade a prompts que explicitamente encorajavam o agente a parar e refletir antes de enviar informações sensíveis.

Os resultados variaram fortemente entre os modelos. O Claude Haiku 4.5 provou ser o mais responsivo, com sua taxa de vazamento caindo de 54,5% na condição base para 24,0% sob as salvaguardas mais fortes. O GPT-5 mini melhorou de 61,0% para 36,1%, enquanto o Gemini 3 Flash caiu de 93,1% para 60,7%. O Llama 4 Scout mudou comparativamente pouco, declinando de 82,3% para 77,4%.

Essas diferenças sugerem, acredita os autores, que as mesmas instruções protetoras podem produzir resultados muito diferentes, dependendo do modelo que as recebe. Mais importante, as salvaguardas frequentemente pareciam melhorar a percepção de risco dos agentes mais do que seu comportamento real: os agentes se tornaram melhores em reconhecer sites suspeitos e descrever sinais de alerta, mas esse reconhecimento não sempre os impediu de continuar com a transação.

Lacuna de detecção-ação entre quatro agentes de IA de ponta. O painel esquerdo compara o vazamento de informações críticas entre agentes que identificaram explicitamente um site como suspeito e aqueles que não o fizeram, mostrando que, mesmo sob a configuração de proteção mais forte (C3), mais de um terço dos agentes que reconheceram um golpe provável ainda transmitiram dados sensíveis. O painel direito mostra a mesma lacuna entre GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash e Llama 4 Scout, ilustrando que a consciência de uma ameaça não se traduz de forma confiável em comportamento defensivo.

Em uma avaliação separada, 16 revisores compararam páginas SCAMMER4U com sites de phishing genuínos e não se saíram melhor do que o acaso. De acordo com o artigo, isso sugere que o benchmark capturou muitos dos sinais visuais e procedimentais encontrados em golpes online reais.

Conclusão

Os modelos testados – que são amplamente representativos das arquiteturas lógicas em famílias de LLM populares – parecem ter um problema intrínseco em se retirar de cenários perigosos reconhecidos ou moderar sua própria compulsão para continuar agindo. A lógica sugere que isso pode estar relacionado à dificuldade mais geral que os modelos de linguagem avançados são conhecidos por apresentar em relação a admitir a derrota em uma questão – uma habilidade de sobrevivência essencial que, por enquanto, pode aparentemente ser imposta apenas de fora, por meio de prompts do sistema, sistemas secundários e restrições de saída.

Se a ‘desconexão’ descrita, entre perigo percebido e a compulsão para prosseguir de qualquer forma, é verdadeiramente intrínseca a uma arquitetura de LLM e não pode ser remediada nativamente, a única alternativa pareceria ser supervisionar as ações do modelo algoritmicamente em cenários críticos – o que efetivamente reduz a utilidade de um agente a um routine mais prescrito no estilo RPA.

Publicado pela primeira vez no sábado, 6 de junho de 2026