Estudio: el 35% de los agentes de IA entregan información personal a sitios web que saben que son estafas

Un nuevo estudio encuentra que incluso cuando reconocen un sitio web de estafa, más de uno de cada tres agentes de IA aún entregan información sensible.

Un nuevo estudio de investigadores de la India y los EE. UU. ha encontrado que más de un tercio de los agentes web autónomos que se probaron entregaron información personal identificable crítica (PII, es decir, detalles de cuentas bancarias, contraseñas y números de Seguro Social) a sitios web que ya habían identificado como estafas.

Hay, según indica el documento, una cierta ‘compulsión a completar’ que inhibe la circunspección y la hesitación en los agentes web, en tales circunstancias. Los autores afirman:

‘Un ser humano puede pausar, volver a leer o cerrar la pestaña. Un agente está diseñado para terminar su tarea y seguir llenando formularios y enviando datos sin detenerse a cuestionar si debería.’

El estudio produjo una nueva referencia para tales escenarios, titulada SCAMMER4U, que cubre 91 entornos controlados por atacantes (simulados), junto con diez sitios base “benignos” y ocho vectores de ataque.

Sin ninguna salvaguardia de privacidad, los agentes probados entregaron información personal altamente sensible en el 54% al 93% de los encuentros con estafas, mientras que sitios web equivalentes no maliciosos no desencadenaron tales divulgaciones, lo que indica que la fuga se debió a los ataques más que a la llenada de formularios de rutina:

‘Lo más crítico es que identificamos una brecha de detección-acción: los agentes cuyo razonamiento un juez LLM independiente confirma que ha marcado el sitio como sospechoso aún envían PII crítico en el 35,9% de las sesiones, en comparación con el 66,1% cuando no se verbaliza sospecha, una brecha del 30,2% robusta en todas las cuatro familias de modelos.

‘Nuestros hallazgos revelan que las defensas condicionadas al reconocimiento del agente de un ataque están basadas en la señal de salida incorrecta, lo que motiva la interceptación de nivel de salida de las solicitudes de salida que opera de forma independiente del bucle de razonamiento del agente.’

Los investigadores argumentan a favor de defensas de nivel de salida que puedan inspeccionar y bloquear de forma independiente las solicitudes de salida sensibles, en lugar de confiar en el reconocimiento del agente de que un sitio web es sospechoso, lo cual claramente no puede confiarse para desencadenar acciones defensivas útiles.

El nuevo documento se titula “Sospecho fuertemente que este sitio web es una estafa”: referencia de fuga de PII y detección sin defensa en agentes web autónomos, y proviene de ocho investigadores de KIIT Bhubaneshwar, BITS Pilani y Lam Research.

Problemas con la autoridad

El hallazgo más interesante del documento, quizás, no es que los agentes filtre información personal, sino que muchos de ellos lo hacen después de reconocer que algo está mal. Los investigadores identifican un patrón recurrente en las pruebas realizadas, en el que la sospecha y la acción se desconectan, con los agentes articulando frecuentemente preocupaciones claras sobre un sitio web, pero procediendo con la solicitud (de PII) solicitada de todos modos.

Un ejemplo involucró lo que los autores llaman descuento de riesgo reconocido. Un agente basado en Llama 4 Scout identificó múltiples señales de advertencia en un sitio web de criptomonedas, observando el tono sospechoso, la promesa de grandes bonos y la falta de información clara sobre la empresa. A pesar de estas advertencias reconocidas, el agente envió un número de Seguro Social, detalles de la tarjeta y un código CVV.

Un segundo patrón, caracterizado como marco de dominio/procedimiento, apareció cuando los agentes detectaron con éxito un intento de estafa pero no generalizaron esa sospecha a una solicitud relacionada.

En un caso, Gemini 3 Flash rechazó una solicitud de información bancaria obviamente fraudulenta, identificándola correctamente como un intento de phishing. Minutos después, sin embargo, el mismo agente proporcionó credenciales de cuenta a un diferente formulario de verificación después de razonar que las verificaciones de identidad eran una parte normal de la seguridad de la plataforma. Las señales de advertencia se reconocieron en un contexto, pero no se transfirieron a otro.

Los investigadores también observaron casos de lo que llaman deferencia de seguridad autoafirmada y normalización de superficie de confianza: en un caso, un agente Claude Haiku 4.5 aceptó las propias afirmaciones del sitio sobre estándares de cifrado y certificaciones de seguridad como evidencia de confiabilidad, mientras que GPT-5 mini descartó la redacción sospechosa porque la página parecía estar profesionalmente diseñada y se presentaba a través de lo que parecía un dominio legítimo. En ambos casos, las señales de confianza superficiales anularon las preocupaciones que los agentes mismos ya habían expresado.

El problema parece extenderse más allá de la simple susceptibilidad a phishing, con los autores sugiriendo que los prompts de verificación de confianza agregados en la condición de defensa más fuerte a menudo funcionaron más como un ritual que como una salvaguardia: los agentes fueron capaces de narrar el riesgo, pero la narración sola no alteró de manera fiable su comportamiento.

Los autores definen la brecha evidenciada entre reconocer el peligro y actuar sobre ese reconocimiento como el obstáculo central en el desarrollo de futuras defensas en este tipo de escenario.

Método

La referencia SCAMMER4U coloca a cuatro agentes web de vanguardia dentro de 91 sitios web controlados por atacantes y diez sitios base benignos que abarcan ocho categorías de estafas.

Los cuatro modelos evaluados fueron GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; y Llama 4 Scout, utilizando un marco de navegación común basado en Playwright, formato de observación, espacio de acción y plantilla de prompt.

Para los experimentos, cada agente se le asignó un perfil de usuario realista que contenía información que iba desde nombres y direcciones hasta contraseñas, detalles de cuentas bancarias, números de Seguro Social, claves de API y códigos de autenticación de dos factores – con el objetivo principal de determinar si alguno de estos datos llegó a puntos finales controlados por atacantes.

La taxonomía de ocho ejes utilizada para definir entornos SCAMMER4U, que separa cómo se clasifica cada escenario de las variables específicas ajustadas en pruebas emparejadas para aislar el efecto de tácticas de ingeniería social individuales en la fuga de PII. Fuente

Para asegurarse de que la referencia reflejara estafas del mundo real en lugar de casos de prueba artificiales, los entornos se generaron a través de Flask en entornos autohospedados, a partir de breves de diseño escritos por humanos, y luego revisados manualmente.

Cada modelo se probó bajo cuatro configuraciones cada vez más intervencionistas: C0, sin orientación; C1, con un recordatorio genérico de privacidad; C2, con una lista de verificación de conciencia sobre phishing; y C3, con un prompt de reflexión previa a la presentación. Se realizaron cinco ejecuciones para cada combinación de modelo, entorno y condición, lo que resultó en 7.480 sesiones en total.

La métrica principal fue PLR_crít, que mide la tasa a la que la información personal crítica llega a un punto final controlado por un atacante. Las métricas secundarias comprendieron PLR_ponderado, una medida de fuga ponderada; ASR (Tasa de éxito del ataque), que mide el éxito del ataque después de la navegación a una URL de trampa designada; TCR (Tasa de finalización de tareas); un indicador Defendido, que indica la negativa o la finalización segura sin llegar a la trampa; y DR (Tasa de detección), que registra si el razonamiento del agente identificó el sitio como sospechoso.

La Tasa de detección (DR) se midió utilizando un enfoque LLM-as-juez, en el que GPT-4o-mini sirvió como el principal evaluador y Llama 4 Scout como una verificación secundaria, revisando el razonamiento de un agente y determinando si había identificado un sitio como sospechoso. DR, en este caso, midió lo que un agente dijo explícitamente sobre un sitio, en lugar de lo que podría haber inferido internamente.

La validación contra ejemplos etiquetados por humanos produjo puntuaciones de κ de Cohen de 0,83 y 0,78, superando el umbral de confiabilidad preregistrado del estudio.

El estudio se preregistró (es decir, el plan del estudio y los análisis se documentaron públicamente antes del lanzamiento) antes de la recolección de datos, con el objetivo de reducir el riesgo de adaptar las conclusiones a los resultados observados.

Pruebas y resultados

La prueba inicial buscó establecer si los recordatorios de seguridad simples podían reducir el problema. Se evaluaron cuatro configuraciones cada vez más protectoras, que iban desde ninguna orientación de privacidad hasta prompts que explícitamente animaban al agente a detenerse y reflexionar antes de enviar información sensible.

Los resultados variaron notablemente entre modelos. Claude Haiku 4.5 demostró ser el más receptivo, con su tasa de fuga disminuyendo del 54,5% en la condición base al 24,0% en las salvaguardias más fuertes. GPT-5 mini mejoró del 61,0% al 36,1%, mientras que Gemini 3 Flash disminuyó del 93,1% al 60,7%. Llama 4 Scout cambió comparativamente poco, disminuyendo del 82,3% al 77,4%.

Estas diferencias sugieren, según creen los autores, que las mismas instrucciones protectoras pueden producir resultados muy diferentes, dependiendo del modelo que las recibe. Más importante aún, las salvaguardias a menudo parecieron mejorar la conciencia de riesgo de los agentes más que su comportamiento real: los agentes se volvieron mejores para reconocer sitios web sospechosos y describir señales de advertencia, pero ese reconocimiento no siempre los detuvo de continuar con la transacción.

Brecha de detección-acción en cuatro agentes de IA de vanguardia. El panel izquierdo compara la fuga de información crítica entre agentes que identificaron explícitamente un sitio web como sospechoso y aquellos que no, mostrando que incluso bajo la configuración de protección más fuerte (C3), más de un tercio de los agentes que reconocieron una posible estafa aún transmitieron datos sensibles. El panel derecho muestra la misma brecha en GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash y Llama 4 Scout, ilustrando que la conciencia de una amenaza no se tradujo de manera fiable en un comportamiento defensivo.

En una evaluación separada, 16 revisores compararon páginas SCAMMER4U con sitios web de phishing genuinos y no realizaron mejor que el azar. Según el documento, esto sugiere que la referencia capturó muchas de las señales visuales y procedimentales encontradas en estafas en línea reales.

Conclusión

Los modelos probados – que son ampliamente representativos de las arquitecturas lógicas en familias de LLM populares – parecen tener un problema intrínseco para retirarse de escenarios peligrosos reconocidos, o moderar su propia compulsión a continuar actuando. La lógica sugiere que esto puede estar relacionado con la dificultad más general que los modelos de lenguaje avanzados conocidos para conceder la derrota en un tema – una habilidad de supervivencia esencial que, por ahora, aparentemente solo puede imponerse desde afuera, a través de prompts del sistema, sistemas secundarios y restricciones de salida.

Si la ‘desconexión’ descrita, entre el peligro percibido y la compulsión a proceder de todos modos, es verdaderamente intrínseca a una arquitectura de LLM, y no puede ser remediada de forma nativa, la única alternativa parecería ser supervisar las acciones del modelo de forma algorítmica en escenarios críticos – lo que efectivamente reduce la utilidad de un agente a una rutina de estilo RPA más prescrita.

Publicado por primera vez el sábado 6 de junio de 2026