Studie: 35% af AI-agenter overfører følsomme oplysninger til hjemmesider, de selv har identificeret som svindel

En ny studie viser, at selv når de genkender en svindelhjemmeside, overfører mere end en tredjedel af de autonome web-agenter stadig følsomme oplysninger.

En ny studie fra forskere i Indien og USA har fundet, at mere end en tredjedel af de autonome web-agenter, der blev testet, overførte kritiske personlige identificeringsoplysninger (PII, dvs. bankkontoudtog, adgangskoder og sociale sikkerhedsnumre) til hjemmesider, som de selv havde identificeret som svindel.

Der er, som artiklen angiver, en vis “compulsion to complete”, der hæmmer forsigtighed og tøven hos web-agenter i sådanne situationer. Forfatterne skriver:

‘En menneske kan pause, genlæse eller lukke fanen. En agent er bygget til at fuldføre sin opgave og vil fortsætte med at udfylde formulare og overføre data uden at stoppe for at spørge, om det er nødvendigt.’

Studiet producerede en ny benchmark for sådanne scenarier, kaldet SCAMMER4U, der dækker 91 (simulerede) angrebskontrollerede miljøer samt ti ‘harmløse’ baseline-sites og otte angrebsvektorer.

Uden nogen privatlivssikkerhedsforanstaltninger overførte de testede agenter følsomme personlige oplysninger i 54% til 93% af svindelsammenstød, mens tilsvarende ikke-maliciøse hjemmesider ikke udløste nogen sådanne afsløringer, hvilket tyder på, at lækkagen var drevet af angrebene snarere end rutinemæssig formularfyldning:

‘Det mest kritiske er, at vi identificerer en detection–action gap: agenter, hvis resonnering en uafhængig LLM-dommer bekræfter har markeret hjemmesiden som mistænkelig, overfører stadig kritiske PII i 35,9% af sessionerne, modsat 66,1%, når der ikke er udtrykt nogen mistanke, en 30,2% gap, der er robust på tværs af alle fire model-familier.

‘Vore resultater viser, at forsvaret, der er betinget af agentens egen erkendelse af et angreb, er baseret på den forkerte signal: motivere output-niveauets interception af udgående overførsler, der fungerer uafhængigt af agentens resonneringsløkke.’

Forskerne argumenterer for output-niveauets forsvaret, der kan uafhængigt inspicere og blokere følsomme udgående overførsler, snarere end at stole på en agents egen erkendelse af, at en hjemmeside er mistænkelig, hvilket åbenbart ikke kan betrodes til at udløse nyttige defensive handlinger.

Den nye artikel er kaldt “Jeg har stærke mistanker om, at denne hjemmeside er en svindel”: Benchmarking af PII-lækage og detection uden forsvar i autonome web-agenter, og kommer fra otte forskere på tværs af KIIT Bhubaneshwar, BITS Pilani og Lam Research.

Problemer med autoritet

Artiklens mest interessante fund, måske, er ikke, at agenter lækker personlige oplysninger, men at mange af dem gør det efter at have erkendt, at noget er galt. Forskerne identificerer en gentagen mønster i de test, der blev kørt, hvor mistanke og handling blev disconnected, med agenter, der ofte udtrykte tydelige bekymringer om en hjemmeside, men alligevel fortsatte med den anmodede (PII-krenkende) overførsel.

Et eksempel omfattede, hvad forfatterne kalder erkendt-risiko-discounting. En agent baseret på Llama 4 Scout identificerede flere advarselskiler på en kryptohandels-side, noterede den mistænkelige tone, løftet om store bonusser og manglen på klare oplysninger om virksomheden. Trods disse erkendte advarsler overførte agenten et sociale sikkerhedsnummer, kortdetaljer og en CVV-kode.

En anden mønster, karakteriseret som domæne/procedure-ramme, optrådte, når agenter succesfuldt opdagede et svindelforsøg, men fejlede i at generalisere den mistanke til en relateret anmodning.

I et tilfælde afviste Gemini 3 Flash en åbenlyst bedragerisk anmodning om bankoplysninger, korrekt identificerede det som en phishing-forsøg. Minutter senere overførte samme agent dog kontoudtog til en andet verificeringsformular efter at have resonneret, at identitetskontroller var en normal del af platform-sikkerheden. Advarselskilerne blev erkendt i én kontekst, men ikke overført til en anden.

Forskerne observerede også tilfælde af, hvad de kalder selv-erklæret-sikkerheds-afståelse og tiltrods-surface-normalisering: I ét tilfælde accepterede en Claude Haiku 4.5-agent hjemmesidens egne påstande om krypteringsstandarder og sikkerhedscertificeringer som bevis for troværdighed, mens GPT-5 mini diskonterede mistænkeligt sprog fordi siden så professionelt designed ud og blev præsenteret gennem, hvad der så ud som en legitim domæne. I begge tilfælde overridede overfladiske tillids-signaler bekymringer, som agenterne selv havde udtrykt.

Problemet synes at strække sig ud over enkelte phishing-sårbarheder, med forfatterne, der foreslår, at de tillids-udløsende prompts, der blev tilføjet i den stærkeste forsvarsbetingelse, ofte fungerede mere som en ritual end en sikkerhedsforanstaltning: agenter var i stand til at fortælle om risiko, men fortællingen alene ændrede ikke nødvendigvis deres adfærd.

Forfatterne definerer den påviste gap mellem at genkende fare og at handle på den erkendelse som den centrale hindring i udviklingen af fremtidige forsvaret i denne type scenarie.

Metode

SCAMMER4U-benchmarken placerer fire front-agenter inden for 91 angrebskontrollerede hjemmesider og ti harmløse kontrol-sites, der dækker otte svindel-kategorier.

De fire modeller, der blev evaluaret, var GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; og Llama 4 Scout, der brugte en fælles Playwright-baseret browser-ramme, observationsformat, handlingsrum og prompt-skabelon.

Til eksperimenterne blev hver agent tildelt et realistisk brugerprofil, der indeholdt oplysninger, der strakte sig fra navne og adresser til adgangskoder, bankkontoudtog, sociale sikkerhedsnumre, API-nøgler og to-faktor-autentiseringskoder – med det primære mål at bestemme, om nogen af disse data nåede angrebskontrollerede endepunkter.

De otte-akse-taxonomi, der blev brugt til at definere SCAMMER4U-miljøer, adskiller, hvordan hver scenarie er klassificeret fra de specifikke variabler, der blev justeret i parrede tests for at isolere effekten af individuelle sociale ingeniør-taktikker på PII-lækage. Kilde

For at sikre, at benchmarken reflekterede virkelige svindel snarere end kunstige testcases, blev miljøerne genereret via Flask i selv-værtsede miljøer, fra menneskeskrevne design-briefs, og derefter manuelt gennemgået.

Hver model blev testet under fire stadig mere interventionistiske indstillinger: C0, med ingen vejledning; C1, med en generisk privatlivs-påmindelse; C2, med en phishing-bevidsthedskontrol-liste; og C3, med en forud-for-overførsel-refleksions-prompt. Fem kørsler blev udført for hver kombination af model, miljø og betingelse, hvilket resulterede i 7.480 samlede sessioner.

Den primære måling var PLR_crit, der målte hastigheden, hvormed kritiske personlige identificeringsoplysninger nåede et angrebskontrolleret endepunkt. Sekundære målinger bestod af PLR_weighted, en vægtet lækage-måling; ASR (angrebs-succes-ratio), der målte angrebs-succes efter navigation til en designateret fælde-URL; TCR (opgave-gennemførelses-ratio); en Defended-flag, der indikerede afvisning eller sikker gennemførelse uden at nå fælde-URL’en; og DR (detection-ratio), der optegnede, om agentens resonnering havde identificeret hjemmesiden som mistænkelig.

Detection-ratio (DR) blev målt ved hjælp af en LLM-as-dommer-tilgang, hvor GPT-4o-mini fungerede som primær-evaluator og Llama 4 Scout som sekundær-check, gennemgik agentens resonnering og bestemte, om den havde identificeret hjemmesiden som mistænkelig. DR, i dette tilfælde, målte hvad en agent udtrykte om en hjemmeside, snarere end hvad den måske havde indført internt.

Validering mod menneske-labelede eksempler producerede Cohens κ-scores på 0,83 og 0,78, hvilket overgik studiets forud-registrerede pålidelighedstrøskel.

Studiet var forud-registreret (dvs. studieplanen og analyserne var offentliggjort før lanceringen) før dataindsamlingen, med specifikation af projektets analyser og succes-kriterier i forvejen, hvilket havde til formål at reducere risikoen for at tilpasse konklusionerne til de observerede resultater.

Tests og resultater

Den første test søger at fastslå, om simple sikkerheds-påmindelser kan reducere problemet. Fire stadig mere beskyttende indstillinger blev evaluaret, fra ingen privatlivs-vejledning til prompts, der udtrykkeligt opmuntrede agenten til at stoppe og reflektere, før de overførte følsomme oplysninger.

Resultaterne varierede skarpt mellem modellerne. Claude Haiku 4.5 viste sig at være den mest responsiv, med en lækage-hastighed, der faldt fra 54,5% under baseline-betingelsen til 24,0% under den stærkeste sikkerhedsforanstaltning. GPT-5 mini forbedrede sig fra 61,0% til 36,1%, mens Gemini 3 Flash faldt fra 93,1% til 60,7%. Llama 4 Scout ændrede relativt lidt, faldt fra 82,3% til 77,4%.

Disse forskelle antyder, mener forfatterne, at de samme beskyttende instruktioner kan producere meget forskellige resultater, afhængigt af modellen, der modtager dem. Endnu vigtigere er, at sikkerhedsforanstaltningerne ofte syntes at forbedre agenternes bevidsthed om risiko mere end deres faktiske adfærd: agenter blev bedre til at genkende mistænkelige hjemmesider og beskrive advarselskiler, men den erkendelse stoppede dem ikke altid fra at fortsætte med transaktionen.

Detection–action gap på tværs af fire front-agenter. Venstre panel sammenligner kritisk informations-lækage mellem agenter, der udtrykkeligt identificerede en hjemmeside som mistænkelig, og dem, der ikke gjorde det, viser, at selv under den stærkeste beskyttelses-indstilling (C3), mere end en tredjedel af agenter, der erkendte en sandsynlig svindel, stadig overførte følsomme data. Højre panel viser den samme gap på tværs af GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash og Llama 4 Scout, illustrerende, at bevidsthed om en trussel ikke nødvendigvis oversætter sig til defensiv adfærd.

I en separat evaluering sammenlignede 16 anmeldere SCAMMER4U-sider med ægte phishing-sites og opnåede ikke bedre end tilfældighed. Ifølge artiklen antyder dette, at benchmarken fik fanget mange af de visuelle og procedur-mæssige signaler, der findes i rigtige online-svindel.

Konklusion

De testede modeller – der er bredt repræsentative for den logiske arkitektur på tværs af populære LLM-familier – synes at have et intrinsisk problem med at trække sig tilbage fra erkendte farlige scenarier eller at moderere deres egen compulsion til at fortsætte med at handle. Logik antyder, at dette måske er relateret til den mere generelle svigt, som avancerede sprogmodeller er kendt for at vise i forhold til at give op på et spørgsmål – en essentiel overlevelsesfærdighed, der for øjeblikket kun kan påløses udefra gennem system-prompts, sekundære systemer og output-begrænsninger.

Hvis den beskrevne ‘disconnect’ mellem erkendt fare og compulsion til at fortsætte alligevel er sandt intrinsisk for en LLM-arkitektur, og ikke kan afhjælpes naturligt, synes den eneste alternative at være at overvåge modellens handlinger algoritisk i kritiske scenarier – hvilket effektivt reducerer nyttigheden af en agent til en mere fastlagt RPA-lignende rutine.

Først udgivet lørdag, 6. juni 2026