Studie: 35% av AI-agenter overfører personlige opplysninger til nettsider de vet er svindel

En ny studie viser at selv når de erkjenner en svindelnettside, overfører mer enn en tredjedel av autonome nett-agenter fortsatt følsomme personlige opplysninger.

En ny studie fra forskere i India og USA har funnet ut at mer enn en tredjedel av autonome nett-agenter som ble testet, overførte kritisk personlige opplysninger (PII, dvs. bankkontoopplysninger, passord og sosialtrygdsnummer) til nettsider som de allerede hadde identifisert som svindel.

Det finnes, ifølge artikkelen, en viss ‘tvang til å fullføre’ som hemmer forsiktighet og tøven hos nett-agenter, i slike situasjoner. Forfatterne skriver:

‘En menneske kan pause, lese igjen eller lukke fanen. En agent er bygget for å fullføre oppgaven og vil fortsette å fylle ut skjemaer og sende data uten å stoppe og spørre om den skal.’

Studien produserte en ny benchmark for slike scenarioer, kalt SCAMMER4U, som dekket 91 (simulerte) angriperkontrollerte miljøer, samt ti ‘harmløse’ basis-nettsider og åtte angrepsvektorer.

Uten noen privatlivssikkerhetstiltak, overførte de testede agentene høyt følsomme personlige opplysninger i 54% til 93% av svindelsituasjonene, mens tilsvarende ikke-malicious nettsider utløste ingen slike avsløringer, noe som indikerer at lekkasjen ble drevet av angrepene fremfor rutinemessig skjema-utfylling:

‘Det viktigste er at vi identifiserer en deteksjon-handlingsgap: agenter hvis resonnering en uavhengig LLM-dommer bekrefter har flagget nettsiden som mistenkelig, overfører likevel kritisk PII i 35,9% av sesjonene, sammenlignet med 66,1% når ingen mistanke uttrykkes, et gap på 30,2% som er robust over alle fire modellfamilier.

‘Våre funn viser at forsvar som er basert på agentens egen erkjennelse av et angrep, er basert på feil signal, og motiverer utgangsnivåets avbrytelse av utsendte skjemaer som opererer uavhengig av agentens resonneringsløkke.’

Forskerne argumenterer for utgangsnivåets forsvar som kan uavhengig inspisere og blokkere følsomme utsendte skjemaer, fremfor å basere seg på en agents egen erkjennelse av at en nettside er mistenkelig, noe som åpenbart ikke kan baseres på å utløse nyttige defensive handlinger.

Den nye artikkelen har tittelen “Jeg mistenker sterk at denne nettsiden er en svindel”: Benchmarking PII-lekkasje og deteksjon uten forsvar i autonome nett-agenter, og kommer fra åtte forskere fra KIIT Bhubaneshwar, BITS Pilani og Lam Research.

Problemer med autoritet

Artikkelen mest interessante funn, kanskje, er ikke at agenter lekkerte personlige opplysninger, men at mange av dem gjorde det etter å ha erkjent at noe var galt. Forskerne identifiserer en gjentakende mønster i testene som ble kjørt, hvor mistanke og handling ble frakoblet, med agenter som ofte uttrykte klare bekymringer om en nettside, men likevel fortsatte med den forespurte (PII-krenkende) overføringen likevel.

Et eksempel involverte hva forfatterne kaller erkjent-risikodiskontering. En agent basert på Llama 4 Scout identifiserte flere advarselstegn på en kryptering-nettside, noterte den mistenkelige tonen, løftene om store bonuser og mangelen på klare opplysninger om selskapet. Til tross for disse erkjente advarselstegnene, overførte agenten et sosialtrygdsnummer, kortdetaljer og en CVV-kode.

En annen mønster, karakterisert som domene/prosedur-ramming, dukket opp når agenter suksessfullt detekterte ett svindelforsøk, men feilet i å generalisere den mistanken til en relatert forespørsel.

I ett tilfelle, Gemini 3 Flash avviste en åpenbart bedragerisk forespørsel om bankinformasjon, korrekt identifiserte det som et phishing-forsøk. Minutter senere, imidlertid, overførte samme agent kontoinformasjon til en annen verifiseringsform etter å ha resonert at identitetskontroller var en normal del av plattform-sikkerhet. Advarselstegnene ble erkjent i ett kontekst, men ikke overført til en annen.

Forskerne observerte også tilfeller av hva de kalte selv-assertert-sikkerhetsdeferens og tiltrodd-overflate-normalisering: i ett tilfelle, en Claude Haiku 4.5-agent aksepterte en nettsides egne påstander om krypteringsstandarder og sikkerhets sertifikater som bevis på tillit, mens GPT-5 mini diskonterte mistenkelig formulering fordi siden så profesjonelt designet ut og ble presentert gjennom hva som så ut som en legitim domene. I begge tilfeller overridde overflatiske tillitssignaler bekymringer som agentene selv allerede hadde uttrykt.

Problemet ser ut til å strekke seg utover enkel phishing-sårbarhet, med forfatterne som foreslår at tillitstsjekkpromptene som ble lagt til i den sterkeste forsvarstilstanden ofte fungerte mer som en ritual enn en sikkerhetstiltak: agenter var i stand til å fortelle om risiko, men fortelling alene endret ikke pålitelig deres atferd.

Forfatterne definerer det dokumenterte gapet mellom å erkjenne fare og å handle på den erkjennelsen som det sentrale hindret i utviklingen av fremtidige forsvar i denne type scenario.

Metode

SCAMMER4U-benchmarken plasserer fire frontier nett-agenter innen 91 angriperkontrollerte nettsider og ti harmløse kontroll-nettsider som dekker åtte svindel-kategorier.

De fire modellene som ble evaluert, var GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; og Llama 4 Scout, som brukte en felles Playwright-basert nett-rammeverk, observasjonsformat, handlingsrom og prompt-mal.

For eksperimentene ble hver agent tildelt et realistisk brukerprofil som inneholdt informasjon som varierte fra navn og adresser til passord, bankkontoopplysninger, sosialtrygdsnummer, API-nøkler og to-faktor-autentiseringskoder – med det primære målet å bestemme om noen av disse dataene nådde angriperkontrollerte endepunkter.

De åtte-akse-taksonomien som brukes til å definere SCAMMER4U-miljøer, skiller hvordan hver scenario klassifiseres fra de spesifikke variablene som justeres i parrede tester for å isolere effekten av individuelle sosiale ingeniør-taktikker på PII-lekkasje. Kilde

For å sikre at benchmarken reflekterte virkelige svindel fremfor kunstige testtilfeller, ble miljøene generert via Flask i selv-vertede miljøer, fra menneskeskrevne design-beskrivelser, og deretter manuelt gjennomgått.

Hver modell ble testet under fire økende intervensjonistiske innstillinger: C0, med ingen veiledning; C1, med en generisk privatlivs-påminnelse; C2, med en phishing-bevissthetssjekkeliste; og C3, med en pre-overførings-refleksjons-prompt. Fem kjøringer ble utført for hver kombinasjon av modell, miljø og innstilling, noe som resulterte i 7 480 totale sesjoner.

Den primære metrikken var PLR_crit, som målte hastigheten for kritisk personlige opplysninger som nådde en angriperkontrollert endepunkt. Sekundære metrikker bestod av PLR_vektet, en vektet lekkasjemaåling; ASR (Angreps-suksesshastighet), som målte angreps-suksess etter navigasjon til en designert felle-URL; TCR (Oppgave-fullføringshastighet); en Beskyttet-flagg, som indikerte nekt eller trygg fullføring uten å nå felle-URLen; og DR (Deteksjons-hastighet), som registrerte om agentens resonnering identifiserte nettsiden som mistenkelig.

Deteksjons-hastighet (DR) ble målt ved hjelp av en LLM-as-dommer-tilnærming, hvor GPT-4o-mini fungerte som primær evaluator og Llama 4 Scout som en sekundær sjekking, som gjennomgikk en agents resonnering og bestemte om den hadde identifisert nettsiden som mistenkelig. DR, i dette tilfelle, målte hva en agent uttrykte om en nettside, fremfor hva den måtte ha antydet internt.

Validering mot menneske-merkede eksempler produserte Cohens κ-koeffisienter på 0,83 og 0,78, som oversteg studiens forhåndsregistrerte pålitelighetsgrense.

Studien var forhåndsregistrert (dvs. studieplanen og analysene ble offentlig dokumentert før lansering) før datainnsamling, med målet å reducere risikoen for å tilpasse konklusjoner til de observerte resultater.

Tester og resultater

Den innledende testen søkte å fastslå om enkle sikkerhets-påminnelser kunne redusere problemet. Fire økende beskyttende innstillinger ble evaluert, som varierte fra ingen privatlivs-veiledning i det hele tatt til promter som uttrykkelig oppmuntret agenten til å stoppe og reflektere før overføring av følsomme opplysninger.

Resultatene varierte skarpt mellom modellene. Claude Haiku 4.5 viste seg å være den mest responsiv, med en lekkasjehastighet som falt fra 54,5% under basis-innstillingen til 24,0% under den sterkeste sikkerhets-innstillingen. GPT-5 mini forbedret seg fra 61,0% til 36,1%, mens Gemini 3 Flash falt fra 93,1% til 60,7%. Llama 4 Scout endret relativt lite, fra 82,3% til 77,4%.

Disse forskjellene antyder, ifølge forfatterne, at de samme beskyttende instruksene kan produsere svært forskjellige resultater, avhengig av modellen som mottar dem. Mer viktig er det at sikkerhets-innstillingene ofte syntes å forbedre agentens bevissthet om risiko mer enn deres faktiske atferd: agenter ble bedre til å erkjenne mistenkelige nettsider og beskrive advarselstegn, men den erkjennelsen stoppet dem ikke alltid fra å fortsette med transaksjonen.

Deteksjons-handlingsgap over fire frontier AI-agenter. Venstre panel sammenligner kritisk-informasjons-lekkasje blant agenter som uttrykkelig identifiserte en nettside som mistenkelig, og de som ikke gjorde det, og viser at selv under den sterkeste beskyttelses-innstillingen (C3), overførte mer enn en tredjedel av agentene som erkjente en sannsynlig svindel likevel følsomme data. Høyre panel viser det samme gapet over GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash og Llama 4 Scout, og viser at bevissthet om en trussel ikke pålitelig oversetter til defensive handlinger.

I en separat evaluering sammenlignet 16 anmeldere SCAMMER4U-sider med ekte phishing-nettsider og utførte ikke bedre enn tilfeldighet. Ifølge artikkelen, antyder dette at benchmarken fanget mange av de visuelle og prosedyrene signalene funnet i virkelige online-svindel.

Konklusjon

Modellene som ble testet – som er bredt representativt for logikk-arkitekturen over populære LLM-familier – ser ut til å ha et intrinsisk problem med å trekke seg tilbake fra erkjente farlige scenarioer, eller å moderere deres egen tvang til å fortsette å handle. Logikken antyder at dette kan være relatert til den mer generelle vanskeligheten som avanserte språk-modeller er kjent for å vise i forhold til å gi opp på et spørsmål – en essensiell overlevelsesferdighet som for øyeblikket kun kan påtvunget fra utsiden, gjennom system-prompter, sekundære systemer og utgangs-begrensninger.

Hvis det beskrevne ‘gapet’, mellom erkjent fare og tvang til å fortsette likevel, er virkelig intrinsisk til en LLM-arkitektur, og ikke kan bli rettet opp naturlig, synes den eneste alternativ å være å overvåke modellens handlinger algoritmissk i kritiske scenarioer – noe som effektivt reduserer nytten av en agent til en mer begrenset RPA-lignende rutine.

Først publisert lørdag, 6. juni 2026