Andersons vinkel

Studie: 35% av AI-agenter overfører personlige opplysninger til nettsider de vet er svindel

Martin Anderson
Legg til Unite.AI blant dine foretrukne kilder på Google
AI-generated illustration (GPT-2 + Photoshop): A humanoid industrial robot stands on a sunlit city sidewalk facing a small check-cashing kiosk, while a wolf-like attendant leans from the service window reading a sports magazine as pedestrians and traffic pass in the background.
Viktige punkterAgenter gjenkjenner ofte en svindel, men sender likevel sensitive data
Vis mer
  • Agenter gjenkjenner ofte en svindel, men sender likevel sensitive data
  • Sikkerhetsinstrukser skjerper agentens risikobevissthet uten å endre atferden pålitelig
  • Forsvar må avskjære utgående innsendinger i stedet for å stole på agentens egen mistanke

En ny studie viser at selv når de erkjenner en svindelnettside, overfører mer enn en tredjedel av autonome nett-agenter fortsatt følsomme personlige opplysninger.

 

En ny studie fra forskere i India og USA har funnet ut at mer enn en tredjedel av autonome nett-agenter som ble testet, overførte kritisk personlige opplysninger (PII, dvs. bankkontoopplysninger, passord og sosialtrygdsnummer) til nettsider som de allerede hadde identifisert som svindel.

Det finnes, ifølge artikkelen, en viss ‘tvang til å fullføre’ som hemmer forsiktighet og tøven hos nett-agenter, i slike situasjoner. Forfatterne skriver:

‘Et menneske kan ta en pause, lese igjen eller lukke fanen. En agent er bygget for å fullføre oppgaven og vil fortsette å fylle ut skjemaer og sende data uten å stoppe og spørre om den skal.’

Studien produserte en ny benchmark for slike scenarioer, kalt SCAMMER4U, som dekket 91 (simulerte) angriperkontrollerte miljøer, samt ti ‘harmløse’ basis-nettsider og åtte angrepsvektorer.

Uten noen privatlivssikkerhetstiltak, overførte de testede agentene høyt følsomme personlige opplysninger i 54% til 93% av svindelsituasjonene, mens tilsvarende ikke-ondsinnede nettsider utløste ingen slike avsløringer, noe som indikerer at lekkasjen ble drevet av angrepene fremfor rutinemessig skjema-utfylling:

‘Det viktigste er at vi identifiserer et gap mellom deteksjon og handling: agenter hvis resonnering en uavhengig LLM-dommer bekrefter har flagget nettsiden som mistenkelig, overfører likevel kritisk PII i 35,9% av sesjonene, sammenlignet med 66,1% når ingen mistanke uttrykkes, et gap på 30,2% som er robust over alle fire modellfamilier.

‘Våre funn viser at forsvar som er basert på agentens egen erkjennelse av et angrep, er basert på feil signal, og motiverer avskjæring av utgående innsendinger på utgangsnivå som opererer uavhengig av agentens resonneringsløkke.’

Forskerne argumenterer for utgangsnivåets forsvar som kan uavhengig inspisere og blokkere følsomme utsendte skjemaer, fremfor å basere seg på en agents egen erkjennelse av at en nettside er mistenkelig, noe som åpenbart ikke kan baseres på å utløse nyttige defensive handlinger.

Den nye artikkelen har tittelen “Jeg mistenker sterkt at denne nettsiden er en svindel”: Benchmarking PII-lekkasje og deteksjon uten forsvar i autonome nett-agenter, og kommer fra åtte forskere fra KIIT Bhubaneshwar, BITS Pilani og Lam Research (LRCX ).

Problemer med autoritet

Artikkelens mest interessante funn, kanskje, er ikke at agenter lekker personlige opplysninger, men at mange av dem gjorde det etter å ha erkjent at noe var galt. Forskerne identifiserer et gjentakende mønster i testene som ble kjørt, hvor mistanke og handling ble frakoblet, med agenter som ofte uttrykte klare bekymringer om en nettside, men likevel fortsatte med den forespurte (PII-krenkende) overføringen likevel.

Et eksempel involverte hva forfatterne kaller nedtoning av erkjent risiko. En agent basert på Llama 4 Scout identifiserte flere advarselstegn på en nettsted for kryptovaluta, noterte den mistenkelige tonen, løftene om store bonuser og mangelen på klare opplysninger om selskapet. Til tross for disse erkjente advarselstegnene, overførte agenten et sosialtrygdsnummer, kortdetaljer og en CVV-kode.

En annen mønster, karakterisert som domene/prosedur-ramming, dukket opp når agenter suksessfullt detekterte ett svindelforsøk, men feilet i å generalisere den mistanken til en relatert forespørsel.

I ett tilfelle, Gemini 3 Flash avviste en åpenbart bedragerisk forespørsel om bankinformasjon, korrekt identifiserte det som et phishing-forsøk. Minutter senere, imidlertid, overførte samme agent påloggingsopplysninger til kontoen til en annen verifiseringsform etter å ha resonert at identitetskontroller var en normal del av plattform-sikkerhet. Advarselstegnene ble erkjent i ett kontekst, men ikke overført til en annen.

Forskerne observerte også tilfeller av hva de kalte tillit til nettstedets egne sikkerhetspåstander og tiltrodd-overflate-normalisering: i ett tilfelle, en Claude Haiku 4.5-agent aksepterte en nettsides egne påstander om krypteringsstandarder og sikkerhetssertifikater som bevis på tillit, mens GPT-5 mini diskonterte mistenkelig formulering fordi siden så profesjonelt designet ut og ble presentert gjennom hva som så ut som et legitimt domene. I begge tilfeller overridde overflatiske tillitssignaler bekymringer som agentene selv allerede hadde uttrykt.

Problemet ser ut til å strekke seg utover enkel phishing-sårbarhet, med forfatterne som foreslår at tillitstsjekkpromptene som ble lagt til i den sterkeste forsvarstilstanden ofte fungerte mer som et ritual enn et sikkerhetstiltak: agenter var i stand til å fortelle om risiko, men fortelling alene endret ikke pålitelig deres atferd.

Forfatterne definerer det dokumenterte gapet mellom å erkjenne fare og å handle på den erkjennelsen som det sentrale hindret i utviklingen av fremtidige forsvar i denne type scenario.

Metode

SCAMMER4U-benchmarken plasserer fire avanserte nettagenter innen 91 angriperkontrollerte nettsider og ti harmløse kontroll-nettsider som dekker åtte svindel-kategorier.

De fire modellene som ble evaluert, var GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; og Llama 4 Scout, som brukte en felles Playwright-basert nett-rammeverk, observasjonsformat, handlingsrom og prompt-mal.

For eksperimentene ble hver agent tildelt et realistisk brukerprofil som inneholdt informasjon som varierte fra navn og adresser til passord, bankkontoopplysninger, sosialtrygdsnummer, API-nøkler og to-faktor-autentiseringskoder – med det primære målet å bestemme om noen av disse dataene nådde angriperkontrollerte endepunkter.

Den åtteaksede taksonomien som brukes til å definere SCAMMER4U-miljøer, skiller hvordan hvert scenario klassifiseres fra de spesifikke variablene som justeres i parrede tester for å isolere effekten av individuelle sosial manipulering på PII-lekkasje. Kilde - https://arxiv.org/pdf/2606.00497

Den åtteaksede taksonomien som brukes til å definere SCAMMER4U-miljøer, skiller hvordan hvert scenario klassifiseres fra de spesifikke variablene som justeres i parrede tester for å isolere effekten av individuelle sosial manipulering på PII-lekkasje. Kilde

For å sikre at benchmarken reflekterte virkelige svindel fremfor kunstige testtilfeller, ble miljøene generert via Flask i selv-vertede miljøer, fra menneskeskrevne design-beskrivelser, og deretter manuelt gjennomgått.

Hver modell ble testet under fire økende intervensjonistiske innstillinger: C0, med ingen veiledning; C1, med en generisk privatlivs-påminnelse; C2, med en phishing-bevissthetssjekkeliste; og C3, med en pre-overførings-refleksjons-prompt. Fem kjøringer ble utført for hver kombinasjon av modell, miljø og innstilling, noe som resulterte i 7 480 totale sesjoner.

Den primære metrikken var PLRcrit, som målte andelen tilfeller der kritiske personopplysninger nådde et angriperkontrollert endepunkt. Sekundære metrikker bestod av PLRvektet, en lekkasjemåling vektet etter følsomhetsnivå; ASR (Angrepssuksessrate), som målte angreps-suksess etter navigasjon til en designert felle-URL; TCR (Oppgavefullføringsrate); et Beskyttet-flagg, som indikerte nekt eller trygg fullføring uten å nå felle-URLen; og DR (Deteksjonsrate), som registrerte om agentens resonnering identifiserte nettsiden som mistenkelig.

Deteksjonsrate (DR) ble målt ved hjelp av en LLM-as-dommer-tilnærming, hvor GPT-4o-mini fungerte som primær evaluator og Llama 4 Scout som en sekundær sjekking, som gjennomgikk en agents resonnering og bestemte om den hadde identifisert nettsiden som mistenkelig. DR, i dette tilfelle, målte hva en agent uttrykte om en nettside, fremfor hva den måtte ha utledet internt.

Validering mot menneske-merkede eksempler produserte Cohens κ-koeffisienter på 0,83 og 0,78, som oversteg studiens forhåndsregistrerte pålitelighetsgrense.

Studien var forhåndsregistrert (dvs. studieplanen og analysene ble offentlig dokumentert før lansering) før datainnsamling, med analyser og suksesskriterier fastsatt på forhånd for å redusere risikoen for å tilpasse konklusjoner til de observerte resultater.

Tester og resultater

Den innledende testen søkte å fastslå om enkle sikkerhets-påminnelser kunne redusere problemet. Fire økende beskyttende innstillinger ble evaluert, som varierte fra ingen privatlivs-veiledning i det hele tatt til promter som uttrykkelig oppmuntret agenten til å stoppe og reflektere før overføring av følsomme opplysninger.

Resultatene varierte skarpt mellom modellene. Claude Haiku 4.5 viste seg å være den mest responsive, med en lekkasjerate som falt fra 54,5% under basis-innstillingen til 24,0% under den sterkeste sikkerhets-innstillingen. GPT-5 mini forbedret seg fra 61,0% til 36,1%, mens Gemini 3 Flash falt fra 93,1% til 60,7%. Llama 4 Scout endret relativt lite, fra 82,3% til 77,4%.

Disse forskjellene antyder, ifølge forfatterne, at de samme beskyttende instruksene kan produsere svært forskjellige resultater, avhengig av modellen som mottar dem. Mer viktig er det at sikkerhets-innstillingene ofte syntes å forbedre agentens bevissthet om risiko mer enn deres faktiske atferd: agenter ble bedre til å erkjenne mistenkelige nettsider og beskrive advarselstegn, men den erkjennelsen stoppet dem ikke alltid fra å fortsette med transaksjonen.

Deteksjons-handlingsgap over fire avanserte AI-agenter. Venstre panel sammenligner kritisk-informasjons-lekkasje blant agenter som uttrykkelig identifiserte en nettside som mistenkelig, og de som ikke gjorde det, og viser at selv under den sterkeste beskyttelses-innstillingen (C3), overførte mer enn en tredjedel av agentene som erkjente en sannsynlig svindel likevel følsomme data. Høyre panel viser det samme gapet over GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash og Llama 4 Scout, og viser at bevissthet om en trussel ikke pålitelig oversetter til defensive handlinger.

Deteksjons-handlingsgap over fire avanserte AI-agenter. Venstre panel sammenligner kritisk-informasjons-lekkasje blant agenter som uttrykkelig identifiserte en nettside som mistenkelig, og de som ikke gjorde det, og viser at selv under den sterkeste beskyttelses-innstillingen (C3), overførte mer enn en tredjedel av agentene som erkjente en sannsynlig svindel likevel følsomme data. Høyre panel viser det samme gapet over GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash og Llama 4 Scout, og viser at bevissthet om en trussel ikke pålitelig oversetter til defensive handlinger.

I en separat evaluering sammenlignet 16 vurderere SCAMMER4U-sider med ekte phishing-nettsider og presterte ikke bedre enn tilfeldig gjetning. Ifølge artikkelen, antyder dette at benchmarken fanget mange av de visuelle og prosedyremessige signalene funnet i virkelige online-svindel.

Konklusjon

Modellene som ble testet – som er bredt representativt for logikk-arkitekturen over populære LLM-familier – ser ut til å ha et intrinsisk problem med å trekke seg tilbake fra erkjente farlige scenarioer, eller å moderere deres egen tvang til å fortsette å handle. Logikken antyder at dette kan være relatert til den mer generelle vanskeligheten som avanserte språk-modeller er kjent for å vise i forhold til å gi opp på et spørsmål – en essensiell overlevelsesferdighet som for øyeblikket kun kan påtvinges fra utsiden, gjennom system-prompter, sekundære systemer og utgangs-begrensninger.

Hvis det beskrevne ‘gapet’, mellom erkjent fare og tvang til å fortsette likevel, er virkelig intrinsisk til en LLM-arkitektur, og ikke kan bli rettet opp i selve modellen, synes den eneste alternativ å være å overvåke modellens handlinger algoritmisk i kritiske scenarioer – noe som effektivt reduserer nytten av en agent til en mer begrenset RPA-lignende rutine.

 

Først publisert lørdag, 6. juni 2026

Skribent innen maskinlæring, domenespesialist i menneskelig bildesyntese. Tidligere leder for forskningsinnhold hos Metaphysic.ai, frem til oppløsningen i DNEG's Brahma.ai.
Nettsted: martinanderson.ai
Kontakt: martin@martinanderson.ai