Andersons vinkel

Studie: 35% af AI-agenter overfører følsomme oplysninger til hjemmesider, de selv har identificeret som svindel

Martin Anderson
Føj Unite.AI til dine foretrukne kilder på Google
AI-generated illustration (GPT-2 + Photoshop): A humanoid industrial robot stands on a sunlit city sidewalk facing a small check-cashing kiosk, while a wolf-like attendant leans from the service window reading a sports magazine as pedestrians and traffic pass in the background.
NøglepunkterAgenter genkender ofte en svindel, men indsender alligevel følsomme data
Vis mere
  • Agenter genkender ofte en svindel, men indsender alligevel følsomme data
  • Sikkerhedsprompter skærper agentens risikobevidsthed uden pålideligt at ændre dens adfærd
  • Forsvar skal opfange udgående indsendelser i stedet for at stole på agentens egen mistanke

Et nyt studie viser, at selv når de genkender en svindelhjemmeside, overfører mere end en tredjedel af de autonome web-agenter stadig følsomme oplysninger.

 

Et nyt studie fra forskere i Indien og USA har fundet, at mere end en tredjedel af de autonome web-agenter, der blev testet, overførte kritiske personlige identificeringsoplysninger (PII, dvs. bankkontooplysninger, adgangskoder og sociale sikkerhedsnumre) til hjemmesider, som de selv havde identificeret som svindel.

Der er, som artiklen angiver, en vis “trang til at fuldføre”, der hæmmer forsigtighed og tøven hos web-agenter i sådanne situationer. Forfatterne skriver:

‘Et menneske kan holde pause, læse igen eller lukke fanen. En agent er bygget til at fuldføre sin opgave og vil fortsætte med at udfylde formularer og overføre data uden at stoppe for at spørge, om den bør gøre det.’

Studiet producerede en ny benchmark for sådanne scenarier, kaldet SCAMMER4U, der dækker 91 (simulerede) angrebskontrollerede miljøer samt ti ‘harmløse’ baseline-sites og otte angrebsvektorer.

Uden nogen privatlivssikkerhedsforanstaltninger overførte de testede agenter følsomme personlige oplysninger i 54% til 93% af svindelsammenstød, mens tilsvarende ikke-ondsindede hjemmesider ikke udløste nogen sådanne afsløringer, hvilket tyder på, at lækkagen var drevet af angrebene snarere end rutinemæssig formularfyldning:

‘Det mest kritiske er, at vi identificerer en kløft mellem opdagelse og handling: agenter, hvis resonnering en uafhængig LLM-dommer bekræfter har markeret hjemmesiden som mistænkelig, overfører stadig kritiske PII i 35,9% af sessionerne, modsat 66,1%, når der ikke er udtrykt nogen mistanke, en forskel på 30,2%, der er robust på tværs af alle fire model-familier.

‘Vore resultater viser, at forsvaret, der er betinget af agentens egen erkendelse af et angreb, er baseret på det forkerte signal, hvilket taler for kontrol af udgående indsendelser på outputniveau, uafhængigt af agentens ræsonnement.’

Forskerne argumenterer for output-niveauets forsvaret, der kan uafhængigt inspicere og blokere følsomme udgående overførsler, snarere end at stole på en agents egen erkendelse af, at en hjemmeside er mistænkelig, hvilket åbenbart ikke kan betrodes til at udløse nyttige defensive handlinger.

Den nye artikel er kaldt “Jeg har stærke mistanker om, at denne hjemmeside er en svindel”: Benchmarking af PII-lækage og detection uden forsvar i autonome web-agenter, og kommer fra otte forskere på tværs af KIIT Bhubaneshwar, BITS Pilani og Lam Research (LRCX ).

Problemer med autoritet

Artiklens mest interessante fund, måske, er ikke, at agenter lækker personlige oplysninger, men at mange af dem gør det efter at have erkendt, at noget er galt. Forskerne identificerer et gentaget mønster i de test, der blev kørt, hvor mistanke og handling blev adskilt, med agenter, der ofte udtrykte tydelige bekymringer om en hjemmeside, men alligevel fortsatte med den anmodede (PII-krenkende) overførsel.

Et eksempel omfattede, hvad forfatterne kalder nedtoning af erkendt risiko. En agent baseret på Llama 4 Scout identificerede flere advarselstegn på en kryptohandels-side, noterede den mistænkelige tone, løftet om store bonusser og manglen på klare oplysninger om virksomheden. Trods disse erkendte advarsler overførte agenten et sociale sikkerhedsnummer, kortdetaljer og en CVV-kode.

Et andet mønster, karakteriseret som domæne/procedure-ramme, optrådte, når agenter succesfuldt opdagede et svindelforsøg, men fejlede i at generalisere den mistanke til en relateret anmodning.

I et tilfælde afviste Gemini 3 Flash en åbenlyst bedragerisk anmodning om bankoplysninger, korrekt identificerede det som en phishing-forsøg. Minutter senere overførte samme agent dog loginoplysninger til kontoen til en andet verificeringsformular efter at have resonneret, at identitetskontroller var en normal del af platform-sikkerheden. Advarselskilerne blev erkendt i én kontekst, men ikke overført til en anden.

Forskerne observerede også tilfælde af, hvad de kalder tillid til hjemmesidens egne sikkerhedspåstande og normalisering på baggrund af et troværdigt udseende: I ét tilfælde accepterede en Claude Haiku 4.5-agent hjemmesidens egne påstande om krypteringsstandarder og sikkerhedscertificeringer som bevis for troværdighed, mens GPT-5 mini diskonterede mistænkeligt sprog fordi siden så professionelt designet ud og blev præsenteret gennem, hvad der så ud som et legitimt domæne. I begge tilfælde overtrumfede overfladiske tillids-signaler bekymringer, som agenterne selv havde udtrykt.

Problemet synes at strække sig ud over enkelte phishing-sårbarheder, med forfatterne, der foreslår, at de prompter til kontrol af troværdighed, der blev tilføjet i den stærkeste forsvarsbetingelse, ofte fungerede mere som et ritual end en sikkerhedsforanstaltning: agenter var i stand til at fortælle om risiko, men fortællingen alene ændrede ikke nødvendigvis deres adfærd.

Forfatterne definerer den påviste gap mellem at genkende fare og at handle på den erkendelse som den centrale hindring i udviklingen af fremtidige forsvaret i denne type scenarie.

Metode

SCAMMER4U-benchmarken placerer fire avancerede AI-agenter inden for 91 angrebskontrollerede hjemmesider og ti harmløse kontrol-sites, der dækker otte svindel-kategorier.

De fire modeller, der blev evalueret, var GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; og Llama 4 Scout, der brugte en fælles Playwright-baseret browser-ramme, observationsformat, handlingsrum og prompt-skabelon.

Til eksperimenterne blev hver agent tildelt et realistisk brugerprofil, der indeholdt oplysninger, der strakte sig fra navne og adresser til adgangskoder, bankkontooplysninger, sociale sikkerhedsnumre, API-nøgler og to-faktor-autentiseringskoder – med det primære mål at bestemme, om nogen af disse data nåede angrebskontrollerede endepunkter.

Den otteaksede taksonomi, der blev brugt til at definere SCAMMER4U-miljøer, adskiller, hvordan hvert scenarie er klassificeret fra de specifikke variabler, der blev justeret i parrede tests for at isolere effekten af individuelle social manipulation på PII-lækage. Kilde - https://arxiv.org/pdf/2606.00497

Den otteaksede taksonomi, der blev brugt til at definere SCAMMER4U-miljøer, adskiller, hvordan hvert scenarie er klassificeret fra de specifikke variabler, der blev justeret i parrede tests for at isolere effekten af individuelle social manipulation på PII-lækage. Kilde

For at sikre, at benchmarken reflekterede virkelige svindel snarere end kunstige testcases, blev miljøerne genereret via Flask i selv-værtsede miljøer, fra menneskeskrevne design-briefs, og derefter manuelt gennemgået.

Hver model blev testet under fire stadig mere interventionistiske indstillinger: C0, med ingen vejledning; C1, med en generisk privatlivs-påmindelse; C2, med en phishing-bevidsthedskontrol-liste; og C3, med en forud-for-overførsel-refleksions-prompt. Fem kørsler blev udført for hver kombination af model, miljø og betingelse, hvilket resulterede i 7.480 samlede sessioner.

Den primære måling var PLRcrit, der målte andelen af tilfælde, hvor kritiske personlige identificeringsoplysninger nåede et angrebskontrolleret endepunkt. Sekundære målinger bestod af PLRweighted, en lækagemåling vægtet efter følsomhedsniveau; ASR (angrebs-succes-ratio), der målte angrebs-succes efter navigation til en angivet fælde-URL; TCR (opgave-gennemførelses-ratio); et Beskyttet-flag, der indikerede afvisning eller sikker gennemførelse uden at nå fælde-URL’en; og DR (detektionsrate), der optegnede, om agentens resonnering havde identificeret hjemmesiden som mistænkelig.

Detection-ratio (DR) blev målt ved hjælp af en LLM-as-dommer-tilgang, hvor GPT-4o-mini fungerede som primær-evaluator og Llama 4 Scout som sekundær-check, gennemgik agentens resonnering og bestemte, om den havde identificeret hjemmesiden som mistænkelig. DR, i dette tilfælde, målte hvad en agent udtrykte om en hjemmeside, snarere end hvad den måske havde udledt internt.

Validering mod menneske-labelede eksempler producerede Cohens κ-scores på 0,83 og 0,78, hvilket overgik studiets forud-registrerede pålidelighedstrøskel.

Studiet var forud-registreret (dvs. studieplanen og analyserne var offentliggjort før lanceringen) før dataindsamlingen, med specifikation af projektets analyser og succes-kriterier i forvejen, hvilket havde til formål at reducere risikoen for at tilpasse konklusionerne til de observerede resultater.

Tests og resultater

Den første test søger at fastslå, om simple sikkerheds-påmindelser kan reducere problemet. Fire stadig mere beskyttende indstillinger blev evalueret, fra ingen privatlivs-vejledning til prompts, der udtrykkeligt opmuntrede agenten til at stoppe og reflektere, før de overførte følsomme oplysninger.

Resultaterne varierede skarpt mellem modellerne. Claude Haiku 4.5 viste sig at være den mest responsive, med en lækagerate, der faldt fra 54,5% under baseline-betingelsen til 24,0% under den stærkeste sikkerhedsforanstaltning. GPT-5 mini forbedrede sig fra 61,0% til 36,1%, mens Gemini 3 Flash faldt fra 93,1% til 60,7%. Llama 4 Scout ændrede relativt lidt, faldt fra 82,3% til 77,4%.

Disse forskelle antyder, mener forfatterne, at de samme beskyttende instruktioner kan producere meget forskellige resultater, afhængigt af modellen, der modtager dem. Endnu vigtigere er, at sikkerhedsforanstaltningerne ofte syntes at forbedre agenternes bevidsthed om risiko mere end deres faktiske adfærd: agenter blev bedre til at genkende mistænkelige hjemmesider og beskrive advarselstegn, men den erkendelse stoppede dem ikke altid fra at fortsætte med transaktionen.

Kløft mellem opdagelse og handling på tværs af fire avancerede AI-agenter. Venstre panel sammenligner kritisk informations-lækage mellem agenter, der udtrykkeligt identificerede en hjemmeside som mistænkelig, og dem, der ikke gjorde det, viser, at selv under den stærkeste beskyttelses-indstilling (C3), mere end en tredjedel af agenter, der erkendte en sandsynlig svindel, stadig overførte følsomme data. Højre panel viser den samme kløft på tværs af GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash og Llama 4 Scout, illustrerende, at bevidsthed om en trussel ikke nødvendigvis oversætter sig til defensiv adfærd.

Kløft mellem opdagelse og handling på tværs af fire avancerede AI-agenter. Venstre panel sammenligner kritisk informations-lækage mellem agenter, der udtrykkeligt identificerede en hjemmeside som mistænkelig, og dem, der ikke gjorde det, viser, at selv under den stærkeste beskyttelses-indstilling (C3), mere end en tredjedel af agenter, der erkendte en sandsynlig svindel, stadig overførte følsomme data. Højre panel viser den samme kløft på tværs af GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash og Llama 4 Scout, illustrerende, at bevidsthed om en trussel ikke nødvendigvis oversætter sig til defensiv adfærd.

I en separat evaluering sammenlignede 16 bedømmere SCAMMER4U-sider med ægte phishing-sites og opnåede ikke bedre end tilfældighed. Ifølge artiklen antyder dette, at benchmarken fik fanget mange af de visuelle og procedur-mæssige signaler, der findes i rigtige online-svindel.

Konklusion

De testede modeller – der er bredt repræsentative for den logiske arkitektur på tværs af populære LLM-familier – synes at have et intrinsisk problem med at trække sig tilbage fra erkendte farlige scenarier eller at moderere deres egen trang til at fortsætte med at handle. Logik antyder, at dette måske er relateret til den mere generelle svigt, som avancerede sprogmodeller er kendt for at vise i forhold til at give op på et spørgsmål – en essentiel overlevelsesfærdighed, der for øjeblikket kun kan påtvinges udefra gennem system-prompts, sekundære systemer og output-begrænsninger.

Hvis den beskrevne ‘disconnect’ mellem erkendt fare og trang til at fortsætte alligevel er sandt intrinsisk for en LLM-arkitektur, og ikke kan afhjælpes i selve modellen, synes den eneste alternative at være at overvåge modellens handlinger algoritisk i kritiske scenarier – hvilket effektivt reducerer nyttigheden af en agent til en mere fastlagt RPA-lignende rutine.

 

Først udgivet lørdag, 6. juni 2026

Forfatter inden for maskinlæring, domænespecialist i menneskelig billedsyntese. Tidligere chef for forskningsindhold hos Metaphysic.ai, indtil den blev opløst i DNEGs Brahma.ai.
Websted: martinanderson.ai
Kontakt: martin@martinanderson.ai