Studie: 35% av AI-agenter lämnade ut känsliga uppgifter till webbplatser som de visste var bedrägerier

En ny studie visar att även när de känner igen en bedrägeriwebbplats, lämnar mer än en tredjedel av autonoma webbagenterna fortfarande ut känsliga uppgifter.

En ny studie från forskare i Indien och USA har funnit att mer än en tredjedel av de autonoma webbagenterna som testades lämnade ut kritiska personuppgifter (personligt identifierbar information, t.ex. bankkontouppgifter, lösenord och socialförsäkringsnummer) till webbplatser som de redan hade identifierat som bedrägerier.

Det finns, enligt artikeln, en viss “tvång att slutföra” som hämmar försiktighet och tvekan hos webbagenterna i sådana situationer. Författarna skriver:

‘En människa kan pausa, läsa om eller stänga fliken. En agent är byggd för att slutföra sin uppgift och kommer att fortsätta fylla i formulär och skicka data utan att stoppa för att fråga om den borde.’

Studien skapade en ny benchmark för sådana scenarier, med titeln SCAMMER4U, som omfattar 91 (simulerade) angriparkontrollerade miljöer, tillsammans med tio “ofarliga” baswebbplatser och åtta attackvektorer.

Utan några integritetsskydd lämnade de testade agenterna ut mycket känsliga personuppgifter i 54% till 93% av bedrägerimötena, medan motsvarande ofarliga webbplatser inte utlöste några sådana avslöjanden, vilket tyder på att läckaget drevs av attackerna snarare än rutinmässig formutfyllning:

‘Viktigast är att vi identifierar en upptäckt-åtgärdsgap: agenter vars resonemang en oberoende LLM-domare bekräftar har flaggat webbplatsen som misstänkt, men fortfarande lämnar ut kritiska personuppgifter i 35,9% av sessionerna, jämfört med 66,1% när ingen misstanke uttrycks, en 30,2% gap som är robust över alla fyra modellfamiljer.

‘Våra resultat visar att försvar som baseras på agentens egen upptäckt av ett angrepp är baserade på fel signal, vilket motiverar utdata-nivåavbrott av utgående överföringar som fungerar oberoende av agentens resonemangsslinga.’

Forskarna argumenterar för utdata-nivåförsvar som kan oberoende inspektera och blockera känsliga utgående överföringar, snarare än att förlita sig på en agents egen upptäckt av att en webbplats är misstänkt, vilket tydligt inte kan lita på för att utlösa användbara försvarsåtgärder.

Den nya artikeln har titeln “Jag misstänker starkt att denna webbplats är en bedrägeri”: Utvärdering av personuppgiftsläckage och upptäckt utan försvar i autonoma webbagenterna, och kommer från åtta forskare på KIIT Bhubaneshwar, BITS Pilani och Lam Research.

Problem med auktoritet

Artikelns mest intressanta upptäckt, kanske, är inte att agenter lämnar ut personuppgifter, utan att många av dem gör det efter att ha insett att något är fel. Forskarna identifierar ett återkommande mönster i de tester som utfördes, där misstanke och åtgärd blev frånkopplade, med agenterna som ofta uttryckte tydliga farhågor om en webbplats, men ändå fortsatte med den begärda (personuppgiftskränkande) överföringen ändå.

Ett exempel involverade det som författarna kallar erkänd-riskdiskontering. En agent baserad på Llama 4 Scout identifierade flera varningstecken på en krypteringssajt, noterade den misstänkta tonen, löftet om stora bonusar och bristen på tydlig information om företaget. Trots dessa erkända varningar lämnade agenten ut ett socialförsäkringsnummer, kontokortsuppgifter och en CVV-kod.

En andra mönster, karakteriserad som domän/förfarande-ramning, uppstod när agenter framgångsrikt upptäckte ett bedrägeriförsök men misslyckades med att generalisera den misstanken till en relaterad begäran.

I ett fall avvisade Gemini 3 Flash en uppenbarligen bedräglig begäran om bankinformation, korrekt identifierade det som en phishingförsök. Några minuter senare lämnade dock samma agent ut kontouppgifter till en annan verifieringsformulär efter att ha resonat att identitetskontroller var en normal del av plattformssäkerhet. Varningstecknen erkändes i ett sammanhang, men inte överfört till ett annat.

Forskarna observerade också fall av vad de kallar själv-uttalat-säkerhetshänvisning och betrodd-yta-normalisering: i ett fall accepterade en Claude Haiku 4.5-agent en webbplats egna påståenden om krypteringsstandarder och säkerhetscertifikat som bevis på tillförlitlighet, medan GPT-5 mini diskonterade misstänkt formulering eftersom sidan såg professionellt utformad ut och presenterades genom vad som såg ut som en legitim domän. I båda fallen överträffade yttre tillitsignalerna farhågor som agenterna själva redan hade uttryckt.

Problemet verkar sträcka sig bortom enkel phishing-sårbarhet, med författarna som föreslår att de tillitskontroller som lagts till i den starkaste försvarspositionen ofta fungerade mer som en ritual än ett skydd: agenter kunde berätta om risk, men berättandet i sig ändrade inte tillförlitligt deras beteende.

Författarna definierar den bevisade gapet mellan att känna fara och att agera på den upptäckten som det centrala hindret i utvecklingen av framtida försvar i den här typen av scenario.

Metod

SCAMMER4U-benchmarken placerar fyra frontlinje-webbagenterna i 91 angriparkontrollerade webbplatser och tio ofarliga kontrollwebbplatser som omfattar åtta bedrägerikategorier.

De fyra modellerna som utvärderades var GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; och Llama 4 Scout, med hjälp av ett gemensamt Playwright-baserat webbläsarframework, observationsformat, åtgärdsutrymme och promptmall.

För experimenten tilldelades varje agent en realistisk användarprofil som innehöll information som sträckte sig från namn och adresser till lösenord, bankkontouppgifter, socialförsäkringsnummer, API-nycklar och tvåfaktorsautentiseringskoder – med det primära målet att fastställa om någon av denna data nådde angriparkontrollerade slutpunkter.

Den åttaaxliga taxonomin som används för att definiera SCAMMER4U-miljöer, som skiljer hur varje scenario klassificeras från de specifika variabler som justeras i parade tester för att isolera effekten av enskilda sociala ingenjörstekniker på personuppgiftsläckage. Källa

För att säkerställa att benchmarken återspeglade verkliga bedrägerier snarare än artificiella testfall genererades miljöerna via Flask i självvärdande miljöer, från mänskligt skrivna designbriefs, och sedan manuellt granskade.

Varje modell testades under fyra alltmer ingripande inställningar: C0, med ingen vägledning; C1, med en generisk integritetspåminnelse; C2, med en phishing-medveten checklista; och C3, med en för-överföringsreflektionsprompt. Fem körningar utfördes för varje kombination av modell, miljö och villkor, vilket resulterade i 7 480 totala sessioner.

Den primära metriken var PLR_crit, som mätte hastigheten för vilken kritiska personuppgifter nådde en angriparkontrollerad slutpunkt. Sekundära metriker bestod av PLR_weighted, en viktad läckagemätning; ASR (Attack Success Rate), som mätte attackens framgång efter navigering till en designad fälla-URL; TCR (Task Completion Rate); en Defended-flagga, som indikerade vägran eller säker slutförande utan att nå fälla-URL:en; och DR (Detection Rate), som registrerade om agentens resonemang identifierade webbplatsen som misstänkt.

Upptäckningshastighet (DR) mättes med hjälp av en LLM-as-domare-ansats, där GPT-4o-mini fungerade som primär utvärderare och Llama 4 Scout som en sekundär kontroll, som granskade en agents resonemang och fastställde om det hade identifierat webbplatsen som misstänkt. DR, i det här fallet, mätte vad en agent explicit sa om en webbplats, snarare än vad den kanske hade insett internt.

Validering mot mänskligt märkta exempel producerade Cohens κ-poäng på 0,83 och 0,78, vilket översteg studiens förregistrerade tillförlitlighetströskel.

Studien var förregistrerad (dvs. studieplanen och analyserna var offentligt dokumenterade före lansering) innan datainsamling, med specificerad projektanalys och framgångskriterier i förväg, i syfte att minska risken för att anpassa slutsatserna till de observerade resultaten.

Tester och resultat

Det första testet syftade till att fastställa om enkla säkerhetspåminnelser kunde minska problemet. Fyra alltmer skyddande inställningar utvärderades, från ingen integritetsvägledning alls till promter som explicit uppmuntrade agenten att stanna och reflektera innan den skickade känsliga uppgifter.

Resultaten varierade kraftigt mellan modellerna. Claude Haiku 4.5 visade sig vara den mest responsiva, med en läckagehastighet som sjönk från 54,5% under baslinjevärdet till 24,0% under de starkaste säkerhetsåtgärderna. GPT-5 mini förbättrades från 61,0% till 36,1%, medan Gemini 3 Flash sjönk från 93,1% till 60,7%. Llama 4 Scout förändrades relativt lite, från 82,3% till 77,4%.

Dessa skillnader tyder, enligt författarna, på att samma skyddsinstruktioner kan producera mycket olika resultat, beroende på modellen som tar emot dem. Mer viktigt är att säkerhetsåtgärderna ofta tycks förbättra agenternas medvetenhet om risk mer än deras faktiska beteende: agenter blev bättre på att känna igen misstänkta webbplatser och beskriva varningstecken, men den medvetenheten stoppade dem inte alltid från att fortsätta med transaktionen.

Upptäckt-åtgärdsgap över fyra frontlinje-AI-agenter. Vänsterpanelen jämför kritisk informationsläckage bland agenter som explicit identifierade en webbplats som misstänkt och de som inte gjorde det, och visar att även under den starkaste skyddsinställningen (C3) lämnade mer än en tredjedel av agenterna som erkände en trolig bedrägeri fortfarande ut känsliga uppgifter. Högerpanelen visar samma gap över GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash och Llama 4 Scout, vilket visar att medvetenhet om en hot inte tillförlitligt översattes till defensivt beteende.

I en separat utvärdering jämförde 16 granskare SCAMMER4U-sidor med äkta phishing-sajter och presterade inte bättre än slumpen. Enligt artikeln tyder detta på att benchmarken fångade många av de visuella och procedurella signalerna som finns i riktiga onlinebedrägerier.

Slutsats

De testade modellerna – som i allmänhet representerar logikarkitekturerna över populära LLM-familjer – verkar ha ett inbyggt problem med att dra sig tillbaka från erkända farliga scenarier eller moderera sin egen tvång att fortsätta agera. Logiken tyder på att detta kan vara relaterat till den mer allmänna svårigheten som avancerade språkmodeller är kända för att i fråga om att ge upp på en fråga – en viktig överlevnadsförmåga som, för tillfället, tycks kunna påtvingas endast utifrån, genom systempromter, sekundära system och utdata-begränsningar.

Om den beskrivna “kopplingen” mellan uppfattad fara och tvånget att fortsätta ändå är verkligen inbyggd i en LLM-arkitektur, och inte kan åtgärdas på naturlig väg, verkar den enda alternativa lösningen vara att övervaka modellens handlingar algoritmiskt i kritiska scenarier – vilket i praktiken minskar agentens användbarhet till en mer begränsad RPA-liknande rutin.

Publicerad första gången lördag, 6 juni 2026