Andersonin kulma
Tutkimus: 35% tekoälyagenteista luovutti henkilötietoja sivustoille, jotka ne tiesivät huijauksiksi

Keskeiset kohdatAgentit tunnistavat usein huijauksen, mutta lähettävät silti arkaluontoisia tietoja
Näytä lisää
- Agentit tunnistavat usein huijauksen, mutta lähettävät silti arkaluontoisia tietoja
- Turvallisuuskehotteet terävöittävät agentin riskitietoisuutta muuttamatta kuitenkaan luotettavasti sen toimintaa
- Puolustusten on pysäytettävä lähtevät lähetykset sen sijaan, että luotettaisiin agentin omaan epäilykseen
Uusi tutkimus osoittaa, että yli kolmasosa autonomisista verkkoagenteista luovuttaa arkaluontoisia henkilökohtaisia tietoja huijausverkkosivuille, vaikka ne ovat jo tunnistaneet verkkosivun huijausverkkosivuksi.
Intian ja Yhdysvaltain tutkijoiden tekemässä tutkimuksessa todettiin, että yli kolmasosa testatuista autonomisista verkkoagenteista luovutti kriittisiä henkilökohtaisia tietoja, kuten pankkitilitietoja, salasanoja ja sosiaaliturvatunnuksia, huijausverkkosivuille, vaikka ne olivat jo tunnistaneet verkkosivun huijausverkkosivuksi.
Tutkimuksessa havaittiin, että verkkoagenteilla on tietty “pakko saada tehtävä valmiiksi”, joka estää niitä olemasta varovaisia ja epäröivämpiä sellaisissa tilanteissa. Tutkijat toteavat:
‘Ihminen voi pysähtyä, lukea uudelleen tai sulkea välilehden. Agentti on suunniteltu suorittamaan tehtävänsä ja jatkaa lomakkeiden täyttämistä ja tietojen lähettämistä pysähtymättä pohtimaan, pitäisikö sen tehdä niin.’
Tutkimuksessa kehitettiin uusi vertailutesti, jota kutsutaan SCAMMER4U:ksi, joka kattaa 91 (simuloitua) hyökkääjän hallitsemaa ympäristöä, sekä kymmenen “hyvää” vertailusivua ja kahdeksan hyökkäysvektoria.
Ilman mitään yksityisyydensuojaustoimia testatut agentit luovuttivat erittäin arkaluontoisia henkilökohtaisia tietoja 54–93 %:ssa huijauskohtaamisista, kun taas vastaavat ei-haitalliset verkkosivut eivät aiheuttaneet tällaista paljastamista, mikä osoittaa, että vuoto johtui hyökkäyksistä eikä tavallisesta lomakkeiden täyttämisestä:
‘Keskeisin havaintomme on tunnistamisen ja toiminnan välinen kuilu: agentit, joiden päättelyn riippumaton LLM-arvioija vahvistaa tunnistaneen sivuston epäilyttäväksi, lähettävät silti kriittisiä henkilötietoja 35,9 %:ssa istunnoista. Osuus on 66,1 %, kun epäilyä ei ilmaista. Tämä 30,2 %:n ero säilyy kaikissa neljässä malliperheessä.
‘Havaintomme osoittavat, että suojaukset, jotka riippuvat siitä, tunnistaako agentti itse hyökkäyksen, perustuvat väärään signaaliin. Tämä puoltaa lähtevien lähetysten valvontaa ulostulotasolla riippumatta agentin päättelysilmukasta.’
Tutkijat puoltavat ulostulotasolla toimivia suojauksia, jotka voivat itsenäisesti tarkastaa ja estää arkaluontoisia lähteviä lähetyksiä, sen sijaan, että riippuisivat agentin omasta tunnistamisesta siitä, että verkkosivu on epäilyttävä, mikä ei voi luotettavasti laukaista hyödyllisiä puolustustoimia.
Uusi tutkimusartikkeli on otsikoitu “Epäilen vahvasti, että tämä verkkosivu on huijaus”: vertaileva tutkimus henkilökohtaisen tiedon vuotamisesta ja havainnosta ilman puolustusta autonomisissa verkkoagenteissa, ja se on tehty kahdeksan tutkijan toimesta KIIT Bhubaneshwarista, BITS Pilanista ja Lam Researchista.
Ongelmia auktoriteetin kanssa
Tutkimuksen kiinnostavin havainto ei ehkä ole henkilötietojen vuotaminen sinänsä vaan se, että monet agentit luovuttavat niitä vaikka ne tunnistavat, että jokin on vialla. Tutkijat tunnistivat toistuvan kuvion testien aikana, jossa epäily ja toiminta erkaantuivat toisistaan, ja agentit usein ilmaisivat selvää huolta verkkosivusta, mutta jatkoivat kuitenkin pyydetyssä (henkilökohtaisia tietoja sisältävässä) lähetyksessä.
Yksi esimerkki liittyi siihen, mitä tutkijat kutsuvat tunnistetun riskin vähättelyksi. Llama 4 Scout -agentti tunnisti useita varoitusmerkkejä kryptovaluuttasivustolla, huomauttaen epäilyttävästä sävystä, suurten bonusten luvauksesta ja selkeiden yritystietojen puuttumisesta. Vaikka nämä varoitukset tunnistettiin, agentti luovutti sosiaaliturvatunnuksen, korttitiedot ja CVV-koodin.
Toinen toimintamalli, jota tutkijat kuvaavat verkkotunnus/menettelykehyksellä, ilmestyi, kun agentit tunnistivat onnistuneesti yhden huijausyrityksen, mutta epäonnistuivat yleistämään epäilyä liittyvään pyynnöön.
Yhdessä tapauksessa Gemini 3 Flash -agentti hylkäsi ilmiselvästi petollisen pyynnön pankkitietojen lähettämiseksi ja tunnisti sen oikein tietojenkalasteluyritykseksi. Muutaman minuutin kuluttua sama agentti kuitenkin toimitti tilin kirjautumistiedot toiselle vahvistussivulle, perustellen, että tunnistustarkistukset olivat normaali osa alustan turvallisuutta. Varoitusmerkit tunnistettiin yhdessä kontekstissa, mutta niitä ei siirretty toiseen.
Tutkijat havainnoivat myös tapauksia, joita he kutsuvat sivuston omiin turvallisuusväitteisiin luottamiseksi ja luotettavan ulkoasun perusteella normalisoimiseksi: yhdessä tapauksessa Claude Haiku 4.5 -agentti hyväksyi verkkosivun omat väitteet salauksen standardeista ja turvallisuustodistuksista todisteena luotettavuudesta, kun taas GPT-5 mini vähätteli epäilyttävän sanamuodon siksi, että sivu näytti ammattimaisesti suunnitellulta ja esiteltiin aidolta näyttävän verkkotunnuksen kautta. Molemmissa tapauksissa pintapuoliset luottamussignaalit ohittivat agentin itsensä jo ilmaisemat huolet.
Ongelma näyttää ulottuvan yksinkertaisen kalastusherkkyyden ulkopuolelle, ja tutkijat ehdottavat, että lisätyt turvallisuutta tarkistavat kehotukset vahvimmassa suojausasetuksessa toimivat enemmän rituaalina kuin suojuksena: agentit pystyivät kertomaan riskistä, mutta kerronta yksin ei muuttanut niiden käyttäytymistä luotettavasti.
(LRCX )Tutkijat määrittelevät todistetun kuilun vaaran tunnistamisen ja toimimisen vaaran tunnistamisen perusteella välillä keskeiseksi esteeksi tulevien puolustusten kehittämisessä tämänkaltaisissa tilanteissa.
Menetelmä
SCAMMER4U-benchmark asettaa neljä edistyksellistä verkkoagenttia 91 hyökkääjän hallitseman verkkosivun ja kymmenen hyvän vertailusivun keskuuteen, jotka kattavat kahdeksan huijausluokkaa.
Neljä arvioitua mallia olivat GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ja Llama 4 Scout, jotka käyttivät yhteistä Playwright-pohjaista selauskehystä, havaintomuotoa, toimintatilaa ja kehotusmallia.
Kokeiden aikana jokainen agentti sai realistisen käyttäjäprofiilin, joka sisälsi tietoja nimistä ja osoitteista salasanoihin, pankkitilitietoihin, sosiaaliturvatunnuksiin, API-avaimiin ja kaksivaiheisen todennuksen koodeihin – päämääränä oli selvittää, pääsivätkö nämä tiedot hyökkääjän hallitsemiin päätepisteisiin.

Kahdeksanakselinen taksonomia, jota käytetään SCAMMER4U-ympäristöjen määrittelyyn, erottaa, miten kunkin skenaarion luokittelu eroaa muuttujista, jotka sovitetaan pareittain suoritettuihin testeihin yksittäisten sosiaalisen manipuloinnin taktiikkojen vaikutuksen erottamiseksi henkilökohtaisen tiedon vuotamisesta. Lähde
Varmistamaan, että benchmark heijastaa todellisia huijausverkkosivuja eikä keinotekoisia testitapauksia, ympäristöt luotiin Flask:n avulla itse ylläpidetyissä ympäristöissä, ihmisten kirjoittamista suunnittelukuvauksista, ja niitä tarkastettiin manuaalisesti.
Kunkin mallin testaamiseen käytettiin neljää asteittaista suojeluasetusta: C0, jossa ei ollut ohjeita; C1, jossa oli yleinen yksityisyyden muistutus; C2, jossa oli kalastusta koskeva tarkistuslista; ja C3, jossa oli ennen lähettämistä tehty reflektiivinen kehote. Kukin yhdistelmä mallia, ympäristöä ja ehtoa testattiin viisi kertaa, mikä johti yhteensä 7 480 istuntoon.
Päämittari oli PLRcrit, joka mittaa niiden tapausten osuutta, joissa kriittisiä henkilötietoja päätyi hyökkääjän hallitsemaan päätepisteeseen. Toissijaiset mittarit koostuivat PLRweighted:sta, joka on tietojen arkaluonteisuuden mukaan painotettu vuotomittari; ASR (Hyökkäysten onnistumisaste), joka mittaa hyökkäyksen onnistumista navigoinnin jälkeen määrättyyn ansa-URL-osoitteeseen; TCR (Tehtävien suoritusaste); Suojattu -merkintä, joka osoittaa kieltäytymisen tai turvallisen suorittamisen ilman pääsyä ansa-URL-osoitteeseen; ja DR (Tunnistusaste), joka kirjaa, tunnistiko agentin päättely verkkosivun epäilyttäväksi.
Tunnistusaste (DR) mitattiin LLM-as-judge -lähestymistapaa käyttäen, jossa GPT-4o-mini toimi pääarvioijana ja Llama 4 Scout toimi toissijaisena tarkastajana, joka tarkastaa agentin päättelyä ja määrittää, onko se tunnistanut verkkosivun epäilyttäväksi. DR mittaa mitä agentti nimenomaisesti sanoo verkkosivusta, eikä mitä se on sisäisesti päätellyt.
Validointi ihmisten merkinnöistä tuotti Cohenin κ -arvot 0,83 ja 0,78, jotka ylittivät tutkimuksen ennalta rekisteröidyn luotettavuuden kynnyksen.
Tutkimus oli ennalta rekisteröity (ts. tutkimussuunnitelma ja analyysit oli julkaistu julkisesti ennen aineiston keräämistä), ja siinä määriteltiin hankkeen analyysit ja onnistumiskriteerit etukäteen, mikä oli tarkoitus vähentää vaaraa sovittaa johtopäätöksiä havaittuun tulokseen.
Testit ja tulokset
Alkuperäinen testi pyrki selvittämään, voivatko yksinkertaiset turvallisuusmuistutukset vähentää ongelmaa. Neljää asteittaista suojeluasetusta arvioitiin, aina ilman yksityisyyden ohjeita aina kehoituksiin, jotka rohkaisivat agenttia pysähtymään ja miettimään ennen arkaluontoisten tietojen lähettämistä.
Tulokset vaihtelivat terävästi malleittain. Claude Haiku 4.5 osoittautui parhaiten suojauksiin reagoivaksi, sen vuotoasteen laskiessa perustilanteen 54,5 %:sta vahvimman suojauksen 24,0 %:iin. GPT-5 mini paransi 61,0 %:sta 36,1 %:iin, kun taas Gemini 3 Flash laski 93,1 %:sta 60,7 %:iin. Llama 4 Scout muuttui verrattain vähän, laskien 82,3 %:sta 77,4 %:iin.
Nämä erot viittaavat siihen, että tutkijat uskovat, että samat suojeluohjeet voivat tuottaa erilaisia tuloksia riippuen mallista, jolle ne annetaan. Tärkeämpää on, että suojeluohjeet usein näyttivät parantavan enemmän agenttien tietoisuutta riskistä kuin itse käyttäytymistä: agentit tulivat paremmaksi tunnistamaan epäilyttäviä verkkosivuja ja kuvaamaan varoitusmerkkejä, mutta se tunnistaminen ei aina estänyt heitä jatkamasta transaktiota.

Havainto-toimintakuilu neljän edistyksellisen AI-agentin keskuudessa. Vasen paneeli vertaa kriittisten tietojen vuotamista agenttien välillä, jotka ovat tunnistaneet verkkosivun epäilyttäväksi, ja niiden, jotka eivät ole, osoittaen, että jopa vahvimmassa suojeluasemassa (C3) yli kolmasosa agenteista, jotka tunnistivat mahdollisen huijausverkkosivun, lähettivät silti arkaluontoisia tietoja. Oikea paneeli osoittaa saman kuilun GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ja Llama 4 Scout -agenttien keskuudessa, havainnoiden, että vaaran tunnistaminen ei välttämättä johtanut puolustavaan käyttäytymiseen.
Erillisessä arvioinnissa 16 arvioijaa vertasi SCAMMER4U-sivuja todellisiin tietojenkalastelusivustoihin eikä suoriutunut sattumaa paremmin. Tutkimuksen mukaan tämä viittaa siihen, että vertailutesti tavoitti monia todellisissa verkkohuijauksissa esiintyviä visuaalisia ja menettelyihin liittyviä vihjeitä.
Johtopäätös
Testatut mallit, jotka edustavat laajasti logiikka-arkkitehtuureja suosituissa LLM-perheissä, näyttävät kärsivän sisäisestä ongelmasta vetäytymisessä tunnistetuista vaarallisista tilanteista tai hillitsemisessä omia toimintapakkojaan. Logiikka viittaa siihen, että tämä saattaa liittyä yleisempään vaikeuteen, jota edistyneillä kielimalleilla tiedetään olevan tappion myöntämisessä – olennainen selviytymistaito, jota voidaan tällä hetkellä vain ulkoisesti asettaa järjestelmän ohjausten, toissijaisten järjestelmien ja lähtörajoitusten kautta.
Jos kuvattu kuilu havaitun vaaran ja toiminnan jatkamiseen kohdistuvan pakon välillä on todella sisäsyntyinen osa LLM-arkkitehtuuria eikä sitä voida korjata itse mallissa, ainoa vaihtoehto näyttää olevan se, että järjestelmän toimintaa valvotaan algoritmien avulla kriittisissä tilanteissa – mikä käytännössä rajoittaa agentin hyödyn tiukemmin ennalta määriteltyyn RPA-tyyppiseen toimintoon.
Julkaistu lauantaina, 6. kesäkuuta 2026












