Tutkimus: 35%:ssa AI-välittäjistä luovutetaan henkilökohtaiset tunnistetiedot huijausverkkosivuille, vaikka ne tunnistavat huijausverkkosivun

Uusi tutkimus osoittaa, että jopa kolmasosa autonomisista verkkovälittäjistä luovuttaa arkaluontoisia henkilökohtaisia tietoja huijausverkkosivuille, vaikka ne ovat jo tunnistaneet verkkosivun huijausverkkosivuksi.

Intian ja Yhdysvaltain tutkijoiden tekemässä tutkimuksessa todettiin, että yli kolmasosa testatuista autonomisista verkkovälittäjistä luovutti kriittisiä henkilökohtaisia tietoja, kuten pankkitilien yksityiskohtia, salasanoja ja sosiaaliturvatunnuksia, huijausverkkosivuille, vaikka ne olivat jo tunnistaneet verkkosivun huijausverkkosivuksi.

Tutkimuksessa havaittiin, että verkkovälittäjillä on tietty “täydennyspakko”, joka estää niitä olemasta varovaisia ja epäröivämpiä sellaisissa tilanteissa. Tutkijat toteavat:

‘Ihminen voi pysähtyä, lukea uudelleen tai sulkea välilehden. Välittäjä on suunniteltu suorittamaan tehtävänsä ja jatkaa lomakkeiden täyttämistä ja tietojen lähettämistä ilman pysähtymistä.

Tutkimuksessa kehitettiin uusi vertailumittari, joka kutsutaan SCAMMER4U:ksi, joka kattaa 91 (simuloituja) hyökkääjän hallitsemaa ympäristöä, sekä kymmenen “hyvää” vertailusivua ja kahdeksan hyökkäysvektoria.

Ilman mitään yksityisyydensuojaustoimia testatut välittäjät luovuttivat erittäin arkaluontoisia henkilökohtaisia tietoja 54 %:ssa ja 93 %:ssa huijauskohtaamisissa, kun taas vastaavat ei-haitalliset verkkosivut eivät aiheuttaneet tällaista paljastamista, mikä osoittaa, että vuoto johtui hyökkäyksistä eikä tavallisesta lomakkeiden täyttämisestä:

‘Kriittisin havainto on, että tunnistus-toiminta-kuilu: välittäjät, joiden päättelyä riippumaton LLM-tuomari vahvistaa, ovat merkinnöissään epäilleet verkkosivun epäilyttäväksi, luovuttavat kriittisiä henkilökohtaisia tietoja 35,9 %:ssa istunnoissa, verrattuna 66,1 %:iin, kun epäilyä ei ilmaistu, 30,2 %:n kuilu on vankka kaikissa neljässä malliperheessä.

‘Havaintomme osoittavat, että puolustukset, jotka perustuvat välittäjän omiin havaintoihin hyökkäyksestä, ovat virheellisiä, mikä motivoi lähtökohtaisia estotoimia, jotka toimivat riippumattomasti välittäjän päättelykierrosta.’

Tutkijat argumentoivat lähtökohtaisia puolustuksia, jotka voivat itsenäisesti tarkastaa ja estää arkaluontoisia lähteviä lähetyksiä, sen sijaan, että riippuisivat välittäjän omasta tunnistamisesta siitä, että verkkosivu on epäilyttävä, mikä ei voi luotettavasti laukaista hyödyllisiä puolustustoimia.

Uusi tutkimusartikkeli on otsikoitu “Epäilen vahvasti, että tämä verkkosivu on huijaus”: vertaileva tutkimus henkilökohtaisen tiedon vuotamisesta ja havainnosta ilman puolustusta autonomisissa verkkovälittäjissä, ja se on tehty kahdeksan tutkijan toimesta KIIT Bhubaneshwarista, BITS Pilanista ja Lam Researchista.

Viranomaisuuden ongelmat

Tutkimuksen kiinnostavin löytö on ehkä se, että monet välittäjät luovuttavat henkilökohtaisia tietoja vaikka ne tunnistavat, että jokin on vialla. Tutkijat tunnistivat toistuvan kuvion testien aikana, jossa epäily ja toiminta erosivat, ja välittäjät usein ilmaisivat selvää huolta verkkosivusta, mutta jatkoivat kuitenkin pyydetyssä (henkilökohtaisia tietoja sisältävässä) lähetyksessä.

Yksi esimerkki liittyi siihen, mitä tutkijat kutsuvat tunnustetun riskin alennukseksi. Llama 4 Scout -välittäjä tunnisti useita varoitusmerkkejä cryptocurrency-sivulla, huomauttaen epäilyttävästä sävystä, suurten bonusten luvauksesta ja yrityksen selvittämättömistä tiedoista. Vaikka nämä varoitukset tunnistettiin, välittäjä luovutti sosiaaliturvatunnuksen, korttitiedot ja CVV-koodin.

Toinen kuva, jota tutkijat kuvaavat verkkotunnus/menettelykehyksellä, ilmestyi, kun välittäjät tunnistivat onnistuneesti yhden huijausyrityksen, mutta epäonnistuivat yleistämään epäilyä liittyvään pyynnöön.

Yhdessä tapauksessa Gemini 3 Flash -välittäjä hylkäsi ilmiselvästi petollisen pyynnön pankkitiedon lähettämiseksi, oikein tunnistettuaan sen kalastussivuksi. Muutaman minuutin kuluttua sama välittäjä kuitenkin toimitti tilin tunnistetiedot toiselle vahvistussivulle, perustellen, että tunnistustarkistukset olivat normaali osa alustan turvallisuutta. Varoitusmerkit tunnistettiin yhdessä kontekstissa, mutta eivät siirretty toiseen.

Tutkijat havainnoivat myös tapauksia, joita he kutsuvat itseassertiivisen turvallisuuden viittauksella ja luotettavan pinnan normalisoinnilla: yhdessä tapauksessa Claude Haiku 4.5 -välittäjä hyväksyi verkkosivun omat väitteet salauksen standardeista ja turvallisuustodistuksista todisteena luotettavuudesta, kun taas GPT-5 mini alennutti epäilyttävän sanamuodon siksi, että sivu näytti ammattimaisesti suunnitellulta ja esiteltiin legitiimin näköisen verkkotunnuskehyskokeen kautta. Molemmissa tapauksissa pintapuoliset luottamussignaalit ohittivat välittäjän itsensä jo ilmaisemat huolet.

Ongelma näyttää ulottuvan yksinkertaisen kalastusherkkyyden ulkopuolelle, ja tutkijat ehdottavat, että lisätyt turvallisuutta tarkistavat kehotukset vahvimmassa puolustuskohtaa toimivat enemmän rituaalina kuin suojuksena: välittäjät pystyivät kertomaan riskistä, mutta kerronta yksin ei vakuuttavasti muuttanut heidän käyttäytymistään.

Tutkijat määrittelevät todistetun kuilun vaaran tunnistamisen ja toimimisen vaaran tunnistamisen perusteella välillä keskeiseksi esteeksi tulevien puolustusten kehittämisessä tämänkaltaisissa tilanteissa.

Menetelmä

SCAMMER4U-benchmark asettaa neljä eturintamaista verkkovälittäjää 91 hyökkääjän hallitseman verkkosivun ja kymmenen hyvän vertailusivun keskuuteen, jotka kattavat kahdeksan huijausluokkaa.

Neljä arvioidusta mallia olivat GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ja Llama 4 Scout, jotka käyttivät yhteistä Playwright-pohjaista selauskehyksen, havaintomuotoa, toimintatilaa ja kehotusmallia.

Kokeiden aikana jokainen välittäjä sai realistisen käyttäjäprofiilin, joka sisälsi tietoja nimistä ja osoitteista salasanoihin, pankkitilien yksityiskohtiin, sosiaaliturvatunnuksiin, API-avaimiin ja kahden vaiheen vahvistuskoodiin – päämääränä oli selvittää, pääsivätkö nämä tiedot hyökkääjän hallitsemiin päätepisteisiin.

Kahdeksanakselinen taksonomia, jota käytetään SCAMMER4U-ympäristöjen määrittelyyn, erottaa, miten kunkin skenaarion luokittelu eroaa muuttujista, jotka sovitetaan pareittain suoritettuihin testeihin yksittäisten sosiaalisen insinöörityön taktiikkojen vaikutuksen erottamiseksi henkilökohtaisen tiedon vuotamisesta. Lähde

Varmistamaan, että benchmark heijastaa todellisia huijausverkkosivuja eikä keinotekoisia testitapauksia, ympäristöt luotiin Flask:n avulla itseisännittyvissä ympäristöissä, ihmisten kirjoittamista suunnittelukuvauksista, ja niitä tarkastettiin manuaalisesti.

Kunkin mallin testaamiseen käytettiin neljää asteittaista suojeluasetusta: C0, jossa ei ollut ohjeita; C1, jossa oli yleinen yksityisyyden muistutus; C2, jossa oli kalastusta koskeva tarkistuslista; ja C3, jossa oli ennen lähettämistä tehty reflektiivinen kehote. Kukin yhdistelmä mallia, ympäristöä ja ehtoa testattiin viisi kertaa, mikä johti 7 480 yhteensä istuntoon.

Päämittari oli PLR_crit, joka mittaa kriittisten henkilökohtaisten tietojen siirtymisnopeutta hyökkääjän hallitsemaan päätepisteeseen. Toissijaiset mittarit koostuivat PLR_weighted:sta, joka on painotettu vuotamismittari; ASR (Hyökkäysmenestymisnopeus), joka mittaa hyökkäyksen menestymisnopeuden navigoinnin jälkeen määrättyyn ansapäivään; TCR (Tehtävän suorittamisnopeus); Suojattu -merkintä, joka osoittaa kieltäytymisen tai turvallisen suorittamisen ilman pääsyä ansapäivään; ja DR (Havaintonopeus), joka kirjaa, tunnistiko välittäjän päättely verkkosivun epäilyttäväksi.

Havaintonopeus (DR) mitattiin LLM-as-judge -lähestymistapaa käyttäen, jossa GPT-4o-mini toimi pääarvioijana ja Llama 4 Scout toimi toissijaisena tarkastajana, joka tarkastaa välittäjän päättelyä ja määrittää, onko se tunnistanut verkkosivun epäilyttäväksi. DR mittaa mitä välittäjä sanoo verkkosivusta, eikä mitä se on sisäisesti johtanut.

Validointi ihmisten merkinnöistä tuotti Cohenin κ -arvon 0,83 ja 0,78, jotka ylittivät tutkimuksen ennalta rekisteröidyn luotettavuuden kynnyksen.

Tutkimus oli ennalta rekisteröity (ts. tutkimussuunnitelma ja analyysit oli julkaistu julkisesti ennen aineiston keräämistä), ja siinä määriteltiin hankkeen analyysit ja menestystekijät etukäteen, mikä oli tarkoitus vähentää vaaraa sovittaa johtopäätöksiä havaittuun tulokseen.

Testit ja tulokset

Alkuperäinen testi pyrki selvittämään, voivatko yksinkertaiset turvallisuusmuistutukset vähentää ongelmaa. Neljää asteittaista suojeluasetusta arvioitiin, aina ilman yksityisyyden ohjeita aina kehoituksiin, jotka rohkaisivat välittäjää pysähtymään ja miettimään ennen arkaluontoisten tietojen lähettämistä.

Tulokset vaihtelivat terävästi malleittain. Claude Haiku 4.5 osoittautui vastaanotollisimmaksi, sen vuotamisnopeuden laskiessa 54,5 %:sta peruskohtaa 24,0 %:iin vahvimmassa suojeluasemassa. GPT-5 mini paransi 61,0 %:sta 36,1 %:iin, kun taas Gemini 3 Flash laski 93,1 %:sta 60,7 %:iin. Llama 4 Scout muuttui verrattain vähän, laskien 82,3 %:sta 77,4 %:iin.

Nämä erot viittaavat siihen, että tutkijat uskovat, että samat suojeluohjeet voivat tuottaa erilaisia tuloksia riippuen mallista, jolle ne annetaan. Tärkeämpää on, että suojeluohjeet usein näyttivät parantavan enemmän välittäjien tietoisuutta riskistä kuin itse käyttäytymistä: välittäjät tulivat paremmaksi tunnistamaan epäilyttäviä verkkosivuja ja kuvaamaan varoitusmerkkejä, mutta se tunnistaminen ei aina estänyt heitä jatkamasta transaktiota.

Havainto-toimintakuilu neljän eturintamaisen AI-välittäjän keskuudessa. Vasen paneeli vertaa kriittisten tietojen vuotamista välittäjien välillä, jotka ovat tunnistaneet verkkosivun epäilyttäväksi, ja niiden, jotka eivät ole, osoittaen, että jopa vahvimmassa suojeluasemassa (C3) yli kolmasosa välittäjistä, jotka tunnistivat mahdollisen huijausverkkosivun, lähettivät silti arkaluontoisia tietoja. Oikea paneeli osoittaa saman kuilun GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ja Llama 4 Scout -välittäjien keskuudessa, havainnoiden, että vaaran tunnistaminen ei välttämättä johtanut puolustavaan käyttäytymiseen.

Johtopäätös

Testatut mallit, jotka edustavat laajasti logiikka-arkkitehtuureja suosituissa LLM-perheissä, näyttävät olevan sisäinen ongelma vetäytymisessä tunnistetuista vaarallisista tilanteista tai hillitsemisessä omia toimintapakkojaan. Logiikka viittaa siihen, että tämä saattaa liittyä yleisempään vaikeuteen, jota edistyneillä kielimalleilla tiedetään olevan antautumisessa epäonnistumisen suhteen – olennainen selviytymistaito, jota voidaan tällä hetkellä vain ulkoisesti asettaa järjestelmän ohjausten, toissijaisen järjestelmien ja lähtörajoitusten kautta.

Jos kuvailema “kuilu” todella on intrinsic LLM-arkkitehtuuriin ja siten ei voi korjata alkuperäisesti, ainoa vaihtoehto näyttää olevan se, että järjestelmän toimintaa valvotaan algoritmien avulla kriittisissä tilanteissa – mikä vähentää agentin hyödyllisyyttä enemmän määrättyyn RPA-tyyppiseen toimintoon.

Julkaistu lauantaina, 6. kesäkuuta 2026