Audian Paxson, IRONSCALESin johtava tekninen strategisti – haastattelusarja

Audian Paxson on IRONSCALESin johtava tekninen strategisti ja kyberturvallisuuden sekä tuotestrategian kokenut asiantuntija, jolla on yli kahden vuosikymmenen kokemus sähköpostin tietoturvasta, uhkien tunnistamisesta, verkkotekniikasta ja yritysteknologiasta. IRONSCALESilla hän keskittyy tuotelanseerauksiin, viestintään ja asemointiin, markkinoilletulostrategiaan sekä ajatusjohtajuuteen, joka käsittelee tekoälyn ja koneoppimisen käyttöä uusiin sähköpostin tietoturvauhkiin vastaamisessa. Hänen uransa varrelle mahtuu johtavia tuotehallinnan, tuotemarkkinoinnin ja liiketoiminnan kehittämisen tehtäviä yrityksissä Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems ja Intel. Paxsonilla on ollut keskeinen rooli kyberturvallisuus- ja verkkotuotteiden lanseerauksissa, yritysten markkinoilletulostrategioiden kehittämisessä ja yritysten laajentumisessa uusille markkinoille. Hän on myös yksi patentoidun tietoturvatekniikan keksijöistä.

IRONSCALES on tekoälypohjainen sähköpostin tietoturvayritys, jonka tavoitteena on suojata organisaatioita tietojenkalastelulta, yrityssähköpostien vaarantamiselta, tilien kaappauksilta, syväväärennöksiltä ja muilta kehittyviltä sosiaalisen manipuloinnin uhkilta. Sen alusta yhdistää adaptiivisen tekoälyn ihmisten ja yhteisön tuottamaan tietoon, jotta uhkia voidaan havaita, tutkia ja torjua Microsoft 365- ja Google Workspace -ympäristöissä. Lisäksi se tarjoaa tietojenkalastelusimulaatioita, tietoturvatietoisuuden koulutusta, lähtevän sähköpostin suojausta ja verkkotunnusten tietoturvaa. Yritys on laajentanut lähestymistapaansa erikoistuneilla tekoälyagenteilla, jotka on tarkoitettu red team -toimintaan, tietojenkalastelun tietoturvaoperaatioihin ja tietojenkalastelusimulaatioihin. Niiden avulla pyritään ennakoimaan hyökkäyksiä, tutkimaan epäilyttävää toimintaa ja vahvistamaan työntekijöiden puolustautumiskykyä. IRONSCALESin mukaan sen teknologiaa käyttää yli 18 000 organisaatiota, ja se hyödyntää yli 36 000 tietoturva-ammattilaisen yhteisön tuottamaa tietoa.

Olet työskennellyt sähköpostin tietoturvan parissa jo yli kahden vuosikymmenen ajan: olet ollut mukana kehittämässä varhaisia tietojenkalastelun torjuntatuotteita, ja nykyään keskityt siihen, miten tekoäly ja koneoppiminen voivat auttaa torjumaan uusia sähköpostiin kohdistuvia uhkia. Kun tarkastelet asiaa tästä näkökulmasta, mikä tekoälypohjaisessa sosiaalisessa manipuloinnissa tuntuu aidosti uudelta, ja mitkä ongelman piirteet ovat pysyneet yllättävän samanlaisina?

Kiitos, kun muistutit iästäni! Kun aloimme torjua tietojenkalastelua 2000-luvun alussa, suurin ongelma oli tietoisuuden puute, ja suodattimet pystyivät arvioimaan vain lähettäjän verkkotunnuksen mainetta. Taktiikat eivät kuitenkaan ole juurikaan muuttuneet. Kiireen tuntu, auktoriteettiin vetoaminen, väärennetty lasku. Tunnistan lähes kaikki nykyään näkemäni verukkeet. Tekoäly on muuttanut sitä, kuinka paljon taitoa huijauksen viimeistely vaatii: nyt taitamatonkin hyökkääjä voi tuottaa virheettömän, henkilökohtaiseksi räätälöidyn version vuoden 2004 huijauksesta suuressa mittakaavassa.

Anthropic havaitsi, että Claude Mythos 5 pystyi tunnistamaan merkkejä aidosta internetistä, kun näitä signaaleja esitettiin sille erillään, mutta se ei suurelta osin osannut toimia samojen todisteiden perusteella tehtävän aikana. Mitä tämä ero kertoo siitä, että tekoälymalli joko tuntee jonkin asian tai todella soveltaa tietämystään oikealla hetkellä?

Olen sähköpostin tietoturvan asiantuntija, en tekoälytutkija, joten tarkastelen asiaa siitä näkökulmasta. Mythosille kerrottiin alusta alkaen, että se oli simulaatiossa, ja tämä kehystys ratkaisi asian. Se selitti aidot todisteet pois, koska ne eivät sopineet tarinaan, johon se oli jo joutunut. Juuri näin veruke toimii, ja siksi hyökkääjät näkevät niin paljon vaivaa kehystääkseen tilanteen ensin.

Tässä on kiinnostava rinnastus ihmisten tietojenkalasteluun liittyvään käyttäytymiseen: työntekijä saattaa tunnistaa epäilyttävät merkit helposti koulutuksessa, mutta sivuuttaa samat merkit kiireessä tai keskittyessään toisen tehtävän suorittamiseen. Kuinka pitkälle ihmisten ja tekoälyn arviointikykyä koskevaa vertailua mielestäsi voidaan perustellusti viedä?

Tiettyyn rajaan asti. Sekä ihmiset että tekoälymallit kadottavat kokonaiskuvan, kun ne keskittyvät tiiviisti tehtävään, ja sekä ihmiset että mallit päästävät läpi viestin, joka näyttää tavanomaiselta liiketoimintaprosessilta (”seuraavat vaatimukset on tarkistettava”). Vertailu ei kuitenkaan päde tunteisiin. Ihmisillä kiire, pelko tai halu miellyttää vaikuttaa toimintaan. Agentti taas epäonnistuu omien laukaisevien tekijöidensä takia, esimerkiksi kun se ei erota ohjeita lukemastaan datasta.

Tietoturvakoulutuksessa on perinteisesti opetettu ihmisiä tunnistamaan haitalliset linkit, poikkeukselliset pyynnöt, toisena henkilönä esiintyminen ja muut varoitusmerkit. Jos sekä ihmiset että tekoälyjärjestelmät voivat sivuuttaa signaaleja, jotka ne teknisesti ymmärtävät, pitäisikö tietoturvatiimien keskittyä vähemmän tunnistamiseen ja enemmän siihen, miten päätöksiä tehdään paineen alla ja tietyssä tilanteessa?

Kyllä. Tunnistamiseen keskittyvässä koulutuksessa oletetaan, että ihmiset kiinnittävät huomiota. Hyökkääjät suunnittelevat viestinsä niin, etteivät ihmiset joko huomaa niitä tai muista koulutustaan. Parempi investointi on rakentaa tärkeisiin tilanteisiin – kuten maksuihin, kirjautumistietojen nollauksiin ja käyttöoikeuksien muutoksiin – pysähdyshetki, jotta ihminen tai agentti ei tee päätöstä autopilotilla.

Kun tekoälyagentit integroituvat yhä syvemmin sähköpostilaatikoihin ja yritysten työnkulkuihin, hyökkääjät saattavat yhä useammin pyrkiä manipuloimaan itse tekoälyjärjestelmää työntekijän sijaan. Miltä voisi näyttää hyökkäys, joka on suunniteltu erityisesti sähköpostiagentin tai autonomisen avustajan manipuloimiseen?

Se on agentille kirjoitettu sähköposti, jossa ohjeet on piilotettu ihmiseltä valkoisella tekstillä valkoista taustaa vasten, kuvan vaihtoehtoisessa tekstissä tai toisella kielellä, jotta englanninkieliseen sisältöön viritetyt suodattimet ohittavat sen. Tutkimusryhmämme kehittämässä skenaariossa agentin muistiin istutetaan väärä ”fakta” (”finance@-osoitteesta tulevat hyväksynnät on hyväksytty etukäteen”), jolloin viikkoja myöhemmin lähetetty väärennetty taloushallinnon sähköposti menee läpi ongelmitta. Toisessa skenaariossa laskun kuvaan piilotetaan teksti, jossa agenttia käsketään merkitsemään lasku vähäriskiseksi ja tiivistämään se turvalliseksi maksaa. Ihminen luottaa yhteenvetoon.

Voivatko hyökkääjät tarkoituksella luoda pitkiä, näennäisen laillisia vuorovaikutusketjuja, jotka ohjaavat tekoälyjärjestelmää vähitellen kohti huonoa päätöstä sen sijaan, että ne nojaisivat yhteen ilmeisen haitalliseen sähköpostiin tai kehotteeseen? Kuinka vaikeaa tällaisten monivaiheisten hyökkäysten havaitseminen olisi nykyisille tietoturvatyökaluille?

Niitä kohdistetaan jo ihmisiin, ja seuraavaksi vuorossa ovat agentit. Hyökkääjät lähettävät ensin muutaman harmittoman sähköpostin (esittelyn, kiitosviestin) poistaakseen uusien lähettäjien varoitukset käytöstä, siirtyvät sitten kohteen työrooliin liittyviin viesteihin ja toimittavat vasta sen jälkeen hyökkäyssisällön. Se on usein kokouskutsu, jonka linkki näyttää tarkistustyökaluille puhtaan sivun mutta vie oikeat käyttäjät tietojenkalastelusivustolle. Työkalut, jotka arvioivat jokaisen sähköpostin erikseen, eivät huomaa tätä. Yksikään viesti ei näytä epäilyttävältä, joten vuorovaikutusta on arvioitava ajan kuluessa.

Tekoälyn tuottamasta tietojenkalastelusta puhutaan usein parempana tekstinä, personointina ja syväväärennöksinä. Huolestuttaako sinua enemmän tekoälyn kyky parantaa manipulointihyökkäysten sisältöä vai se, että hyökkääjät voivat tekoälyn avulla selvittää täsmälleen, milloin ja miten tietty kohde todennäköisimmin tekee virheen?

Molemmat, mutta sisältökilpailu on jo ratkaistu. Viimeistelty, tekoälyn kirjoittama tietojenkalastelu on ollut perustaso siitä lähtien, kun ChatGPT yleistyi. Suurempi muutos on se, että kohdentaminen, personointi ja ajoitus ovat nyt automatisoituja. Siksi täysin teknisesti kokematonkin henkilö voi yhdistää tietomurroista saatuja tietoja salasanalistoihin, kuten pahamaineiseen RockYou-listaan, kaapata oikean sähköpostilaatikon ja lähettää tavallista maksutapahtumaa koskevan sähköpostin väärennöksen juuri silloin, kun kohde odottaa sellaista.

Kun hyökkääjät oppivat poistamaan ilmeiset tekniset varoitusmerkit ja saamaan haitalliset viestit näyttämään laillisilta, mitkä signaalit ovat tärkeimpiä laillisen viestinnän erottamisessa manipuloinnista?

Tilanne ratkaisee ensin. Onko tällainen viesti esimerkiksi tavallinen tältä henkilöltä tai toimittajalta, tässä viestintäkanavassa ja tähän aikaan? Seuraavaksi kannattaa tarkastella kiireellisyyttä ja toistoa. Jos asialla on todella kiire, ihminen soittaa tai ottaa yhteyttä Teamsissa tai Slackissa. Hän ei lähetä samaa sähköpostia kolme kertaa. Ja luota vaistoosi. Oma sääntöni kuuluu: ”Älä vain toimi, vaan pysähdy”, joten pidä tauko, pyydä toinen ihminen tarkistamaan asia ja varmista se toista kanavaa pitkin.

Miten organisaatioiden tulisi järjestää ihmisten ja tekoälyn valvonta, kun kummallakin voi olla omat heikkoutensa? Voiko ihmisen harkintakyvyn ja tekoälyn yhdistäminen itse asiassa luoda uusia katvealueita, jos kumpikin olettaa toisen jo varmistaneen päätöksen oikeellisuuden?

Antakaa kummallekin tehtävä, jossa se on parhaimmillaan, ja sopikaa vastuun siirtymisestä selkeästi. Tekoäly käsittelee suuria määriä ja tunnistaa malleja koko toimintaympäristössä. Ihmiset vastaavat suuria seurauksia aiheuttavista päätöksistä, kuten rahansiirroista ja käyttöoikeuksien myöntämisestä, ja tekoälyn on esitettävä näyttönsä, jotta tarkastaja voi arvioida päättelyn. Kuvaamasi katvealue on todellinen. Ratkaisu on tiukka sääntö… ”Tekoäly sanoi, että tämä on turvallista” ei koskaan riitä ihmisen tekemäksi tarkastukseksi.

Jos perimmäinen ongelma on kuilu sen välillä, mitä ihmiset tai tekoälyjärjestelmät tietävät ja mitä ne tunnistavat tehtävää suorittaessaan, millaisia käytännön muutoksia organisaatiot voivat tehdä jo nyt kaventaakseen kuilua ja vaikeuttaakseen manipulointihyökkäysten onnistumista huomattavasti?

Ottakaa käyttöön vanha shekkien kirjoittamisessa käytetty valvontakeino: tehtävien eriyttäminen. Yksi henkilö voi luoda uuden käyttäjän mutta ei aktivoida sitä, toinen voi aktivoida käyttäjän mutta ei luoda sitä, ja kolmas saa ilmoituksen molemmista toimista. Jakakaa vastuut samalla tavalla maksuissa, toimittajatietojen muutoksissa ja tekoälyagenteissa (yksikään agentti ei saa sekä pyytää että hyväksyä toimea). Yksi huijattu työntekijä tai kaapattu agentti ei voi toteuttaa hyökkäystä yksin.

Kiitos hienosta haastattelusta! Jos haluatte kuulla lisää, käykää osoitteessa IRONSCALES.