Simon Edwards, SE Labsin toimitusjohtaja ja perustaja – haastattelusarja

Simon Edwards, SE Labsin toimitusjohtaja ja perustaja, on kyberturvallisuuden testausasiantuntija, jolla on yli kolmen vuosikymmenen kokemus turvallisuustutkimuksesta, tuotearvioinnista, teknisestä journalismista ja alan standardeista. Ennen SE Labsin perustamista vuonna 2015 Edwards johti Dennis Technology Labsia, jossa hän johti turvallisuustestauksen aloitteita, ja aikaisemmin hän vietti monia vuosia teknologiajournalistina ja toimittajana. Hän on myös toiminut johtavissa tehtävissä Anti-Malware Testing Standards Organization (AMTSO) -järjestössä, mukaan lukien puheenjohtaja, direktor ja varapuheenjohtaja. Edwards on testannut turvallisuustuotteita keskivuosien 1990‑luku alusta lähtien ja oli varhaisen todellisen maailman haittaohjelmistotestauksen edelläkävijä, jonka tavoitteena oli arvioida, miten turvallisuusteknologiat suoriutuvat täydellisistä, internetin kautta toimitetuista hyökkäyksistä erillisten haittaohjelmien näytteiden sijaan.

SE Labs on itsenäinen kyberturvallisuuden testaus- ja neuvontayritys, joka arvioi, miten turvallisuusteknologiat toimivat realistisia hyökkäyksiä vastaan. Sen tutkijat toistavat hyökkääjän tekniikoita koko hyökkäysketjussa arvioidakseen tuotteita, kuten päätelaitteiden suojaus, Endpoint Detection and Response (EDR), pilviturvallisuuspalvelut, palomuurit, sähköpostiturvallisuus ja verkon havaitsemisteknologiat. Julkisen vertailutestauksen ohella SE Labs tarjoaa sertifiointia, kehittynyttä turvallisuustestausta, tuotetarkastusta ja neuvontapalveluita yrityksille sekä kyberturvallisuuden toimittajille. Yritys julkaisee testausmenetelmänsä ja uhkien emulointikehykset, ja se on sertifioitu ISO/IEC 27001:2022- ja BS EN ISO 9001:2015 -standardien mukaisesti IT‑turvallisuustuotteiden testauspalveluiden tarjoamisesta.

Uraasi kattaa yli kolmen vuosikymmenen ajan teknologiajournalismissa, turvallisuuskonsultoinnissa, itsenäisessä testauksessa sekä johtotehtävissä Anti-Malware Testing Standards Organization (AMTSO) -järjestössä. Miten tämä kokemus on muokannut tapaa, jolla erotat aitoja edistysaskeleita tekoälypohjaisessa kyberturvallisuudessa teknologioista, joita lähinnä markkinoinnin vuoksi asemoidaan “tekoälyksi”?

Journalismi opetti minua kyseenalaistamaan väitteitä, kun taas itsenäinen testaus opetti, että ainoa luotettava vastaus perustuu todisteisiin. Kyberturvallisuusyritykset ovat käyttäneet koneoppimista ja automatisoitua päätöksentekoa monien vuosien ajan, joten “AI”:n lisääminen tuotteen nimeen ei välttämättä edusta teknistä edistysaskelta.

Kolme perusasiaa, jotka on otettava huomioon: Mitä tekoäly oikeastaan tekee? Mitä mitattavaa turvallisuustulosta se parantaa? Ja voiko itsenäinen testaaja toistaa tuon parannuksen?

Jos vastaus on yksinkertaisesti, että tuote analysoi suurta määrää dataa tai automatisoi olemassa olevan prosessin, tekoälymerkintä voi olla enemmän asemoitumista kuin todellista kykyä.

Aito edistysaskel suoriutuu hyvin tuntemattomia tai täysin uusia hyökkäyksiä vastaan, parantaa suojausta tai reagointia, vähentää analyytikoiden kuormitusta, ja tekee sen ilman sietämättömiä riskejä. Kaikki muu on joko parannuksen puutetta tai heikennys!

“AI‑ohjattu” on tullut yleiseksi väitteeksi kyberturvallisuustuotteissa. Mitkä ovat tärkeimmät ominaisuudet, jotka tulisi testata itsenäisesti ennen kuin organisaatio hyväksyy, että tekoälypohjainen turvallisuusalusta todella toimittaa sen, mitä toimittaja lupaa?

En alkaisi testaamalla, sisältääkö tuote tekoälyä. Aloittaisin testaamalla sille esitetyt turvallisuusväitteet. En oikeastaan välitä siitä, miten tuote toimii, kunhan se toimii. Tämä on juuri PIVOT-testiohjelman tavoite, joka saa tällä hetkellä paljon huomiota alalla.

Tämäntyyppinen testaus tarkoittaa tuotteen altistamista täydellisille hyökkäyksille ja sen reagoinnin mittaamista. Sen tulisi todennäköisesti havaita toiminta ja sen jälkeen ehkä estää hyökkäyksen eteneminen. Tämä riippuu siitä, miten tuote on rakennettu ja konfiguroitu. Ja siitä, millaisia markkinointiväitteitä sen toimittaja esittää.

Meidän on myös tarkasteltava asiakkaalle esitettyä tutkivaa tarinaa. Ymmärsikö järjestelmä, mitä tapahtui, yhdistikö siihen liittyvät tapahtumat ja teki‑kö se todisteet näkyviksi henkilölle, jonka on toimittava niiden perusteella?

Testin tulisi sisältää tuntemattomia variaatioita, realistisia asiakasasetuksia ja normaalia liiketoimintatoimintaa. Sen on myös mitattava väärät positiiviset, resurssivaatimukset ja toimet, jotka voidaan katsoa mahdollisesti epävarmoiksi. Jos järjestelmä on autonominen, meidän on tiedettävä, milloin se toimii, miksi se toimii, mitä oikeuksia se käyttää ja voidaanko sen päätökset peruuttaa.

Olemme nähneet uutisissa muutamia tarinoita tekoälyturvallisuudesta, joka on mennyt harhaan ja ylittänyt rajansa sekä mahdollisesti lain. Tärkeä kysymys ei ole, vaikuttaako alusta älykkäältä, vaan tuottaako se johdonmukaisesti parempia ja turvallisempia turvallisuustuloksia.

Autonomiset tekoälyagentit voivat mahdollisesti suorittaa tiedustelua, hyväksikäyttöä, lateraalista liikettä ja muita hyökkäyksen vaiheita paljon nopeammin kuin ihmishyökkääjä. Miten kyberturvallisuustestauksen on muututtava, kun hyökkäykset alkavat toimia koneen nopeudella?

Testauksen yksikkö on muutettava yksittäisestä tekniikasta kokonaiskampanjaan, joka toimii aikapaineen alaisena. Tällä tarkoitan, että sen sijaan että kokeiltaisiin erilaisia hyökkäystapoja aamun tai viikon aikana, tiettyjen turvallisuustoimenpiteiden testaaminen on tehtävä nopeasti. Muuten se ei ole realistista, ja realismi on erittäin tärkeää.

Perinteiset testit saattavat jättää kätevän aukon vaiheiden väliin, jotta jokainen tapahtuma voidaan tarkastella erikseen. Autonominen hyökkääjä voi tiivistää tiedustelun, hyväksikäytön ja lateraalisen liikkumisen paljon lyhyempään ajanjaksoon. Tämä voi paljastaa heikkouksia, joita hitaammat testit eivät näe, kuten viiveet telemetriassa, ylikuormitetut järjestelmät ja puolustustoimet, jotka saapuvat vasta sen jälkeen, kun hyökkäys on saavuttanut tavoitteensa.

Jotta saisimme äärimmäisen yksinkertaisen esimerkin, jos hakkeroimme Macin, lataamme kaikki sen tiedostot ja varastamme tilin salasanat, se ei ole kovin hyödyllistä, jos virustorjunta ilmestyy päivän kuluttua huonoine uutisineen.

Turvallisuusvasteiden testaaminen tekoälyhyökkääjiä vastaan vaatii siis korkean resoluution instrumentaatiota ja tarkkaa havaitsemis- ja vasteviiveen mittausta. Sen on tarkasteltava, heikentyykö suorituskyky, kun toiminnan määrä ja nopeus kasvavat, ja pystyykö puolustus keskeyttämään hyökkäyksen odottamatta ihmispäätöstä jokaisessa vaiheessa.

Hyökkäys voi myös mukautua siihen, mitä se havaitsee. Testauksen on heijastettava tätä säilyttäen totuudenmukainen perusta, todisteet ja toistettavuus. Koneen nopeus ei saa tarkoittaa hallitun menetelmän hylkäämistä. Meidän on jatkettava hallittujen testien suunnittelua, jotka voivat toimia ja mitata tapahtumia samalla nopeudella kuin arvioitavat järjestelmät.

SE Labs käyttää realistisia hyökkäysskenaarioita, jotka perustuvat uhkaryhmien, kuten Scattered Spiderin, taktiikoihin ja tekniikoihin. Kuinka luot näitä vastustajia hallitussa ympäristössä varmistaen, että testi heijastaa todellisen hyökkäyksen kulkua eikä pelkästään testaa ennalta määriteltyä tarkistuslistaa?

Aloitamme vastustajan tavoitteista, tunnetuista käyttäytymisistä ja todennäköisistä päätöksistä sen sijaan, että käsittelisimme sen tekniikat ostoslistana.

Testi seuraa realistista hyökkäysketjua tiedustelusta, alkupääsystä, suorituksesta, oikeuksien laajentamisesta, kompromissin jälkeisestä toiminnasta ja lateraalisesta liikkumisesta. Tärkeää on, että testaaja voi käyttää vain tiedustelun ja hyökkäyksen aikana todellisesti löydettyä tietoa. Emme anna hyökkääjälle tietoa, jota ei olisi saatavilla todellisessa sitoumuksessa.

Skenaario on rajattu ja tarkasti hallittu, mutta se ei ole pelkästään ennalta määrättyjen napinpainallusten sarja. Jos yksi reitti on estetty, hyökkääjä voi hakeutua uskottavaan vaihtoehtoiseen reittiin testin sääntöjen puitteissa. Tämä antaa turvallisuustuotteelle mahdollisuuden vaikuttaa siihen, miten skenaario etenee.

Samanaikaisesti jokainen tärkeä toiminto ja tulos kirjataan, jotta voimme selittää lopputuloksen ja vertailla tuotteita reilusti. Hallittu ei tarvitse tarkoittaa jäykkää käsikirjoitusta. Sen tulisi tarkoittaa turvallista, havaittavaa ja todisteisiin perustuvaa toimintaa.

Kyberturvallisuustuotteita on perinteisesti arvioitu vahvasti niiden kyvyn perusteella havaita uhkia. Miksi organisaatioiden tulisi yhä enemmän tarkastella suojausta, eristämistä ja tapahtumavastausta arvioidessaan tekoälypohjaisia turvallisuusjärjestelmiä?

Havaitseminen ei ole sama kuin puolustus. Alusta voi tuottaa tarkan hälytyksen, mutta silti antaa hyökkääjän saavuttaa tavoitteensa. Tästä syystä PIVOT-testiohjelma sisältää sekä havaitsemisen että suojauksen yhtenäisinä ja erillisinä osina kokonaisarvioinnissa.

Voit verrata kyberturvallisuuden havaitsemista CCTV‑kameran toimintaan. Sen tulisi huomata tunkeutuminen ja antaa vihjeitä siitä, mitä tapahtui, mutta se ei fyysisesti pysäytä tunkeilijaa. Kyberturvallisuuden suojaus on paljon aktiivisempaa. Se voi poistaa tai muuten neutraloida hyökkääjän, estäen vahingon.

Organisaatioiden on tiedettävä, estettiinkö tuote alkuperäisen toiminnan, keskeytettiinkö hyökkäysketju, rajoitettiinko lateraalista liikkumista, suojattiinko tärkeät omaisuudet ja tuettiinko palautumista. Jos hyökkäys onnistuu, seuraavat kysymykset ovat, kuinka nopeasti se eristettiin ja saiko asiakas riittävästi luotettavaa tietoa vastatakseen tehokkaasti.

Tämä on erityisen tärkeää tekoälypohjaisten järjestelmien kanssa, koska vaikka ne saattavat tuottaa erittäin vakuuttavia yhteenvedot tapahtuneesta, vakuuttava selitys ei korvaa suojausta. Selityksen on oltava todisteisiin perustuva ja sen on johdettava asianmukainen toimenpide.

Mittaamme siis havaitsemisen ja suojauksen erikseen. Tarkastelemme myös, oliko väitetty havaitseminen todella näkyvää ja hyödyllistä asiakkaalle. Loppujen lopuksi turvallisuusjärjestelmän arvo on kyvyssä muuttaa hyökkäyksen lopputulosta, ei pelkästään havaita sitä.

Kun turvallisuusalustat ottavat käyttöön autonomisia agenteja, jotka voivat tutkia hälytyksiä ja toteuttaa korjaustoimenpiteitä, miten riippumattomat laboratoriot testaavat koko ihmisen ja tekoälyn työnkulun sen sijaan, että arvioisivat pelkästään taustalla olevaa havaitsemisteknologiaa erillään?

Testin tulisi seurata koko prosessia ensimmäisestä haitallisesta toiminnasta viimeiseen turvallisuustulokseen, joka voi olla hyökkäyksen pysäyttäminen tai sen täydellinen onnistuminen – tai jotain siltä väliltä.

Meidän on tarkasteltava, mitä agentti havaitsi, mihin se päätyi, mitä se suositteli tai teki, mitä ihmisen operaattorin nähtiin ja miten operaattori reagoi (tai millaisia vaihtoehtoja hänelle esitettiin). Tämä sisältää todisteiden laadun, luovutuksen selkeyden, vaaditun ajan, interventioiden määrän ja sen, pystyikö ihminen ymmärtämään, haastamaan tai kumoamaan agentin päätöksen.

Erilaiset käyttötilatkin ovat merkityksellisiä. Agentti, joka suosittelee toimenpidettä hyväksyttäväksi, aiheuttaa erilaisen riskin kuin agentti, joka voi automaattisesti eristää järjestelmiä, poistaa tilejä käytöstä tai muuttaa turvallisuusasetuksia.

Järjestelmä ei ole onnistunut pelkästään siksi, että sen taustalla oleva havaitsija tunnisti hyökkäyksen. Jos se luo ymmärtämättömän jonon, piilottaa tärkeää todistusaineistoa, suosittelee väärää reagointia tai toteuttaa häiritsevän toimenpiteen, koko työnkulku on epäonnistunut. Riippumaton testaus tulisi mitata teknologian, sen autonomisten komponenttien ja niiden käyttöön odotettavien ihmisten yhteissuorituskykyä.

Yksi riski standardoiduissa turvallisuusvertailuarvoissa on, että toimittajat voivat optimoida tuotteita erityisesti testiä varten. Kuinka riippumaton testaus voi pysyä toistettavana ja oikeudenmukaisena samalla kun se tuo riittävästi ennakoimattomuutta paljastaakseen, miten tuotteet suoriutuvat tuntemattomia hyökkäyksiä vastaan?\r\n

Toistettavuus ei edellytä, että osallistujille annetaan tenttikysymykset etukäteen.

Luotettavan testin tulisi julkaista metodologiansa, ympäristönsä, pisteytysperiaatteensa, tuotteen konfiguraationsa ja todistusaineiston vaatimuksensa. Toimittajien tulee ymmärtää säännöt ja saada oikeudenmukainen mahdollisuus varmistaa, että heidän tuotteensa toimivat oikein. Kuitenkin tarkka hyökkäyskampanja, hyötykuormat ja osa hyökkäysreiteistä tulee pysyä tuntemattomina, kunnes testi on suoritettu.

Esimerkiksi PIVOTissa emme paljasta, mitä hyökkäysryhmiä aiomme jäljitellä, ennen kuin testaus on valmis. Todelliset kohteet eivät saa ennakkovaroitusta ennen hyökkäyksen alkamista!

Voimme yhdistää standardin ytimen, joka tukee vertailua ajan myötä, tuntemattomiin variaatioihin, jotka testaavat yleistä kyvykkyyttä. Peruslinjaus ja piilotettu hiljainen jakso voivat osoittaa, miten tuote käyttäytyy ennen hyökkäystä. Konfiguraatio tulisi sen jälkeen hallita, lokit säilyttää ja kaikki väitteet tarkistaa testaajan omiin todisteisiin.

Reiluus tarkoittaa samojen sääntöjen ja todistusaineiston standardien soveltamista jokaiselle osallistujalle. Se ei kuitenkaan tarkoita hyökkäyksen toistamista niin ennustettavasti, että toimittaja tunnistaa benchmarkin uhkan sijaan.

Lisäksi radikaali läpinäkyvyys auttaa toimittajia toistamaan hyökkäykset, mikä on tärkeää, jos he haluavat korjata kohtaamiaan ongelmia, kuten kyvyttömyyttä havaita tai suojata uhkaa vastaan. SE Labs kouluttaa asiakkaitaan käytännössä, kun he kohtaavat ongelmia.

Autonomiset turvallisuusagentit tuovat mukanaan erilaisen riskiluokan, koska virheellinen päätös voi laukaista tarpeettoman tai jopa häiritsevän korjaustoimen. Kuinka testauksen tulisi mitata vääriä positiivisia, virheellistä päättelyä ja mahdollisesti haitallisia autonomisia toimia perinteisen havaitsemisen tarkkuuden ohella?

Perinteinen vääriä positiivisia koskeva testaus on vain ensimmäinen taso. Autonomisen agentin kanssa meidän on erotettava vääri hälytys, tukematon johtopäätös ja virheellinen toimenpide. Jokaisella on erilainen mahdollinen vaikutus.

Testien tulisi altistaa järjestelmä lailliselle toiminnalle, joka muistuttaa haitallista käyttäytymistä, sekä puutteelliselle, epäselvälle tai harhaanjohtavalle todistusaineistolle. Jos agentti käsittelee epäluotettavaa sisältöä, testauksen tulisi myös tarkastaa, voiko kyseinen sisältö vaikuttaa sen päätöksiin väärin.

Päätelmää tulisi arvioida sen perusteella, onko johtopäätös tuettu saatavilla olevilla todisteilla, eikä sen perusteella, kuinka uskottavalta tai varmalta selitys kuulostaa. Autonomisissa toimissa meidän tulisi mitata laajuutta, suhteellisuutta, oikeuksien käyttöä, hyväksyntävalvontaa, auditointimahdollisuutta ja palautettavuutta.

Arvioinnin on heijastettava seurauksia. Turhaa hälytystä pidetään hankalana; tärkeän tilin poistaminen käytöstä tai kriittisen järjestelmän eristäminen voi häiritä organisaatiota. Hyödyllinen turvatoimi tarvitsee siis huomioida sekä virheiden yleisyys että kunkin virheen mahdollinen vahinko.

Kaikesta huolimatta asiakas saattaa joskus valita politiikan, joka aiheuttaa ongelmia. Tämä ei välttämättä ole turvallisuustoimittajan syy.

Generatiivinen tekoäly ja yhä kykenevämmät avoimen lähdekoodin mallit madaltavat kynnystä automatisoida osia hyökkäysprosessista. Odotatko, että tekoäly tekee kyberhyökkäyksistä perustavanlaatuisesti hienostuneempia, vai onko suurempi vaara, että hyökkääjät pystyvät yksinkertaisesti toimimaan dramaattisesti suuremmassa mittakaavassa ja nopeudella?

Odotan, että välittömämpi uhka on mittakaava, nopeus ja alhaisempi kustannus.

Tekoäly voi auttaa hyökkääjiä keräämään tietoa, personoimaan sosiaalisen manipuloinnin, muokkaamaan koodia ja koordinoimaan kampanjan osia. Jotkut hyökkäykset tulevat täten hienostuneemmiksi, erityisesti kun tekoäly auttaa yhdistämään olemassa olevia tekniikoita tai sovittamaan ne tiettyyn kohteeseen. Mutta tekoäly ei poista tarvetta pääsyyn, tunnistetietoihin, hyödynnettävissä oleviin heikkouksiin tai puolustajien virheisiin.

Tekoäly ei myöskään ole kovin hyvä tuottamaan luotettavia hyödyntämisiä, mikä on jo itsessään vaikeaa taitavalle ihmiselle. Tämä vähentää mielestäni merkittävästi mahdollisuutta perustavanlaatuisesti hienostuneempiin hyökkäyksiin.

Suurempi muutos on, että toiminnot, jotka aiemmin vaativat aikaa, taitoa tai tiimiä, voidaan toteuttaa nopeammin ja paljon useampiin kohteisiin. Tekoäly voi nostaa suhteellisen tavallisten hyökkääjien osaamistasoa, samalla kun se antaa kykeneville hyökkääjille mahdollisuuden suorittaa useampia operaatioita samanaikaisesti.

Se on merkittävää, vaikka taustalla olevat hyökkäystekniikat eivät olisi mullistavia. Vaarana ei ole välttämättä täysin uusi kyberhyökkäyksen muoto. Kyse on tuttuista hyökkäyksistä, jotka muuttuvat nopeammiksi, halvemmiksi, henkilökohtaisemmiksi ja paljon määrällisesti suuremmiksi.

Kun puolustavat ja hyökkäävät tekoälyagentit muuttuvat yhä itsenäisemmiksi, miltä uskottavan kyberturvallisuuden testausympäristön tulisi näyttää pysyäkseen vauhdissa? Voisimmeko lopulta päästä tilanteeseen, jossa turvallisuustuotteita on jatkuvasti haastettava adaptiivisia tekoälyvastustajia vastaan sen sijaan, että niitä arvioitaisiin pääasiassa määräaikaisilla turvallisuustesteillä?

Uskottavan ympäristön on muistuttava elävää organisaatiota eikä eristettyjen kohteiden kokoelmaa. Sen tulisi sisältää päätelaitteet, identiteettijärjestelmät, sähköposti, verkot, pilvipalvelut, realistiset käyttäjät ja normaali liiketoimintatoiminta. Sen on myös tarjottava täydellinen instrumentointi, jotta jokainen päätös ja seurauksensa voidaan rekonstruoida.

Adaptiivisille vastustajille voitaisiin antaa tavoitteita ja rajoja, ja sen jälkeen sallia niiden valita reitit sen perusteella, mitä ne havaitsevat ja miten puolustava tuote reagoi. Testi tarvitsee edelleen hallitut aloitusehdot, luotettavan kuvauksen siitä, mitä todella tapahtui, sekä kyvyn toistaa tärkeät tapahtumat. Ilman näitä asiat, adaptiivinen testaus voisi näyttää vaikuttavalta, mutta olla tieteellisesti heikko.

Odotan, että testaus muuttuu yhä jatkuvammaksi, erityisesti kun tuotteet, mallit ja politiikat voivat muuttua usein. Kuitenkin jatkuvan haasteen tulisi täydentää, eikä korvata, määräaikaista vertailutestausta. Organisaatiot tarvitsevat molempia: hallittuja vertailuarvioita, kuten PIVOT, jotka tukevat vastuullisuutta ja vertailua, sekä jatkuvaa adaptiivista arviointia, joka paljastaa, miten järjestelmät käyttäytyvät uhkien ja tuotteiden itsensä muuttuessa.

Mielestäni meidän tulisi huolehtia enemmän siitä, että suhteellisen taitamattomat ihmiset voivat murtautua järjestelmiin ja verkkoihin, kuin roboteista, jotka luovat seuraavan sukupolven kyberhyökkäysteknologian.

Kiitos erinomaisesta haastattelusta, lukijat, jotka haluavat oppia lisää, tulisi käydä SE Labs.