Kieran Norton, Deloitten Yhdysvaltain kybertekoälyn ja -automaation johtaja – Haastattelusarja

Kieran Norton Deloitte & Touche LLP:n osakas ja kybertekoälyn ja -automaation johtaja Yhdysvalloissa. Yli 25 vuoden laajan kokemuksen ja vankan teknologiataustan ansiosta Kieran on erinomainen osaaja uusien riskien käsittelyssä ja tarjoaa asiakkaille strategisia ja käytännönläheisiä näkemyksiä kyberturvallisuudesta ja teknologiariskien hallinnasta.

Sisällä DeloitteKieran johtaa Yhdysvaltain kyberosaston tekoälytransformaatiotyötä. Hän valvoo tekoäly- ja automaatioratkaisujen suunnittelua, kehittämistä ja markkinoilletuloa auttaen asiakkaita parantamaan kybervalmiuksiaan ja ottamaan käyttöön tekoälyä/sukupolvisia tekoälyteknologioita samalla tehokkaasti halliten niihin liittyviä riskejä.

Ulkoisesti Kieran auttaa asiakkaita kehittämään perinteisiä tietoturvastrategioitaan digitaalisen transformaation tukemiseksi, toimitusketjujen modernisoimiseksi, markkinoille saattamista koskevan ajan nopeuttamiseksi, kustannusten vähentämiseksi ja muiden kriittisten liiketoimintatavoitteiden saavuttamiseksi.

Kun tekoälyagenteista tulee yhä autonomisempia, mitä uusia kyberturvallisuusuhkien luokkia on syntymässä, joita yritykset eivät ehkä vielä täysin ymmärrä?

Uusien tekoälyyn liittyvien teknologioiden käyttöön liittyvät riskit agenttien suunnittelussa, rakentamisessa, käyttöönotossa ja hallinnassa voidaan ymmärtää – operationalisointi on eri asia.

Tekoälyagenttien toimijuus ja autonomia – agenttien kyky havaita, päättää, toimia ja toimia ihmisistä riippumatta – voi aiheuttaa haasteita mallien/agenttien ja käyttäjien, datan sekä muiden agenttien välisten suhteiden ja vuorovaikutuksen näkyvyyden ja hallinnan ylläpitämiselle. Agenttien lisääntyessä yrityksessä ja yhdistäessä useita alustoja ja palveluita yhä suuremmalla autonomialla ja päätösoikeuksilla tästä tulee yhä vaikeampaa. Huonosti suojattuun, liialliseen tai varjoisaan tekoälyn toimijuuteen/autonomiaan liittyvät uhat ovat lukuisia. Näitä voivat olla tietovuodot, agenttien manipulointi (esim. nopean injektoinnin avulla) ja agenttien välinen hyökkäysketju. Kaikki nämä uhat eivät ole tässä ja nyt, mutta yritysten tulisi miettiä, miten ne hallitsevat näitä uhkia ottaessaan käyttöön ja kypsyttäessään tekoälypohjaisia ​​ominaisuuksia.

Tekoälyyn liittyvä identiteetinhallinta on toinen riski, jota tulisi harkita huolellisesti. Tekoälyagenttien koneidentiteettien tunnistaminen, luominen ja hallinta monimutkaistuu, kun agentteja otetaan käyttöön ja käytetään yhä enemmän yrityksissä. Tekoälymallien/mallikomponenttien lyhytaikainen luonne, joita kehitetään ja puretaan toistuvasti vaihtelevissa olosuhteissa, johtaa haasteisiin näiden malli-ID:iden ylläpidossa. Malli-identiteettejä tarvitaan agenttien toiminnan ja käyttäytymisen seuraamiseen sekä turvallisuuden että luotettavuuden näkökulmasta. Jos niitä ei toteuteta ja valvota oikein, mahdollisten ongelmien (suorituskyky, turvallisuus jne.) havaitseminen on erittäin haastavaa.

Kuinka huolissamme meidän pitäisi olla tekoälyn koulutusputkissa esiintyvistä datamyrkytyshyökkäyksistä, ja mitkä ovat parhaat ehkäisystrategiat?

Datamyrkytys on yksi monista tavoista vaikuttaa tekoälymalleihin/manipuloida niitä mallin kehityssyklin aikana. Myrkytys tapahtuu tyypillisesti, kun pahantahtoinen toimija lisää haitallista dataa harjoitusjoukkoon. On kuitenkin tärkeää huomata, että nimenomaisten vihamielisten toimijoiden lisäksi datamyrkytys voi johtua virheistä tai systeemisistä ongelmista datan generoinnissa. Kun organisaatioista tulee datanälkäisempiä ja ne etsivät käyttökelpoista dataa useammista paikoista (esim. ulkoistetut manuaaliset merkinnät, ostetut tai luodut synteettiset datajoukot jne.), harjoitusdatan tahattoman myrkyttämisen mahdollisuus kasvaa, eikä sitä välttämättä aina ole helppo diagnosoida.

Koulutusputkiin kohdistaminen on ensisijainen hyökkäysvektori, jota vastustajat käyttävät sekä hienovaraiseen että avoimeen vaikuttamiseen. Tekoälymallien manipulointi voi johtaa tuloksiin, kuten vääriin positiivisiin, vääriin negatiivisiin ja muihin hienovaraisempiin peiteltyihin vaikutteisiin, jotka voivat muuttaa tekoälyn ennusteita.

Ennaltaehkäisystrategiat vaihtelevat teknisten, proseduraalisten ja arkkitehtonisten ratkaisujen toteuttamisesta. Proseduraalisiin strategioihin kuuluvat datan validointi/puhdistus ja luotettavuusarvioinnit; teknisiin strategioihin kuuluu tietoturvaparannusten käyttö tekoälytekniikoilla, kuten federoidulla oppimisella; ja arkkitehtonisiin strategioihin kuuluvat nollaluottamusprosessien toteuttaminen ja vankan valvonnan/hälytysten käyttöönotto, jotka voivat helpottaa poikkeavuuksien havaitsemista. Nämä mallit ovat vain niin hyviä kuin niiden tiedot, vaikka organisaatio käyttäisi uusimpia ja parhaita työkaluja, joten datamyrkytys voi olla akilleenkantapää valmistautumattomille.

Millä tavoin haitalliset toimijat voivat manipuloida tekoälymalleja käyttöönoton jälkeen, ja miten yritykset voivat havaita peukaloinnin varhaisessa vaiheessa?

Käyttöönoton jälkeen tekoälymalleihin päästään tyypillisesti sovellusohjelmointirajapinnan (API) kautta, sovelluksen kautta sulautetun järjestelmän kautta ja/tai porttiprotokollan kautta reunalaitteelle. Varhainen havaitseminen edellyttää ohjelmistokehityksen elinkaaren (SDLC) varhaista työskentelyä, asiaankuuluvien mallinkäsittelytekniikoiden ymmärtämistä sekä priorisoitujen uhkavektorien määrittämistä havaitsemis- ja suojausmenetelmien kehittämiseksi. Joihinkin mallinkäsittelymenetelmiin kuuluu API-kaappaus, muistitilojen manipulointi (ajonaikainen) ja hidas/asteittainen myrkyttäminen mallin ajautumisen kautta. Näiden manipulointimenetelmien vuoksi varhaisen havaitsemisen strategioihin voi kuulua päätepisteiden telemetrian/valvonnan käyttö (päätepisteiden havaitsemisen ja reagoinnin sekä laajennetun havaitsemisen ja reagoinnin kautta), turvallisten päättelyputkien toteuttaminen (esim. luottamuksellinen laskenta ja nollaluottamusperiaatteet) sekä mallin vesileimauksen/mallin allekirjoittamisen käyttöönotto.

Prompt injection on mallihyökkäysten ryhmä, jota käytetään käyttöönoton jälkeen ja jota voidaan käyttää useisiin tarkoituksiin, kuten tietojen poimimiseen ei-toivotuilla tavoilla, tavallisille käyttäjille tarkoitettujen järjestelmäkehotteiden paljastamiseen ja sellaisten mallivastausten aiheuttamiseen, jotka voivat antaa organisaatiolle kielteisen kuvan. Markkinoilla on useita suojakaidetyökaluja, jotka auttavat lieventämään prompt injection -riskiä, ​​mutta kuten muullakin kyberalalla, tämä on kilpavarustelua, jossa hyökkäystekniikoita ja puolustavia vastatoimia päivitetään jatkuvasti.

Miten perinteiset kyberturvallisuuskehykset eivät pysty käsittelemään tekoälyjärjestelmien ainutlaatuisia riskejä?

Yhdistämme 'kyberturvallisuuskehyksen' tyypillisesti ohjeisiin ja standardeihin – esim. NIST, ISO, MITRE jne. Jotkut näiden taustalla olevista organisaatioista ovat julkaisseet päivitettyjä ohjeita erityisesti tekoälyjärjestelmien suojaamiseen, mikä voi olla erittäin hyödyllistä.

Tekoäly ei tee näistä viitekehyksistä tehottomia – sinun on silti käsiteltävä kaikkia kyberturvallisuuden perinteisiä osa-alueita. Saatat kuitenkin tarvita prosessiesi ja ohjelmiesi (esim. teknologian käyttöliittymän) päivittämistä tekoälytyökuormiin liittyvien vivahteiden huomioimiseksi. Tehokkain ja toimivin tapa edetä on upottaa ja automatisoida (mahdollisuuksien mukaan) suojaustoimenpiteitä edellä kuvattujen vivahteikkaiden uhkien varalta.

Taktisella tasolla on syytä mainita, että mahdollisten syötteiden ja tulosteiden koko valikoima on usein huomattavasti laajempi kuin tekoälyn ulkopuolisissa sovelluksissa, mikä aiheuttaa mittakaavaongelman perinteisille penetraatiotesteille ja sääntöpohjaisille havainnoille, minkä vuoksi keskitytään automaatioon.

Mitä keskeisiä elementtejä tulisi sisällyttää kyberturvallisuusstrategiaan, joka on erityisesti suunniteltu generatiivista tekoälyä tai laajoja kielimalleja käyttöön ottavia organisaatioita varten?

Kehitettäessä kyberturvallisuusstrategiaa GenAI:n tai laajojen kielimallien (LLM) käyttöönottoa varten ei ole olemassa yhtä kaikille sopivaa lähestymistapaa. Paljon riippuu organisaation yleisistä liiketoimintatavoitteista, IT-strategiasta, toimialapainotuksesta, sääntelyjalanjäljestä, riskinsietokyvystä jne. sekä tarkasteltavista tekoälyn käyttötapauksista. Vain sisäiseen käyttöön tarkoitetulla chatbotilla on hyvin erilainen riskiprofiili kuin agentilla, joka voi vaikuttaa esimerkiksi potilaiden terveystuloksiin.

Siitä huolimatta on olemassa perusasioita, joihin jokaisen organisaation tulisi kiinnittää huomiota:

• Suorita valmiusarviointi–Tämä luo perustason nykyisille kyvyille sekä tunnistaa mahdolliset puutteet ottaen huomioon priorisoidut tekoälyn käyttötapaukset. Organisaatioiden tulisi tunnistaa, missä on olemassa olevia kontrolleja, joita voidaan laajentaa vastaamaan tekoälyyn liittyviin vivahteikkaisiin riskeihin ja tarpeeseen ottaa käyttöön uusia teknologioita tai parantaa nykyisiä prosesseja.
• Luo tekoälyn hallintaprosessi—Tämä voi olla täysin uutta organisaatiossa tai muutos nykyisiin riskienhallintaohjelmiin. Tähän tulisi sisältyä koko yrityksen laajuisten tekoälyn käyttöönottotoimintojen määrittely ja sidosryhmien mukaan ottaminen liiketoiminnan, IT:n, tuotteiden, riskien, kyberturvallisuuden jne. eri puolilta osana hallintorakennetta. Lisäksi tulisi sisällyttää asiaankuuluvien käytäntöjen määrittely/päivittäminen (hyväksyttävän käytön käytännöt, pilvipalveluiden tietoturvakäytännöt, kolmannen osapuolen teknologiariskienhallinta jne.) sekä oppimis- ja kehitysvaatimusten asettaminen tekoälylukutaidon ja tekoälyn tietoturvan/suojauksen tukemiseksi koko organisaatiossa.
• Luo luotettava tekoälyarkkitehtuuri—Tekoäly-/GenAI-alustojen ja kokeiluympäristöjen nousun myötä sekä olemassa oleva teknologia että uudet ratkaisut (esim. tekoälypalomuurit/ajonaikainen suojaus, suojakaiteet, mallien elinkaaren hallinta, parannetut IAM-ominaisuudet jne.) on integroitava kehitys- ja käyttöönottoympäristöihin toistettavalla ja skaalautuvalla tavalla.
• Paranna SDLC:tä—Organisaatioiden tulisi rakentaa tiiviitä integraatioita tekoälykehittäjien ja riskienhallintatiimien välille, jotka työskentelevät tekoälyratkaisujen suojaamiseksi, turvaamiseksi ja luottamuksen rakentamiseksi niihin. Tähän sisältyy yhtenäisten/standardisoitujen turvallisten ohjelmistokehityskäytäntöjen ja valvontavaatimusten laatiminen yhteistyössä laajempien tekoälyn kehitys- ja käyttöönottotiimien kanssa.

Voitko selittää "tekoälypalomuurin" käsitteen yksinkertaisesti? Miten se eroaa perinteisistä verkkopalomuureista?

Tekoälypalomuuri on suojauskerros, joka on suunniteltu valvomaan ja hallitsemaan tekoälyjärjestelmien – erityisesti laajojen kielimallien – syötteitä ja lähtöjä väärinkäytösten estämiseksi, arkaluonteisten tietojen suojaamiseksi ja tekoälyn vastuullisen toiminnan varmistamiseksi. Toisin kuin perinteiset palomuurit, jotka suojaavat verkkoja suodattamalla liikennettä IP-osoitteiden, porttien ja tunnettujen uhkien perusteella, tekoälypalomuurit keskittyvät luonnollisen kielen vuorovaikutusten ymmärtämiseen ja hallintaan. Ne estävät esimerkiksi myrkyllisen sisällön, tietovuotojen, välittömän injektoinnin ja tekoälyn epäeettisen käytön käyttämällä käytäntöjä, kontekstitietoisia suodattimia ja mallikohtaisia ​​suojakaiteita. Pohjimmiltaan perinteinen palomuuri suojaa verkkoasi, kun taas tekoälypalomuuri suojaa tekoälymallejasi ja niiden tuotoksia.

Onko olemassa nykyisiä alan standardeja tai uusia protokollia, jotka säätelevät tekoälyyn perustuvien palomuurien tai suojakaiteiden käyttöä?
Malliviestintäprotokolla (MCP) ei ole universaali standardi, mutta se on saamassa jalansijaa toimialalla auttaakseen vastaamaan kasvavaan konfigurointitaakkaan yrityksillä, joilla on tarve hallita tekoälyn ja tekoälyn ratkaisujen monimuotoisuutta. MCP säätelee, miten tekoälymallit vaihtavat tietoa (mukaan lukien oppiminen), mukaan lukien eheys ja varmennus. Voimme ajatella MCP:tä tekoälymallien siirto-ohjausprotokollan (TCP) ja internet-protokollan (IP) pinona, joka on erityisen hyödyllinen sekä keskitetyissä, federoiduissa että hajautetuissa käyttötapauksissa. MCP on tällä hetkellä käsitteellinen viitekehys, joka toteutetaan erilaisten työkalujen, tutkimuksen ja projektien avulla.

Tilanne muuttuu nopeasti, ja voimme odottaa sen muuttuvan melkoisesti seuraavien vuosien aikana.

Miten tekoäly mullistaa uhkien havaitsemisen ja niihin reagoinnin alaa tänään verrattuna vain viiden vuoden takaiseen tilanteeseen?

Olemme nähneet kaupallisten tietoturvatoimintojen keskusten (SOC) modernisoituvan eriasteisesti käyttämällä massiivisia korkealaatuisia tietojoukkoja sekä edistyneitä tekoäly- ja koneoppimismalleja uhkien havaitsemisen ja luokittelun parantamiseksi. Lisäksi ne hyödyntävät automaatiota, työnkulkua ja automaattisen korjaamisen ominaisuuksia lyhentääkseen aikaa havaitsemisesta lieventämiseen. Lopuksi, jotkut ovat ottaneet käyttöön rinnakkaisohjausominaisuuksia prioriteetin ja reagoinnin tukemiseksi entisestään.

Lisäksi kehitetään agentteja täyttämään tiettyjä rooleja SOC:ssa. Käytännön esimerkkinä olemme rakentaneet Digitaalinen analyytikko agenttia käyttöönottoa varten omassa hallinnoitujen palveluidemme tarjonnassa. Agentti toimii ensimmäisen tason analyytikkona, joka analysoi saapuvia hälytyksiä, lisää kontekstia uhkatiedoista ja muista lähteistä sekä suosittelee vastausvaiheita (laajan tapaushistorian perusteella) ihmisanalyytikoillemme, jotka sitten tarkistavat, muokkaavat tarvittaessa ja ryhtyvät toimiin.

Miten näet tekoälyn ja kyberturvallisuuden välisen suhteen kehittyvän seuraavien 3–5 vuoden aikana – onko tekoäly enemmän riski vai ratkaisu?
Tekoälyn kehittyessä seuraavien 3–5 vuoden aikana se voi auttaa kyberturvallisuutta, mutta samalla se voi myös tuoda mukanaan riskejä. Tekoäly laajentaa hyökkäyspinta-alaa ja luo uusia haasteita puolustuksellisesta näkökulmasta. Lisäksi vihamielinen tekoäly lisää hyökkäysten elinkelpoisuutta, nopeutta ja laajuutta, mikä luo lisää haasteita. Toisaalta tekoälyn hyödyntäminen kyberturvallisuuden liiketoiminnassa tarjoaa merkittäviä mahdollisuuksia parantaa kyberoperaatioiden tehokkuutta, toimivuutta, ketteryyttä ja nopeutta useimmilla aloilla – lopulta luoden "taistele tulta tulella" -skenaarion.

Kiitos hienosta haastattelusta, lukijat saattavat haluta myös käydä katsomassa Deloitte.