Kieran Norton, Deloitten US-syberTurva- ja automaatiojohtaja – Haastattelusarja

Kieran Norton on Deloitte & Touche LLP:n pääomasijoittaja (kumppani) ja Deloitten US-syberTurva- ja automaatiojohtaja. Yli 25 vuoden laajalla kokemuksella ja vankalla teknologiataidolla Kieran on erinomaisen taitava vastaamaan uusiin riskeihin ja antamaan asiakkaille strategisia ja pragmaattisia näkemyksiä syberturvallisuudesta ja teknologisen riskienhallinnasta.

Deloitten sisällä Kieran johtaa tekoälymuutoksen pyrkimyksiä US-syberturvallisuuspraktiikassa. Hän valvoo tekoäly- ja automaatio-ratkaisujen suunnittelua, kehittämistä ja markkinointia, jotta asiakkaat voivat parantaa kyberturvallisuuskykyjään ja omaksua tekoäly/Gen AI -teknologioita ja samalla tehokkaasti hallita niihin liittyviä riskejä.

Ulkopuolella Kieran auttaa asiakkaita kehittämään perinteisiä turvallisuusstrategioitaan digitaalisen muutoksen tukemiseksi, modernisoida toimintaketjuja, nopeuttaa markkinoille menoa, vähentää kustannuksia ja saavuttaa muita kriittisiä liiketoimintatavoitteita.

Miten tekoälyagenttien autonomian kasvaessa uudet kyberturvallisuusuhkat syntyvät, joita yritykset eivät vielä täysin ymmärrä?

Riskit, jotka liittyvät uusien tekoälytekniikoiden käyttöön agenttien suunnitteluun, rakentamiseen ja hallintaan, voidaan ymmärtää – toiminnan operationalisointi on toinen asia.

Tekoälyagenttien toiminta ja autonomia – agenttien kyky havainnoida, päättää, toimia ja toimia riippumattomasti ihmisistä – voi luoda haasteita ylläpitää näkyvyyttä ja valvontaa suhteissa ja vuorovaikutuksissa, joita mallit/agentit ovat käyttäjien, tietojen ja muiden agenttien kanssa. Kun agentit lisääntyvät yrityksessä, yhdistäen useita alustoja ja palveluja lisääntyvällä autonomialla ja päätösoikeuksilla, tämä tulee olemaan yhä haasteellisempaa. Uhkat, jotka liittyvät huonosti suojattuihin, liiallisiin tai varjoihin tekoälytoimintaan/autonomiaan, ovat moninaisia. Tähän voidaan lukea tietovuoto, agenttien manipulointi (esim. prompt-injektiolla) ja agenttien väliset hyökkäysketjut. Kaikki nämä uhkat eivät ole tässä ja nyt, mutta yritysten on tarkasteltava, miten ne hallitsevat näitä uhkia, kun ne omaksuvat ja kehittävät tekoälyvoimia.

Tekoälyidentiteetin hallinta on myös riski, jota on syytä tarkkaan harkita. Tekoälyagenttien koneellisten identiteettien määrittely, perustaminen ja hallinta tulevat monimutkaisemmiksi, kun enemmän agenteja otetaan käyttöön ja käytetään yrityksissä. Tekoälymallien/mallikomponenttien efemeraalinen luonne, joka syntyy useita kertoja eri olosuhteissa, johtaa haasteisiin näiden mallien tunnisteen ylläpitämisessä. Mallitunnisteita tarvitaan seurata agenttien toimintaa ja käyttäytymistä sekä turvallisuuden että luotettavuuden näkökulmasta. Jos näitä ei toteuteta ja valvota asianmukaisesti, mahdollisten ongelmien (suorituskyky, turvallisuus jne.) havaitseminen tulee olemaan hyvin haasteellista.

Kuinka suurella riskillä meidän tulisi olla tietojen myrkyttämisuhkat tekoälykoulutusprosesseissa, ja mitkä ovat parhaat ehkäisevät strategiat?

Tietojen myrkyttäminen edustaa yhtä tapaa, jolla voidaan vaikuttaa/ manipuloida tekoälymalleja mallikehityksen elinkaaren aikana. Myrkyttäminen tapahtuu yleensä, kun pahantahtoinen toimija injektoi haitallisia tietoja koulutusjoukkoon. On kuitenkin tärkeää huomata, että myrkyttäminen ei tapahdu ainoastaan ilmeisten vihollisten toiminnan seurauksena, vaan se voi johtua myös virheistä tai järjestelmällisistä ongelmista tietojen tuottamisessa. Kun organisaatiot tulevat tietohungriksi ja etsivät käytettävissä olevia tietoja useista paikoista (esim. ulkoistetut manuaaliset annotaatiot, ostetut tai luodut syntetiset tietojoukot jne.), myrkyttämisen mahdollisuus kasvaa, eikä sitä aina voida helposti diagnosoida.

Kohdistaminen koulutusprosesseihin on pääasiallinen hyökkäysvektori, jota viholliset käyttävät sekä hienostuneen että avoimen vaikuttamisen toteuttamiseen. Tekoälymallien manipulointi voi johtaa lopputuloksiin, jotka sisältävät väärät positiiviset, väärät negatiiviset ja muut hienostuneemmat piilevät vaikutukset, jotka voivat muuttaa tekoälyennusteita.

Ehkäisevät strategiat ulottuvat teknisistä, prosessuaalisista ja arkkitehtonisista ratkaisuista. Prosessuaaliset strategiat käsittävät tietojen validoinnin/saniteettion ja luotettavuuden arvioinnin; tekniset strategiat käsittävät turvallisuuden parantamisen tekoälytekniikoiden avulla, kuten hajautettu oppiminen; arkkitehtoniset strategiat käsittävät nollatoleranssikanavien toteuttamisen ja robustin seurannan/hälytysjärjestelmien toteuttamisen, jotta poikkeamien havaitseminen voidaan helpottaa. Nämä mallit ovat yhtä hyviä kuin niiden data, vaikka organisaatio käyttäisi viimeisintä teknologiaa, joten tietojen myrkyttäminen voi muodostua valmistautumattomille organisaatioille akilleen kantapääksi.

Miten pahantahtoiset toimijat voivat manipuloida tekoälymalleja niiden käyttöönoton jälkeen, ja miten yritykset voivat havaita manipuloinnin aikaisin?

Pääsy tekoälymalliin käyttöönoton jälkeen saavutetaan yleensä sovellusliittymän (API), sovelluksen kautta upotetun järjestelmän tai portin/protokollan kautta reunalaiteverkkoon. Aikainen havaitseminen edellyttää aikaisia töitä ohjelmistokehityksen elinkaaren (SDLC) aikana, ymmärtämällä relevantit mallin manipulointitekniikat sekä priorisoimalla uhkavektoreita kehittääkseen menetelmiä havaitsemiseksi ja suojaukseksi. Jotkut mallin manipulointiin liittyvät API-kaappaukseen, muistitilojen manipulointiin (ajoitus) ja hitaaseen/myöhäiseen myrkyttämiseen mallin aikana. Näiden manipulointitapojen vuoksi jotkut varhaiset havaitsemisstrategiat voivat käsittää päätepisteen tarkkailun/valvontaa (päätepisteiden havaitseminen ja laajennettu havaitseminen) ja turvallisten johtamisprosessien toteuttamisen (esim. luottamuksellinen laskenta ja nollatoleranssiperiaatteet) sekä mallin vesileiman/mallin allekirjoittamisen mahdollistamisen.

Prompt-injektiot ovat mallin hyökkäysperhe, jota voidaan käyttää eri tarkoituksiin, kuten tietojen poistamiseen odottamattomin tavoin, paljastamaan järjestelmäkäyttöliittymän käyttäjille tarkoitettuja vihjeitä ja aiheuttamaan mallivastauksia, jotka voivat heikentää organisaation mainetta. Markkinoilla on useita kaide-työkaluja, jotka auttavat vähentämään prompt-injektioiden riskiä, mutta kuten koko kyberturvallisuudessa, tämä on aseiden kilpailu, jossa hyökkäystekniikat ja puolustusvastatoimet päivitetään jatkuvasti.

Miten perinteiset kyberturvallisuuskehykset eivät riitä tekoälyjärjestelmien ainutlaatuisten riskien käsittelyyn?

Yleensä yhdistämme “kyberturvallisuuskehyksen” ohjeisiin ja standardeihin – esim. NIST, ISO, MITRE jne. Jotkut näistä organisaatioista ovat julkaisseet päivitettyjä ohjeita tekoälyjärjestelmien suojaamiseksi, mikä voi olla erittäin hyödyllistä.

Tekoäly ei tee näitä kehyksiä tehottomiksi – sinun on edelleen käsitteltävä perinteiset kyberturvallisuuden alueet – mitä sinun on ehkä tarve on päivittää prosessit ja ohjelmat (esim. SDLC) käsittelyyn liittyvien tekoälytyön nuansseja. Upottaminen ja automatisointi (missä mahdollista) valvontaa suojaamaan nuansseja vastaan on tehokkain ja tehokkain tapa eteenpäin.

Taktisella tasolla on mainittava, että kaikkien mahdollisten syötteen ja tulosteen määrä on usein paljon laajempi kuin ei-tekoälysovelluksissa, mikä luo mittakaavan ongelman perinteiselle penetraatiotestaukselle ja sääntöpohjaisille havainnoille, mistä johtuu automaation painopiste.

Mitkä ovat avainasiat, jotka tulisi sisällyttää kyberturvallisuusstrategiaan, joka on suunniteltu organisaatioille, jotka käyttävät generatiivista tekoälyä tai suuria kielimalleja?

Kun kehitetään kyberturvallisuusstrategiaa generatiivisen tekoälyn (GenAI) tai suurten kielimallien käyttöönottoon, ei ole yhtä kokoonpanoa, joka sopisi kaikille. Paljon riippuu organisaation yleisistä liiketoimintatavoitteista, IT-strategiasta, toimialasta, sääntelyjalanjäljestä, riskitoleranssista jne. sekä tarkasteltavista tekoälysovelluksista. Sisäiseen käyttöön tarkoitettu chatbotti, jolla on erittäin erilainen riskiprofiili kuin agentti, joka voi vaikuttaa potilaiden terveyttä koskeviin lopputuloksiin, esimerkiksi.

Sanoisin, että on perusasioita, joita jokaisen organisaation on käsitteltävä:

• Suorita valmiusarvio – tämä luo perustason nykyisistä kyvyistä ja tunnistaa mahdolliset aukot tarkasteltavien tekoälysovellusten priorisoinnissa. Organisaatioiden on tunnistettava, missä on olemassa olevia valvontaa, joita voidaan laajentaa käsittelyyn liittyvien GenAI:n nuansseja, ja tarve toteuttaa uusia teknologioita tai parantaa nykyisiä prosesseja.
• Perustaa tekoälyhallintoprosessi – tämä voi olla uusi tai muutos nykyisiin riskienhallintaprogrammiin. Tämä tulisi sisältää määrittelyn laajuisia tekoälymahdollisuuksia ja vetäminen sidosryhmien mukaan liiketoiminnasta, IT:stä, tuotteista, riskistä, kyberturvallisuudesta jne. osana hallintorakennetta. Lisäksi on määriteltävä/ päivitettävä relevantteja käytäntöjä (hyväksytty käyttäytyminen, pilvipalveluiden turvallisuus, kolmannen osapuolen teknologian riskienhallinta jne.) sekä perustettava koulutusvaatimukset tukemaan tekoälykirjallisuutta ja tekoälyturvallisuutta/suojausta koko organisaatiossa.
• Perustaa luotettava tekoälyarkkitehtuuri – tekoäly-/GenAI-alustojen ja kokeiluympäristöjen perustamisen myötä olemassa oleva teknologia sekä uudet ratkaisut (esim. tekoälypalot, aikaisen turvallisuuden suorituskyky, mallin elinkaaren hallinta, parannetut IAM-ominaisuudet jne.) on integroitava kehitys- ja käyttöönottoympäristöihin toistettavalla ja skaalautuvalla tavalla.
• Paranna ohjelmistokehityksen elinkaarta – organisaatioiden on rakennettava tiivis yhteistyö tekoälykehittäjien ja riskienhallintatiimien välille, jotka pyrkivät suojaamaan, turvata ja luomaan luottamusta tekoälyratkaisuihin. Tähän sisältyy standardien mukainen joukko turvallisia ohjelmistokehityksen käytäntöjä ja valvontavaatimuksia yhteistyössä laajemman tekoälykehitys- ja omaksumisjoukkueiden kanssa.

Miten voit selittää “tekoälypalomuuri”-käsitteen yksinkertaisilla sanoin? Miten se eroaa perinteisistä verkkopalomuureista?

Tekoälypalomuuri on turvallisuuskerros, joka on suunniteltu seuraamaan ja valvomaan tekoälyjärjestelmien syötteitä ja tulosteita – erityisesti suuria kielimalleja – estämään väärinkäyttöä, suojaamaan arkaluontoisia tietoja ja varmistamaan vastuullisen tekoälykäytön. Toisin kuin perinteiset palomuurit, jotka suojaavat verkkoa suodattamalla liikennettä IP-osoitteiden, porttien ja tunnettujen uhkien perusteella, tekoälypalomuurit keskittyvät luonnollisen kielen vuorovaikutusten ymmärtämiseen ja hallintaan. Ne estävät esimerkiksi myrkyllistä sisältöä, tietovuotoa, prompt-injektiota ja tekoälyn epäeettistä käyttöä soveltamalla käytäntöjä, kontekstiaavareita suodattimia ja mallikohtaisia kaiteita. Olennaisesti, kun perinteinen palomuuri suojelee verkkoa, tekoälypalomuuri suojelee tekoälymallit ja niiden tulosteet.

Onko tekoälyyn liittyviä palomuureja tai kaiteita koskevia nykyisiä teollisuusstandardeja tai kehittyviä protokollia?
Mallien viestintäprotokolla (MCP) ei ole yleinen standardi, mutta se saa jalansijaa teollisuudessa auttamaan kasvavan konfiguraatioburden hallitsemisessa yrityksissä, joilla on tarve hallita tekoäly-/GenAI-ratkaisujen monimuotoisuutta. MCP määrittää, miten tekoälymallit vaihtavat tietoja (mukaan lukien oppiminen) sisältäen eheys- ja vahvistusominaisuudet. Voimme ajatella MCP:tä tekoälymallien TCP/IP-pinoa, joka on erityisen hyödyllinen keskitetyissä, hajautetuissa tai jakeluun perustuvissa käyttötapaustelmissa. MCP on tällä hetkellä käsitteellinen kehys, joka toteutetaan eri työkaluilla, tutkimuksilla ja projekteilla.

Tilanne kehittyy nopeasti, ja voidaan odottaa, että se muuttuu paljon seuraavien vuosien aikana.

Miten tekoäly on muuttanut uhkien havaitsemisen ja reagoinnin alaa viimeisen viiden vuoden aikana?

Olemme nähneet, miten kaupalliset turvallisuuskeskukset (SOC) modernisoidaan eriasteisesti käyttäen laajoja laadukkaita tietoja ja edistyneitä tekoäly-/mallinnusmalleja parantamaan havaitsemista ja luokittelua uhkia vastaan. Lisäksi ne hyödyntävät automaatiota, työnkulkua ja itsekorjausta vähentämään aikaa havaitsemisesta torjuntaan. Viimeksi mainituissa on esitelty myös apulaitteiden ominaisuuksia tukemaan triagea ja reagointia.

Lisäksi agenteja kehitetään täyttämään valittuja rooleja SOC:ssa. Käytännöllisenä esimerkkinä olemme luoneet “Digitaalisen analyytikon” agentin omiin hallittuihin palveluihimme. Agentti toimii tasolla 1 -analyytikko, joka priorisoi saapuvia hälytyksiä, lisää kontekstia uhka-intelligenssistä ja muista lähteistä ja suosittelee vastatoimia (perustuen laajaan case-historiaan) ihmisanalyytikoillamme, jotka tarkistavat, muokkaavat tarvittaessa ja toteuttavat toimenpiteet.

Miten tekoäly ja kyberturvallisuus tulevat kehittymään seuraavien 3-5 vuoden aikana – tuleeko tekoäly olemaan enemmän riski vai ratkaisu?
Kun tekoäly kehittyy seuraavien 3-5 vuoden aikana, se voi auttaa kyberturvallisuutta, mutta samalla se voi myös aiheuttaa riskejä. Tekoäly laajentaa hyökkäyspintaa ja luo uusia haasteita puolustuksen näkökulmasta. Lisäksi vihamielinen tekoäly voi lisätä hyökkäysten toteuttamiskelpoisuutta, nopeutta ja mittakaavaa, mikä luo lisää haasteita. Toisaalta tekoäly voi myös tarjota merkittäviä mahdollisuuksia parantaa kybertoimintojen tehokkuutta, tehokkuutta, joustavuutta ja nopeutta useimmissa domeineissa – lopulta luoden “taistele tulta vastaan” -skenaarioon.

Kiitos haastattelusta, lukijat voivat myös haluta vierailla Deloitten sivuilla.