Sandy Dunn, CISO at SPLX – Haastattelu Sarja

Sandy Dunn, SPLX:n CISO on veteraani CISO, jolla on yli 20 vuoden kokemus terveydenhuollossa ja startup-yrityksissä. Hän tarjoaa CISO-konsultointia QuarkIQ:n kautta. Hän johtaa OWASP Top 10 for LLM Applications Cybersecurity and Governance Checklist -projektia ja osallistuu OWASP AI Exchange-, OWASP Top 10 for LLM- ja Cloud Security Alliance -projekteihin. Hän on myös Boise State Universityn apulaisprofessori ja useiden instituuttiensa neuvonantaja ja hallituksen jäsen. Sandylla on maisterin tutkinto tietoturvan hallinnosta SANS:ista ja useita sertifikaatteja, kuten CISSP, useita SANS GIAC -sertifikaatteja, Security+, ISTQB ja FAIR.

SPLX on kyberTurvallisuusyhtiö, joka tarjoaa lopputon suojelun tekoälyjärjestelmille automaattisen red teamin, suoritusaikaisen suojelun, hallinnon, korjaamisen, uhka-analyysin ja malliturvallisuuden kautta. Sen alusta suorittaa tuhansia vastustuskykyisiä simulaatioita alle tunnissa, tunnistaa haavoittuvuudet, lujittaa järjestelmän ohjaimet ennen käyttöönottoa ja sisältää Agentic Radar -työkalun, joka on avoimen lähdekoodin työkalu monitoimijärjestelmien riskien kartoittamiseen ja analyysiin.

Mikä ensin veti sinut tekoälyn ja kyberturvallisuuden leikkauskohdalle, ja miten se polku johti rooliisi SPLX:ssa ja osallistumiseesi OWASP:in projekteihin?

Tekoäly oli ollut osa kyberturvallisuuskeskusteluja jo vuosia ennen ChatGPT:n julkaisua, mutta se tuntui usein siltä, että se ei ollut vastannut odotuksiin. Kun ChatGPT julkaistiin, odotin olevani pettynyt, mutta sen sijaan olin hämmästynyt siitä, mitä se pystyi tekemään, ja samalla peloissani siitä, miten nopeasti se voitiin käyttää hyväksi vihamielisissä hyökkäyksissä tai yksityisyyden loukkaamisessa. Se hetki sytytti tulen. Sukelsin LLM:ien maailmaan pää edellä, lukiessani jokaisen tutkimusartikkelin, joka pystyin löytämään, liityin jokaiseen relevanttiin Slack- ja Discord-yhteisöön ja tein omia kokeita. Seurasin OWASP Top 10 for LLMs -kanavaa jonkin aikaa, ja kun ensimmäinen lista julkaistiin, tiesin, että se oli tärkeä merkkipaalu. Mutta CISO:na tunsin, että turvallisuustiimit tarvitsivat enemmän tietoa. Olimme kertoneet ihmisille, mitä heidän tulisi huolehtia, mutta emme kertoneet, mitä heidän tulisi tehdä. Lähestyin Steve Wilsonia, projektipäällikköä, ja ehdotin “LLM Security CISO Checklist” -projektia. Se muuttui myöhemmin OWASP GenAI -aliprojektiksi, josta inspiraation saivat useat muut aliprojektikin.

Sen kautta tapasin Kristian Kamberin ja Ante Gojsalicin (SPLX:n perustajat) ja neuvonoin useita tekoälyturvallisuusstartuppeja, joilla oli lupaavia ideoita, mutta myös vähemmän lupaavia. Tuolloin olin CISO B2B-keskusteluroiden yrityksessä, jossa luomin suuren tekoälyvastustuskykyisen testauskirjan. Kun näin SPLX:n demon, tunnistin heti, että he olivat ratkaisseet ongelman, jonka parissa olin itsekin kamppaillut: miten operationalisoida vastustuskykyinen testaus. Kun SPLX tarvitsi CISO:ta, hyppäsin mahdollisuuteen olla osa upeaa yritystä, jossa oli ihastuttavia ihmisiä, jotka ratkaisivat tärkeitä haasteita.

Millaisia uusia hyökkäysmenetelmiä olet löytänyt CISO:na SPLX:ssa, erityisesti agenteille tekoälyä koskien?

GenAI-järjestelmien suunnittelun monimutkaisuuden vuoksi ei ole mahdollista poistaa GenAI:hin liittyviä haavoittuvuuksia ja hyökkäyksiä, jotka hyödyntävät agenttien autonomiaa ja kykyjä. Muisti-myrkytyshyökkäykset, kuten MINJA, ovat tämän kaltaisia esimerkkejä. Hyökkääjät voivat häikäistä agentin muistipankkeja valmistelluilla vuorovaikutuksilla, istuttaa haitallisia “muistoja”, jotka johtavat harhaanjohtaviin tai vaarallisiin käyttäytymismalleihin myöhemmin. Toinen esimerkki on Echo Chamber -hyökkäys, jossa vihollinen luo keskustelusilmukoita lähettämällä agentille toistuvia, vihamielisiä konteksteja. Tutkijat pystyivät ohittamaan turvallisuusmekanismit vahvistamalla haitallisia ohjeita useiden kierrosten ajan.

Epäsuora ja risti-injektoiva ohjelmointi on toinen esimerkki. Viholliset voivat piilottaa haitalliset ohjeet ulkoiseen sisältöön, kuten kuvien tai asiakirjojen muotoon, joita agenteille syötetään. Nämä ohjeet voivat kaapata itsenäiset päätökset ilman suoraa käyttäjän syötettä.

Sofistikoituja tekoälyagenttien ekosysteemihyökkäykset, kuten työkalumyrkytykset, vaativat tarkkaa tarkastelua koko toimitusketjun osalta. Hyökkääjät luovat näennäisesti legitiimejä työkaluja agenttialustoille, mutta upottavat niiden kuvausten ja asiakirjojen sisään haitallisia ohjeita. Kun agenteille ladataan nämä työkalut, upotetut ohjeet tulevat osaksi agentin kontekstia, mahdollistaen laittomia toimia, kuten tietojen vuotamista tai järjestelmän murenemista.

Miten SPLX:n alusta auttaa organisaatioita havaitsemaan ja reagoimaan LLM-kohtaisiin uhkiin, kuten ohjelmointi-injektiot tai vastustuskykyiset vankilahyökkäykset?

SPLX on lopputon turvallisuusalusta, joka suojaa LLM-pohjaisia sovelluksia ja monitoimijärjestelmiä koko tekoäly-elinkaaren ajan, kehityksestä käyttöönottoon ja suoritusaikaan. Meidän AI-suoritusaikainen suojelu on suunniteltu estämään nämä uhkat, kun ne tapahtuvat, jatkuvasti seuraamalla ja suodattamalla syötteitä ja tulosteita. Se toimii tekoälylle reaaliaikaisena palomuurina ja pakottaa tiukat käyttäytymisen rajat tekoälylle. SPLX:n dynaaminen havaintamoottori merkitsee haitallista toimintaa reaaliajassa, varmistaa, että tekoälyjärjestelmät reagoivat turvallisesti ja pysyvät tarkoituksenmukaisissa rajoissa.

Miten OWASP:n päivitetty GenAI-turvallisuuden Top 10 -lista heijastaa muuttuvaa vihamielistä maisemaa?

Vuoden 2025 OWASP Top 10 -päivitykset heijastavat syvenevää ymmärrystä siitä, miten LLM:t ja generatiiviset tekoälytekniikat käytetään todellisissa skenaarioissa. On tärkeää huomata, että on paljon enemmän kuin kymmenen LLM-uhkaa, mutta tavoitteena on tunnistaa kymmenen tärkeintä. Suuret muutokset ovat LLM07 Epävarma liitännäissuunnittelu, joka on sisällytetty toimitusketjun ja LLM010-mallivarkaus, joka on sisällytetty rajoittamattomaan kulutukseen vuoden 2025 listalle, mikä loi tilaa seuraaville:

1. Järjestelmän ohjaimen vuoto, joka tunnistaa uhkan, joka paljastaa järjestelmän ohjaimen, joka voi paljastaa turvallisuuden, logiikan tai salattuja tietoja LLM-ohjaimissa.

2. Vektoritietokannan haavoittuvuudet, jotka merkitsevät RAG-järjestelmissä olevia potentiaalisia turvallisuusongelmia, kuten cross-tenant -tietovuoto, upotuskäännös tai myrkytettyjä asiakirjoja, jotka myöhemmin paljastavat vaarallisia tulosteita.

3. Päivitykset osoittavat, että tekoälyyn kohdistuvat hyökkäykset kehittyvät käsityönäisiin, oportunistisiin ohjelmointi-injektioiden sijaan. Nykyiset hyökkäykset osoittavat strategista ajattelua koko tekoälyjärjestelmää kohtaan, keskittyen siihen, miten hyökkääjä voi vaikuttaa koko järjestelmään, sen sijaan, että keskittyisi yksittäisiin hyökkäyksiin.

Miten organisaatiot voivat sisällyttää automaattisen red teamin, CIAM:n, RAG-hallinnon ja seurannan GenAI-riskien hallintaan?

Avain on integraatio erillisten aloitteiden sijaan. GenAI-riskien hallintastrategia tarvitsee olevan yhtenäinen kehys, jossa jokainen komponentti tukee toisiaan.

Aloita automaattisella red teamillä perustana. On tärkeää, että jatkuvasti testataan agentteja haavoittuvuuksien perusteella, muutosten merkityksen ja organisaation riskienhaltuun perustuen. SPLX:n alusta simuloi tuhansia hyökkäysskenaarioita eri riskiluokissa, testaten ohjelmointi-injektiota, vankilamurtoja, kontekstin manipulointia ja työkalumyrkytyksiä. Kriittinen asia on tehdä tämä osaksi CI/CD-pipelinea, jotta jokainen agentin päivitys on turvallisuudeltaan validi ennen käyttöönottoa.

CIAM tekoälyjärjestelmille vaatii uudelleenarviointia perinteisistä identiteettimalleista. Tekoälyagenttien on oltava hienojakoinen valtuutus, joka voidaan mukauttaa dynaamisesti kontekstin ja riskitasojen perusteella. Käytä attribuuttipohjaista pääsyä, joka ottaa huomioon agentin identiteetin, prosessoidun datan, pyydetyt työkalut ja uhkauskontekstin.

RAG-hallinto on erityisen tärkeää. Perustaa tietojen polkuja seuraavia kaikille vektoritietokantoihin syötettäville sisällöille. Käytä sisällön validointiprosesseja, jotka voivat havaita vihamielisiä esimerkkejä tai haitallisia ohjeita, jotka on upotettu asiakirjoihin.

Seurannassa on tarve teknisille ja käyttäytymiseen liittyville indikaattoreille. Tekninen seuranta käsittää syöte-/tuloste-analyysin, API-kutsujen mallit ja resurssien kulutuksen. Käyttäytymiseen liittyvä seuranta keskittyy päätösten laatuun, tehtävän suorittamisen malleihin ja vuorovaikutuskonteksteihin, jotka voivat osoittaa kompromissia.

Integraatio on tärkeää. Red teamin tulokset tulee ohjata CIAM-käytäntöihin, seurantajärjestelmien tulee antaa palautetta RAG-hallintoprosesseihin, ja kaikki tämä tulee koordinoida keskitetyllä yrityksen riskienhallintaprosessilla, joka voi korreloidata signaaleja kaikilla näillä alueilla.

Millaisia trendejä turvallisuuspäälliköiden tulisi valmistautua seuraavien 12-18 kuukauden aikana, kun tekoälyyn liittyvät tietoturvaongelmat ovat edelleen alkuvaiheessa, mutta kasvamassa?

Odotan merkittävän kasvun toimitusketjun hyökkäyksissä, jotka kohdistuvat kaikkeen, myös tekoälyinfrastruktuuriin. Tekoälytoimitusketjun hyökkäykset voivat myrkyttää koulutusaineistoja, kompromittaa mallien varastoja tai upottaa haitallista koodia ohjelmistoriippuvuuksiin, jotta voidaan saada pysyvä pääsy tekoälyjärjestelmiin.

On jo nyt kasvava määrä autonomisia sosiaalipsykologisia hyökkäyksiä, kuten deepfake-vishing-ilmiöitä, mutta mitä minua eniten huolestuttaa, on kehitys kohti täysin autonomisia kampanjoita useilla alustoilla samanaikaisesti, jotka on räätälöity eri kohderyhmille ja konteksteille. Tekoälyagentit, jotka käsittelevät täysin sosiaalipsykologisia kampanjoita useilla alustoilla, luovat voimakkaan kertoimen, jota perinteiset puolustukset eivät ole valmiit kohtaamaan.

Uskon, että näemme tekoälyyn perustuvien hyökkäysten nousun, jotka toimivat koneen nopeudella. Perinteiset turvallisuustyökalut ja ihmisanalyysit eivät pysty pitämään päällä hyökkääjää, joka voi suorittaa monivaiheisia hyökkäyksiä millisekunteja.

Miten arvelet, että sääntely- ja vaatimuskehykset kehittyvät tekoälyyn liittyvien riskien vuoksi?

Ennustan merkittävää muutosta sääntelykehyksissä, jossa tavoitellaan innovaation ja vastuullisuuden tasapainoa, keskittyen transparenssiin, turvalliseen kehitykseen, toimitusketjun turvallisuuteen ja vastuullisuuteen.

Odotan, että sääntelyelimet haluavat tietää, mistä data on peräisin, jota käytetään tekoälymallien kouluttamiseen ja täydentämiseen. He haluavat nähdä todisteita siitä, että data on puhdistettu, ettei siinä ole arkaluontoista tietoa eikä sitä ole myrkytetty.

Lopulta uskon, että näemme toimialakohtaisia sääntelyjä. Riskit rahoituslaitoksille, jotka käyttävät tekoälyä transaktioihin, ovat erilaisia kuin terveydenhuollon yrityksillä, jotka käyttävät sitä diagnoosiin.

Sääntelyelimet alkavat määritellä tiettyjä standardeja kriittisille aloille, vaatien asioita kuten automaattista red teamiä, ihmisen valvontaa ja tiukkaa auditointia tekoälyjärjestelmille, joilla voi olla elämän ja kuoleman vaikutuksia.

Kuinka valmistat seuraavan sukupolven tekoälyturvallisuusammattilaisia Boise State Universityn apulaisprofessorina ja instituutin hallituksen jäsenenä, ja mitkä taidot näet tärkeimmiksi nykyisessä muuttuvassa maisemassa?

Kriittinen ajattelu ja ongelmanratkaisu ovat edelleen tärkeimmät taidot, joita opiskelijoiden tulisi omata uraan tekoälyturvallisuuden parissa, mutta taidot, kuten ihmisten psykologia ja kielitiede, jotka aiemmin olivat vain kyberturvallisuuden uhka-analyysitiimien osaamista, ovat nyt hyödyllisiä useille tekoälyturvallisuuden rooleille.

Ihmis- ja viestintätaidot ovat myös tärkeitä. Kyberturvallisuus on enemmän kuin IT-järjestelmät, se on ihmisten ja liiketoiminnan tavoitteiden saavuttamisesta, ja kyky kääntää ja viestiä monimutkaisia teknisiä riskejä ei-teknisille sidosryhmille, jotta he voivat tehdä oikeat päätökset yritykselle. Tekoälyturvallisuuden tulevaisuus riippuu ammattilaisista, jotka ovat sekä teknisesti älykkäitä että maanläheisiä ja taitavia viestijöitä.

Lopulta tekoälyturvallisuusmaisema kehittyy niin nopeasti, että se on tärkeää pystyä oppimaan ja sopeutumaan nopeasti.

Kiitos haastattelusta ja yksityiskohtaisesta näkemyksestä. Lukijat, jotka haluavat oppia lisää, voivat vierailla SPLX:ssä.