Sandy Dunn, CISO i SPLX – Intervju-serie

Sandy Dunn, CISO i SPLX er en veteran CISO med over 20 års erfaring innen helse og startups, og tilbyr CISO-konsulenttjenester gjennom QuarkIQ. Hun leder OWASP Top 10 for LLM Applications Cybersecurity and Governance Checklist og bidrar til OWASP AI Exchange, OWASP Top 10 for LLM og Cloud Security Alliance. Hun er også en adjunkt professor i cybersecurity ved Boise State University og er en hyppig foredragsholder, rådgiver og styremedlem i Boise States Institute for Pervasive Cybersecurity. Sandy har en mastergrad i informasjonssikkerhetsledelse fra SANS og flere sertifikater, inkludert CISSP, multiple SANS GIAC-creditter, Security+, ISTQB og FAIR.

SPLX er et selskap som tilbyr sikkerhetstjenester for AI-systemer gjennom automatisert red teaming, runtime-beskyttelse, styring, retting, trusselinspeksjon og modell-sikkerhet. Plattformen kjører tusenvis av adversarielle simuleringer på under en time for å identifisere sårbarheter, hardener systempromter før distribusjon og inkluderer Agentic Radar, et åpent verktøy for å kartlegge og analysere risikoer i multi-agent AI-arbeidsflyter.

Hva var det som først dro deg til krysningspunktet mellom AI og sikkerhet, og hvordan ledet denne veien deg til din rolle i SPLX og involvering med OWASP?

AI hadde vært en del av sikkerhetsdiskusjonene i flere år før ChatGPT, men det føltes ofte som om det ikke hadde levd opp til forventningene. Så da det ble lansert, ventet jeg å bli skuffet, men hadde i stedet det motsatte reaksjonen. Da jeg først brukte ChatGPT, var jeg både imponert over hva det kunne gjøre og skremt over hvor raskt det kunne bli brukt til adversarielle angrep eller misbruk av personvern. Denne øyeblikket tente en ild. Jeg dykket headfirst inn i LLM-er, leste hver eneste forskningsrapport jeg kunne finne, ble med i hver relevant Slack- og Discord-samfunn og kjørte mine egne eksperimenter. Jeg lurket en stund i OWASP Top 10 for LLM-kanalen, og da den første listen ble publisert, visste jeg det var et viktig milepæl. Men som CISO, følte jeg at sikkerhetsteamene trengte mer informasjon. Vi hadde fortalt folk hva de skulle være bekymret for, men ikke hva de skulle gjøre. Jeg approcherte Steve Wilson, prosjektlederen, om å lage en “LLM-sikkerhets-CISO-sjekkliste”. Det ble så det første OWASP GenAI-underprosjektet, som inspirerte mange flere underprosjekter.

Gjennom dette arbeidet, møtte jeg Kristian Kamber og Ante Gojsalic (gründerne av SPLX), og rådgav også flere AI-sikkerhetsselskaper, noen med lovende ideer, noen mindre så. På den tiden var jeg CISO i et B2B-chatbot-selskap, og lagde en omfattende AI-adversariell testplaybook. Da jeg så SPLX’ demo, kjente jeg umiddelbart igjen at de hadde løst det samme problemet jeg kjempet med: hvordan å operationalisere adversariell testing. Da SPLX trengte en CISO, grep jeg sjansen til å være en del av et fantastisk selskap med utrolige mennesker som løste viktige utfordringer.

Som CISO i SPLX, hva er de mest nye angrepsmetodene du avdekker, spesielt i forhold til agens AI?

På grunn av nyansene i GenAI-systemdesign, er det ikke mulig å eliminere GenAI-sårbarheter og angrep som utnytter agentens autonomi og evner. Memory Poisoning-angrep som MINJA er et nytt eksempel på dette. Med MINJA kan angripere korruptere en agents minnebanker gjennom skreddersydde interaksjoner, og implante skadelige “minner” med promter som resulterer i misvisende eller farlige atferd senere. Et annet eksempel er Echo Chamber-angrepet. Dette er hvor en angriper skaper samtaleløkker ved å sende en agent gjentatte malisiøse kontekster. Forskere var i stand til å omgå sikkerhetsmekanismer ved å forsterke skadelige instruksjoner over flere omganger.

Indirekte og cross-modale prompt-injeksjon er et annet eksempel. Malisiøse instruksjoner gjemmer seg i eksternt innhold som bilder eller dokumenter som agenter konsumerer. Disse instruksjonene kan kapre autonome beslutninger uten direkte innputt fra brukeren.

Sofistikerte AI-agent-angrep som verktøyforgiftning krever nøye gjennomgang av hele forsyningen for AI-agent-distribusjon. Angripere skaper tilsynelatende legitime verktøy for agentplattformer, men innlemmer malisiøse instruksjoner i verktøyskildring og dokumentasjon. Når agenter laster disse verktøyene, blir de innlemmete instruksjonene en del av agentens kontekst, og muliggjør uautoriserte handlinger som dataekstraksjon eller systemkompromiss.

Hvordan hjelper SPLX-plattformen organisasjoner med å oppdage og reagere på LLM-spesifikke trusler som prompt-injeksjon eller adversariell fengselsangrep?

SPLX er en sikkerhetsplattform som beskytter LLM-drevne applikasjoner og multi-agent-systemer over hele AI-livssyklusen, fra utvikling til distribusjon og drift. Vår AI Runtime Protection er designet for å stoppe disse truslene mens de skjer, ved å kontinuerlig overvåke og filtrere inn- og ut-data. Det fungerer som en sanntids-brannmur for AI og påtvinger strenge atferdsbegrensninger på AI. SPLX’ dynamiske deteksjonsmotor flagger malisiøs aktivitet i sanntid, og sikrer at AI-systemer reagerer trygt og holder seg innenfor ønskede grenser.

Hvordan reflekterer OWASPs oppdaterte GenAI-sikkerhets-Top 10 de nye truslene som system-prompt-lekkasje og vektor-database-sårbarheter?

2025-oppdateringen av OWASP Top 10 reflekterer en utvikling i forståelsen av hvordan LLM-er og generative AI-teknologier brukes i virkelige scenarier. Det er viktig å påpeke at det finnes mange flere enn ti LLM-trusler, men målet er å identifisere de ti viktigste. De store endringene er LLM07 Usikker plugin-design som ble inkludert i forsyningskjeden, og LLM010 Modell-tyveri som ble inkludert i ubegrensede forbruk for 2025-listen, som skapte plass til å inkludere:

1. System-prompt-lekkasje, som identifiserer truslen om å avsløre system-prompten, kan avsløre guardrails, logikkflyter eller selv hemmeligheter innlemmet i LLM-prompter.

2. Vektor-database-sårbarheter flagger potensielle sikkerhetsproblemer i RAG-systemer, som cross-tenant data-lekkasje, innlemmingsinversjon eller forgiftede dokumenter som senere kan føre til farlige utdata.

3. Oppdateringene viser at AI-fokuserte angrep har utviklet seg fra skreddersydde, opportunistiske prompt-angrep til sofistikerte angrep som målretter hele AI-forsyningskjeden. Moderne angrep demonstrerer strategisk tenkning om hele AI-systemet, med fokus på varighet, skala og systemisk påvirkning, i stedet for enkeltstående utnyttelser.

Utvidet dekning av agens-arkitekturer anerkjenner en annen kritisk utvikling. Ettersom AI-systemer får større autonomi og beslutningsevner, øker konsekvensene av sikkerhetsfeil eksponentielt. Redusert menneskelig tilsyn, samtidig som det muliggjør kraftigere applikasjoner, har en multiplikator-effekt som tradisjonelle forsvar ikke er forberedt på.

Hva er de mest vanlig oversette sårbarhetene i bedrifter som distribuerer agens AI i dag?

Det mest vanlige oversette problemet er det samme utfordringen vi møter med tradisjonelle programvare- og systemdistribusjoner, nemlig prinsippet om minst mulig privilegium. Vi er fortsatt i ferd med å løse minst mulig privilegium for menneskelige brukere og tjenekontoer, og nå må organisasjonene håndtere en ny utfordring med å håndtere ikke-menneskelige identiteter (NIH). Folk distribuerer agenter mens agent-identitet og tilgang fortsatt ikke er fullstendig forstått eller løst. Vi ser agenter som får vide privilegier til å lese dokumenter, aksessere eksterne API-er og endre systemer. Dette er ikke en teknisk feil i modellen selv, men en grunnleggende arkitektonisk feil. En kompromittert agent med for stor privilegium kan forårsake kaos, fra å eksfiltrere store mengder data til å initiere finansielle transaksjoner.

Et annet ofte oversett eller ignert problem er “tillitsforholdet” mellom agenter. I agens-systemer er agenter ofte designet til å kommunisere og samarbeide med hverandre. Vi ser en ny klasse angrep hvor en kompromittert agent kan etterligne en legitim en, og bli en “Agent-in-the-Middle”. Dette er som en trojansk hest, men på et arkitektonisk nivå.

Kan du gå gjennom konkrete skritt som bedriftssikkerhetsteam bør følge når de distribuerer agens AI-verktøy i produksjonsmiljøer?

1. Start med incidentresponsplaner. Hva ser den verste dagen ut til å være, og arbeid dere så bakover for å sikre at sikkerhetskontroller og synlighet er på plass. Når et AI-brudd skjer, trenger sikkerhetsoperasjonssenteret en playbook. Hvem blir underrettet? Hvordan isolerer dere en kompromittert agent? Hva er prosessen for å rulle tilbake til en kjent god tilstand? Å ha en plan før en krise oppstår, er avgjørende.

2. Angrepsflate-inventar og trusselvurdering. Dere kan ikke sikre det dere ikke vet dere har. Første skrittet er å få en fullstendig inventar over alle AI-agenter, verktøy i bruk og data-tilgang. Hva data berører det? Hva privilegier har det? Hva er den potensielle påvirkningen hvis det blir kompromittert? Prioriter på høy påvirkning og mest sannsynlige trusler. Deretter ha en åpen samtale med ledelsen om risikotoleranse. En fordel med den akselererte AI-aktiviteten er at CISO-er, risikostyrere, juridiske team og ledere vil bli tvunget til å ha en reel samtale om forretningsmål, risikotoleranse og sikkerhetsbudsjett. Historisk sett har det vært en forventning om ingen hendelser med minimalt budsjett. CISO-er har (nesten) vært i stand til å unngå en stor hendelse ved å implementere tilstrekkelig sikkerhet til å gjøre deres organisasjon mindre attraktiv enn organisasjonen med mindre sikkerhet. AI-aktiverede angripere gjør denne strategien urealistisk nå.

3. Implementer guardrails, minst mulig privilegium og overvåkingsverktøy. Omfang er viktig for alle agent-distribusjoner. Definer en agents formål, grenser og privilegier. Gi ikke en agent tilgang til hele SharePoint-biblioteket hvis den bare trenger en mappe. Implementer kontroller som begrenser hva API-er den kan ringe og hva handlinger den kan utføre. Tenk på det som en ny, svært smart, full intern. Dere anerkjenner at de har fantastiske evner, men dere ville ikke stole på dem. Dere ville begrense hva de kunne gjøre innenfor selskapet, dere ville ikke gi dem tilgang til noe viktig, dere ville overvåke hva de gjør og dere ville ha alarmsystemer på plass hvis de prøvde å gjøre noe de absolutt ikke skulle gjøre, som å aksessere CEO-kontoret.

4. Implementer en AI-spesifikk sikkerhetsstak som sammenflettes med den tradisjonelle sikkerhetsstaken. Tradisjonelle sikkerhetsverktøy var ikke designet for GenAI-systemer eller agens-systemer. Dere trenger å implementere verktøy som er designet for problemer som er unike for GenAI, som prompt-validering, utdata-sanering og kontinuerlig overvåking av agent-atferd. Disse verktøyene må være i stand til å detektere de subtile, semantiske angrepene som er spesifikke for GenAI og agens-systemer.

5. Integrer AI-red teaming i CI/CD-pipeline. Dere må kontinuerlig teste agenter for sårbarheter basert på betydningen av endringene og organisasjonens risikotoleranse. Den nylige GPT-5-oppdateringen er et eksempel på hvordan disruptivt endringer kan være på agens-arbeidsflyter. Gjør automatisert red teaming til en integrert del av utviklingslivssyklusen. Dette hjelper dere å identifisere problemer mens dere oppdaterer og endrer agenter.

Hvordan bør organisasjoner inkorporere automatisert red teaming, CIAM, RAG-styring og overvåking i GenAI-risikostyringsstrategien?

Nøkkelen er integrering, ikke å behandle dem som separate initiativer. GenAI-risikostyringsstrategien må være en samlet ramme hvor hver komponent støtter hverandre.

Start med automatisert red teaming som grunnlag. Det er viktig å ha kontinuerlig adversariell testing som utvikler seg med trussellandskapet. SPLX-plattformen simulerer tusenvis av angreps-scenarier over forskjellige risikokategorier, og tester for prompt-injeksjon, fengselsangrep, kontekstmanipulasjon og verktøyforgiftning. Det kritiske aspektet er å gjøre dette en del av CI/CD-pipeline, så hver agentoppdatering er sikkerhetsvalideret før distribusjon.

CIAM for AI-systemer krever en omdefinering av tradisjonelle identitetsmodeller. AI-agenter trenger granulerte privilegier som kan justeres dynamisk basert på kontekst og risikonivå. Implementer attributtbasert tilgangskontroll som tar hensyn til ikke bare agentens identitet, men også data det prosesserer, verktøyene det ber om tilgang til og trusselkonteksten.

RAG-styring er spesielt kritisk. Etablér data-linje-sporing for all innhold som inngår i vektor-lagre. Implementer innhold-validerings-pipelines som kan detektere adversarielle eksempler eller malisiøse instruksjoner innlemmet i dokumenter.

For overvåking trenger dere telemetri som fanger både tekniske og atferdsmessige indikatorer. Teknisk overvåking inkluderer inn-/ut-data-analyse, API-kallmønster og ressursforbruk. Atferdsmessig overvåking fokuserer på beslutningskvalitet, oppgave-fullføringsmønster og interaksjonskontekster som kan indikere kompromittering.

Integrering er viktig. Red teaming-resultatene bør informere CIAM-politikkene, overvåkingssystemene bør gi tilbake til RAG-styringsprosessene, og alt dette må koordineres gjennom en sentralisert bedrifts-risikostyringsplattform som kan korrelere signaler over alle disse domenene.

Hva trender bør sikkerhetsledere forberede seg på i løpet av de neste 12 til 18 månedene?

Jeg forventer å se en betydelig eskalering i forsyningskjedeangrep som målretter alt, inkludert AI-infrastruktur. AI-forsyningskjedeangrep forgifter treningsdatasett, kompromitterer modell-repositorier eller injiserer malisiøs kode i programavhengigheter for å få varig tilgang til AI-systemer.

Det er allerede en økning i autonom sosial manipulasjon, som deepfake-vishing-hendelser, men utviklingen mot fullt autonome generering er det som bekymrer meg mest. AI-agenter som håndterer fullstendige sosiale manipulasjonskampanjer over flere plattformer samtidig, hver tilpasset spesifikke mål og kontekster, skaper en multiplikatoreffekt som tradisjonelle forsvar ikke er forberedt på.

Jeg tror vi vil se en økning i AI-naturlige angrep som opererer på maskin-hastighet. Tradisjonelle sikkerhetsverktøy og menneskelige analytikere kan ikke holde pace med en angriper som kan utføre komplekse, multi-stegs-utnyttelser på millisekunder.

Hvordan ser du for deg at regulerings- og retningslinjer utvikler seg i respons til generativ AI-risiko?

Jeg forventer en stor endring i reguleringsrammeverk, med fokus på å balansere innovasjon med ansvar, transparens, sikker utviklingspraksis og forsyningskjedesikkerhet.

Jeg forventer å se en fokus på data-proveniens og integritet. Reguleringsmyndighetene vil ønske å vite hvor dataene som brukes til å trene og forbedre AI-modeller kommer fra. De vil ønske å se bevis på at dataene ble sanert, at de ikke inneholdt følsomme opplysninger og at de ikke har blitt forgiftet.

Til slutt tror jeg vi vil se sektorsspesifikke reguleringslinjer. Risikoen for en finansinstitusjon som bruker en AI-agent til å håndtere transaksjoner er forskjellig fra risikoen for et helse-selskap som bruker en til diagnostikk.

Reguleringsmyndighetene vil begynne å definere spesifikke standarder for kritiske industrier, og kreve ting som automatisert red teaming, menneske-i-løkken-overvåking og strenge auditing for AI-systemer som kan ha livs- eller døds-konsekvenser.

Som en adjunkt professor og styremedlem i Boise States Institute for Pervasive Cybersecurity, hvordan forbereder du neste generasjon av AI-sikkerhetsproffene, og hva ferdigheter ser du som mest kritiske i dagens utviklende landskap?

Kritisk tenkning og problemløsning er fortsatt de viktigste ferdighetene studentene trenger for en god karriere i sikkerhet, men ferdigheter som menneskepsykologi og lingvistikk, som tidligere bare fantes i cybersikkerhets-intelligens-team, er ferdigheter som vil være til nytte i en rekke sikkerhetsjobber i AI-framtiden.

Menneskelige ferdigheter og kommunikasjonsevner teller også. Sikkerhet er mer enn IT-systemer, det handler om mennesker, å hjelpe en bedrift med å nå sine forretningsmål og å kunne oversette og kommunisere komplekse tekniske risikoer til ikke-tekniske interessenter, så de kan ta riktige beslutninger for selskapet. Framtiden for sikkerhet vil avhenge av profesjonelle som ikke bare er teknisk smarte, men også grunnleggende og dyktige kommunikatorer.

Til slutt er AI-sikkerhetslandskapet i rask utvikling, så det vil være viktig å kunne lære og tilpasse seg raskt.

Takk for det flotte intervjuet og detaljerte innsikt, lesere som ønsker å lære mer bør besøke SPLX.