Sandy Dunn, CISO i SPLX – Intervju-serie

Sandy Dunn, CISO i SPLX er en veteran CISO med 20+ års erfaring innen helse og startups, og tilbyr CISO-konsulenttjenester gjennom QuarkIQ. Hun leder OWASP Top 10 for LLM Applications Cybersecurity og Governance Checklist og bidrar til OWASP AI Exchange, OWASP Top 10 for LLM og Cloud Security Alliance. Som adjunkt professor i cybersikkerhet ved Boise State University, er hun også en hyppig foredragsholder, rådgiver og styremedlem i Boise States Institute for Pervasive Cybersecurity. Sandy har en mastergrad i informasjonssikkerhetsledelse fra SANS og flere sertifikater, inkludert CISSP, flere SANS GIAC-crediteringer, Security+, ISTQB og FAIR.

SPLX er et selskap som tilbyr cybersikkerhetstjenester som gir end-to-end-beskyttelse for AI-systemer gjennom automatisert red teaming, runtime-beskyttelse, styring, retting, trusselinspeksjon og modell sikkerhet. Deres plattform kjører tusenvis av adversarielle simulasjoner på under en time for å identifisere sårbarheter, hardener systemprompter før distribusjon og inkluderer Agentic Radar, et åpen kilde-verktøy for å kartlegge og analysere risikoer i multi-agent AI-arbeidsflyter.

Hva var det som først gjorde deg interessert i krysningspunktet mellom AI og cybersikkerhet, og hvordan ledet denne veien deg til stillingen din i SPLX og involvering med OWASP?

AI hadde vært en del av cybersikkerhetsdiskusjoner i mange år før ChatGPT, men det føltes ofte som om det ikke hadde levd opp til forventningene. Så når det ble lansert, ventet jeg å bli skuffet, men hadde motsatt reaksjon. Da jeg først brukte ChatGPT, var jeg både imponert over hva det kunne gjøre og redd for hvor raskt det kunne bli brukt til adversarielle angrep eller misbruk av personvern. Denne øyeblikket tente en ild. Jeg dykket hodestyrt inn i LLMs og leste hver eneste forskningsrapport jeg kunne finne, ble med i hver relevant Slack- og Discord-samfunn og utførte mine egne eksperimenter. Jeg lurket en stund i OWASP Top 10 for LLM-kanalen, og da den første listen ble publisert, visste jeg at det var et viktig milepæl. Men som CISO, følte jeg at sikkerhetsteamene trengte mer informasjon. Vi hadde fortalt folk hva de skulle være bekymret for, men ikke hva de skulle gjøre. Jeg approcherte Steve Wilson, prosjektlederen, om å lage en “LLM-sikkerhets-CISO-sjekkliste”. Det ble deretter det første OWASP GenAI-underprosjektet, som inspirerte mange flere underprosjekter.

Gjennom dette arbeidet, møtte jeg Kristian Kamber og Ante Gojsalic (gründerne av SPLX), og rådgav også flere AI-sikkerhetsselskaper, noen med lovende ideer, noen mindre så. På den tiden var jeg CISO i et B2B-chatbotselskap, og lagde en omfattende AI-adversariell testhåndbok. Da jeg så SPLX sin demo, erkjente jeg umiddelbart at de hadde løst det samme problemet jeg kjempet med: hvordan å operasjonalisere adversariell testing. Da SPLX trengte en CISO, grep jeg muligheten til å være en del av et fantastisk selskap med incredibelt folk som løser viktige utfordringer.

Som CISO i SPLX, hva er de mest nyanserte angrepsmetodene du avdekker, spesielt med hensyn til agens AI?

På grunn av nyansene i GenAI-systemdesign, er det ikke mulig å eliminere GenAI-sårbarheter og angrep som utnytter agentens autonomi og evner. Minneforgiftningangrep som MINJA er et nylig eksempel på dette. Med MINJA, kan angripere subtilt forurense en agents minnebanker gjennom konstruerte interaksjoner, og implante skadelige “minner” med promter som resulterer i misvisende eller farlige atferd senere. Et annet eksempel er Echo Chamber-angrepet. Dette er hvor en motstander skaper samtaleløkker ved å sende en agent gjentatte malisieuse kontekster. Forskere var i stand til å unngå sikkerhetsmekanismer ved å forsterke skadelige instruksjoner over flere omgang.

Indirekte og kryss-modale promptinjeksjon er et annet eksempel. Malisieuse instruksjoner skjules i eksternt innhold som bilder eller dokumenter som agenter konsumerer. Disse instruksjonene kan kapre autonome beslutninger uten direkte innputt fra brukeren.

Sophisticerte AI-agent-økosystemangrep som verktøygforgiftning krever nøye gjennomgang av hele forsyningen for AI-agent-distribusjon. Angripere skaper tilsynelatende legitime verktøy for agentplattformer, men innebygger malisieuse instruksjoner i verktøyskildring og dokumentasjon. Når agenter laster disse verktøyene, blir de innebygde instruksjonene en del av agentens kontekst, og muliggjør uautoriserte handlinger som dataekstraksjon eller systemkompromiss.

Hvordan hjelper SPLX-plattformen organisasjoner med å oppdage og reagere på LLM-spesifikke trusler som promptinjeksjon eller adversariell fengselsangrep?

SPLX er en end-to-end-sikkerhetsplattform som beskytter LLM-drevne applikasjoner og multi-agent-systemer over hele AI-livssyklusen, fra utvikling til distribusjon og sanntidsdrift. Vår AI Runtime Protection er designet for å stoppe disse truslene mens de skjer, ved å kontinuerlig overvåke og filtrere inn- og ut-data. Det fungerer som en sanntids-brannmur for AI og påtvinger strenge atferdsbegrensninger på AI. SPLX sin dynamiske deteksjonsmotor markerer malisieus aktivitet i sanntid, og sikrer at AI-systemer reagerer trygt og forblir innenfor ment å være grenser.

OWASPs oppdaterte GenAI-sikkerhets Top 10 utvider nøkkelrisikoer som system-prompt-lekkasje og vektor-database-sårbarheter. Hvordan reflekterer disse nye truslene den evoluerende motstandslandskapet?

OWASP Top 10-oppdateringene for 2025 reflekterer en evoluerende forståelse av hvordan LLMer og generative AI-teknologier brukes i virkelige scenarier. Det er viktig å påpeke at det finnes mange flere enn ti LLM-trusler, men målet er å identifisere de ti viktigste. De store endringene er LLM07 Usikker plugin-design som ble inkludert i leverandørkjeden og LLM010 Modell-tyveri som ble inkludert i ubegrenset forbruk for 2025-listen, som skapte plass til å inkludere:

1. System-prompt-lekkasje som identifiserer truslen om å avsløre system-prompten kan avsløre guardrails, logikkflyter eller selv hemmeligheter innbygget i LLM-prompter.

2. Vektor-database-sårbarheter som markerer potensielle sikkerhetsproblemer innen RAG-systemer som kryss-tenant-data-lekkasje, innleggelse-inversjon eller forgiftede dokumenter som senere resulterer i farlige utdata.

3. Oppdateringene viser at AI-fokuserte angrep har utviklet seg fra konstruerte, opportunistiske promptangrep til sofistikerte angrep som målretter hele AI-leverandørkjeden. Moderne angrep demonstrerer strategisk tenkning om hele AI-systemet, med fokus på varighet, skala og systemisk påvirkning i stedet for enkeltstående utnyttelser.

Den utvidede dekningen av agens-arkitekturer erkjenner en annen kritisk utvikling. Ettersom AI-systemer får større autonomi og beslutningsevner, multipliseres konsekvensene av sikkerhetsfeil eksponentielt. Redusert menneskelig tilsyn, samtidig som det muliggjør kraftigere applikasjoner, har en komponenteffekt som forsterker påvirkningen av vellykkede angrep.

I ditt syn, hva er de mest oversette sårbarhetene i bedrifter som distribuerer agens AI i dag?

Det mest oversette problemet er det samme utfordringen vi møter med tradisjonell programvare og systemdistribusjon, prinsippet om minst privilegium. Vi kjemper fortsatt med minst privilegium med menneskelige brukere og tjenekontoer, og nå møter organisasjonene en ny utfordring med å håndtere ikke-menneskelige identiteter (NIH). Folk distribuerer agenter mens agent-identitet og -tilgang fortsatt ikke er fullt ut forstått eller løst. Vi ser agenter gitt videomessige tillatelser til å lese dokumenter, aksessere eksterne APIer og endre systemer. Dette er ikke et teknisk feil i modellen selv, det er en grunnleggende arkitektonisk feil. En kompromittert agent med eksessive privilegier kan forårsake kaos, fra å eksfiltrere store mengder data til å initiere finansielle transaksjoner.

Et annet ofte oversett eller ignorert problem er “tillits”-forholdet mellom agenter. I agens-systemer er agenter ofte designet til å kommunisere og samarbeide med hverandre. Vi ser en ny klasse angrep hvor en kompromittert agent kan impersonere en legitim en, essensielt bli en “Agent-in-the-Middle”. Det er som en trojansk hest, men på et arkitektonisk nivå.

Kan du gå oss gjennom handlinger som sikkerhetsteam i bedrifter bør ta når de distribuerer agens AI-verktøy i produksjonsmiljøer?

1. Start med incidentresponsplaner. Hva ser den verste dagen ut til, og jobb dere bakover for å sikre at sikkerhetskontrollene og synligheten er på plass. Når et AI-brudd skjer, trenger sikkerhetsoperasjonsenteret en håndbok. Hvem blir underrettet? Hvordan isolerer du en kompromittert agent? Hva er prosessen for å rulle tilbake til en kjent god tilstand? Å ha en plan før en krise skjer, er viktig.

2. Angrepsflate-inventar og trusselvurdering. Du kan ikke sikre det du ikke vet du har. Første skritt er å få en fullstendig inventar over alle AI-agenter, verktøy i bruk og data-tilgang. Hva data berører det? Hva tillatelser har det? Hva er den potensielle påvirkningen hvis det blir kompromittert? Prioriter på høy påvirkning og mest sannsynlige trusler. Deretter ha en åpen samtale med ledelsen om risikotoleranse. En fordel med den akselererte AI-aktiviteten er at CISOer, risikostyremedlemmer, juridiske team og ledere vil bli tvunget til å ha en reel samtale om forretningsmål, risikotoleranse og sikkerhetsbudsjett. Historisk sett har det vært en forventning om ingen hendelser med minimalt budsjett. CISOer har (nesten) vært i stand til å unngå store hendelser ved å implementere tilstrekkelig sikkerhet til å gjøre deres organisasjon mindre attraktivt enn organisasjonen med mindre sikkerhet. AI-aktiverede motstandere gjør denne strategien urealistisk nå.

3. Implementer guardrails, minst privilegium og overvåkingsverktøy. Omfang er viktig for alle agent-distribusjoner. Definer en agents formål, grenser og tillatelser. Gi ikke en agent tilgang til hele SharePoint-biblioteket hvis det bare trenger en mappe. Implementer kontroller som begrenser hva APIene det kan ringe og hva handlinger det kan utføre. Tenk på det som en ny, veldig smart, full agent. Du erkjenner at det har fantastiske evner, men du ville ikke stole på det. Du ville begrense hva det kunne gjøre innenfor selskapet, du ville ikke gi det tilgang til noe viktig, du ville overvåke hva det gjør og du ville ha alarm-systemer på plass hvis det prøvde å gjøre noe det absolutt ikke skulle gjøre, som å aksessere CEO-kontoret.

4. Implementer en AI-spesifikk sikkerhetsstakk som smelter sammen med din tradisjonelle sikkerhetsstakk. Tradisjonelle sikkerhetsverktøy var ikke designet for GenAI-systemer eller agens-systemer. Du må implementere verktøy som er designet for problemer som er unike for GenAI, som prompt-validering, utgangssanering og kontinuerlig overvåking av agent-atferd. Disse verktøyene må kunne detektere de subtile, semantiske angrepene som er spesifikke for GenAI og agens-systemer.

5. Integrer AI-red teaming i CI/CD-pipeline. Du må kontinuerlig teste dine agenter for sårbarheter basert på betydningen av endringene og organisasjonens risikotoleranse. Den nylige GPT-5-oppdateringen er et eksempel på hvordan disruptive endringer kan være på agens-arbeidsflyter. Gjør automatisert red teaming til en kjerne-del av din utviklingslivssyklus. Dette hjelper deg med å identifisere problemer mens du oppdaterer og endrer dine agenter.

Hvordan bør organisasjoner inkorporere automatisert red teaming, CIAM, RAG-styring og overvåking i deres GenAI-risikostyringsstrategi?

Nøkkelen er integrasjon i stedet for å behandle dem som separate initiativer. Din GenAI-risikostyringsstrategi må være et sammenhengende rammeverk hvor hver komponent støtter opp de andre.

Start med automatisert red teaming som grunnlag. Det er viktig å ha kontinuerlig adversariell testing som utvikler seg med trussellandskapet. SPLX-plattformen simulerer tusenvis av angreps-scenarier over forskjellige risikokategorier, og tester for promptinjeksjon, fengselsangrep, kontekstmanipulasjon og verktøygforgiftning. Det kritiske aspektet er å gjøre dette til en del av din CI/CD-pipeline, så hver agentoppdatering er sikkerhetsvalideret før distribusjon.

CIAM for AI-systemer krever en omdefinering av tradisjonelle identitetsmodeller. AI-agenter trenger granulerte tillatelser som kan justeres dynamisk basert på kontekst og risikonivå. Implementer attributtbasert tilgangskontroll som tar hensyn til ikke bare agentens identitet, men også data det prosesserer, verktøyene det ber om tilgang til og trusselkonteksten.

RAG-styring er spesielt kritisk. Etablér data-linjesporing for all innhold som inngår i vektor-lagre. Implementer innhold-validerings-pipelines som kan detektere adversarielle eksempler eller malisieuse instruksjoner innbygget i dokumenter.

For overvåking, trenger du telemetri som fanger både tekniske og atferdsmessige indikatorer. Teknisk overvåking inkluderer inn-/ut-data-analyse, API-kallmønster og ressursforbruk. Atferdsmessig overvåking fokuserer på beslutningskvalitet, oppgave-fullføringsmønster og interaksjonskontekster som kan indikere kompromittering.

Integrering er viktig. Red teaming-resultatene må informere CIAM-politikken, overvåkingssystemene må gi tilbake til RAG-styringsprosessene, og alt dette må koordineres gjennom en sentralisert bedrifts-risikostyringsplattform som kan korrelere signaler over alle disse domenene.

Med AI-relaterte brudd stadig i tidlige faser, men klar til å vokse, hvilke trender bør sikkerhetsledere forberede seg på i løpet av de neste 12 til 18 månedene?

Jeg forventer å se en betydelig eskalering i leverandørkjedeangrep som målretter alt, inkludert AI-infrastruktur. AI-leverandørkjedeangrep forgifter treningsdata, kompromitterer modell-repositorier eller injiserer malisieus kode i programavhengigheter for å få varig tilgang til AI-systemer.

Det er allerede en økning i autonom sosial ingeniørkunst som deepfake-vishing-hendelser, men utviklingen mot fullt autonome generering er det som bekymrer meg mest. AI-agenter som håndterer fullstendige sosiale ingeniørkampanjer over flere plattformer samtidig, hver tilpasset spesifikke mål og kontekster, skaper en kraftmultiplikator-effekt som tradisjonelle forsvar ikke er forberedt på.

Jeg tror vi vil se en økning i AI-naturlige angrep som opererer med maskin-hastighet. Tradisjonelle sikkerhetsverktøy og menneskelige analytikere kan ikke holde pace med en angriper som kan utføre komplekse, multi-stegs-utnyttelser på millisekunder.

Hvordan ser du for deg at regulerings- og samordningsrammeverk utvikler seg som respons på generative AI-risiko?

Jeg forventer en stor endring i reguleringsrammeverkene, med fokus på å balansere innovasjon med fokus på ansvar, transparens, sikre utviklingspraksis og leverandørkjede-sikkerhet.

Jeg forventer å se fokus på data-proveniens og -integritet. Reguleringsmyndighetene vil ønske å vite hvor dataene som brukes til å trene og utvide AI-modeller kommer fra. De vil ønske å se bevis på at dataene ble renset, at de ikke inneholdt sensitive informasjoner og at de ikke har blitt forgiftet.

Til slutt tror jeg vi vil se sektor-spesifikke reguleringer. Risikoen for en finansinstitusjon som bruker en AI-agent til å håndtere transaksjoner er forskjellig fra den for et helse-selskap som bruker en til diagnostikk.

Reguleringsmyndighetene vil begynne å definere spesifikke standarder for kritiske industrier, og kreve ting som automatisert red teaming, menneske-i-løkken-overvakning og streng auditing for AI-systemer som kan ha liv eller død-konsekvenser.

Som en adjunkt professor og styremedlem i Boise States Institute for Pervasive Cybersecurity, hvordan forbereder du neste generasjon av AI-sikkerhetsfagfolk, og hvilke ferdigheter ser du som mest kritiske i dagens utviklende landskap?

Kritisk tenkning og problemløsning er fortsatt de viktigste ferdighetene studentene trenger for en stor karriere i cybersikkerhet, men ferdigheter som menneskepsykologi og lingvistikk, som tidligere bare fantes i cybersikkerhets-intelligens-team, er ferdigheter som vil være til nytte for en rekke cybersikkerhetsjobber i AI-framtiden.

Menneske- og kommunikasjonsferdigheter er også viktige. Cybersikkerhet er mer enn IT-systemer, det handler om mennesker, å hjelpe en bedrift med å møte sine forretningsmål og å være i stand til å oversette og kommunisere komplekse tekniske risikoer til ikke-tekniske interessenter så de kan ta riktige beslutninger for selskapet. Framtiden for cybersikkerhet vil avhenge av fagfolk som ikke bare er teknisk smarte, men også grunnleggende kommunikative.

Til slutt er AI-sikkerhetslandskapet i så rask utvikling, så det vil være viktig å kunne lære og tilpasse seg raskt.

Takk for det flotte intervjuet og detaljerte innsikt, lesere som ønsker å lære mer bør besøke SPLX.