Sandy Dunn, CISO på SPLX – Intervju-serie

Sandy Dunn, CISO på SPLX är en veteran CISO med 20+ års erfarenhet inom hälsovård och startups, och tillhandahåller CISO-konsulttjänster genom QuarkIQ. Hon leder OWASP Top 10 för LLM-applikationer Cybersecurity och Governance Checklist och bidrar till OWASP AI Exchange, OWASP Top 10 för LLM och Cloud Security Alliance. Som adjungerad professor i cybersäkerhet vid Boise State University är hon också en frekvent föreläsare, rådgivare och styrelseledamot i Boise States institut för Pervasive Cybersecurity. Sandy har en masterexamen i informations säkerhets management från SANS och flera certifikat, inklusive CISSP, flera SANS GIAC-crediteringar, Security+, ISTQB och FAIR.

SPLX är ett cybersäkerhetsföretag som tillhandahåller komplett skydd för AI-system genom automatiserad red teaming, runtime-skydd, styrning, åtgärd och hotinspektion samt modellsäkerhet. Plattformen kör tusentals adversariala simuleringar på under en timme för att identifiera sårbarheter, härdar systemprompten före distributionen och innehåller Agentic Radar, ett öppen källkodsverktyg för att kartlägga och analysera risker i multi-agent AI-arbetsflöden.

Vad var det som först drog dig till skärningspunkten mellan AI och cybersäkerhet, och hur ledde den vägen till din roll på SPLX och ditt engagemang i OWASP?

AI hade varit en del av cybersäkerhetsdiskussioner i åratal innan ChatGPT, men det kändes ofta som att det inte hade levt upp till förväntningarna. Så när det lanserades, förväntade jag mig att bli besviken, men istället hade jag den motsatta reaktionen. När jag först använde ChatGPT, var jag både imponerad av vad det kunde göra och skrämd av hur snabbt det kunde vapenföras för adversariala attacker eller integritetsmissbruk. Det ögonblicket tände en eld. Jag dykte in i LLM headfirst, läste varje forskningspapper jag kunde hitta, gick med i varje relevant Slack- och Discord-community och körde mina egna experiment. Jag lurade en stund i OWASP Top 10 för LLM-kanalen, och när den första listan publicerades, visste jag att det var en viktig milstolpe. Men som CISO, kände jag att säkerhetsteamen behövde mer information. Vi hade berättat för människor vad de skulle oroa sig för, men inte vad de skulle göra. Jag kontaktade Steve Wilson, projektledaren, om att skapa en “LLM-säkerhetschecklista för CISO”. Det blev sedan det första OWASP GenAI-underprojektet, som inspirerade många ytterligare underprojekt.

Genom det arbetet, träffade jag Kristian Kamber och Ante Gojsalic (grundarna av SPLX), och rådde också flera AI-säkerhetsstartups, vissa med lovande idéer, vissa mindre så. På den tiden var jag CISO på ett B2B-chatbotföretag, skapade en omfattande AI-adversarial testbok. När jag såg SPLX:s demo, insåg jag omedelbart att de hade löst det problem jag brottades med: hur man operationaliserar adversarial testing. När SPLX behövde en CISO, tog jag chansen att vara en del av ett fantastiskt företag med otroliga människor som löser viktiga utmaningar.

Som CISO på SPLX, vad är de mest nya attackteknikerna du upptäcker, särskilt i fråga om agentic AI?

På grund av de nyanser som finns i GenAI-systemdesign, är det inte möjligt att eliminera GenAI-sårbarheter och attacker som vapenför agentens autonomi och förmågor. Minnesförgiftningattacker som MINJA är ett exempel på detta. Med MINJA, kan angripare subtilt förgifta en agents minnesbanker genom konstruerade interaktioner, implantera skadliga “minnen” med prompts som resulterar i vilseledande eller farliga beteenden senare. Ett annat exempel är Echo Chamber-attacken. Detta är där en angripare skapar konversationsloopar genom att skicka en agent upprepade maliciösa sammanhang. Forskare kunde kringgå säkerhetsmekanismer genom att förstärka skadliga instruktioner under flera tur.

Indirekt och cross-modal promptinjektion är ett annat exempel. Maliciösa instruktioner gömmer sig i extern innehåll som bilder eller dokument som agenter konsumerar. Dessa instruktioner kan kapning autonomt beslutsfattande utan direkt inmatning från användaren.

Sofistikerade AI-agent-ekosystemattacker som verktygsförgiftning kräver noggrann granskning av hela leverantörskedjan för AI-agentdistributioner. Angripare skapar verktyg som verkar legitima för agentplattformar men inbäddar maliciösa instruktioner inom verktygsbeskrivningar och dokumentation. När agenter laddar dessa verktyg, blir de inbäddade instruktionerna en del av agentens sammanhang, vilket möjliggör obehöriga åtgärder som dataexfiltration eller systemkompromettering.

Hur hjälper SPLX-plattformen organisationer att upptäcka och svara på LLM-specifika hot som promptinjektion eller adversarial jailbreak-attacker?

SPLX är en komplett säkerhetsplattform som skyddar LLM-aktiverade applikationer och multi-agent-system över hela AI-livscykeln, från utveckling till distribution och realtidsdrift. Vårt AI Runtime Protection är utformat för att stoppa dessa hot när de inträffar genom att kontinuerligt övervaka och filtrera in- och utdata. Det fungerar som en brandvägg i realtid för AI och upprätthåller strikta beteendegränser för AI. SPLX:s dynamiska upptäcktsmotor markerar maliciös aktivitet i realtid, vilket säkerställer att AI-system svarar säkert och förblir inom avsedda gränser.

Hur återspeglar de nya hoten i OWASP:s uppdaterade GenAI-säkerhets Top 10 den utvecklande adversariala landskapet?

2025 års uppdatering av OWASP Top 10 återspeglar en utvecklande förståelse för hur LLM och generativ AI-teknologi används i reala scenarier. Det är viktigt att påpeka att det finns många fler än tio LLM-hot, men målet är att identifiera de tio viktigaste. De stora förändringarna är LLM07 Osäker plugin-design som ingår i leverantörskedjan och LLM010 Modulstöld som ingår i obegränsad konsumtion för 2025 års lista, vilket skapade utrymme för att lägga till:

1. System-promptläckage som identifierar hotet att exponera systemprompten kan avslöja skydd, logikflöden eller till och med hemligheter inbäddade i LLM-prompter.

2. Vektor-databas-sårbarheter som flaggar för potentiella säkerhetsproblem inom RAG-system, såsom cross-tenant data läckage, inbäddningsinversion eller förgiftade dokument som senare yppar farliga utdata.

3. Uppdateringarna visar att AI-fokuserade attacker har utvecklats från konstruerade opportunistiska promptattacker till sofistikerade attacker som riktar sig mot hela AI-leverantörskedjan. Moderna attacker visar strategiskt tänkande kring hela AI-systemet, med fokus på persistence, skala och systemisk påverkan snarare än engångsexploateringar.

Den utvidgade täckningen av agentic arkitektur erkänner en annan kritisk utveckling. När AI-system får ökad autonomi och beslutsförmåga, ökar konsekvenserna av säkerhetsbrott exponentiellt. Minskad mänsklig övervakning, samtidigt som mer kraftfulla applikationer möjliggörs, har en multiplikatoreffekt som traditionella försvar inte är förberedda på.

Vilka är de mest förbisedda sårbarheterna i företag som distribuerar agentic AI idag?

Det mest förbisedda problemet är samma utmaning vi står inför med traditionell programvara och systemdistribution, principen om minsta behörighet. Vi kämpar fortfarande med minsta behörighet för mänskliga användare och tjänstekonton, och nu står organisationer inför en ny utmaning med att hantera icke-mänskliga identiteter (NIH). Människor distribuerar agenter medan agentidentitet och åtkomst fortfarande inte är fullständigt förstådda eller lösta. Vi ser agenter som ges vida åtkomstbehörigheter för att läsa dokument, komma åt externa API:er och till och med modifiera system. Detta är inte en teknisk brist i modellen i sig, det är en grundläggande arkitektonisk misstag. En komprometterad agent med överdriven behörighet kan förorsaka kaos, från att exfiltrera stora mängder data till att initiera finansiella transaktioner. Ett annat ofta förbisett eller ignorerat problem är “förtroendeförhållandet” mellan agenter. I agentic system är agenter ofta utformade för att kommunicera och samarbeta med varandra. Vi ser en ny klass av attacker där en komprometterad agent kan utge sig för att vara en legitim, i princip en “Agent-in-the-Middle”. Det är som en trojansk häst men på en arkitektonisk nivå.

Kan du gå igenom praktiska steg som företags säkerhetsteam bör vidta när de distribuerar agentic AI-verktyg i produktionsmiljöer?

1. Börja med incidenthanteringsplaner. Vad ser den värsta dagen ut som, och arbeta sedan bakåt för att säkerställa att säkerhetskontroller och synlighet är på plats. När en AI-brott inträffar, behöver ditt säkerhetsoperationscenter en playbook. Vem ska meddelas? Hur isolerar man en komprometterad agent? Vilken är processen för att återgå till en känd god tillstånd? Att ha en plan innan en kris inträffar är avgörande.

2. Attackyta-inventering och hotbedömning. Du kan inte säkra det du inte vet att du har. Det första steget är att få en fullständig inventering av alla AI-agenter, verktyg i bruk och dataåtkomst. Vilken data berör det? Vilka behörigheter har det? Vilken är den potentiella påverkan om det blir komprometterat? Prioritera de högrisk- och högkonsekvenshoten. Sedan ha en ärlig diskussion med ledningsgruppen om riskaptit. En fördel med den accelererade AI-aktiviteten är att CISO, riskchefer, juridiska team och ledningsgrupper kommer att tvingas ha en verklig diskussion om affärsmål, riskaptit och säkerhetsbudgetar. Historiskt har det funnits ett antagande om att det inte ska finnas några incidenter med minimala budgetar. CISO har (i stor utsträckning) kunnat undvika stora incidenter genom att implementera tillräckligt med säkerhet för att göra sin organisation till en mindre attraktiv måltavla än organisationen med mindre säkerhet. AI-aktiverade angripare gör den strategin orealistisk nu.

3. Implementera skydd, minsta behörighet och övervakningsverktyg. Omfång är viktigt för alla agentdistributioner. Definiera en agents syfte, dess gränser och dess behörigheter. Ge inte en agent åtkomst till hela er SharePoint-bibliotek om den bara behöver en mapp. Implementera kontroller som begränsar vilka API:er den kan anropa och vilka åtgärder den kan vidta. Tänk på det som en ny, mycket smart, berusad praktikant. Du erkänner att de har fantastiska förmågor, men du skulle inte lita på dem. Du skulle begränsa vad de kunde göra inom företaget, du skulle inte ge dem åtkomst till något viktigt, du skulle övervaka vad de gör och du kanske har larm system på plats om de försöker göra något de absolut inte ska göra, som att komma åt VD:ns kontor.

4. Implementera ett AI-specifikt säkerhetsstack som sammanfogar med din traditionella säkerhetsstack. Traditionella säkerhetsverktyg var inte utformade för GenAI-system eller agentic system. Du behöver implementera verktyg som är utformade för frågor som är unika för GenAI, såsom promptvalidering, utdatasanering och kontinuerlig övervakning av agentbeteende. Dessa verktyg måste kunna upptäcka de subtila, semantiska attackerna som är specifika för GenAI och agentic system.

5. Integrera AI-red teaming i CI/CD-pipelinen. Du behöver kontinuerligt testa dina agenter för sårbarheter baserat på betydelsen av ändringarna och organisationens riskaptit. Den senaste GPT-5-uppdateringen är ett exempel på hur störande ändringar kan vara för agentic arbetsflöden. Gör automatiserad red teaming till en kärndel av din utvecklingslivscykel. Detta hjälper dig att identifiera problem när du uppdaterar och ändrar dina agenter.

Hur bör organisationer inkorporera automatiserad red teaming, CIAM, RAG-styrning och övervakning i sin GenAI-riskhanteringsstrategi?

Nyckeln är integration snarare än att behandla dem som separata initiativ. Din GenAI-riskhanteringsstrategi behöver vara ett sammanhängande ramverk där varje komponent förstärker de andra.

Börja med automatiserad red teaming som grund. Det är viktigt att ha kontinuerlig adversarial testing som utvecklas med hotlandskapet. SPLX-plattformen simulerar tusentals attackscenarier över olika riskkategorier, testar för promptinjektion, jailbreaks, kontextmanipulation och verktygsförgiftning. Den kritiska aspekten är att göra detta till en del av din CI/CD-pipeline så att varje agentuppdatering är säkerhetsvaliderad före distribution.

CIAM för AI-system kräver omprövning av traditionella identitetsmodeller. AI-agenter behöver granulära behörigheter som kan justeras dynamiskt baserat på sammanhang och risknivåer. Implementera attributbaserad åtkomstkontroll som tar hänsyn till inte bara agentens identitet, utan också den data det bearbetar, de verktyg det begär åtkomst till och hotkontexten.

För övervakning behöver du telemetri som fångar både tekniska och beteendemässiga indikatorer. Teknisk övervakning inkluderar in-/utdataanalys, API-anropsmönster och resursförbrukning. Beteendemässig övervakning fokuserar på besluts kvalitet, uppgiftsfärdigmönster och sammanhangsinteraktioner som kan indikera kompromettering.

Integration är viktigt. Red teaming-resultaten bör informera CIAM-principerna, övervakningssystemen bör mata tillbaka till dina RAG-styrningsprocesser, och allt detta behöver samordnas genom en centraliserad företagsriskhanteringsplattform som kan korrelera signaler över alla dessa domäner.

Med AI-relaterade brott fortfarande i tidiga skeden men redo att växa, vilka trender bör säkerhetsledare förbereda sig på under de kommande 12 till 18 månaderna?

Jag förväntar mig att se en betydande eskalering av leverantörskedjeattacker som riktar sig mot allt, inklusive AI-infrastruktur. AI-leverantörskedjeattacker förgiftar träningsdata, komprometterar modellrepositoryer eller injicerar skadlig kod i programvaruberoenden för att få bestående åtkomst till AI-system.

Det finns redan en ökning av autonom social ingenjörskonst, såsom deepfake-vishing-incidenter, men utvecklingen mot fullt autonom generering är det som oroar mig mest. AI-agenter som hanterar kompletta sociala ingenjörskampanjer över flera plattformar samtidigt, var och en anpassad till specifika mål och sammanhang, skapar en multiplikatoreffekt som traditionella försvar inte är förberedda på.

Jag tror att vi kommer att se uppkomsten av AI-nativa attacker som opererar i maskinvaruhastighet. Traditionella säkerhetsverktyg och mänskliga analytiker kan inte hålla jämna steg med en angripare som kan utföra komplexa, multi-stegs-exploateringar på millisekunder.

Hur ser du att reglerande och efterlevnadsramverk utvecklas som svar på generativ AI-risker?

Jag förväntar mig en betydande förändring i reglerande ramverk, med fokus på ansvar, transparens, säkra utvecklingspraktiker och leverantörskedjesäkerhet.

Jag förväntar mig att se ett fokus på datahärkomst och integritet. Reglerande organ kommer att vilja veta var data som används för att träna och förbättra AI-modeller kommer från. De kommer att vilja se bevis på att data har sanerats, att den inte innehåller känslig information och att den inte har förgiftats.

Till sist tror jag att vi kommer att se sektorspecifika regleringar. Riskerna för en finansiell institution som använder en AI-agent för att hantera transaktioner är olika från de för ett hälsovårdsföretag som använder en för diagnostik.

Regulatorer kommer att börja definiera specifika standarder för kritiska branscher, som kräver saker som automatiserad red teaming, mänsklig övervakning och strikt granskning av AI-system som kan ha livsavgörande konsekvenser.

Som adjungerad professor och styrelseledamot i Boise States institut för Pervasive Cybersecurity, hur förbereder du nästa generation av AI-säkerhetsproffs, och vilka färdigheter ser du som mest kritiska i dagens utvecklande landskap?

Kritiskt tänkande och problemlösning är fortfarande de viktigaste färdigheterna studenter behöver för en framgångsrik karriär inom cybersäkerhet, men färdigheter som mänsklig psykologi och lingvistik, som tidigare bara fanns inom cyberhot-intelligens-team, är färdigheter som kommer att gynna en mängd olika cybersäkerhetsjobb i AI-framtiden.

Människor och kommunikationsfärdigheter är också viktiga. Cybersäkerhet handlar inte bara om IT-system, det handlar om människor, att hjälpa ett företag att uppnå sina affärsmål och att kunna översätta och kommunicera komplexa tekniska risker till icke-tekniska intressenter så att de kan fatta rätt beslut för företaget. Framtiden för cybersäkerhet kommer att bero på proffs som inte bara är tekniskt smarta utan också grundade och skickliga kommunikatörer.

Till sist kommer AI-säkerhetslandskapet att utvecklas så snabbt, så det kommer att vara viktigt att kunna lära sig och anpassa sig snabbt.

Tack för det utmärkta intervjun och den detaljerade insikten, läsare som vill lära sig mer bör besöka SPLX.