Sandy Dunn, CISO hos SPLX – Intervieuserie

Sandy Dunn, CISO hos SPLX er en veteran CISO med over 20 års erfaring inden for sundheds- og startupvirksomheder, hvor hun tilbyder CISO-rådgivning gennem QuarkIQ. Hun står i spidsen for OWASP Top 10 for LLM Applications Cybersecurity og Governance Checklist og bidrager til OWASP AI Exchange, OWASP Top 10 for LLM og Cloud Security Alliance. Som adjungeret professor i cybersikkerhed ved Boise State University er hun også en hyppig foredragsholder, rådgiver og bestyrelsesmedlem i Boise States Institute for Pervasive Cybersecurity. Sandy har en mastergrad i informations sikkerhedsledelse fra SANS og talrige certifikater, herunder CISSP, multiple SANS GIAC-credentialer, Security+, ISTQB og FAIR.

SPLX er et cybersikkerhedsfirma, der tilbyder komplet beskyttelse af AI-systemer gennem automatiseret red teaming, runtime-beskyttelse, governance, afhjælpning, trusselsinspektion og modelsikkerhed. Deres platform kører tusindvis af adversarielle simulationer på under en time for at identificere sårbarheder, hårdner systemprompts før udvikling og inkluderer Agentic Radar, et open-source-værktøj til at kortlægge og analysere risici i multi-agent AI-workflows.

Hvad var det, der først tiltrak dig til skæringen mellem AI og cybersikkerhed, og hvordan førte den vej til din rolle hos SPLX og din involvering med OWASP?

AI havde været en del af cybersikkerhedsdiskussioner i år før ChatGPT, men det føltes ofte, som om det ikke havde levet op til hypen. Så da det blev lanceret, forventede jeg at blive skuffet, men havde i stedet den modsatte reaktion. Da jeg først brugte ChatGPT, var jeg både imponeret over, hvad det kunne gøre, og bange for, hvor hurtigt det kunne blive brugt til adversarielle angreb eller misbrug af privatlivetsfred. Det øjeblik antændte en ild. Jeg dykkede headfirst ind i LLM’er og læste hver eneste forskningsrapport, jeg kunne finde, sluttede mig til hver en relevant Slack- og Discord-community og udførte mine egne eksperimenter. Jeg lurkede i en periode i OWASP Top 10 for LLM’er-kanalen, og da den første liste blev offentliggjort, vidste jeg, det var et vigtigt milepæl. Men som CISO følte jeg, at sikkerhedsteams havde brug for mere information. Vi havde fortalt folk, hvad de skulle bekymre sig om, men ikke, hvad de skulle gøre. Jeg kontaktede Steve Wilson, projektlederen, om at oprette en “LLM Security CISO Checklist”. Det blev herefter det første OWASP GenAI-underprojekt, der inspirerede mange yderligere underprojekter.

Gennem det arbejde mødte jeg Kristian Kamber og Ante Gojsalic (grundlæggerne af SPLX) og rådgav også talrige AI-sikkerhedsstartups, nogle med lovende ideer, nogle mindre så. På det tidspunkt var jeg CISO i et B2B-chatbotfirma, hvor jeg oprettede en omfattende AI-adversariel testplaybook. Da jeg så SPLX’s demo, genkendte jeg straks, at de havde løst det samme problem, jeg kæmpede med: hvordan man operationaliserer adversariel testning. Da SPLX havde brug for en CISO, sprang jeg på muligheden for at være en del af et fantastisk firma med fantastiske mennesker, der løser vigtige udfordringer.

Hvad er de mest nytænkende angrebsmetoder, du afslører, især i forhold til agentic AI?

På grund af de nuancer, der er i GenAI-systemdesign, er det ikke muligt at eliminere GenAI-sårbarheder og angreb, der udnytter agentens autonomi og evner. Hukommelsesforgiftningangreb som f.eks. MINJA er et nyt eksempel på dette. Med MINJA kan angribere subtilt korrumperere en agents hukommelsesbanker gennem tilrettelagte interaktioner og indplante skadelige “erindringer” med prompts, der resulterer i misvisende eller farlige adfærd senere. Et andet eksempel er Echo Chamber-angrebet. Dette er, hvor en modstander skaber samtaleløkker ved at sende en agent gentagne ondsindede kontekster. Forskere kunne omgå sikkerhedsforanstaltninger ved at forstærke skadelige instruktioner over flere ombæring.

Indirekte og cross-modale promptinjektion er et andet eksempel. Ondsindede instruktioner gemmer sig i eksternt indhold som billeder eller dokumenter, som agenter forbruger. Disse instruktioner kan kapre autonome beslutninger uden direkte input fra brugeren.

Sofistikerede AI-agent-økosystemangreb som f.eks. værktøjsforgiftning kræver en omhyggelig gennemgang af hele forsyningen af AI-agent-udrulninger. Angribere skaber tilsyneladende legitime værktøjer til agentplatforme, men indbygger ondsindede instruktioner i værktøjsbeskrivelser og dokumentation. Når agenter loader disse værktøjer, bliver de indbyggede instruktioner en del af agentens kontekst, hvilket muliggør uautoriserede handlinger som dataeksfiltration eller systemkompromittering.

Hvordan hjælper SPLX-platformen organisationer med at opdage og reagere på LLM-specifikke trusler som f.eks. promptinjektion eller adversarielle fængselsangreb?

SPLX er en komplet sikkerhedsplatform, der beskytter LLM-drevne applikationer og multi-agent-systemer på tværs af hele AI-livscyklussen, fra udvikling til drift i realtid. Vores AI Runtime Protection er designet til at stoppe disse trusler, mens de sker, ved at overvåge og filtrere input og output i realtid. Det fungerer som en brandmur i realtid for AI og tvinger strenge adfærdsgrænser på AI. SPLX’s dynamiske detektionsmotor markerer ondsindet aktivitet i realtid, hvilket sikrer, at AI-systemer reagerer sikkert og forbliver inden for de ønskede grænser.

Hvordan afspejler OWASP’s opdaterede GenAI Security Top 10 de nye trusler som f.eks. systemprompt-lækage og vektor-database-sårbarheder?

2025 OWASP Top 10-opdateringerne afspejler en udviklet forståelse af, hvordan LLM’er og generative AI-teknologier bruges i virkelige scenarier. Det er vigtigt at bemærke, at der er mange flere end ti LLM-trusler, men målet er at identificere de ti vigtigste. De store ændringer er LLM07 Usikker plugin-design, der er inkluderet i forsyningskæden, og LLM010 Modeltyveri, der er inkluderet i ubegrænset forbrug til listen i 2025, hvilket skabte plads til at tilføje:

1. Systemprompt-lækage, der identificerer truslen om at afsløre systemprompts, der kan afsløre vejledninger, logiske floder eller endda hemmeligheder indlejret i LLM-prompts.

2. Vektor-database-sårbarheder, der markerer de potentielle sikkerhedsproblemer inden for RAG-systemer som f.eks. cross-tenant data-lækage, indlejring af inversion eller forgiftede dokumenter, der senere fremkommer farlige output.

3. Opdateringerne viser, at AI-fokuserede angreb er udviklet fra tilrettelagte, opportuniske promptangreb til sofistikerede angreb, der målretter hele AI-forsyningskæden. Moderne angreb demonstrerer strategisk tænkning om hele AI-systemet, der fokuserer på vedvarende, skala og systemisk påvirkning i stedet for enkeltstående udnyttelser.

Den udvidede dækning af agentic arkitekturer anerkender en anden kritisk udvikling. Da AI-systemer får større autonomi og beslutningsevner, multipliceres konsekvenserne af sikkerhedsfejl eksponentielt. Reducerer menneskelig overvågning, mens det muliggør kraftigere applikationer, har en kompenserende effekt, der forstærker påvirkningen af succesfulde angreb.

Hvad er i din mening de mest oversete sårbarheder i virksomheder, der implementerer agentic AI i dag?

Det mest oversete problem er det samme udfordring, vi står over for med traditionel software- og systemudrulning, nemlig princippen om mindst mulig tillid. Vi kæmper stadig med mindst mulig tillid med menneskelige brugere og servicekonti, og nu står organisationer over for en ny udfordring med at håndtere ikke-menneskelige identiteter (NIH). Mennesker udruller agenter, mens agentidentitet og adgang endnu ikke er fuldt forstået eller løst. Vi ser agenter, der får vide omfattende tilladelser til at læse dokumenter, få adgang til eksterne API’er og endda ændre systemer. Dette er ikke en teknisk fejl i modellen selv, men en grundlæggende arkitektonisk fejl. En kompromitteret agent med overmål af tilladelser kan forvolde stor skade, fra at eksfiltrere store mængder data til at initiere finansielle transaktioner.

Et andet ofte overset eller ignoreret problem er “tillidsforholdet” mellem agenter. I agentic systemer er agenter ofte designet til at kommunikere og samarbejde med hinanden. Vi ser en ny klasse af angreb, hvor en kompromitteret agent kan udgive sig for en legitim, og dermed blive en “Agent-i-midten”. Det er som en trojansk hest, men på et arkitektonisk niveau.

Kan du vejlede os igennem handlinger, som virksomhedssikkerhedsteams bør udføre, når de implementerer agentic AI-værktøjer i produktionsmiljøer?

1. Start med reaktionsplaner. Hvad ser den værste dag ud til, og arbejd derefter baglæns for at sikre, at sikkerhedsforanstaltninger og synlighed er på plads. Når et AI-beslutningsfald indtræffer, har dit sikkerhedsoperationscenter brug for en playbook. Hvem bliver underrettet? Hvordan isolerer du en kompromitteret agent? Hvad er processen for at rulle tilbage til en kendt god tilstand? At have en plan, før en krise indtræffer, er afgørende.

2. Angrebsfladeinventar og trusselsvurdering. Du kan ikke sikre, hvad du ikke ved, du har. Første skridt er at få en fuldstændig inventar over alle AI-agenter, værktøjer i brug og dataadgang. Hvad data rører det ved? Hvad tilladelser har det? Hvad er den potentielle påvirkning, hvis det bliver kompromitteret? Prioriter på højt påvirknings- og mest sandsynlige trusler. Derefter skal du have en åben samtale med den ledende gruppe om risikotolerance. En fordel ved den accelererede AI-aktivitet er, at CISO’er, risikomedarbejdere, juridiske hold og ledelsesgrupper vil blive tvunget til at have en reel samtale om forretningsmål, risikotolerance og sikkerhedsbudgetter. Historisk set har der været en forventning om ingen hændelser med minimalt budget. CISO’er har (nesten) kunnet undgå en stor hændelse ved at implementere tilstrækkelig sikkerhed til at gøre deres organisation til en mindre attraktiv mål end organisationen med mindre sikkerhed. AI-aktiverede angribere gør denne strategi urealistisk nu.

3. Implementer vejledninger, mindst mulig tillid og overvågningsværktøjer. Omfang er vigtigt for enhver agentudrulning. Definer en agents formål, dets grænser og dets tilladelser. Giv ikke en agent adgang til hele jeres SharePoint-bibliotek, hvis det kun har brug for en mappe. Implementer kontroller, der begrænser, hvilke API’er det kan kalde, og hvilke handlinger det kan udføre. Tænk på det som en ny, meget intelligent, beruset praktikant. Du erkender, at de har fantastiske evner, men du ville ikke stole på dem. Du ville begrænse, hvad de kunne gøre inden for virksomheden, du ville ikke give dem adgang til noget vigtigt, du ville overvåge, hvad de gjorde, og du ville måske have alarmsystemer på plads, hvis de prøvede at gøre noget, de absolut ikke skulle gøre, som f.eks. få adgang til direktørens kontor.

4. Implementer en AI-specifik sikkerhedsstak, der sammenlægges med jeres traditionelle sikkerhedsstak. Traditionelle sikkerhedsværktøjer var ikke designet til GenAI-systemer eller agentic systemer. Du har brug for at implementere værktøjer, der er designet til problemer, der er unikke for GenAI, som f.eks. promptvalidering, output-sanering og kontinuerlig overvågning af agentadfærd. Disse værktøjer skal kunne detektere de subtile, semantiske angreb, der er specifikke for GenAI og agentic systemer.

5. Integrer AI-red teaming i CI/CD-pipelines. Du har brug for at teste dine agenter kontinuerligt for sårbarheder baseret på betydningen af ændringerne og virksomhedens risikotolerance. Den seneste GPT-5-opdatering er et eksempel på, hvor disruptivt ændringer kan være på agentic workflows. Gør automatiseret red teaming til en kernefunktion i jeres udviklingslivscyklus. Dette hjælper dig med at identificere problemer, når du opdaterer og ændrer dine agenter.

Hvordan bør organisationer inkorporere automatiseret red teaming, CIAM, RAG-governance og overvågning i deres GenAI-risikostyringsstrategi?

Nøglen er integration i stedet for at behandle dem som separate initiativer. Din GenAI-risikostyringsstrategi skal være et samlet rammeværk, hvor hver komponent forstærker de andre.

Start med automatiseret red teaming som grundlag. Det er vigtigt at have kontinuerlig adversariel testning, der udvikler sig med trusselslandskabet. SPLX-platformen simulerer tusindvis af angrebs-scenarier på tværs af forskellige risikokategorier, der tester for promptinjektion, fængselsangreb, kontekstmanipulation og værktøjsforgiftning. Den kritiske aspekt er at gøre dette til en del af jeres CI/CD-pipeline, så hver agentopdatering er sikkerhedsvalideret, før den udrulles.

CIAM til AI-systemer kræver en genovervejelse af traditionelle identitetsmodeller. AI-agenter har brug for granulerede tilladelser, der kan justeres dynamisk baseret på kontekst og risikoniveauer. Implementer attributbaseret adgangskontrol, der tager hensyn til ikke kun agentens identitet, men også de data, det behandler, de værktøjer, det anmoder om adgang til, og trusselskonteksten.

RAG-governance er særligt kritisk. Etablerer data-ækvivalenssporingsfunktioner for alle indhold, der indtages i vektorlagre. Implementer indholdvalideringspipeliner, der kan detektere adversarielle eksempler eller ondsindede instruktioner indlejret i dokumenter.

Til overvågning har du brug for telemetri, der fanger både tekniske og adfærdsrelaterede indikatorer. Teknisk overvågning inkluderer input/output-analyse, API-kaldmønstre og ressourceforbrug. Adfærdsrelateret overvågning fokuserer på beslutningskvalitet, opgavefuldførelsesmønstre og interaktionskontekster, der kan indikere kompromittering.

Integration er vigtig. Red teaming-resultaterne skal informere CIAM-politikkerne, overvågnings-systemerne skal give feedback til jeres RAG-governance-processer, og alt dette skal koordineres gennem en centraliseret virksomhedsrisikostyringsplatform, der kan korrelerer signaler på tværs af alle disse domæner.

Hvilke tendenser bør sikkerhedsledere forberede sig på i de næste 12 til 18 måneder, mens AI-relaterede dataudfald endnu er i de tidlige faser, men er klar til at vokse?

Jeg forventer at se en betydelig eskalering i forsyningskædeangreb, der målretter alt, herunder AI-infrastruktur. AI-forsyningskædeangreb forgifter træningsdata, kompromitterer model-repositorier eller indskyder ondsindet kode i software-afhængigheder for at opnå varig adgang til AI-systemer.

Der er allerede en bølge af autonome sociale manipulationsangreb, såsom deepfake-vishing-hændelser, men udviklingen mod fuldt autonome generering er, hvad der bekymrer mig mest. AI-agenter, der håndterer komplette sociale manipulationskampagner på tværs af multiple platforme samtidig, hver tilpasset specifikke mål og kontekster, skaber en multiplikator-effekt, som traditionelle forsvar ikke er forberedt på.

Jeg tror, vi vil se opkomsten af AI-native angreb, der opererer i maskinehastighed. Traditionelle sikkerhedsværktøjer og menneskelige analytikere kan ikke følge med en angriber, der kan udføre komplekse, multi-stagede udnyttelser på få millisekunder.

Hvordan forudser du, at regulerings- og compliance-rammer vil udvikle sig som svar på generative AI-risici?

Jeg forudser en stor ændring i reguleringsrammerne, der søger at balancere innovation med fokus på ansvarlighed, gennemsigtighed, sikker udviklingspraksis og forsyningskædesikkerhed.

Jeg forventer at se fokus på data-ækvivalens og integritet. Reguleringsmyndighederne vil gerne vide, hvor dataene, der blev brugt til at træne og udvikle AI-modeller, kom fra. De vil gerne se bevis for, at dataene blev renset, at de ikke indeholdt følsomme oplysninger, og at de ikke er blevet forgiftet.

Til sidst tror jeg, vi vil se sektorspecifikke reguleringsforskrifter. Risikoen for en finansinstitution, der bruger en AI-agent til at håndtere transaktioner, er anderledes end for en sundhedsvirksomhed, der bruger en til diagnose.

Reguleringsmyndighederne vil begynde at definere specifikke standarder for kritiske industrier, der kræver ting som automatiseret red teaming, menneskelig overvågning og strenge revisioner for AI-systemer, der kan have livsafgørende konsekvenser.

Som adjungeret professor og bestyrelsesmedlem i Boise States Institute for Pervasive Cybersecurity, hvordan forbereder du den næste generation af AI-sikkerhedsprofessionelle, og hvilke færdigheder ser du som mest kritiske i dagens udviklende landskab?

Kritisk tænkning og problemløsning er stadig de vigtigste færdigheder, studerende har brug for for en fremragende karriere i cybersikkerhed, men færdigheder som menneskeligt psykologi og lingvistik, der tidligere kun fandtes inden for cybersikkerheds-intelligencehold, er færdigheder, der vil gavne en række cybersikkerhedsjobfunktioner i AI-fremtiden.

Menneskelige og kommunikationsfærdigheder er også vigtige. Cybersikkerhed handler ikke kun om IT-systemer, men om mennesker, om at hjælpe en forretning med at opnå sine forretningsmål og om at kunne oversætte og kommunikere komplekse tekniske risici til ikke-tekniske interessenter, så de kan træffe de rigtige beslutninger for virksomheden. Fremtiden for cybersikkerhed afhænger af professionelle, der ikke kun er teknisk dygtige, men også jordnede og dygtige kommunikatorer.

Til sidst er AI-sikkerhedslandskabet under så hurtig udvikling, at det vil være vigtigt at kunne lære og tilpasse sig hurtigt.

Tak for det gode interview og den detaljerede indsigt. Læsere, der ønsker at lære mere, bør besøge SPLX.