Sandy Dunn, CISO ve společnosti SPLX – Interview Series

Sandy Dunn, CISO ve společnosti SPLX, je zkušený CISO s více než 20 lety zkušeností v oblasti zdravotnictví a startupů, poskytující poradenské služby CISO prostřednictvím QuarkIQ. Vede projekt OWASP Top 10 pro LLM Applications Cybersecurity a Governance Checklist a přispívá k projektu OWASP AI Exchange, OWASP Top 10 pro LLM a Cloud Security Alliance. Jako adjunkt profesor kybernetické bezpečnosti na Boise State University je také častým řečníkem, poradcem a členem správní rady Institutu pro kybernetickou bezpečnost Boise State. Sandy má magisterský titul v oboru řízení informační bezpečnosti ze SANS a řadu certifikací, včetně CISSP, několika certifikací SANS GIAC, Security+, ISTQB a FAIR.

SPLX je kybernetická bezpečnostní společnost, která poskytuje komplexní ochranu pro systémy umělé inteligence prostřednictvím automatizovaného testování, ochrany v době běhu, řízení, nápravy, inspekce hrozeb a zabezpečení modelů. Jejich platforma provádí tisíce simulací adversárních scénářů za méně než hodinu, aby identifikovala zranitelnosti, zpevňuje systémové výzvy před nasazením a zahrnuje Agentic Radar, open-source nástroj pro mapování a analýzu rizik v multiagentních pracovních postupech umělé inteligence.

Co vás přitáhlo k průniku umělé inteligence a kybernetické bezpečnosti a jak vás to vedlo k vaší roli ve společnosti SPLX a zapojení do projektu OWASP?

Umělá inteligence byla součástí diskusí o kybernetické bezpečnosti po mnoho let před ChatGPT, ale často to vypadalo, že nedosáhla očekávaného potenciálu. Když ChatGPT spustil, očekával jsem, že budu zklamán, ale místo toho jsem měl přesně opačnou reakci. Když jsem poprvé použil ChatGPT, byl jsem ohromen tím, co mohl udělat, a současně jsem byl vyděšen, jak rychle by mohl být zneužit pro adversární útoky nebo zneužití soukromí. Ten moment rozdělil oheň. Ponořil jsem se do LLM headfirst, četl jsem každý výzkumný článek, který jsem mohl najít, připojil jsem se k relevantním komunitám Slack a Discord a prováděl jsem své vlastní experimenty. Často jsem se účastnil kanálu OWASP Top 10 pro LLM, a když byl poprvé zveřejněn seznam, věděl jsem, že je to důležitý milník. Ale jako CISO jsem cítil, že bezpečnostní týmy potřebují více informací. Řekli jsme lidem, čeho se mají bát, ale neřekli jsme jim, co mají dělat. Oslovil jsem Steve Wilson, vedoucí projektu, aby vytvořil “LLM Security CISO Checklist”. To se pak stalo prvním subprojektem OWASP GenAI, které inspirovalo mnoho dalších subprojektů.

Přes tuto práci jsem se setkal s Kristianem Kamberem a Ante Gojsalicem (zakladateli SPLX) a také jsem radil několika startupům v oblasti umělé inteligence, některé s nadějemi, jiné méně. V té době jsem byl CISO v B2B chatbot společnosti, vytvářel jsem rozsáhlou playbook pro adversární testování umělé inteligence. Když jsem viděl demo SPLX, okamžitě jsem rozpoznal, že vyřešili problém, se kterým jsem zápasil: jak operacionalizovat adversární testování. Když SPLX potřeboval CISO, skočil jsem na příležitost být součástí úžasné společnosti s neuvěřitelnými lidmi, kteří řeší důležité výzvy.

Jako CISO ve společnosti SPLX, jaké jsou nejnovější útočné techniky, které objevujete, zejména ve vztahu k agentic AI?

Vzhledem k nuancím návrhu systému GenAI není možné eliminovat zranitelnosti a útoky GenAI, které zneužívají autonomii a schopností agenta. Útoky na otravu paměti, jako je MINJA, jsou nedávným příkladem toho. S MINJA mohou útočníci jemně znečistit paměťové banky agenta pomocí vytvořených interakcí, implantují škodlivé “paměti” s výzvami, které vedou k zavádějícím nebo nebezpečným chováním později. Další příklad je útok Echo Chamber. To je místo, kde útočník vytváří konverzační smyčky zasíláním agentovi opakovaných škodlivých kontextů. Výzkumníci byli schopni obejít bezpečnostní mechanismy tím, že posílili škodlivé instrukce přes několik kol.

Nepřímá a跨-modalní injekce výzev je dalším příkladem. Škodlivé instrukce se skrývají v externím obsahu, jako jsou obrázky nebo dokumenty, které agenti spotřebují. Tyto instrukce mohou unést autonomní rozhodnutí bez přímého vstupu uživatele.

Sophisticated AI agent útoky, jako je otrava nástrojů, vyžadují pečlivé přezkoumání celého dodavatelského řetězce pro nasazení agentů. Útočníci vytvářejí zdánlivě legitimní nástroje pro platformy agentů, ale vkládají škodlivé instrukce do popisů a dokumentace nástrojů. Když agenti načtou tyto nástroje, vložené instrukce se stávají součástí kontextu agenta, umožňují neoprávněné akce, jako je exfiltrace dat nebo ohrožení systému.

Jak platforma SPLX pomáhá organizacím detekovat a reagovat na LLM-specifické hrozby, jako je injekce výzev nebo útoky na adversární jailbreak?

SPLX je komplexní bezpečnostní platforma, která chrání aplikace a multiagentní systémy napájené LLM v celém životním cyklu umělé inteligence, od vývoje přes nasazení až po provoz v reálném čase. Naše ochrana v době běhu je navržena tak, aby zastavila tyto hrozby, jakmile nastanou, a to prostřednictvím nepřetržitého monitorování a filtrování vstupů a výstupů. Jedná se o firewall pro umělou inteligenci v reálném čase, který vynucuje přísné behaviorální hranice pro umělou inteligenci. Dynamický detekční motor SPLX označuje škodlivou činnost v reálném čase, zajišťuje, aby systémy umělé inteligence reagovaly bezpečně a zůstaly v rámci stanovených hranic.

Jak aktualizované GenAI Security Top 10 od OWASP odrážejí se na vývoji adversárního prostředí?

Aktualizace OWASP Top 10 pro rok 2025 odrážejí se na vývoji našeho chápání, jak jsou technologie LLM a generativní umělá inteligence používány v reálných scénářích. Je důležité poznamenat, že existuje mnoho více než deset hrozeb LLM, ale cílem je identifikovat top 10. Velké změny jsou LLM07 Insecure Plugin Design, který byl zahrnut do dodavatelského řetězce, a LLM010 Model Theft, který byl zahrnut do neomezené spotřeby pro seznam 2025, což vytvořilo prostor pro:

1. System-Prompt Leakage, který identifikuje hrozbu odhalení systémové výzvy, která může odhalit bezpečnostní bariéry, logické toky nebo dokonce tajemství vložená do výzev LLM.

2. Vector-Database Vulnerabilities, které označují potenciální bezpečnostní problémy v systémech RAG, jako je únik dat mezi klienty, inverze vkládání nebo otrávené dokumenty, které později vykazují nebezpečné výstupy.

3. Aktualizace ukazují, že útoky zaměřené na umělou inteligenci se vyvinuly z útoků na promptované příležitosti na sofistikované útoky zaměřené na celý dodavatelský řetězec umělé inteligence. Moderní útoky demonstrují strategické myšlení celého systému umělé inteligence, zaměřené na persistenci, rozsah a systémový dopad spíše než na jednorázové exploity.

Rozšířené pokrytí agentic architektur uznává další kritický vývoj. Jak systémy umělé inteligence získávají větší autonomii a rozhodovací schopnosti, potenciální důsledky bezpečnostních selhání se mnohonásobně zvyšují. Snížení lidského dohledu, zatímco umožnění více powerful aplikací, má násobný efekt, který zvyšuje dopad úspěšných útoků.

Jaké jsou nejčastěji přehlížené zranitelnosti v podnicích, které nasazují agentic AI?

Nejčastěji přehlíženou otázkou je stejná výzva, se kterou se setkáváme u tradičních softwarových a systémových nasazení, a to princip minimální výsady. Stále se potýkáme s minimální výsadou pro lidské uživatele a servisní účty a nyní organizace čelí nové výzvě při správě nehumánních identit (NIH). Lidé nasazují agenty, zatímco identita a přístup agenta nejsou dosud plně pochopeny nebo vyřešeny. Vidíme agenty s širokými oprávněními pro čtení dokumentů, přístup k externím API a dokonce i modifikaci systémů. To není technická chyba v modelu samotném, je to fundamentální architektonická chyba. Ohrožený agent s nadměrnými oprávněními může způsobit rozsáhlé škody, od exfiltrace velkého množství dat až po zahájení finančních transakcí.

Jinou často přehlíženou nebo ignorovanou otázkou je “důvěra” mezi agenty. V agentic systémech jsou agenti často navrženi tak, aby komunikovali a spolupracovali. Vidíme novou třídu útoků, kde ohrožený agent může napodobit legitimního agenta, stává se tak “Agent-in-the-Middle”. Je to jako trojský kůň, ale na architektonické úrovni.

Můžete nás provést kroky, které by měly podniknout bezpečnostní týmy podniků při nasazování agentic AI nástrojů v produkčních prostředích?

1. Začněte s plány na reakci na incidenty. Jak vypadá nejhorší den, a pak pracujte zpětně, abyste zajistili, že bezpečnostní kontroly a viditelnost jsou na místě. Když dojde k porušení umělé inteligence, vaše bezpečnostní operace potřebují playbook. Kdo je oznámen? Jak izolujete ohroženého agenta? Jaký je proces pro návrat k známému dobrému stavu? Mít plán před krizí je zásadní.

2. Inventarizace útočného povrchu a hodnocení hrozeb. Nemůžete zabezpečit to, co nevíte, že máte. První krok je získat úplný inventář všech agentů umělé inteligence, nástrojů v použití a přístupu k datům. Která data se dotýkají? Jaká oprávnění má? Jaký je potenciální dopad, pokud je ohrožen? Priorizujte na základě vysokého dopadu a nejpravděpodobnějších hrozeb. Pak mít otevřenou konverzaci s výkonným týmem o chuťi k riziku. Výhodou urychlené aktivity umělé inteligence je, že CISO, úředníci rizik, právní týmy a výkonné vedení budou nuceni vést skutečnou konverzaci o obchodních cílech, chuťi k riziku a bezpečnostních rozpočtech. Historicky existovala očekávání, že不会 dojít k incidentům s minimálním rozpočtem. CISO (většinou) byli schopni se vyhnout velkému incidentu implementací dostatečné bezpečnosti, aby se jejich organizace stala méně atraktivním cílem než organizace s menší bezpečností. Útočníci umělé inteligence činí tuto strategii nereálnou.

3. Implementujte bezpečnostní bariéry, minimální výsady a monitorovací nástroje. Rozsah je důležitý pro jakékoli nasazení agenta. Definujte účel agenta, jeho hranice a oprávnění. Nechte agentovi přístup k celé knihovně SharePoint, pokud potřebuje pouze jednu složku. Implementujte kontroly, které omezují, které API může volat a jaké akce může provádět. Myslete na to jako na nového, velmi chytrého, opilého stážisty. Rozpoznáte, že má úžasné schopnosti, ale nedůvěřujete mu. Omezíte, co může dělat v rámci společnosti, nedáte mu přístup k ničemu důležitému, monitorujete, co dělá, a možná máte alarmové systémy na místě, pokud se pokusí udělat něco, co by absolutně neměl dělat, jako je přístup k kanceláři CEO.

4. Implementujte bezpečnostní stack specifický pro umělou inteligenci, který se spojuje s vaším tradičním bezpečnostním stackem. Tradiční bezpečnostní nástroje nebyly navrženy pro systémy GenAI nebo agentic systémy. Musíte implementovat nástroje, které jsou navrženy pro problémy specifické pro GenAI, jako je validace výzev, sanitizace výstupu a nepřetržité monitorování chování agenta. Tyto nástroje musí být schopny detekovat jemné, sémanticky založené útoky, které jsou specifické pro GenAI a agentic systémy.

5. Integrujte testování umělé inteligence do CI/CD pipeline. Musíte nepřetržitě testovat své agenty na zranitelnosti na základě významu změn a chuti organizace k riziku. Nedávná aktualizace GPT-5 je příkladem, jak disruptivní změny mohou být pro pracovní postupy agentů. Učiňte z automatizovaného testování umělé inteligence základní součást vašeho vývojového cyklu. To vám pomůže identifikovat problémy, když aktualizujete a měníte své agenty.

Jak by organizace měly začlenit automatizované testování umělé inteligence, CIAM, RAG governance a monitoring do své strategie řízení rizik umělé inteligence?

Klíč je integrace, nikoli zpracování jako samostatné iniciativy. Vaše strategie řízení rizik umělé inteligence musí být koherentní rámcem, kde každý komponent posiluje ostatní.

Začněte s automatizovaným testováním umělé inteligence jako základem. Je důležité mít nepřetržité adversární testování, které se vyvíjí s krajinou hrozeb. Platforma SPLX simuluje tisíce útočných scénářů napříč různými kategoriemi rizik, testuje injekci výzev, jailbreaky, manipulaci kontextem a otravu nástrojů. Kritickým aspektem je udělat z tohoto součást vašeho CI/CD pipeline, aby každý update agenta byl bezpečnostně ověřen před nasazením.

CIAM pro systémy umělé inteligence vyžaduje přehodnocení tradičních modelů identity. Agenti umělé inteligence potřebují jemná oprávnění, která lze dynamicky upravit na základě kontextu a úrovní rizik. Implementujte atributový přístup k řízení přístupu, který zvažuje nejen identitu agenta, ale také data, která zpracovává, nástroje, ke kterým žádá přístup, a kontext hrozby.

RAG governance je zvláště kritická. Zavedete sledování původu dat pro veškerý obsah vložený do vektorových úložišť. Implementujte validační potrubí, která mohou detekovat adversární příklady nebo škodlivé instrukce vložené do dokumentů.

Pro monitoring potřebujete telemetrii, která zachycuje jak technické, tak behaviorální indikátory. Technický monitoring zahrnuje analýzu vstupů a výstupů, vzorce volání API a spotřebu zdrojů. Behaviorální monitoring se zaměřuje na kvalitu rozhodnutí, vzorce dokončení úkolů a kontexty interakcí, které by mohly naznačovat ohrožení.

Integrace je důležitá. Výsledky testování umělé inteligence by měly informovat zásady CIAM, systémy monitorování by měly zpětně ovlivňovat procesy RAG governance, a vše by mělo být koordinováno prostřednictvím centralizované platformy řízení rizik podniku, která může korelovat signály napříč všemi těmito doménami.

Jaké trendy by měli bezpečnostní lídři připravovat se na příštích 12 až 18 měsíců?

Očekávám, že uvidíme významné zhoršení útoků na dodavatelský řetězec, zaměřených na vše, včetně infrastruktury umělé inteligence. Útoky na dodavatelský řetězec umělé inteligence otravují trénovací datové sady, ohrožují repozitáře modelů nebo vkládají škodlivý kód do softwarových závislostí, aby získali trvalý přístup k systémům umělé inteligence.

Ještě existuje vlna autonomního sociálního inženýrství, jako jsou deepfake vishing incidenty, ale evoluce směrem k plně autonomnímu generování je to, co mě nejvíce znepokojuje. Agenti umělé inteligence, kteří zpracovávají kompletní kampaně sociálního inženýrství napříč několika platformami současně, každá přizpůsobená konkrétním cílům a kontextům, vytváří násobitel efektu, který tradiční obrany nejsou připraveny.

Domnívám se, že uvidíme vzestup útoků nativních pro umělou inteligenci, které fungují na rychlosti strojů. Tradiční bezpečnostní nástroje a lidský analytik nemohou držet krok s útočníkem, který může provést komplexní, vícestupňové exploity v milisekundách.

Jak předpokládáte, že se budou vyvíjet regulační a dodržovací rámce v reakci na rizika generativní umělé inteligence?

Předpokládám, že uvidíme významnou změnu regulačních rámců, zaměřenou na vyvážení inovací se zaměřením na odpovědnost, transparentnost, zabezpečené vývojové postupy a bezpečnost dodavatelského řetězce.

Očekávám, že uvidíme zaměření na původ a integritu dat. Regulační orgány budou chtít vědět, odkud pocházejí data, která se používají k trénování a doplnění modelů umělé inteligence. Budou chtít vidět důkaz, že data byla sanitována, že neobsahovala citlivé informace a že nebyla otrávena.

Nakonec si myslím, že uvidíme sektorově specifické regulace. Rizika pro finanční instituci, která používá agenta umělé inteligence pro transakce, se liší od rizik pro zdravotnickou společnost, která používá jeden pro diagnostiku.

Regulátoři začnou definovat specifické standardy pro kritické odvětví, vyžadující věci, jako je automatizované testování umělé inteligence, lidský dohled a přísné audity pro systémy umělé inteligence, které by mohly mít životně důležité důsledky.

Jako adjunkt profesor a člen správní rady Institutu pro kybernetickou bezpečnost Boise State, jak připravujete další generaci odborníků na bezpečnost umělé inteligence a jaké dovednosti považujete za nejdůležitější v dnešním se vyvíjejícím prostředí?

Kritické myšlení a řešení problémů jsou stále nejdůležitějšími dovednostmi, které studenti potřebují pro skvělou kariéru v kybernetické bezpečnosti, ale dovednosti, jako je lidská psychologie a lingvistika, které se dříve vyskytovaly pouze v týmech kybernetické hrozby, jsou dovednosti, které budou prospěšné pro různé role kybernetické bezpečnosti v budoucnosti umělé inteligence.

Lidé a komunikační dovednosti také záleží. Kybernetická bezpečnost je více než IT systémy, je to o lidech, pomáhá podniku dosáhnout jeho obchodních cílů a být schopen překládat a komunikovat komplexní technické rizika netechnickým zástupcům, aby mohli učinit správná rozhodnutí pro společnost. Budoucnost kybernetické bezpečnosti bude záviset na profesionálech, kteří jsou nejen technicky chytrí, ale také zakotvení a zruční komunikátoři.

Nakonec je krajina bezpečnosti umělé inteligence se vyvíjí tak rychle, že bude důležité být schopni se učit a přizpůsobovat se rychle.

Děkuji za skvělý rozhovor a podrobné informace, čtenáři, kteří chtějí se dozvědět více, by měli navštívit SPLX.