Sandy Dunn, CISO w SPLX – Seria wywiadów

Sandy Dunn, CISO w SPLX to doświadczony CISO z ponad 20-letnim doświadczeniem w branży zdrowia i startupów, świadczący usługi konsultingowe CISO za pośrednictwem QuarkIQ. Prowadzi OWASP Top 10 dla aplikacji LLM Cybersecurity i Governance Checklist oraz przyczynia się do OWASP AI Exchange, OWASP Top 10 dla LLM i Cloud Security Alliance. Jako profesor nadzwyczajny cyberbezpieczeństwa na Boise State University, jest również częstym prelegentem, doradcą i członkiem zarządu Instytutu Pervasive Cybersecurity. Sandy posiada tytuł magistra w zakresie zarządzania bezpieczeństwem informacji z SANS oraz liczne certyfikaty, w tym CISSP, multiple SANS GIAC credentials, Security+, ISTQB i FAIR.

SPLX to firma cyberbezpieczeństwa, która zapewnia ochronę końca do końca dla systemów AI za pomocą automatycznego testowania penetracyjnego, ochrony w czasie wykonywania, zarządzania, usuwania, inspekcji zagrożeń i bezpieczeństwa modelu. Jej platforma uruchamia tysiące symulacji przeciwnika w ciągu moins niż godziny, aby zidentyfikować słabości, utwardza monity systemu przed wdrożeniem i zawiera Agentic Radar, otwarte narzędzie do mapowania i analizy ryzyka w wieloagentowych przepływach pracy AI.

Czym było to, co najpierw przyciągnęło Cię do skrzyżowania AI i cyberbezpieczeństwa, i jak ta ścieżka doprowadziła Cię do Twojej roli w SPLX i zaangażowania w OWASP?

AI była częścią rozmów o cyberbezpieczeństwie przez lata przed ChatGPT, ale często wydawało się, że nie spełniła oczekiwań. Kiedy więc została uruchomiona, spodziewałem się, że będę rozczarowany, ale miałem dokładnie odwrotne reakcje. Kiedy po raz pierwszy użyłem ChatGPT, byłam zarówno zaskoczona tym, co mogło zrobić, jak i przerażona tym, jak szybko mogło być wykorzystane do ataków przeciwnika lub nadużyć prywatności. Ten moment zapoczątkował ogień. Zanurkowałam w LLM głową, czytając każdy możliwy artykuł naukowy, dołączając do każdej relevantnej społeczności Slack i Discord, i prowadząc własne eksperymenty. Chowałam się przez jakiś czas w kanale OWASP Top 10 dla LLM, i kiedy opublikowano pierwszą listę, wiedziałam, że jest to ważny kamień milowy. Ale jako CISO, czułam, że zespoły bezpieczeństwa potrzebują więcej informacji. Powiedzieliśmy ludziom, czego powinni się obawiać, ale nie powiedzieliśmy im, co robić. Zaproponowałam Steve’owi Wilsonowi, liderowi projektu, stworzenie “LLM Security CISO Checklist”. Potem stało się to pierwszym podprojektem OWASP GenAI, które zainspirowało wiele dodatkowych podprojektów.

Przez tę pracę, poznałam Kristiana Kambera i Ante Gojsalica (założycieli SPLX), i również doradzałam liczne startupom związanym z bezpieczeństwem AI, niektóre z obiecującymi pomysłami, niektóre mniej. W tym czasie byłem CISO w firmie B2B chatbot, tworząc obszerny playbook testowania przeciwnika AI. Kiedy zobaczyłam demo SPLX, natychmiast rozpoznałam, że rozwiązali problem, z którym walczyłam: jak operacjonalizować testowanie przeciwnika. Kiedy SPLX potrzebował CISO, skoczyłam na okazję, aby być częścią niesamowitej firmy z niesamowitymi ludźmi, rozwiązującymi ważne wyzwania.

Jak CISO w SPLX, jakie najnowsze techniki ataków odkrywasz, szczególnie w odniesieniu do agentic AI?

Ze względu na nuansowanie projektu systemu GenAI, nie jest możliwe wyeliminowanie słabości GenAI i ataków, które wykorzystują autonomię i możliwości agenta. Ataki na trucie pamięci, takie jak MINJA, to niedawny przykład tego. Z MINJA, atakujący mogą podstępnie skażać pamięć agenta poprzez spreparowane interakcje, wprowadzając szkodliwe “wspomnienia” z monitami, które skutkują mylącym lub niebezpiecznym zachowaniem później. Innym przykładem jest atak Echo Chamber. To tam, gdzie przeciwnik tworzy pętle konwersacyjne, wysyłając agentowi powtarzane konteksty malwersacyjne. Badacze byli w stanie ominąć mechanizmy bezpieczeństwa, wzmocnionych szkodliwych instrukcji przez wiele tur.

Indirect i cross-modalne wstrzyknięcie monitów to kolejny przykład. Szkodliwe instrukcje ukrywają się w zewnętrznej treści, takiej jak obrazy lub dokumenty, które agenci konsumują. Te instrukcje mogą porwać autonomiczne decyzje bez bezpośredniego wpływu użytkownika.

Sofistykowane ataki na ekosystem agenta AI, takie jak trucie narzędzi, wymagają starannej kontroli całego łańcucha dostaw dla wdrożeń agenta AI. Atakujący tworzą pozornie legitime narzędzia dla platform agenta, ale osadzają szkodliwe instrukcje w opisach narzędzi i dokumentacji. Kiedy agenci ładują te narzędzia, osadzone instrukcje stają się częścią kontekstu agenta, umożliwiając nieautoryzowane działania, takie jak eksfiltracja danych lub kompromitacja systemu.

Jak platforma SPLX pomaga organizacjom wykrywać i reagować na zagrożenia specyficzne dla LLM, takie jak wstrzyknięcie monitów lub ataki na ucieczkę przeciwnika?

SPLX to platforma bezpieczeństwa końca do końca, która chroni aplikacje zasilane przez LLM i wieloagentowe systemy na całym cyklu życia AI, od rozwoju przez wdrożenie do działania w czasie rzeczywistym. Nasza ochrona w czasie wykonywania jest zaprojektowana, aby powstrzymać te zagrożenia, gdy występują, poprzez ciągłe monitorowanie i filtrowanie wejść i wyjść. Działa jak zapora ogniowa w czasie rzeczywistym dla AI i egzekwuje surowe granice behawioralne na AI. Silnik wykrywania SPLX flaguje działania malwersacyjne w czasie rzeczywistym, zapewniając, że systemy AI reagują bezpiecznie i pozostają w granicach zamierzonych.

Jak aktualizacja OWASP GenAI Security Top 10 odzwierciedla ewoluujący krajobraz zagrożeń przeciwnika?

Aktualizacja OWASP Top 10 z 2025 roku odzwierciedla ewoluujące zrozumienie, jak technologie LLM i generatywne AI są wykorzystywane w scenariuszach rzeczywistych. Ważne jest, aby zauważyć, że istnieje wiele więcej niż dziesięć zagrożeń LLM, ale celem jest zidentyfikowanie dziesięciu najważniejszych. Duże zmiany to LLM07 Niebezpieczny projekt wtyczek, który został uwzględniony w łańcuchu dostaw, a LLM010 Kradzież modelu został uwzględniony w nieograniczonej konsumpcji na liście 2025, co stworzyło miejsce na dodanie:

1. Wyciek systemu-prompt, który identyfikuje zagrożenie ujawnienia systemu-prompt, co może ujawnić barierki, przepływy logiczne lub nawet tajemnice osadzone w monitach LLM.

2. Zagrożenia wektorowo-bazy danych, które flagują potencjalne problemy bezpieczeństwa w systemach RAG, takie jak przecieki danych między dzierżawcami, odwrócenie osadzania lub zatrute dokumenty, które później ujawniają niebezpieczne dane wyjściowe.

3. Aktualizacje pokazują, że ataki AI-ukierunkowane ewoluowały od spreparowanych, oportunnych ataków na monity do sofistykowanych ataków ukierunkowanych na cały łańcuch dostaw AI. Współczesne ataki demonstrują strategiczne myślenie całego systemu AI, koncentrując się na trwałości, skali i systemowym wpływie, a nie na jednorazowych eksploatacjach.

Poszerzona coverage architektur agenticznych uznaje kolejny krytyczny rozwój. Gdy systemy AI zyskują większą autonomię i zdolności decyzyjne, potencjalne konsekwencje awarii bezpieczeństwa mnożą się wykładniczo. Redukując nadzór ludzki, przy jednoczesnym umożliwieniu bardziej potężnych aplikacji, ma to efekt kumulatywny, który powiększa wpływ udanych ataków.

W Twojej opinii, jakie są najczęściej pomijane słabości w przedsiębiorstwach wdrażających agentic AI dzisiaj?

Najczęściej pomijanym problemem jest ten sam wyzwanie, z którym mamy do czynienia w tradycyjnym oprogramowaniu i wdrożeniach systemów, a mianowicie zasada najmniejszych przywilejów. Nadal mamy do czynienia z najmniejszymi przywilejami dla użytkowników ludzkich i kont serwisowych, a teraz organizacje stają przed nowym wyzwaniem zarządzania tożsamościami nie-ludzkimi (NIH). Ludzie wdrażają agenci, podczas gdy tożsamość i dostęp agenta nie są jeszcze w pełni zrozumiane ani rozwiązane. Widzimy agenci, którym nadaje się szerokie uprawnienia do odczytu dokumentów, dostępu do zewnętrznych API i nawet modyfikacji systemów. To nie jest błąd techniczny w samym modelu, ale podstawowy błąd architektoniczny. Skompromitowany agent z nadmiernymi przywilejami może spowodować ogromne szkody, od eksfiltracji ogromnych ilości danych po inicjowanie transakcji finansowych.

Inny często pomijany lub ignorowany problem to “zaufanie” między agentami. W systemach agenticznych agenci są często projektowani do komunikowania się i współpracy ze sobą. Widzimy nową klasę ataków, w której skompromitowany agent może podszywać się pod legitymnego, stając się w zasadzie “Agent-in-the-Middle”. To jak koń trojański, ale na poziomie architektonicznym.

Czy możesz nas przeprowadzić przez działania, które zespoły bezpieczeństwa przedsiębiorstw powinny podjąć podczas wdrażania narzędzi agentic AI w środowiskach produkcyjnych?

1. Zacznij od planów reagowania na incydenty. Co wygląda najgorszy dzień, a potem pracuj wstecz, aby upewnić się, że kontrolki bezpieczeństwa i widoczność są na miejscu. Kiedy dochodzi do naruszenia AI, twoje centrum operacji bezpieczeństwa potrzebuje podręcznika. Kto zostaje powiadomiony? Jak izolować skompromitowanego agenta? Jaki jest proces cofania do stanu znanych-dobrych? Posiadanie planu przed kryzysem jest niezwykle ważne.

2. Inwentaryzacja powierzchni ataku i ocena zagrożeń. Nie możesz zabezpieczyć tego, czego nie wiesz, że masz. Pierwszym krokiem jest uzyskanie pełnego inwentarza wszystkich agentów AI, narzędzi w użyciu i dostępu do danych. Jakie dane dotyka? Jakie uprawnienia ma? Jaki jest potencjalny wpływ, jeśli zostanie skompromitowany? Priorytet na wysokie wpływy i najbardziej prawdopodobne zagrożenia. Potem miej szczere rozmowy z zespołem kierowniczym na temat apetytu na ryzyko. Korzyścią z przyspieszonej aktywności AI jest to, że CISO, oficerzy ds. ryzyka, zespoły prawne i kierownictwo wykonawcze będą zmuszeni do prowadzenia prawdziwej rozmowy o celach biznesowych, apetycie na ryzyko i budżetach bezpieczeństwa. Historycznie było oczekiwanie, że nie będzie incydentów z minimalnym budżetem. CISO mieli (prawie) byli w stanie uniknąć dużych incydentów, wdrażając wystarczająco dużo bezpieczeństwa, aby uczynić swoją organizację mniej atrakcyjnym celem niż organizację z mniej bezpieczeństwem. Wrogowie AI-umożliwieni czynią tę strategię niewiarygodną teraz.

3. Wdrożenie barier ochronnych, najmniejszych przywilejów i narzędzi monitorujących. Zakres jest ważny dla każdego wdrożenia agenta. Zdefiniuj cel agenta, jego granice i uprawnienia. Nie daj agentowi dostępu do całej biblioteki SharePoint, jeśli potrzebuje tylko jednej foldery. Wdrożenie kontroli, które ograniczają, które API może wywołać i jakie działania może podjąć. Myśl o tym jak nowy, bardzo inteligentny, pijany stażysta. Rozpoznajesz, że mają niesamowite możliwości, ale nie ufajesz im. Ograniczysz to, co mogą zrobić w firmie, nie dasz im dostępu do niczego ważnego, monitorujesz to, co robią, i możesz mieć systemy alarmowe na miejscu, jeśli spróbują zrobić coś, czego absolutnie nie powinni robić, takiego jak dostęp do biura CEO.

4. Wdrożenie specjalistycznego stosu bezpieczeństwa AI, który łączy się z tradycyjnym stosem bezpieczeństwa. Tradycyjne narzędzia bezpieczeństwa nie zostały zaprojektowane dla systemów GenAI lub agenticznych. Musisz wdrożyć narzędzia, które są zaprojektowane do problemów specyficznych dla GenAI, takich jak walidacja monitów, sanitacja danych wyjściowych i ciągłe monitorowanie zachowania agenta. Te narzędzia muszą być w stanie wykryć subtelne, semantyczne ataki, które są specyficzne dla GenAI i systemów agenticznych.

5. Integracja testowania przeciwnika AI z potokiem CI/CD. Musisz ciągle testować swoich agentów pod kątem słabości, w zależności od znaczenia zmian i apetytu organizacji na ryzyko. Ostatnia aktualizacja GPT-5 to przykład, jak zaburzające mogą być zmiany w przepływach pracy agenticznych. Zrób automatyczne testowanie przeciwnika częścią Twojego cyklu rozwoju. To pomaga Ci identyfikować problemy, gdy aktualizujesz i zmieniasz swoich agentów.

Jak organizacje powinny włączyć automatyczne testowanie przeciwnika, CIAM, RAG governance i monitorowanie do swojej strategii zarządzania ryzykiem GenAI?

Kluczem jest integracja, a nie traktowanie ich jako odrębnych inicjatyw. Twoja strategia zarządzania ryzykiem GenAI musi być spójną ramą, w której każdy komponent wzmacnia inny.

Zacznij od automatycznego testowania przeciwnika jako podstawy. Ważne jest, aby mieć ciągłe testowanie przeciwnika, które ewoluuje z krajobrazem zagrożeń. Platforma SPLX symuluje tysiące scenariuszy ataku w różnych kategoriach ryzyka, testując wstrzyknięcie monitów, ucieczki, manipulację kontekstem i trucie narzędzi. Krytycznym aspektem jest uczynienie tego częścią Twojego potoku CI/CD, aby każda aktualizacja agenta była walidowana pod kątem bezpieczeństwa przed wdrożeniem.

CIAM dla systemów AI wymaga ponownego rozważenia tradycyjnych modeli tożsamości. Agenci AI potrzebują szczegółowych uprawnień, które mogą być dynamicznie dostosowane w zależności od kontekstu i poziomu ryzyka. Wdrożenie kontroli dostępu opartej na atrybutach, które uwzględnia nie tylko tożsamość agenta, ale także dane, które przetwarza, narzędzia, do których żąda dostępu, i kontekst zagrożenia.

Dla monitorowania potrzebujesz telemetrii, która ujmuje zarówno wskaźniki techniczne, jak i behawioralne. Monitorowanie techniczne obejmuje analizę wejść/wyjść, wzorce wywołań API i zużycie zasobów. Monitorowanie behawioralne koncentruje się na jakości decyzji, wzorcach ukończenia zadań i kontekstach interakcji, które mogą wskazywać na kompromitację.

Integracja jest ważna. Wyniki testowania przeciwnika powinny informować polityki CIAM, systemy monitorowania powinny wpływać na procesy RAG, a wszystko to powinno być skoordynowane za pomocą scentralizowanej platformy zarządzania ryzykiem przedsiębiorstwa, która może korelować sygnały w wszystkich tych dziedzinach.

Ze względu na to, że naruszenia związane z AI są jeszcze w początkowej fazie, ale gotowe do wzrostu, jakie trendy powinny liderzy bezpieczeństwa przygotować się na najbliższe 12 do 18 miesięcy?

Spodziewam się znacznego eskalacji ataków na łańcuch dostaw, ukierunkowanych na wszystko, w tym infrastrukturę AI. Ataki na łańcuch dostaw AI zatrute dane szkoleniowe, kompromitują repozytoria modeli lub wstrzykują szkodliwy kod do zależności oprogramowania, aby uzyskać trwały dostęp do systemów AI.

Już teraz obserwujemy falę inżynierii społecznej autonomicznej, takiej jak incydenty vishingu z głębokimi fałszerstwami, ale to, co mnie najbardziej niepokoi, to ewolucja w kierunku w pełni autonomicznych kampanii inżynierii społecznej. Agenci AI prowadzący pełne kampanie inżynierii społecznej na wielu platformach jednocześnie, każda dostosowana do konkretnych celów i kontekstów, tworzy efekt mnożący, którego tradycyjne obrony nie są przygotowane.

Wierzę, że zobaczymy wzrost ataków rodzimych AI, które działają z prędkością maszyny. Tradycyjne narzędzia bezpieczeństwa i analitycy ludzcy nie mogą dotrzymać kroku atakującemu, który może wykonywać złożone, wieloetapowe eksploatacje w milisekundach.

Jak przewidujesz ewolucję ram regulacyjnych i zgodności w odpowiedzi na ryzyka generatywnego AI?

Przewiduję znaczącą zmianę w ramach regulacyjnych, ukierunkowaną na równowagę między innowacją a skupieniem się na odpowiedzialności, przejrzystości, bezpiecznych praktykach rozwoju i bezpieczeństwie łańcucha dostaw.

Spodziewam się, że będziemy widzieć skupienie się na pochodzeniu danych i integralności. Organizacje regulacyjne będą chciały wiedzieć, skąd pochodzą dane wykorzystane do szkolenia i uzupełniania modeli AI. Chcą zobaczyć dowód, że dane zostały oczyszczone, że nie zawierały informacji wrażliwych i że nie zostały zatrute.

Wreszcie uważam, że zobaczymy regulacje branżowe. Ryzyko dla instytucji finansowej, która wykorzystuje agenta AI do obsługi transakcji, jest inne niż ryzyko dla firmy opieki zdrowotnej, która wykorzystuje go do diagnoz.

Regulatorzy zaczną definiować specyficzne standardy dla krytycznych branż, wymagające rzeczy takich jak automatyczne testowanie przeciwnika, nadzór człowieka i ścisłe audytowanie systemów AI, które mogą mieć skutki życia i śmierci.

Jako profesor nadzwyczajny i członek zarządu Instytutu Pervasive Cybersecurity na Boise State University, jak przygotowujesz następną generację profesjonalistów ds. bezpieczeństwa AI, i jakie umiejętności uważasz za najbardziej krytyczne w dzisiejszym ewoluującym krajobrazie?

Myślenie krytyczne i rozwiązywanie problemów są nadal najważniejszymi umiejętnościami, których studenci potrzebują do wielkiej kariery w cyberbezpieczeństwie, ale umiejętności takie jak psychologia ludzka i lingwistyka, które wcześniej były znalezione tylko w zespołach wywiadowczych, to umiejętności, które będą korzystne dla różnych ról w cyberbezpieczeństwie w przyszłości AI.

Ludzie i umiejętności komunikacyjne również mają znaczenie. Cyberbezpieczeństwo to nie tylko systemy IT, ale ludzie, pomaganie firmom w osiąganiu celów biznesowych i możliwość tłumaczenia i komunikowania złożonych ryzyk technicznych nie-technicznym interesariuszom, aby mogli podejmować odpowiednie decyzje dla firmy. Przyszłość cyberbezpieczeństwa będzie zależała od profesjonalistów, którzy są nie tylko technicznie mądrzy, ale także ugruntowani i umiejętni komunikatorzy. Wreszcie, krajobraz bezpieczeństwa AI ewoluuje tak szybko, więc będzie ważne, aby móc uczyć się i dostosowywać szybko.

Dziękuję za wspaniały wywiad i szczegółowe spojrzenie, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić SPLX.