Sandy Dunn, CISO w SPLX – Seria wywiadów

Sandy Dunn, CISO w SPLX to weteran CISO z ponad 20-letnim doświadczeniem w branży opieki zdrowotnej i startupach, świadczący usługi konsultingowe CISO za pośrednictwem QuarkIQ. Kieruje OWASP Top 10 dla aplikacji LLM Cybersecurity i Governance Checklist oraz współpracuje z OWASP AI Exchange, OWASP Top 10 dla LLM i Cloud Security Alliance. Jako profesor nadzwyczajny cyberbezpieczeństwa na Uniwersytecie Stanu Boise, jest również częstym prelegentem, doradcą i członkiem zarządu Instytutu Powszechnego Cyberbezpieczeństwa Uniwersytetu Stanu Boise. Sandy posiada tytuł magistra zarządzania bezpieczeństwem informacji na SANS oraz liczne certyfikaty, w tym CISSP, wiele poświadczeń SANS GIAC, Security+, ISTQB i FAIR.

SPLX to firma cyberbezpieczeństwa, która zapewnia ochronę końcową systemów AI za pomocą automatycznego testowania penetracyjnego, ochrony w czasie wykonywania, zarządzania, likwidacji, inspekcji zagrożeń i bezpieczeństwa modelu. Jej platforma uruchamia tysiące symulacji ataków w ciągu moins niż godziny, aby zidentyfikować słabości, zabezpieczać monity systemowe przed wdrożeniem i zawiera Agentic Radar, narzędzie open-source do mapowania i analizy ryzyka w wieloagentowych przepływach pracy AI.

Czym pierwszym zainteresował Cię się przecięcie AI i cyberbezpieczeństwa, i jak ta ścieżka doprowadziła Cię do roli w SPLX i zaangażowania w OWASP?

AI było częścią rozmów o cyberbezpieczeństwie przez lata przed ChatGPT, ale często wydawało się, że nie spełniło oczekiwań. Więc gdy się pojawiło, spodziewałam się, że będę rozczarowana, ale miałam dokładnie odwrotne reakcje. Gdy pierwszy raz użyłam ChatGPT, byłem zarówno zaskoczona tym, co mogło zrobić, jak i przerażona tym, jak szybko mogło być wykorzystane do ataków przeciwnika lub nadużyć prywatności. Ten moment zapoczątkował ogień. Zanurkowałam w LLM headfirst, czytając każdy możliwy artykuł naukowy, dołączając do każdej relevantnej społeczności Slack i Discord, oraz prowadząc własne eksperymenty. Ukrywałam się przez jakiś czas w kanale OWASP Top 10 dla LLM, a gdy opublikowano pierwszą listę, wiedziałam, że jest to ważny kamień milowy. Ale jako CISO, czułam, że zespoły bezpieczeństwa potrzebują więcej informacji. Powiedzieliśmy ludziom, o co się martwić, ale nie powiedzieliśmy im, co robić. Zaproponowałam Steve’owi Wilsonowi, liderowi projektu, stworzenie “LLM Security CISO Checklist”. Stało się to pierwszym podprojektem OWASP GenAI, które zainspirowało wiele dodatkowych podprojektów.

Przez tę pracę poznałam Kristiana Kambera i Ante Gojsalica (założycieli SPLX), oraz doradzałam liczne startupom związane z bezpieczeństwem AI, niektóre z obiecującymi pomysłami, inne mniej. W tym czasie byłem CISO w firmie B2B chatbot, tworząc obszerny podręcznik testowania penetracyjnego AI. Gdy zobaczyłam demo SPLX, natychmiast rozpoznałam, że rozwiązali problem, z którym się zmagałam: jak operacjonalizować testowanie penetracyjne. Gdy SPLX potrzebował CISO, skoczyłam na okazję, aby być częścią niesamowitej firmy z niesamowitymi ludźmi, rozwiązującymi ważne wyzwania.

Jako CISO w SPLX, jakie najnowsze techniki ataku odkrywasz, szczególnie w odniesieniu do agentic AI?

Ze względu na nuanse projektu systemu GenAI, nie jest możliwe wyeliminowanie słabości GenAI i ataków, które wykorzystują autonomię i możliwości agenta. Ataki zatrucia pamięci, takie jak MINJA, to niedawny przykład tego. Z MINJA, atakujący mogą podstępnie skażać banki pamięci agenta za pomocą spreparowanych interakcji, wprowadzając szkodliwe “wspomnienia” z monitami, w wyniku czego powstają mylące lub niebezpieczne zachowania później. Innym przykładem jest atak Echo Chamber. To tam, gdzie przeciwnik tworzy pętle konwersacyjne, wysyłając agentowi powtarzane treści niebezpieczne. Badacze byli w stanie ominąć mechanizmy bezpieczeństwa, wzmocnionych szkodliwych instrukcji na przestrzeni wielu tur.

Wstrzyknięcie podpowiedzi pośredniego i transmodalnego to kolejny przykład. Szkodliwe instrukcje ukrywają się w zewnętrznej treści, takiej jak obrazy lub dokumenty, które agenci konsumują. Te instrukcje mogą przejąć autonomiczne decyzje bez bezpośredniego wpływu użytkownika.

Ataki na ekosystem agenta AI, takie jak zatrucie narzędzi, wymagają starannego przeglądu całego łańcucha dostaw dla wdrożeń agenta AI. Atakujący tworzą pozornie legalne narzędzia dla platform agenta, ale osadzają szkodliwe instrukcje w opisach narzędzi i dokumentacji. Gdy agenci ładują te narzędzia, osadzone instrukcje stają się częścią kontekstu agenta, umożliwiając nieautoryzowane działania, takie jak eksfiltracja danych lub kompromitacja systemu.

Jak platforma SPLX pomaga organizacjom wykrywać i reagować na zagrożenia specyficzne dla LLM, takie jak wstrzyknięcie podpowiedzi lub ataki na jailbreak?

SPLX to platforma bezpieczeństwa końcowego, która chroni aplikacje zasilane przez LLM i systemy wieloagentowe w całym cyklu życia AI, od rozwoju przez wdrożenie do działania w czasie rzeczywistym. Nasza ochrona AI Runtime jest zaprojektowana, aby zatrzymać te zagrożenia, gdy występują, poprzez ciągłe monitorowanie i filtrowanie wejść i wyjść. Działa jak zapora ogniowa w czasie rzeczywistym dla AI i egzekwuje ścisłe granice behawioralne na AI. Silnik wykrywania SPLX sygnalizuje działanie malwersatywne w czasie rzeczywistym, zapewniając, że systemy AI reagują bezpiecznie i pozostają w granicach zamierzonych.

Jak nowe zagrożenia w aktualizacji OWASP GenAI Security Top 10, takie jak wyciek monitów systemowych i słabości wektorowo-bazodanowych, odzwierciedlają ewoluujący krajobraz przeciwnika?

Aktualizacja OWASP Top 10 z 2025 roku odzwierciedla ewoluujące zrozumienie, w jaki sposób LLM i technologie AI generatywne są wykorzystywane w scenariuszach świata rzeczywistego. Ważne jest, aby zauważyć, że istnieje znacznie więcej niż dziesięć zagrożeń LLM, ale celem jest identyfikacja najważniejszych dziesięciu. Duże zmiany to LLM07 Nieużyteczny projekt wtyczek, który został uwzględniony w łańcuchu dostaw, a LLM010 Kradzież modelu została uwzględniona w nieograniczonej konsumpcji na liście z 2025 roku, co stworzyło miejsce na dodanie:

1. Wyciek monitów systemowych, który identyfikuje zagrożenie związane z ujawnieniem monitu systemowego, co może ujawnić barierki, przepływy logiczne lub nawet sekrety osadzone w monitach LLM.

2. Słabości wektorowo-bazodanowe, które sygnalizują potencjalne problemy bezpieczeństwa w systemach RAG, takich jak przecieki danych między dzierżawcami, odwrócenie osadzania lub zatrute dokumenty, które później ujawniają niebezpieczne dane wyjściowe.

3. Aktualizacje pokazują, że ataki AI ewoluowały od spreparowanych, oportunnych ataków na podpowiedzi do sofistykowanych ataków na cały łańcuch dostaw AI. Współczesne ataki demonstrują strategiczne myślenie o całym systemie AI, koncentrując się na trwałości, skali i systemowym wpływie, a nie na jednorazowych eksploatacjach.

Rozszerzony zakres architektur agenticznych uznaje kolejny krytyczny rozwój. Gdy systemy AI zyskują na autonomii i zdolnościach decyzyjnych, potencjalne konsekwencje awarii bezpieczeństwa mnożą się wykładniczo. Redukcja nadzoru ludzkiego, podczas umożliwiania bardziej potężnych aplikacji, ma efekt kumulatywny, który powiększa wpływ udanych ataków.

W Twojej opinii, jakie są najczęściej pomijane słabości w przedsiębiorstwach wdrażających agentic AI dzisiaj?

Najczęściej pomijanym problemem jest ten sam wyzwanie, z którym mamy do czynienia w tradycyjnych wdrożeniach oprogramowania i systemów, a mianowicie zasada najniższych uprawnień. Nadal mamy do czynienia z najniższymi uprawnieniami dla użytkowników ludzkich i kont usługowych, a teraz organizacje stają przed nowym wyzwaniem zarządzania tożsamościami nie-ludzkimi (NIH). Ludzie wdrożenia agentów, podczas gdy tożsamość i dostęp agenta nie są jeszcze w pełni zrozumiane ani rozwiązane. Widzimy agentów z szerokimi uprawnieniami do odczytu dokumentów, dostępu do zewnętrznych API i nawet modyfikacji systemów. To nie jest błąd techniczny w samym modelu, to podstawowy błąd architektoniczny. Skompromitowany agent z nadmiernymi uprawnieniami może spowodować ogromne szkody, od eksfiltracji ogromnych ilości danych po inicjowanie transakcji finansowych.

Innym często pomijanym lub ignorowanym problemem jest “zaufanie” między agentami. W systemach agenticznych agenci są często projektowani do komunikacji i współpracy ze sobą. Widzimy nową klasę ataków, w których skompromitowany agent może podszyć się pod prawdziwy, stając się “Agentem-w-środku”. To jak koń trojański, ale na poziomie architektonicznym.

Czy możesz nas zaprowadzić przez działania, które zespoły bezpieczeństwa przedsiębiorstw powinny podjąć przy wdrażaniu narzędzi agentic AI w środowiskach produkcyjnych?

1. Zacznij od planów reagowania na incydenty. Co wygląda najgorszy dzień, a potem pracuj wstecz, aby upewnić się, że kontrolki bezpieczeństwa i widoczność są na miejscu. Gdy dojdzie do naruszenia AI, twoje centrum operacji bezpieczeństwa potrzebuje podręcznika. Kto zostanie powiadomiony? Jak izolować skompromitowanego agenta? Jaki jest proces cofnięcia do stanu znanych-dobrych? Posiadanie planu przed kryzysem jest niezwykle ważne.

2. Inwentaryzacja powierzchni ataku i ocena zagrożeń. Nie możesz zabezpieczyć tego, czego nie wiesz, że masz. Pierwszym krokiem jest uzyskanie pełnego inwentarza wszystkich agentów AI, narzędzi w użyciu i dostępu do danych. Jakie dane dotyka? Jakie uprawnienia ma? Jaki jest potencjalny wpływ, jeśli zostanie skompromitowany? Priorytetem są najwyższe wpływy i najbardziej prawdopodobne zagrożenia. Następnie prowadź szczere rozmowy z zespołem wykonawczym na temat apetytu na ryzyko. Korzyścią z przyspieszonej aktywności AI jest to, że CISO, oficerzy ds. ryzyka, zespoły prawne i kierownictwo wykonawcze będą zmuszeni do prowadzenia prawdziwej rozmowy o celach biznesowych, apetycie na ryzyko i budżetach bezpieczeństwa. Historycznie było oczekiwanie, że nie będzie incydentów przy minimalnym budżecie. CISO mają (prawie) uniknąć dużych incydentów, wdrażając wystarczająco bezpieczeństwa, aby uczynić ich organizację mniej atrakcyjnym celem niż organizację z mniej bezpieczeństwem. Wrogowie AI sprawiają, że ta strategia staje się niewiarygodna.

3. Wdrożenie barier ochronnych, najniższych uprawnień i narzędzi monitorujących. Zakres jest ważny dla każdego wdrożenia agenta. Zdefiniuj cel agenta, jego granice i uprawnienia. Nie daj agentowi dostępu do całej biblioteki SharePoint, jeśli potrzebuje tylko jednej foldery. Wdrożenie kontroli, które ograniczają, które API może wywołać i jakie działania może podjąć. Myśl o tym jak nowy, bardzo inteligentny, pijany stażysta. Rozpoznajesz, że ma niesamowite możliwości, ale nie ufasz mu. Ograniczysz to, co może zrobić w firmie, nie dasz mu dostępu do niczego ważnego, monitorujesz to, co robi, i masz systemy alarmowe na miejscu, jeśli spróbuje zrobić coś, czego absolutnie nie powinien, takiego jak dostęp do biura dyrektora generalnego.

4. Wdrożenie specjalistycznego stosu bezpieczeństwa AI, który łączy się z tradycyjnym stosem bezpieczeństwa. Tradycyjne narzędzia bezpieczeństwa nie zostały zaprojektowane dla systemów GenAI lub agenticznych. Musisz wdrożyć narzędzia, które są zaprojektowane do problemów specyficznych dla GenAI, takich jak walidacja podpowiedzi, sanacja danych wyjściowych i ciągłe monitorowanie zachowania agenta. Te narzędzia muszą być w stanie wykryć subtelne, semantyczne ataki, które są specyficzne dla GenAI i systemów agenticznych.

5. Wdrożenie testowania penetracyjnego AI do potoku CI/CD. Musisz ciągle testować swoich agentów pod kątem słabości, w zależności od znaczenia zmian i apetytu organizacji na ryzyko. Ostatnia aktualizacja GPT-5 to przykład, jak zmiany mogą być burzliwe dla przepływów pracy agenticznych. Zrób automatyczne testowanie penetracyjne rdzeniem Twojego cyklu rozwoju. To pomaga Ci identyfikować problemy, gdy aktualizujesz i zmieniasz swoich agentów.

Jak organizacje powinny włączyć automatyczne testowanie penetracyjne, CIAM, zarządzanie RAG i monitorowanie do swojej strategii zarządzania ryzykiem GenAI?

Kluczem jest integracja, a nie traktowanie ich jako odrębnych inicjatyw. Twoja strategia zarządzania ryzykiem GenAI musi być spójną ramą, w której każdy komponent wzmacnia inny.

Zacznij od automatycznego testowania penetracyjnego jako podstawy. Ważne jest, aby mieć ciągłe testowanie adversarialne, które ewoluuje wraz z krajobrazem zagrożeń. Platforma SPLX symuluje tysiące scenariuszy ataków w różnych kategoriach ryzyka, testując na wstrzyknięcie podpowiedzi, jailbreaki, manipulację kontekstem i zatrucie narzędzi. Krytycznym aspektem jest uczynienie tego częścią Twojego potoku CI/CD, aby każda aktualizacja agenta była walidowana pod kątem bezpieczeństwa przed wdrożeniem.

CIAM dla systemów AI wymaga ponownego rozważenia tradycyjnych modeli tożsamości. Agenci AI potrzebują szczegółowych uprawnień, które mogą być dynamicznie dostosowywane w zależności od kontekstu i poziomów ryzyka. Wdrożenie kontroli dostępu opartej na atrybutach, która bierze pod uwagę nie tylko tożsamość agenta, ale także dane, które przetwarza, narzędzia, do których żąda dostępu, i kontekst zagrożenia.

Dla monitorowania potrzebujesz telemetrii, która ujmuje zarówno wskaźniki techniczne, jak i behawioralne. Monitorowanie techniczne obejmuje analizę wejść/wyjść, wzorce wywołań API i zużycie zasobów. Monitorowanie behawioralne koncentruje się na jakości decyzji, wzorcach ukończenia zadań i kontekstach interakcji, które mogą wskazywać na kompromitację.

Integracja jest ważna. Wyniki testowania penetracyjnego powinny informować polityki CIAM, systemy monitorujące powinny wpływać na procesy zarządzania RAG, a wszystko to powinno być koordynowane przez scentralizowaną platformę zarządzania ryzykiem przedsiębiorstwa, która może korelować sygnały w całych tych domenach.

Z zagrożeniami związanymi z AI, które są jeszcze w początkowej fazie, ale gotowe do wzrostu, jakie trendy powinny przywódcy bezpieczeństwa przygotować się na najbliższe 12-18 miesięcy?

Spodziewam się znacznego eskalacji ataków na łańcuch dostaw, celujących w wszystko, w tym infrastrukturę AI. Ataki na łańcuch dostaw AI zatrute dane szkoleniowe, kompromitują repozytoria modeli lub wstrzykują szkodliwy kod do zależności oprogramowania, aby uzyskać trwały dostęp do systemów AI.

Jest już fala inżynierii społecznej autonomicznej, takiej jak incydenty vishingu deepfake, ale ewolucja w kierunku w pełni autonomicznej generacji jest tym, co mnie najbardziej niepokoi. Agenci AI obsługujący kompleksowe kampanie inżynierii społecznej na wielu platformach jednocześnie, każdy dostosowany do konkretnych celów i kontekstów, tworzą efekt mnożnika, którego tradycyjne obrony nie są przygotowane.

Wierzę, że zobaczymy wzrost ataków rodzimych AI, które działają z prędkością maszyny. Tradycyjne narzędzia bezpieczeństwa i analitycy ludzcy nie mogą dotrzymać kroku atakującemu, który może wykonać złożone, wieloetapowe eksploity w milisekundach.

Jak przewidujesz ewolucję ram regulacyjnych i zgodności w odpowiedzi na ryzyka związane z generatywnym AI?

Przewiduję znaczną zmianę w ramach regulacyjnych, ukierunkowaną na równowagę innowacji z naciskiem na odpowiedzialność, przejrzystość, bezpieczne praktyki rozwoju i bezpieczeństwo łańcucha dostaw.

Spodziewam się, że zostanie położony nacisk na pochodzenie i integralność danych. Organizacje regulacyjne będą chciały wiedzieć, skąd pochodzą dane wykorzystane do szkolenia i uzupełniania modeli AI. Będą chciały zobaczyć dowód, że dane zostały oczyszczone, że nie zawierały informacji wrażliwych i że nie zostały zatrute.

Wreszcie uważam, że zobaczymy regulacje specyficzne dla sektorów. Ryzyko dla instytucji finansowej, która wykorzystuje agenta AI do obsługi transakcji, jest inne niż dla firmy opieki zdrowotnej, która wykorzystuje go do diagnozowania. Regulatorzy zaczną definiować specyficzne standardy dla krytycznych branż, wymagając rzeczy takich jak automatyczne testowanie penetracyjne, nadzór ludzki i surowe audytowanie systemów AI, które mogą mieć skutki życia i śmierci.

Jako profesor nadzwyczajny i członek zarządu Instytutu Powszechnego Cyberbezpieczeństwa Uniwersytetu Stanu Boise, jak przygotowujesz następną generację specjalistów od bezpieczeństwa AI, a jakie umiejętności uważasz za najważniejsze w dzisiejszym ewoluującym krajobrazie?

Myślenie krytyczne i rozwiązywanie problemów są nadal najważniejszymi umiejętnościami, których studenci potrzebują do wielkiej kariery w cyberbezpieczeństwie, ale umiejętności takie jak psychologia ludzka i lingwistyka, które dawniej znajdowały się tylko w zespołach wywiadu zagrożeń, to umiejętności, które będą korzystne dla różnych ról w cyberbezpieczeństwie w przyszłości AI.

Umiejętności ludzkie i komunikacyjne również mają znaczenie. Cyberbezpieczeństwo to nie tylko systemy IT, to ludzie, pomaganie firmie w osiąganiu celów biznesowych i umiejętność tłumaczenia i komunikowania złożonych ryzyk technicznych nie-technicznym interesariuszom, aby mogli podejmować odpowiednie decyzje dla firmy. Przyszłość cyberbezpieczeństwa będzie zależała od profesjonalistów, którzy są nie tylko technicznie mądrzy, ale także ugruntowani i umiejący komunikować.

Wreszcie, krajobraz bezpieczeństwa AI ewoluuje tak szybko, więc będzie ważne, aby móc uczyć się i adaptować szybko.

Dziękuję za wspaniały wywiad i szczegółowe spojrzenie, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić SPLX.