Sandy Dunn, CISO bei SPLX – Interview-Reihe

Sandy Dunn, CISO bei SPLX, ist ein Veteran-CISO mit über 20 Jahren Erfahrung im Gesundheitswesen und in Start-ups, wo sie CISO-Beratung durch QuarkIQ anbietet. Sie leitet die OWASP Top 10 für LLM-Anwendungen, Cybersecurity- und Governance-Checkliste und trägt zur OWASP AI Exchange, OWASP Top 10 für LLM und der Cloud Security Alliance bei. Als Adjunct-Professor für Cybersicherheit an der Boise State University ist sie auch häufiger Sprecher, Berater und Mitglied des Instituts für Pervasive Cybersecurity der Boise State University. Sandy hält einen Master-Abschluss in Informationssicherheitsmanagement von SANS und zahlreiche Zertifizierungen, darunter CISSP, mehrere SANS GIAC-Zertifizierungen, Security+, ISTQB und FAIR.

SPLX ist ein Cybersicherheitsunternehmen, das End-to-End-Schutz für KI-Systeme durch automatisierte Red-Teaming, Laufzeit-Schutz, Governance, Remediation, Bedrohungs-Inspektion und Modell-Sicherheit bietet. Ihre Plattform führt Tausende von adversarialen Simulationen in weniger als einer Stunde durch, um Schwachstellen zu identifizieren, Systemanfragen vor der Bereitstellung zu härten und enthält Agentic Radar, ein Open-Source-Tool zur Kartierung und Analyse von Risiken in Multi-Agenten-KI-Workflows.

Was hat Sie ursprünglich zur Kreuzung von KI und Cybersicherheit gezogen, und wie hat dieser Weg Sie zu Ihrer Rolle bei SPLX und zur Beteiligung an OWASP geführt?

KI war bereits seit Jahren Teil von Cybersicherheitsgesprächen, bevor ChatGPT erschien, aber es fühlte sich oft an, als hätte es nicht den Erwartungen entsprochen. Als es gestartet wurde, erwartete ich, enttäuscht zu sein, aber stattdessen hatte ich die genau entgegengesetzte Reaktion. Als ich ChatGPT zum ersten Mal benutzte, war ich sowohl von dem, was es konnte, beeindruckt als auch von der Geschwindigkeit, mit der es für adversarialen Angriffe oder Datenschutzmissbrauch ausgenutzt werden konnte, erschrocken. Dieser Moment entfachte ein Feuer. Ich tauchte in LLMs ein, las jedes Forschungspapier, das ich finden konnte, trat jedem relevanten Slack- und Discord-Community bei und führte meine eigenen Experimente durch. Ich lauschte eine Weile im OWASP-Top-10-Channel für LLMs und als die erste Liste veröffentlicht wurde, wusste ich, dass es ein wichtiger Meilenstein war. Aber als CISO fühlte ich, dass Sicherheitsteams mehr Informationen benötigen. Wir hatten den Menschen gesagt, worüber sie sich Sorgen machen sollten, aber nicht, was sie tun sollten. Ich sprach mit Steve Wilson, dem Projektlead, über die Erstellung einer “LLM-Sicherheits-CISO-Checkliste”. Es wurde dann zum ersten OWASP-GenAI-Subprojekt, das viele zusätzliche Subprojekte inspirierte.

Durch diese Arbeit traf ich Kristian Kamber und Ante Gojsalic (die Gründer von SPLX) und beriet auch zahlreiche KI-Sicherheitsstartups, einige mit vielversprechenden Ideen, einige weniger. Zu dieser Zeit war ich CISO bei einem B2B-Chatbot-Unternehmen, das ein umfassendes KI-Adversarial-Test-Handbuch erstellte. Als ich die Demo von SPLX sah, erkannte ich sofort, dass sie das Problem gelöst hatten, mit dem ich kämpfte: Wie man adversarialen Testen operationalisieren kann. Als SPLX einen CISO benötigte, sprang ich bei der Gelegenheit, Teil eines fantastischen Unternehmens mit unglaublichen Menschen zu sein, die wichtige Herausforderungen lösen.

Als CISO bei SPLX, welche sind die neuartigsten Angriffstechniken, die Sie entdecken, insbesondere im Hinblick auf agente KI?

Aufgrund der Nuancen des GenAI-Systemdesigns ist es nicht möglich, GenAI-Schwachstellen und -Angriffe zu eliminieren, die die Autonomie und Fähigkeiten des Agents ausnutzen. Memory-Poisoning-Angriffe wie MINJA sind ein aktuelles Beispiel dafür. Mit MINJA können Angreifer die Speicherbänke eines Agents durch konstruierte Interaktionen subtil korrumpieren und schädliche “Erinnerungen” mit Anfragen implantierten, die zu irreführendem oder gefährlichem Verhalten führen. Ein weiteres Beispiel ist der Echo-Kammer-Angriff. Dabei erstellt ein Angreifer konversationelle Schleifen, indem er einem Agenten wiederholte schädliche Kontexte sendet. Forscher konnten Sicherheitsmechanismen umgehen, indem sie schädliche Anweisungen über mehrere Runden hinweg verstärkten.

Indirekte und cross-modale Prompt-Injektion ist ein weiteres Beispiel. Schädliche Anweisungen verstecken sich in externen Inhalten wie Bildern oder Dokumenten, die Agents konsumieren. Diese Anweisungen können autonome Entscheidungen hijacken, ohne direkten Benutzereingriff.

Sophistizierte KI-Agenten-Ökosystem-Angriffe wie Tool-Poisoning erfordern eine sorgfältige Überprüfung der gesamten Lieferkette für KI-Agenten-Deployments. Angreifer erstellen scheinbar legale Tools für Agenten-Plattformen, aber verstecken schädliche Anweisungen in Tool-Beschreibungen und -Dokumentationen. Wenn Agents diese Tools laden, werden die eingebetteten Anweisungen Teil des Kontexts des Agents, was unbefugte Aktionen wie Datenexfiltration oder Systemkompromittierung ermöglicht.

Wie hilft die SPLX-Plattform Organisationen, LLM-spezifische Bedrohungen wie Prompt-Injektion oder adversarialen Jailbreak-Angriffe zu erkennen und darauf zu reagieren?

SPLX ist eine End-to-End-Sicherheitsplattform, die LLM-gesteuerte Anwendungen und Multi-Agenten-Systeme über den gesamten KI-Lebenszyklus hinweg schützt, von der Entwicklung bis zur Bereitstellung und zum Echtzeit-Betrieb. Unser KI-Laufzeit-Schutz ist darauf ausgelegt, diese Bedrohungen zu stoppen, indem er kontinuierlich Eingaben und Ausgaben überwacht und filtert. Es handelt sich um ein Echtzeit-Feuerwall für KI und erzwingt strenge Verhaltensgrenzen für KI. Der dynamische Erkennungsmotor von SPLX kennzeichnet Echtzeit-Bedrohungen, stellt sicher, dass KI-Systeme sicher reagieren und innerhalb der vorgesehenen Grenzen bleiben.

Die aktualisierte OWASP-GenAI-Sicherheits-Top-10 erweitert Schlüsselrisiken wie System-Prompt-Leckage und Vektor-Datenbank-Schwachstellen. Wie spiegeln diese neuen Bedrohungen die sich entwickelnde adversarialen Landschaft wider?

Die OWASP-Top-10-Aktualisierungen für 2025 spiegeln ein sich entwickelndes Verständnis davon wider, wie LLMs und generative KI-Technologien in realen Szenarien verwendet werden. Es ist wichtig zu betonen, dass es viele mehr als zehn LLM-Bedrohungen gibt, aber das Ziel ist, die Top 10 zu identifizieren. Die großen Änderungen sind LLM07 Unsichere Plugin-Designs, die in die Lieferkette aufgenommen wurden, und LLM010 Modell-Diebstahl, der in die ungebundene Verbrauchung für die Liste 2025 aufgenommen wurde, was Raum für die Aufnahme von:

1. System-Prompt-Leckage, das die Bedrohung der Offenlegung des System-Prompts identifiziert, die Schutzmechanismen, Logikflüsse oder sogar Geheimnisse in LLM-Prompts offenlegen kann.

2. Vektor-Datenbank-Schwachstellen, die potenzielle Sicherheitsprobleme in RAG-Systemen wie cross-tenant-Datenlecks, Einbettungs-Inversion oder vergiftete Dokumente, die später gefährliche Ausgaben anzeigen, flaggen.

3. Die Aktualisierungen zeigen, dass KI-fokussierte Angriffe von konstruierten, opportunistischen Prompt-Angriffen zu sophistizierten Angriffen auf die gesamte KI-Lieferkette evolviert sind. Moderne Angriffe demonstrieren strategisches Denken des gesamten KI-Systems, das sich auf Persistenz, Skalierbarkeit und systemweite Auswirkungen konzentriert, anstatt auf Einzel-Exploits.

Die erweiterte Abdeckung von agenter Architekturen erkennt eine weitere kritische Entwicklung an. Da KI-Systeme eine größere Autonomie und Entscheidungskompetenz erlangen, multiplizieren sich die möglichen Konsequenzen von Sicherheitsversagen exponentiell. Die Verringerung der menschlichen Aufsicht, während gleichzeitig leistungsfähigere Anwendungen ermöglicht werden, hat einen Verstärkungseffekt, der die Auswirkungen erfolgreicher Angriffe verstärkt.

In Ihrer Meinung, welche sind die am häufigsten übersehenen Schwachstellen in Unternehmen, die agente KI heute einsetzen?

Das am häufigsten übersehene Problem ist dasselbe Herausforderung, mit der wir bei traditionellen Software- und System-Deployments konfrontiert sind, das Prinzip der geringsten Rechte. Wir kämpfen immer noch mit der geringsten Rechte für menschliche Benutzer und Dienstkonten und nun stehen Unternehmen vor einer neuen Herausforderung, die Identität und den Zugriff von Nicht-Mensch-Identitäten (NIH) zu verwalten. Menschen deployen Agents, während Agenten-Identität und -Zugriff noch nicht vollständig verstanden oder gelöst sind. Wir sehen Agents mit umfassenden Berechtigungen, um Dokumente zu lesen, externe APIs zu zugreifen und sogar Systeme zu modifizieren. Dies ist kein technischer Fehler im Modell selbst, sondern ein fundamentaler architektonischer Fehler. Ein kompromittierter Agent mit übermäßigen Berechtigungen kann Chaos anrichten, von der Exfiltration großer Mengen an Daten bis hin zur Initiierung von Finanztransaktionen.

Ein weiteres häufig übersehenes oder ignoriertes Problem ist die “Vertrauens”-Beziehung zwischen Agents. In agenter Systemen sind Agents oft so konzipiert, dass sie miteinander kommunizieren und kooperieren. Wir sehen eine neue Klasse von Angriffen, bei denen ein kompromittierter Agent einen legitimen Agenten nachahmen kann, was im Grunde ein “Agent-in-the-Middle”-Angriff ist. Es ist wie ein Trojaner, aber auf architektonischer Ebene.

Können Sie uns durch handhabbare Schritte führen, die Sicherheitsteams in Unternehmen unternehmen sollten, wenn sie agente KI-Tools in Produktionsumgebungen deployen?

1. Beginnen Sie mit Incident-Response-Plänen. Wie sieht der schlimmste Tag aus, und arbeiten Sie dann rückwärts, um sicherzustellen, dass Sicherheitskontrollen und Sichtbarkeit vorhanden sind. Wenn ein KI-Breach eintritt, benötigt Ihr Sicherheitsoperations-Zentrum ein Handbuch. Wer wird benachrichtigt? Wie isolieren Sie einen kompromittierten Agenten? Was ist der Prozess für das Zurücksetzen auf einen bekannten guten Zustand? Es ist wichtig, einen Plan zu haben, bevor eine Krise eintritt.

2. Inventarisierung der Angriffsfläche und Bedrohungsbeurteilung. Sie können nicht sichern, was Sie nicht haben. Der erste Schritt ist, eine vollständige Inventarisierung aller KI-Agents, Tools in Verwendung und Datenzugriff zu erstellen. Welche Daten berührt es? Welche Berechtigungen hat es? Welche potenzielle Auswirkung hat es, wenn es kompromittiert wird? Priorisieren Sie die hochwertigsten und wahrscheinlichsten Bedrohungen. Dann führen Sie ein offenes Gespräch mit dem Führungsteam über das Risiko-Appetit. Ein Vorteil der beschleunigten KI-Aktivität ist, dass CISOs, Risikobeauftragte, Rechtsabteilungen und Führungskräfte gezwungen werden, ein echtes Gespräch über Geschäftsziele, Risiko-Appetit und Sicherheitsbudgets zu führen. Historisch gab es die Erwartung, keine Vorfälle mit minimalem Budget zu haben. CISOs haben (meistens) vermieden, ein großes Incident zu haben, indem sie gerade ausreichend Sicherheit implementierten, um ihr Unternehmen zu einem weniger attraktiven Ziel als das Unternehmen mit weniger Sicherheit zu machen. KI-gestützte Angreifer machen diese Strategie unrealistisch.

3. Implementieren Sie Schutzmechanismen, geringste Rechte und Überwachungstools. Der Umfang ist wichtig für jede Agenten-Deployments. Definieren Sie den Zweck eines Agents, seine Grenzen und seine Berechtigungen. Geben Sie einem Agenten keinen Zugriff auf Ihre gesamte SharePoint-Bibliothek, wenn er nur einen Ordner benötigt. Implementieren Sie Kontrollen, die limitieren, welche APIs er aufrufen und welche Aktionen er ausführen kann. Denken Sie daran, es wie einen neuen, sehr intelligenten, betrunkenen Praktikanten. Sie erkennen, dass er außergewöhnliche Fähigkeiten hat, aber Sie würden ihm nicht trauen. Sie würden seine Fähigkeiten innerhalb des Unternehmens limitieren, ihm keinen Zugriff auf wichtige Informationen gewähren, seine Aktionen überwachen und möglicherweise Alarm-Systeme installieren, wenn er versucht, etwas zu tun, das er absolut nicht tun sollte, wie den Zugriff auf das Büro des CEO.

4. Implementieren Sie einen KI-spezifischen Sicherheitsstack, der mit Ihrem traditionellen Sicherheitsstack fusioniert. Traditionelle Sicherheits-Tools wurden nicht für GenAI-Systeme oder agente Systeme konzipiert. Sie müssen Tools implementieren, die für Probleme speziell für GenAI konzipiert sind, wie Prompt-Validierung, Ausgabe-Sanitisierung und kontinuierliche Überwachung des Agenten-Verhaltens. Diese Tools müssen in der Lage sein, die subtilen, semantikbasierten Angriffe zu erkennen, die speziell für GenAI und agente Systeme sind.

5. Integrieren Sie KI-Roteaming in die CI/CD-Pipeline. Sie müssen Ihre Agents kontinuierlich auf Schwachstellen testen, basierend auf der Bedeutung der Änderungen und dem Risiko-Appetit des Unternehmens. Die jüngste GPT-5-Aktualisierung ist ein Beispiel dafür, wie disruptiv Änderungen in agenter Workflows sein können. Machen Sie automatisiertes Roteaming zu einem Kernbestandteil Ihres Entwicklungslebenszyklus. Dies hilft Ihnen, Probleme zu identifizieren, wenn Sie Ihre Agents aktualisieren und ändern.

Wie sollten Organisationen automatisiertes Roteaming, CIAM, RAG-Governance und Überwachung in ihre GenAI-Risikomanagement-Strategie integrieren?

Der Schlüssel ist die Integration und nicht die Behandlung als separate Initiativen. Ihre GenAI-Risikomanagement-Strategie benötigt ein kohärentes Framework, in dem jedes Komponente die anderen verstärkt.

Beginnen Sie mit automatisiertem Roteaming als Grundlage. Es ist wichtig, kontinuierliches adversarialen Testen zu haben, das mit der Bedrohungslandschaft evolviert. Die SPLX-Plattform simuliert Tausende von Angriffsszenarien über verschiedene Risikokategorien, um Prompt-Injektion, Jailbreaks, Kontext-Manipulation und Tool-Poisoning zu testen. Der kritische Aspekt ist, dies in die CI/CD-Pipeline zu integrieren, sodass jeder Agenten-Update vor der Bereitstellung sicherheitsvalidiert wird.

CIAM für KI-Systeme erfordert ein Umdenken traditioneller Identitätsmodelle. KI-Agents benötigen granulare Berechtigungen, die dynamisch basierend auf Kontext und Risikostufen angepasst werden können. Implementieren Sie attributbasierte Zugriffskontrolle, die nicht nur die Identität des Agents, sondern auch die Daten, die er verarbeitet, die Tools, auf die er Zugriff anfordert, und den Bedrohungskontext berücksichtigt.

RAG-Governance ist besonders wichtig. Etablishieren Sie Datenlinien-Tracking für alle in Vektor-Speicher aufgenommenen Inhalte. Implementieren Sie Inhaltsvalidierungspipelines, die adversarialen Beispiele oder schädliche Anweisungen in Dokumenten erkennen können.

Für die Überwachung benötigen Sie Telemetrie, die sowohl technische als auch verhaltensbezogene Indikatoren erfasst. Technische Überwachung umfasst Eingabe-/Ausgabe-Analyse, API-Aufrufmuster und Ressourcenverbrauch. Verhaltensbezogene Überwachung konzentriert sich auf Entscheidungsqualität, Aufgabenablaufmuster und Interaktionskontexte, die auf Kompromittierung hindeuten könnten.

Integration ist wichtig. Die Ergebnisse des Roteamings sollten die CIAM-Richtlinien informieren, die Überwachungssysteme sollten in die RAG-Governance-Prozesse zurückführen, und all dies muss über eine zentrale Unternehmens-Risikomanagement-Plattform koordiniert werden, die Signale über alle diese Bereiche hinweg korreliert.

Mit AI-bezogenen Datenlecks, die noch in den Anfängen stecken, aber bereit sind zu wachsen, welche Trends sollten Sicherheitsführer in den nächsten 12 bis 18 Monaten vorbereiten?

Ich erwarte, dass es eine signifikante Eskalation von Angriffen auf die Lieferkette gibt, die alles, einschließlich KI-Infrastruktur, umfasst. KI-Lieferkettengriffe vergiften Trainingsdatensätze, kompromittieren Modell-Repositorys oder injizieren schädlichen Code in Software-Abhängigkeiten, um an KI-Systeme zu gelangen.

Es gibt bereits einen Anstieg in autonomen Social-Engineering-Angriffen wie Deepfake-Vishing-Vorfällen, aber die Evolution hin zu vollständig autonomen Kampagnen ist es, was mich am meisten beunruhigt. KI-Agents, die komplexe Social-Engineering-Kampagnen über mehrere Plattformen hinweg gleichzeitig durchführen, jede zugeschnitten auf spezifische Ziele und Kontexte, erzeugen einen Multiplikator-Effekt, den traditionelle Verteidigungen nicht bewältigen können.

Ich glaube, wir werden den Aufstieg von KI-nativen Angriffen sehen, die mit Maschinengeschwindigkeit operieren. Traditionelle Sicherheits-Tools und menschliche Analysten können nicht mit einem Angreifer mithalten, der komplexe, mehrstufige Exploits in Millisekunden ausführen kann.

Wie stellen Sie sich die Entwicklung von regulatorischen und Compliance-Rahmenwerken vor, um auf die Risiken von generativer KI zu reagieren?

Ich erwarte eine große Verschiebung in regulatorischen Rahmenwerken, die darauf abzielen, Innovation mit einem Fokus auf Rechenschaftspflicht, Transparenz, sichere Entwicklungspraktiken und Lieferketten-Sicherheit in Einklang zu bringen.

Ich erwarte, dass es einen Fokus auf Datenprovenienz und -integrität geben wird. Regulierungsbehörden werden wissen wollen, woher die Daten stammen, die zur Trainierung und Ergänzung von KI-Modellen verwendet werden. Sie werden Beweise dafür sehen wollen, dass die Daten gesäubert wurden, dass sie keine sensiblen Informationen enthielten und dass sie nicht vergiftet wurden.

Schließlich denke ich, dass es sektorale Vorschriften geben wird. Die Risiken für ein Finanzinstitut, das einen KI-Agenten zur Abwicklung von Transaktionen einsetzt, sind anders als die Risiken für ein Gesundheitsunternehmen, das einen Agenten zur Diagnose einsetzt.

Regulierungsbehörden werden spezifische Standards für kritische Branchen definieren, die Dinge wie automatisiertes Roteaming, menschliche Aufsicht und strenge Prüfung von KI-Systemen, die lebensbedrohliche Konsequenzen haben könnten, erfordern.

Als Adjunct-Professor und Mitglied des Instituts für Pervasive Cybersecurity an der Boise State University, wie bereiten Sie die nächste Generation von KI-Sicherheitsfachleuten vor, und welche Fähigkeiten sehen Sie als am wichtigsten in der heutigen sich entwickelnden Landschaft?

Kritisches Denken und Problemlösung sind immer noch die wichtigsten Fähigkeiten, die Studenten für eine großartige Karriere in der Cybersicherheit benötigen, aber Fähigkeiten wie menschliche Psychologie und Linguistik, die früher nur in Cyber-Bedrohungs-Intelligence-Teams zu finden waren, sind Fähigkeiten, die eine Vielzahl von Cybersicherheits-Job-Rollen in der KI-Zukunft zugute kommen werden.

Menschen- und Kommunikationsfähigkeiten sind auch wichtig. Cybersicherheit ist mehr als nur IT-Systeme, es geht um Menschen, Unternehmen bei der Erreichung ihrer Geschäftsziele zu helfen und in der Lage zu sein, komplexe technische Risiken für nicht-technische Stakeholder zu übersetzen und zu kommunizieren, damit sie die richtigen Entscheidungen für das Unternehmen treffen können. Die Zukunft der Cybersicherheit wird von Fachleuten abhängen, die nicht nur technisch intelligent, sondern auch bodenständig und kommunikativ sind.

Schließlich entwickelt sich die KI-Sicherheitslandschaft so schnell, dass es wichtig ist, schnell lernen und anpassen zu können.

Vielen Dank für das großartige Interview und die detaillierten Einblicke. Leser, die mehr erfahren möchten, sollten SPLX besuchen.