Sandy Dunn, CISO bei SPLX – Interview-Serie

Sandy Dunn, CISO bei SPLX, ist ein Veteran-CISO mit über 20 Jahren Erfahrung in der Gesundheitsbranche und bei Start-ups und bietet CISO-Beratung durch QuarkIQ. Sie leitet die OWASP Top 10 für LLM-Anwendungen, Cyber-Sicherheits- und Governance-Checkliste und trägt zu der OWASP AI-Austausch, OWASP Top 10 für LLM und der Cloud Security Alliance bei. Als Adjunct-Professor für Cybersicherheit an der Boise State University ist sie auch eine häufige Sprecherin, Beraterin und Vorstandsmitglied des Instituts für Pervasive Cybersecurity der Boise State. Sandy hat einen Master-Abschluss in Informationssicherheitsmanagement von SANS und zahlreiche Zertifizierungen, darunter CISSP, mehrere SANS GIAC-Zertifizierungen, Security+, ISTQB und FAIR.

SPLX ist ein Cybersicherheitsunternehmen, das umfassenden Schutz für KI-Systeme durch automatisierte Red-Teaming, Laufzeit-Schutz, Governance, Remediation, Bedrohungs-Inspektion und Modell-Sicherheit bietet. Die Plattform führt innerhalb von weniger als einer Stunde Tausende von adversarialen Simulationen durch, um Schwachstellen zu identifizieren, Systemanweisungen vor der Bereitstellung zu härten und umfasst Agentic Radar, ein Open-Source-Tool für die Kartierung und Analyse von Risiken in Multi-Agenten-KI-Workflows.

Was hat Sie ursprünglich zur Kreuzung von KI und Cybersicherheit hingezogen, und wie hat dieser Weg Sie zu Ihrer Rolle bei SPLX und Ihrer Beteiligung an OWASP geführt?

KI war bereits seit Jahren Teil von Cybersicherheitsgesprächen, bevor ChatGPT erschien, aber es fühlte sich oft an, als ob es die Erwartungen nicht erfüllt hatte. Als es also erschien, erwartete ich, enttäuscht zu sein, aber stattdessen hatte ich die genau entgegengesetzte Reaktion. Als ich ChatGPT zum ersten Mal benutzte, war ich sowohl von dem, was es konnte, beeindruckt als auch von der Geschwindigkeit, mit der es für adversarial-Angriffe oder Datenschutzmissbrauch ausgenutzt werden konnte, schockiert. Dieser Moment entfachte ein Feuer. Ich stürzte mich in LLMs und las jeden Forschungsbericht, den ich finden konnte, trat jedem relevanten Slack- und Discord-Community bei und führte meine eigenen Experimente durch. Ich lauerte eine Weile im OWASP-Top-10-Channel für LLMs und als die erste Liste veröffentlicht wurde, wusste ich, dass es ein wichtiger Meilenstein war. Aber als CISO fühlte ich, dass Sicherheitsteams mehr Informationen benötigten. Wir hatten den Menschen gesagt, worüber sie sich Sorgen machen sollten, aber nicht, was sie tun sollten. Ich sprach mit Steve Wilson, dem Projektleiter, über die Erstellung einer “LLM-Sicherheits-CISO-Checkliste”. Es wurde dann zum ersten OWASP-GenAI-Subprojekt, das viele weitere Subprojekte inspirierte.

Durch diese Arbeit traf ich Kristian Kamber und Ante Gojsalic (die Gründer von SPLX) und beriet auch zahlreiche KI-Sicherheitsstart-ups, einige mit vielversprechenden Ideen, einige weniger. Zu diesem Zeitpunkt war ich CISO bei einem B2B-Chatbot-Unternehmen und erstellte ein umfassendes Handbuch für KI-adversarial-Tests. Als ich die Demo von SPLX sah, erkannte ich sofort, dass sie das Problem gelöst hatten, mit dem ich mich auseinandersetzte: Wie man adversarial-Tests operationalisieren kann. Als SPLX einen CISO benötigte, sprang ich bei der Gelegenheit, Teil eines fantastischen Unternehmens mit unglaublichen Menschen zu sein, die wichtige Herausforderungen lösen.

Als CISO bei SPLX, welche sind die neuartigsten Angriffstechniken, die Sie entdecken, insbesondere im Hinblick auf agente KI?

Wegen der Nuancen des GenAI-Systemdesigns ist es nicht möglich, GenAI-Schwachstellen und -Angriffe, die die Autonomie und Fähigkeiten des Agents ausnutzen, vollständig zu eliminieren. Memory-Poisoning-Angriffe wie MINJA sind ein aktuelles Beispiel dafür. Mit MINJA können Angreifer die Speicherbänke eines Agents durch konstruierte Interaktionen subtil korrumpieren und schädliche “Erinnerungen” mit Anweisungen einpflanzen, die zu irreführendem oder gefährlichem Verhalten führen. Ein weiteres Beispiel ist der Echo-Kammer-Angriff. Dabei erstellen Angreifer konversationelle Schleifen, indem sie einem Agenten wiederholt schädliche Kontexte senden. Forscher konnten Sicherheitsmechanismen umgehen, indem sie schädliche Anweisungen über mehrere Runden hinweg verstärkten.

Indirekte und cross-modale Prompt-Injektion ist ein weiteres Beispiel. Schädliche Anweisungen verstecken sich in externen Inhalten wie Bildern oder Dokumenten, die Agents konsumieren. Diese Anweisungen können autonome Entscheidungen ohne direkte Eingabe des Benutzers hijacken.

Sophisticated AI-Agent-Ökosystem-Angriffe wie Tool-Poisoning erfordern eine sorgfältige Überprüfung der gesamten Zulieferkette für AI-Agent-Deployments. Angreifer erstellen scheinbar legale Tools für Agent-Plattformen, aber verstecken schädliche Anweisungen in Tool-Beschreibungen und -Dokumentationen. Wenn Agents diese Tools laden, werden die eingebetteten Anweisungen Teil des Agent-Kontexts und ermöglichen unbefugte Aktionen wie Datenexfiltration oder Systemkompromittierung.

Wie hilft die SPLX-Plattform Organisationen dabei, LLM-spezifische Bedrohungen wie Prompt-Injektion oder adversarial-Jailbreak-Angriffe zu erkennen und darauf zu reagieren?

SPLX ist eine umfassende Sicherheitsplattform, die LLM-gesteuerte Anwendungen und Multi-Agenten-Systeme über den gesamten KI-Lebenszyklus hinweg schützt, von der Entwicklung bis zur Bereitstellung und zum Betrieb. Unser AI-Laufzeit-Schutz ist darauf ausgelegt, diese Bedrohungen zu stoppen, indem er kontinuierlich Eingaben und Ausgaben überwacht und filtert. Es handelt sich um eine Echtzeit-Feuerwand für KI und erzwingt strenge Verhaltensgrenzen für KI. Der dynamische Erkennungsmotor von SPLX kennzeichnet schädliche Aktivitäten in Echtzeit und stellt sicher, dass KI-Systeme sicher reagieren und innerhalb der vorgesehenen Grenzen bleiben.

Die aktualisierte GenAI-Sicherheits-Top-10 von OWASP erweitert wichtige Risiken wie System-Prompt-Leckage und Vektor-Datenbank-Schwachstellen. Wie spiegeln diese neuen Bedrohungen die sich entwickelnde adversarial-Landschaft wider?

Die Aktualisierungen der OWASP-Top-10-Liste für 2025 spiegeln ein sich entwickelndes Verständnis wider, wie LLMs und generative KI-Technologien in realen Szenarien eingesetzt werden. Es ist wichtig zu betonen, dass es viele mehr als zehn LLM-Bedrohungen gibt, aber das Ziel ist, die Top 10 zu identifizieren. Die großen Änderungen sind LLM07 Unsichere Plugin-Designs, die in die Zulieferkette aufgenommen wurden, und LLM010 Modell-Diebstahl, der in den ungebundenen Verbrauch aufgenommen wurde, was Raum für die folgenden Punkte schuf:

1. System-Prompt-Leckage, die die Bedrohung der Offenlegung des System-Prompts identifiziert, der Schutzmechanismen, Logikflüsse oder sogar Geheimnisse in LLM-Prompts enthüllen kann.

2. Vektor-Datenbank-Schwachstellen, die potenzielle Sicherheitsprobleme in RAG-Systemen wie cross-tenant-Datenlecks, Embedding-Inversion oder vergiftete Dokumente, die später gefährliche Ausgaben erzeugen, kennzeichnen.

3. Die Aktualisierungen zeigen, dass KI-gesteuerte Angriffe von konstruierten, opportunistischen Prompt-Angriffen zu komplexen Angriffen auf die gesamte KI-Zulieferkette evolviert sind, die auf Persistenz, Skalierbarkeit und systemweite Auswirkungen abzielen, anstatt auf Einzel-Exploits.

Die erweiterte Abdeckung von agenter Architekturen erkennt eine weitere kritische Entwicklung an. Da KI-Systeme mehr Autonomie und Entscheidungskapazitäten erlangen, multiplizieren sich die möglichen Folgen von Sicherheitsverletzungen exponentiell. Die Verringerung der menschlichen Aufsicht, während mehr leistungsfähige Anwendungen ermöglicht werden, hat einen Multiplikatoreffekt, der die Auswirkungen erfolgreicher Angriffe verstärkt.

Welche sind Ihrer Meinung nach die am häufigsten übersehenen Schwachstellen in Unternehmen, die agente KI einsetzen?

Das am häufigsten übersehene Problem ist dasselbe Herausforderung, mit der wir bei traditionellen Software- und System-Deployments konfrontiert sind, nämlich das Prinzip der geringsten Privilegien. Wir kämpfen immer noch mit dem Prinzip der geringsten Privilegien für menschliche Benutzer und Dienstkonten und nun stehen Unternehmen vor der Herausforderung, Nicht-Mensch-Identitäten (NIH) zu managen. Menschen setzen Agents ein, während Agenten-Identität und -Zugriff noch nicht vollständig verstanden oder gelöst sind. Wir sehen Agents mit umfassenden Berechtigungen, um Dokumente zu lesen, externe APIs zu zugreifen und sogar Systeme zu ändern. Dies ist kein technischer Fehler im Modell selbst, sondern ein grundlegender architektonischer Fehler. Ein kompromittierter Agent mit umfassenden Berechtigungen kann Chaos verursachen, von der Exfiltration großer Mengen an Daten bis hin zur Initiierung von Finanztransaktionen.

Ein weiteres häufig übersehenes oder ignoriertes Problem ist die “Vertrauensbeziehung” zwischen Agents. In agenter Systemen sind Agents oft so konzipiert, dass sie miteinander kommunizieren und kooperieren. Wir sehen eine neue Klasse von Angriffen, bei denen ein kompromittierter Agent einen legitimen Agenten nachahmen kann, was im Wesentlichen zu einem “Agent-in-the-Middle”-Angriff führt. Es ist wie ein Trojanisches Pferd, aber auf architektonischer Ebene.

Können Sie uns durch die praktischen Schritte führen, die Unternehmenssicherheitsteams unternehmen sollten, wenn sie agente KI-Tools in Produktionsumgebungen bereitstellen?

1. Beginnen Sie mit Notfallplänen. Wie sieht der schlimmste Tag aus, und arbeiten Sie dann rückwärts, um sicherzustellen, dass Sicherheitskontrollen und Sichtbarkeit vorhanden sind. Wenn ein KI-Breach eintritt, benötigt Ihr Sicherheitsoperationscenter ein Handbuch. Wer wird benachrichtigt? Wie isolieren Sie einen kompromittierten Agenten? Was ist der Prozess für die Rückkehr zu einem bekannten guten Zustand? Es ist wichtig, einen Plan zu haben, bevor eine Krise eintritt.

2. Inventarisierung der Angriffsfläche und Bedrohungsbeurteilung. Sie können nicht sichern, was Sie nicht wissen, dass Sie haben. Der erste Schritt ist, eine vollständige Inventarisierung aller KI-Agents, Tools und Datenzugriffs zu erstellen. Welche Daten werden berührt? Welche Berechtigungen hat es? Welche potenziellen Auswirkungen hat es, wenn es kompromittiert wird? Priorisieren Sie die hochwertigen und wahrscheinlichen Bedrohungen. Dann führen Sie ein offenes Gespräch mit dem Führungsteam über das Risikoprofil durch. Ein Vorteil der beschleunigten KI-Aktivität ist, dass CISOs, Risikobeauftragte, Rechtsabteilungen und Führungskräfte gezwungen werden, ein echtes Gespräch über Geschäftsziele, Risikoprofil und Sicherheitsbudgets zu führen. Historisch gab es die Erwartung, dass es keine Vorfälle mit minimalem Budget gibt. CISOs haben (meistens) es vermieden, ein großes Ereignis zu haben, indem sie gerade genug Sicherheit implementierten, um ihr Unternehmen zu einem weniger attraktiven Ziel als das Unternehmen mit weniger Sicherheit zu machen. KI-gesteuerte Angreifer machen diese Strategie jetzt unrealistisch.

3. Implementieren Sie Schutzmechanismen, das Prinzip der geringsten Privilegien und Überwachungstools. Der Umfang ist wichtig für jede Agent-Deployment. Definieren Sie den Zweck des Agents, seine Grenzen und seine Berechtigungen. Geben Sie einem Agent nicht den Zugriff auf Ihre gesamte SharePoint-Bibliothek, wenn er nur einen Ordner benötigt. Implementieren Sie Kontrollen, die den Zugriff auf APIs und Aktionen beschränken. Denken Sie daran, es wie einen neuen, sehr intelligenten, betrunkenen Praktikanten zu behandeln. Sie erkennen, dass er erstaunliche Fähigkeiten hat, aber Sie würden ihm nicht trauen. Sie würden seinen Zugriff innerhalb des Unternehmens beschränken, Sie würden ihn nicht wichtigen Informationen zugänglich machen, Sie würden überwachen, was er tut, und Sie würden möglicherweise Alarm-Systeme einrichten, wenn er etwas tun würde, was er absolut nicht tun sollte, wie den Zugriff auf das Büro des CEO.

4. Implementieren Sie einen KI-spezifischen Sicherheitsstack, der sich mit Ihrem traditionellen Sicherheitsstack verbindet. Traditionelle Sicherheits-Tools wurden nicht für GenAI-Systeme oder agente Systeme entwickelt. Sie benötigen Tools, die für Probleme speziell für GenAI und agente Systeme konzipiert sind, wie Prompt-Validierung, Ausgabe-Sanitisierung und kontinuierliche Überwachung des Agenten-Verhaltens. Diese Tools müssen in der Lage sein, die subtilen, semantischen Angriffe zu erkennen, die speziell für GenAI und agente Systeme sind.

5. Integrieren Sie KI-Red-Teaming in die CI/CD-Pipeline. Sie müssen Ihre Agents kontinuierlich auf Schwachstellen testen, basierend auf der Bedeutung der Änderungen und des Risikoprofils des Unternehmens. Die jüngste GPT-5-Aktualisierung ist ein Beispiel dafür, wie disruptiv Änderungen in agenter Workflows sein können. Machen Sie automatisiertes Red-Teaming zu einem integralen Bestandteil Ihres Entwicklungslebenszyklus. Dies hilft Ihnen, Probleme zu identifizieren, wenn Sie Ihre Agents aktualisieren und ändern.

Wie sollten Unternehmen automatisiertes Red-Teaming, CIAM, RAG-Governance und Überwachung in ihre GenAI-Risikomanagement-Strategie integrieren?

Der Schlüssel liegt in der Integration und nicht in der Behandlung als separate Initiativen. Ihre GenAI-Risikomanagement-Strategie muss ein kohärentes Framework sein, in dem jedes Komponenten die anderen unterstützt.

Beginnen Sie mit automatisiertem Red-Teaming als Grundlage. Es ist wichtig, kontinuierliche adversarial-Tests zu haben, die mit der Bedrohungslandschaft evolvieren. Die SPLX-Plattform simuliert Tausende von Angriffsszenarien über verschiedene Risikokategorien hinweg, um Prompt-Injektion, Jailbreaks, Kontext-Manipulation und Tool-Poisoning zu testen. Der kritische Aspekt ist, dies Teil Ihrer CI/CD-Pipeline zu machen, sodass jeder Agent-Update vor der Bereitstellung sicherheitsvalidiert wird.

CIAM für KI-Systeme erfordert eine Neubewertung traditioneller Identitätsmodelle. KI-Agents benötigen granulare Berechtigungen, die dynamisch basierend auf Kontext und Risikostufen angepasst werden können. Implementieren Sie attributbasierte Zugriffskontrolle, die nicht nur die Identität des Agents, sondern auch die Daten, die es verarbeitet, die Tools, auf die es Zugriff hat, und den Bedrohungskontext berücksichtigt.

RAG-Governance ist besonders wichtig. Stellen Sie Datenlinien-Tracking für alle in Vektor-Speicher aufgenommenen Inhalte bereit. Implementieren Sie Validierungspipelines für Inhalte, die adversarial-Beispiele oder schädliche Anweisungen in Dokumenten erkennen können.

Bei der Überwachung benötigen Sie Telemetrie, die sowohl technische als auch verhaltensbezogene Indikatoren erfasst. Technische Überwachung umfasst Eingabe-/Ausgabe-Analyse, API-Aufrufmuster und Ressourcenverbrauch. Verhaltensbezogene Überwachung konzentriert sich auf Entscheidungsqualität, Aufgabenabschlussmuster und Interaktionskontexte, die auf eine Kompromittierung hindeuten könnten.

Integration ist wichtig. Die Ergebnisse des Red-Teamings sollten die CIAM-Richtlinien informieren, die Überwachungssysteme sollten in die RAG-Governance-Prozesse zurückführen, und all dies muss über eine zentrale Unternehmens-Risikomanagement-Plattform koordiniert werden, die Signale über alle diese Bereiche hinweg korrelieren kann.

Da KI-bezogene Verletzungen noch in den Anfängen sind, aber bereit sind, zu wachsen, welche Trends sollten Sicherheitsführer in den nächsten 12 bis 18 Monaten vorbereiten?

Ich erwarte, dass wir eine signifikante Eskalation von Angriffen auf die Zulieferkette sehen werden, die alles, einschließlich KI-Infrastruktur, umfassen. KI-Zulieferkettengriffe vergiften Trainingsdatensätze, gefährden Modell-Repositorys oder injizieren schädlichen Code in Software-Abhängigkeiten, um an KI-Systeme zu gelangen.

Es gibt bereits einen Anstieg von autonomen Social-Engineering-Angriffen wie Deepfake-Vishing-Vorfällen, aber die Evolution hin zu vollständig autonomen Kampagnen ist das, was mich am meisten beunruhigt. KI-Agents, die vollständige Social-Engineering-Kampagnen über mehrere Plattformen hinweg führen, jede darauf abgestimmt, um spezifische Ziele und Kontexte zu erreichen, erzeugen einen Multiplikatoreffekt, auf den traditionelle Verteidigungen nicht vorbereitet sind.

Ich glaube, wir werden den Aufstieg von KI-nativen Angriffen sehen, die mit Maschinengeschwindigkeit operieren. Traditionelle Sicherheits-Tools und menschliche Analytiker können nicht mit einem Angreifer mithalten, der komplexe, mehrstufige Exploits in Millisekunden ausführen kann.

Wie stellen Sie sich die Entwicklung von regulatorischen und Compliance-Rahmen in Bezug auf generative KI-Risiken vor?

Ich erwarte eine große Verschiebung in den regulatorischen Rahmenbedingungen, die darauf abzielt, Innovation mit einem Fokus auf Rechenschaftspflicht, Transparenz, sichere Entwicklungspraktiken und Zulieferkettensicherheit in Einklang zu bringen.

Ich erwarte, dass es einen Fokus auf Datenprovenienz und -integrität geben wird. Regulierungsbehörden werden wissen wollen, woher die Daten stammen, die zur Ausbildung und Ergänzung von KI-Modellen verwendet werden. Sie werden sehen wollen, dass die Daten gesäubert wurden, dass sie keine sensiblen Informationen enthielten und dass sie nicht vergiftet wurden.

Schließlich denke ich, dass wir sektorale Vorschriften sehen werden. Die Risiken für ein Finanzinstitut, das einen KI-Agenten zur Abwicklung von Transaktionen einsetzt, sind anders als die Risiken für ein Gesundheitsunternehmen, das einen KI-Agenten zur Diagnose einsetzt.

Regulierungsbehörden werden spezifische Standards für kritische Branchen definieren, die Dinge wie automatisiertes Red-Teaming, menschliche Aufsicht und strenge Audits für KI-Systeme erfordern, die lebensbedrohliche Konsequenzen haben könnten.

Als Adjunct-Professor und Vorstandsmitglied des Instituts für Pervasive Cybersecurity der Boise State University, wie bereiten Sie die nächste Generation von KI-Sicherheitsfachleuten vor, und welche Fähigkeiten sehen Sie als am kritischsten in der heutigen sich entwickelnden Landschaft an?

Kritisches Denken und Problemlösungsfähigkeiten sind immer noch die wichtigsten Fähigkeiten, die Studenten für eine großartige Karriere in der Cybersicherheit benötigen, aber Fähigkeiten wie menschliche Psychologie und Linguistik, die früher nur in Cyber-Bedrohungs-Teams zu finden waren, sind Fähigkeiten, die verschiedenen Cybersicherheits-Job-Rollen in der KI-Zukunft zugute kommen werden.

Menschen- und Kommunikationsfähigkeiten sind auch wichtig. Cybersicherheit ist mehr als nur IT-Systeme, es geht um Menschen, die einem Unternehmen helfen, seine Geschäftsziele zu erreichen, und die in der Lage sind, komplexe technische Risiken für nicht-technische Stakeholder zu übersetzen und zu kommunizieren, damit sie die richtigen Entscheidungen für das Unternehmen treffen können. Die Zukunft der Cybersicherheit wird von Fachleuten abhängen, die nicht nur technisch intelligent, sondern auch fundierte und geschickte Kommunikatoren sind.

Schließlich ist die KI-Sicherheitslandschaft so schnell im Wandel, dass es wichtig sein wird, in der Lage zu sein, schnell zu lernen und sich anzupassen.

Vielen Dank für das großartige Interview und die detaillierte Einsicht. Leser, die mehr erfahren möchten, sollten SPLX besuchen.