Kieran Norton, Deloittes US-Chef für Cyber-KI und Automation – Interview-Serie

Kieran Norton ist ein Principal (Partner) bei Deloitte & Touche LLP und der US-Chef für Cyber-KI und Automation bei Deloitte. Mit über 25 Jahren umfassender Erfahrung und einem soliden technischen Hintergrund ist Kieran darauf spezialisiert, neue Risiken zu bewältigen und Kunden strategische und pragmatische Einblicke in Cybersicherheit und Technik-Risikomanagement zu bieten.

Innerhalb von Deloitte leitet Kieran die Bemühungen zur KI-Transformation für die US-Cyber-Praxis. Er überwacht die Gestaltung, Entwicklung und Markteinführung von KI- und Automatisierungslösungen, um Kunden dabei zu helfen, ihre Cyber-Fähigkeiten zu verbessern und KI-/Gen-KI-Technologien zu adoptieren, während sie gleichzeitig die damit verbundenen Risiken effektiv managen.

Extern wird Kieran Kunden dabei helfen, ihre traditionellen Sicherheitsstrategien zu entwickeln, um die digitale Transformation zu unterstützen, Lieferketten zu modernisieren, die Zeit bis zur Markteinführung zu beschleunigen, Kosten zu reduzieren und andere wichtige Geschäftsziele zu erreichen.

Da KI-Agenten immer autonomer werden, welche neuen Kategorien von Cybersicherheitsbedrohungen entstehen, die Unternehmen möglicherweise noch nicht vollständig verstehen?

Die Risiken, die mit der Verwendung neuer KI-bezogener Technologien zur Gestaltung, Entwicklung, Bereitstellung und Verwaltung von Agenten verbunden sind, können verstanden werden – operationalisiert ist jedoch ein anderes Thema.

Die Handlungsfähigkeit und Autonomie von KI-Agenten – die Fähigkeit von Agenten, unabhängig von Menschen zu wahrnehmen, zu entscheiden, zu handeln und zu operieren – kann Herausforderungen bei der Aufrechterhaltung von Sichtbarkeit und Kontrolle über Beziehungen und Interaktionen schaffen, die Modelle/Agenten mit Benutzern, Daten und anderen Agenten haben. Wenn Agenten innerhalb des Unternehmens multipliziert werden und mehrere Plattformen und Dienste mit zunehmender Autonomie und Entscheidungsbefugnis verbinden, wird dies zunehmend schwieriger. Die Bedrohungen, die mit schlecht geschützten, übermäßigen oder Schatten-KI-Handlungsfähigkeit/Autonomie verbunden sind, sind zahlreich. Dazu gehören Datenlecks, Agenten-Manipulation (über Prompt-Injektion usw.) und Agent-zu-Agenten-Angriffsketten. Nicht alle dieser Bedrohungen sind aktuell, aber Unternehmen sollten berücksichtigen, wie sie diese Bedrohungen bewältigen werden, wenn sie KI-getriebene Fähigkeiten adoptieren und reifen.

Die KI-Identitätsverwaltung ist ein weiteres Risiko, das sorgfältig berücksichtigt werden sollte. Die Identifizierung, Einrichtung und Verwaltung der Maschinen-Identitäten von KI-Agenten wird komplexer, wenn mehr Agenten bereitgestellt und in Unternehmen verwendet werden. Die ephemere Natur von KI-Modellen/Modellkomponenten, die unter verschiedenen Umständen wiederholt erstellt und gelöscht werden, wird zu Herausforderungen bei der Aufrechterhaltung dieser Modell-IDs führen. Modell-Identitäten sind erforderlich, um die Aktivität und das Verhalten von Agenten aus Sicherheits- und Vertrauenssicht zu überwachen. Wenn sie nicht ordnungsgemäß implementiert und überwacht werden, wird die Erkennung potenzieller Probleme (Leistung, Sicherheit usw.) sehr schwierig sein.

Wie besorgt sollten wir uns über Daten-Vergiftungsangriffe in KI-Trainingspipelines machen, und welche sind die besten Präventionsstrategien?

Daten-Vergiftung stellt eine der verschiedenen Möglichkeiten dar, KI-Modelle innerhalb des Modell-Entwicklungslebenszyklus zu beeinflussen/zu manipulieren. Vergiftung tritt typischerweise auf, wenn ein böswilliger Akteur schädliche Daten in die Trainingsmenge injiziert. Es ist jedoch wichtig zu beachten, dass Daten-Vergiftung nicht nur durch explizite feindliche Akteure, sondern auch durch Fehler oder systemische Probleme bei der Datengenerierung auftreten kann. Wenn Organisationen hungriger nach verwendbaren Daten werden und in mehr Orten nach Daten suchen (z. B. ausgelagerte manuelle Annotation, gekaufte oder generierte synthetische Datensätze usw.), wächst die Möglichkeit, unbeabsichtigt Trainingsdaten zu vergiften, und dies kann nicht immer leicht diagnostiziert werden.

Die gezielte Manipulation von Trainingspipelines ist ein primärer Angriffsweg, den Gegner für subtile und offene Einflussnahme nutzen. Die Manipulation von KI-Modellen kann zu Ergebnissen führen, die falsche Positiver, falsche Negativer und andere subtile, verdeckte Einflüsse umfassen, die KI-Vorhersagen verändern können.

Präventionsstrategien reichen von technischen, prozeduralen und architektonischen Lösungen. Prozedurale Strategien umfassen Datenvalidierung/Sanitisierung und Vertrauensbewertungen; technische Strategien umfassen die Verwendung von Sicherheitsverbesserungen mit KI-Techniken wie federierter Lernen; architektonische Strategien umfassen die Implementierung von Zero-Trust-Pipelines und die Implementierung robuster Überwachung/Warnsysteme, die Anomalie-Erkennung ermöglichen. Diese Modelle sind nur so gut wie ihre Daten, auch wenn eine Organisation die neuesten und besten Tools verwendet, sodass Daten-Vergiftung zu einem Achilles-Ferse für die Unvorbereiteten werden kann.

Wie können böswillige Akteure KI-Modelle nach der Bereitstellung manipulieren, und wie können Unternehmen frühzeitig Manipulationen erkennen?

Der Zugriff auf KI-Modelle nach der Bereitstellung wird typischerweise durch den Zugriff auf eine Anwendungsprogrammierschnittstelle (API), eine Anwendung über ein eingebettetes System und/oder über ein Port-Protokoll zu einem Edge-Gerät erreicht. Frühe Erkennung erfordert frühe Arbeit im Software-Entwicklungslebenszyklus (SDLC), das Verständnis der relevanten Modell-Manipulationstechniken sowie der priorisierten Bedrohungsvektoren, um Methoden für die Erkennung und den Schutz zu entwickeln. Einige Modell-Manipulationen umfassen API-Hijacking, Manipulation von Speicherbereichen (Laufzeit) und langsame/graduelle Vergiftung durch Modell-Drift. Angesichts dieser Manipulationsmethoden können einige frühe Erkennungsstrategien die Verwendung von Endgeräte-Telemetrie/Überwachung (über Endpoint-Detection-and-Response und Extended-Detection-and-Response), die Implementierung sicherer Inferenz-Pipelines (z. B. vertrauliche Rechnung und Zero-Trust-Prinzipien) und die Aktivierung von Modell-Wasserzeichen/Modell-Signierung umfassen.

Prompt-Injektion ist eine Familie von Modellangriffen, die nach der Bereitstellung auftreten und für verschiedene Zwecke verwendet werden können, einschließlich der Extraktion von Daten auf ungewollte Weise, der Offenlegung von System-Prompts, die nicht für normale Benutzer bestimmt sind, und der Induzierung von Modellantworten, die ein Unternehmen in einem negativen Licht darstellen können. Es gibt eine Vielzahl von Schutztools auf dem Markt, um das Risiko von Prompt-Injektionen zu mindern, aber wie bei dem Rest der Cybersicherheit handelt es sich um ein Wettrennen, bei dem Angriffstechniken und defensive Gegenmaßnahmen ständig aktualisiert werden.

Wie fallen traditionelle Cybersicherheits-Frameworks bei der Bewältigung der einzigartigen Risiken von KI-Systemen durch?

Wir assoziieren normalerweise “Cybersicherheits-Framework” mit Richtlinien und Standards – z. B. NIST, ISO, MITRE usw. Einige der Organisationen hinter diesen haben aktualisierte Richtlinien speziell für den Schutz von KI-Systemen veröffentlicht, die sehr hilfreich sein können.

KI macht diese Frameworks nicht unwirksam – Sie müssen immer noch alle traditionellen Bereiche der Cybersicherheit angehen – was Sie möglicherweise benötigen, ist, Ihre Prozesse und Programme (z. B. Ihren SDLC) zu aktualisieren, um die Nuancen im Zusammenhang mit KI-Workloads zu bewältigen. Das Einbetten und Automatisieren (wo möglich) von Kontrollen zum Schutz gegen die nuancierten Bedrohungen, die oben beschrieben werden, ist der effizienteste und effektivste Weg vorwärts.

Auf taktischer Ebene ist es erwähnenswert, dass der gesamte Bereich möglicher Eingaben und Ausgaben oft viel größer ist als bei nicht-KI-Anwendungen, was ein Skalierungsproblem für traditionelle Penetrationstests und regelbasierte Erkennungen darstellt, daher der Fokus auf Automatisierung.

Welche Schlüsselelemente sollten in einer Cybersicherheitsstrategie enthalten sein, die speziell für Organisationen entwickelt wurde, die generative KI oder große Sprachmodelle bereitstellen?

Bei der Entwicklung einer Cybersicherheitsstrategie für die Bereitstellung von Gen-KI oder großen Sprachmodellen (LLM) gibt es keinen einheitlichen Ansatz. Vieles hängt von den Gesamtgeschäftszielen, der IT-Strategie, der Branchenfokussierung, dem regulatorischen Fußabdruck, der Risikotoleranz usw. der Organisation sowie den spezifischen KI-Anwendungsfällen ab, die in Betracht gezogen werden. Eine interne Verwendung nur für einen Chatbot hat ein sehr unterschiedliches Risikoprofil als ein Agent, der Gesundheitsergebnisse für Patienten beeinflussen kann, beispielsweise.

Das sagte, es gibt Grundlagen, die jede Organisation angehen sollte:

• Führen Sie eine Bereitschaftsbeurteilung durch – dies legt eine Grundlinie der aktuellen Fähigkeiten fest und identifiziert mögliche Lücken unter Berücksichtigung priorisierter KI-Anwendungsfälle. Organisationen sollten identifizieren, wo es bestehende Kontrollen gibt, die erweitert werden können, um die nuancierten Risiken im Zusammenhang mit Gen-KI zu bewältigen, und den Bedarf an der Implementierung neuer Technologien oder der Verbesserung bestehender Prozesse.
• Stellen Sie einen KI-Regierungsprozess ein – dies kann neu innerhalb einer Organisation sein oder eine Änderung bestehender Risikomanagement-Programme. Dies sollte die Definition von unternehmensweiten KI-Enablement-Funktionen und die Einbeziehung von Interessengruppen aus dem gesamten Geschäft, IT, Produkt, Risiko, Cybersicherheit usw. als Teil der Regierungsstruktur umfassen. Zusätzlich sollten relevante Richtlinien (z. B. Richtlinien für die akzeptable Nutzung, Cloud-Sicherheitsrichtlinien, Risikomanagement für Drittanbieter-Technologie usw.) definiert/aktualisiert und L&D-Anforderungen zur Unterstützung von KI-Literacy und KI-Sicherheit/Sicherheit im gesamten Unternehmen festgelegt werden.
• Stellen Sie eine vertrauenswürdige KI-Architektur ein – mit der Einrichtung von KI-/Gen-KI-Plattformen und Experimentiersandboxes werden bestehende Technologien sowie neue Lösungen (z. B. KI-Feuerwände/Laufzeitsicherheit, Schutzvorkehrungen, Modell-Lebenszyklus-Management, erweiterte IAM-Funktionen usw.) in Entwicklungsumgebungen integriert, um diese in einer wiederholbaren und skalierbaren Weise bereitzustellen.
• Verbessern Sie den SDLC – Organisationen sollten enge Integrationen zwischen KI-Entwicklern und Risikomanagement-Teams herstellen, die daran arbeiten, KI-Lösungen zu schützen, zu sichern und zu vertrauen. Dies umfasst die Festlegung einheitlicher/standardisierter sicherer Software-Entwicklungspraktiken und Kontrollanforderungen in Partnerschaft mit den breiteren KI-Entwicklungs- und Adoptions-Teams.

Können Sie das Konzept eines “KI-Feuerwalls” in einfachen Worten erklären? Wie unterscheidet es sich von herkömmlichen Netzwerk-Feuerwänden?

Ein KI-Feuerwall ist eine Sicherheitsschicht, die dafür konzipiert ist, die Eingaben und Ausgaben von KI-Systemen – insbesondere große Sprachmodelle – zu überwachen und zu kontrollieren, um Missbrauch zu verhindern, sensible Daten zu schützen und verantwortungsvolles KI-Verhalten zu gewährleisten. Im Gegensatz zu herkömmlichen Feuerwänden, die Netzwerke schützen, indem sie Datenverkehr basierend auf IP-Adressen, Ports und bekannten Bedrohungen filtern, konzentrieren sich KI-Feuerwände auf das Verständnis und die Steuerung von natürlichen Sprachinteraktionen. Sie blockieren Dinge wie toxische Inhalte, Datenlecks, Prompt-Injektion und unethisches KI-Verhalten, indem sie Richtlinien, kontextbewusste Filter und modellspezifische Schutzvorkehrungen anwenden. Im Wesentlichen schützt ein herkömmlicher Feuerwall Ihr Netzwerk, während ein KI-Feuerwall Ihre KI-Modelle und deren Ausgaben schützt.

Gibt es derzeit Branchenstandards oder aufkommende Protokolle, die den Einsatz von KI-spezifischen Feuerwänden oder Schutzvorkehrungen regeln?
Das Modellkommunikationsprotokoll (MCP) ist kein universeller Standard, aber es gewinnt in der Branche an Akzeptanz, um den wachsenden Konfigurationsaufwand für Unternehmen zu bewältigen, die eine Vielzahl von KI-/Gen-KI-Lösungen verwalten müssen. MCP regelt, wie KI-Modelle Informationen austauschen (einschließlich Lernen), einschließlich Integrität und Überprüfung. Wir können MCP als das TCP/IP-Stack für KI-Modelle betrachten, was insbesondere in zentralisierten, föderierten oder verteilten Anwendungsfällen nützlich ist. MCP ist derzeit ein konzeptioneller Rahmen, der durch verschiedene Tools, Forschung und Projekte realisiert wird.

Der Bereich entwickelt sich schnell, und wir können erwarten, dass er in den nächsten Jahren erheblich ändert.

Wie verändert KI das Feld der Bedrohungserkennung und -reaktion heute im Vergleich zu vor fünf Jahren?

Wir haben gesehen, wie kommerzielle Sicherheits-Operations-Center-Plattformen modernisiert werden, um massive, hochwertige Datensätze und fortschrittliche KI-/ML-Modelle zu nutzen, um die Erkennung und Klassifizierung von Bedrohungen zu verbessern. Zusätzlich nutzen sie Automatisierung, Workflows und Auto-Remediation, um die Zeit von der Erkennung bis zur Minderung zu reduzieren. Einige haben Copilot-Funktionen eingeführt, um die Triage und Reaktion weiter zu unterstützen.

Darüber hinaus werden Agenten entwickelt, um ausgewählte Rollen innerhalb des SOCs zu übernehmen. Als praktisches Beispiel haben wir einen “Digitalen Analysten” für die Bereitstellung in unserem eigenen Managed-Services-Angebot entwickelt. Der Agent dient als Level-1-Analyst, der eingehende Alarme filtert, Kontext von Bedrohungs-Intelligence und anderen Quellen hinzufügt und Reaktionsmaßnahmen (basierend auf umfangreichen Fallstudien) für unsere menschlichen Analysten empfiehlt, die diese dann überprüfen, gegebenenfalls ändern und Maßnahmen ergreifen.

Wie sehen Sie die Beziehung zwischen KI und Cybersicherheit in den nächsten 3-5 Jahren – wird KI eher ein Risiko oder eine Lösung sein?
Wenn KI in den nächsten 3-5 Jahren weiterentwickelt wird, kann sie der Cybersicherheit helfen, aber gleichzeitig auch Risiken einführen. KI wird die Angriffsfläche erweitern und neue Herausforderungen aus defensiver Sicht schaffen. Darüber hinaus wird gegnerische KI die Machbarkeit, Geschwindigkeit und Skalierbarkeit von Angriffen erhöhen, was weitere Herausforderungen schaffen wird. Auf der anderen Seite bietet die Nutzung von KI in der Cybersicherheitsbranche erhebliche Chancen, um die Effektivität, Effizienz, Agilität und Geschwindigkeit von Cyber-Operationen in den meisten Bereichen zu verbessern – letztendlich ein Szenario “Feuer mit Feuer bekämpfen” schaffend.

Vielen Dank für das großartige Interview, Leser können auch die Deloitte-Website besuchen.