Kieran Norton, Deloittes Leiter für Cyber-KI und -Automatisierung in den USA – Interviewreihe

Kieran Norton Kieran ist Principal (Partner) bei Deloitte & Touche LLP und Leiter des Bereichs Cyber ​​AI & Automation in den USA. Mit über 25 Jahren umfassender Erfahrung und einem soliden Technologiehintergrund ist er hervorragend im Umgang mit neuen Risiken und bietet Kunden strategische und pragmatische Einblicke in die Cybersicherheit und das Technologierisikomanagement.

Innerhalb DeloitteKieran leitet die KI-Transformationsbemühungen der US-Cyber-Praxis. Er überwacht Design, Entwicklung und Markteinführung von KI- und Automatisierungslösungen und unterstützt Kunden dabei, ihre Cyber-Fähigkeiten zu verbessern, KI-/Gen-KI-Technologien zu übernehmen und gleichzeitig die damit verbundenen Risiken effektiv zu managen.

Extern unterstützt Kieran Kunden bei der Weiterentwicklung ihrer traditionellen Sicherheitsstrategien, um die digitale Transformation zu unterstützen, Lieferketten zu modernisieren, die Markteinführungszeit zu verkürzen, Kosten zu senken und andere wichtige Geschäftsziele zu erreichen.

Angesichts der zunehmenden Autonomie von KI-Agenten ergeben sich neue Kategorien von Cybersicherheitsbedrohungen, die Unternehmen möglicherweise noch nicht vollständig verstehen?

Die Risiken, die mit der Verwendung neuer KI-bezogener Technologien zum Entwerfen, Erstellen, Bereitstellen und Verwalten von Agenten verbunden sind, sind möglicherweise verständlich – die Operationalisierung ist jedoch eine andere Sache.

Die Handlungsfähigkeit und Autonomie von KI-Agenten – die Fähigkeit von Agenten, unabhängig von Menschen wahrzunehmen, zu entscheiden, zu handeln und zu agieren – kann die Transparenz und Kontrolle über die Beziehungen und Interaktionen von Modellen/Agenten mit Nutzern, Daten und anderen Agenten beeinträchtigen. Da sich die Zahl der Agenten innerhalb von Unternehmen weiter vervielfacht und sie mehrere Plattformen und Dienste mit zunehmender Autonomie und Entscheidungsbefugnissen verbinden, wird dies zunehmend schwieriger. Die Bedrohungen, die mit schlecht geschützter, übermäßiger oder Schatten-KI-Handlungsfähigkeit/-Autonomie einhergehen, sind vielfältig. Dazu gehören Datenlecks, Agentenmanipulation (durch Prompt Injection usw.) und Agent-zu-Agent-Angriffsketten. Nicht alle dieser Bedrohungen sind aktuell, aber Unternehmen sollten überlegen, wie sie mit diesen Bedrohungen umgehen, wenn sie KI-gestützte Funktionen einführen und weiterentwickeln.

Das KI-Identitätsmanagement ist ein weiteres Risiko, das sorgfältig bedacht werden sollte. Die Identifizierung, Einrichtung und Verwaltung der Maschinenidentitäten von KI-Agenten wird komplexer, je mehr Agenten in Unternehmen eingesetzt und genutzt werden. Die flüchtige Natur von KI-Modellen/Modellkomponenten, die unter unterschiedlichen Umständen immer wieder neu gestartet und wieder entfernt werden, erschwert die Pflege dieser Modell-IDs. Modellidentitäten werden benötigt, um die Aktivität und das Verhalten von Agenten sowohl aus Sicherheits- als auch aus Vertrauensperspektive zu überwachen. Bei unzureichender Implementierung und Überwachung wird die Erkennung potenzieller Probleme (Leistung, Sicherheit usw.) sehr schwierig.

Wie besorgt sollten wir über Data-Poisoning-Angriffe in KI-Trainingspipelines sein und was sind die besten Präventionsstrategien?

Datenvergiftung ist eine von mehreren Möglichkeiten, KI-Modelle während des Modellentwicklungszyklus zu beeinflussen oder zu manipulieren. Typischerweise tritt Datenvergiftung auf, wenn ein böswilliger Akteur schädliche Daten in den Trainingsdatensatz einschleust. Es ist jedoch wichtig zu beachten, dass Datenvergiftung nicht nur durch explizite Angreifer, sondern auch durch Fehler oder systemische Probleme bei der Datengenerierung entstehen kann. Da Unternehmen immer datenhungriger werden und an verschiedenen Stellen nach verwertbaren Daten suchen (z. B. durch ausgelagerte manuelle Annotation, gekaufte oder generierte synthetische Datensätze usw.), steigt die Möglichkeit einer unbeabsichtigten Vergiftung von Trainingsdaten, die nicht immer leicht zu diagnostizieren ist.

Das gezielte Angreifen von Trainingspipelines ist ein primärer Angriffsvektor, den Angreifer sowohl für subtile als auch für offene Einflussnahme nutzen. Die Manipulation von KI-Modellen kann zu Ergebnissen führen, die Falsch-Positive, Falsch-Negative und andere subtilere verdeckte Einflüsse umfassen, die KI-Vorhersagen verändern können.

Präventionsstrategien umfassen die Implementierung technischer, verfahrenstechnischer und architektonischer Lösungen. Verfahrenstechnische Strategien umfassen Datenvalidierung/-bereinigung und Vertrauensbewertungen; technische Strategien umfassen Sicherheitsverbesserungen durch KI-Techniken wie Federated Learning; architektonische Strategien umfassen die Implementierung von Zero-Trust-Pipelines und die Implementierung robuster Überwachungs-/Warnsysteme, die die Anomalieerkennung erleichtern können. Diese Modelle sind nur so gut wie ihre Daten, selbst wenn ein Unternehmen die neuesten und besten Tools verwendet. Daher kann Datenvergiftung für Unvorbereitete zur Achillesferse werden.

Auf welche Weise können böswillige Akteure KI-Modelle nach der Bereitstellung manipulieren und wie können Unternehmen Manipulationen frühzeitig erkennen?

Der Zugriff auf KI-Modelle nach der Bereitstellung erfolgt typischerweise über eine Anwendungsprogrammierschnittstelle (API), eine Anwendung über ein eingebettetes System und/oder über ein Port-Protokoll auf ein Edge-Gerät. Früherkennung erfordert frühzeitige Arbeit im Softwareentwicklungszyklus (SDLC), das Verständnis der relevanten Modellmanipulationstechniken sowie priorisierter Bedrohungsvektoren, um Methoden zur Erkennung und zum Schutz zu entwickeln. Einige Modellmanipulationen beinhalten API-Hijacking, Manipulation von Speicherbereichen (Laufzeit) und langsame/schleichende Vergiftung durch Modelldrift. Angesichts dieser Manipulationsmethoden können einige Früherkennungsstrategien die Nutzung von Endpunkttelemetrie/-überwachung (über Endpoint Detection and Response und Extended Detection and Response), die Implementierung sicherer Inferenz-Pipelines (z. B. vertrauliches Computing und Zero-Trust-Prinzipien) und die Aktivierung von Modellwasserzeichen/-signierung umfassen.

Prompt-Injection ist eine Gruppe von Modellangriffen, die nach der Bereitstellung erfolgen und für verschiedene Zwecke eingesetzt werden können, darunter das unbeabsichtigte Extrahieren von Daten, das Anzeigen von Systemaufforderungen, die nicht für normale Benutzer bestimmt sind, und das Erzeugen von Modellreaktionen, die ein negatives Licht auf ein Unternehmen werfen können. Es gibt verschiedene Schutzmaßnahmen auf dem Markt, um das Risiko von Prompt-Injection zu mindern. Wie im übrigen Cyberspace ist dies jedoch ein Wettrüsten, bei dem Angriffstechniken und Abwehrmaßnahmen ständig aktualisiert werden.

Warum können herkömmliche Cybersicherheitsrahmen den besonderen Risiken von KI-Systemen nicht gerecht werden?

Mit „Cybersicherheitsrahmen“ verbinden wir üblicherweise Leitlinien und Standards – z. B. NIST, ISO, MITRE usw. Einige der dahinterstehenden Organisationen haben aktualisierte Leitlinien speziell zum Schutz von KI-Systemen veröffentlicht, die sehr hilfreich sein können.

KI macht diese Frameworks nicht unwirksam – Sie müssen weiterhin alle traditionellen Bereiche der Cybersicherheit berücksichtigen. Möglicherweise müssen Sie Ihre Prozesse und Programme (z. B. Ihren SDLC) aktualisieren, um die mit KI-Workloads verbundenen Nuancen zu berücksichtigen. Die Einbettung und (soweit möglich) Automatisierung von Kontrollen zum Schutz vor den oben beschriebenen differenzierten Bedrohungen ist der effizienteste und effektivste Weg.

Auf taktischer Ebene ist zu erwähnen, dass die gesamte Bandbreite möglicher Ein- und Ausgaben oft erheblich größer ist als bei Anwendungen ohne KI. Dies schafft ein Größenproblem für herkömmliche Penetrationstests und regelbasierte Erkennungen, weshalb der Schwerpunkt auf der Automatisierung liegt.

Welche Schlüsselelemente sollten in einer Cybersicherheitsstrategie enthalten sein, die speziell für Organisationen entwickelt wurde, die generative KI oder große Sprachmodelle einsetzen?

Bei der Entwicklung einer Cybersicherheitsstrategie für den Einsatz von GenAI oder großen Sprachmodellen (LLMs) gibt es keinen allgemeingültigen Ansatz. Viel hängt von den allgemeinen Geschäftszielen, der IT-Strategie, dem Branchenfokus, dem regulatorischen Rahmen, der Risikotoleranz usw. des Unternehmens sowie den spezifischen KI-Anwendungsfällen ab. Ein Chatbot für den internen Gebrauch birgt beispielsweise ein ganz anderes Risikoprofil als ein Agent, der die Gesundheit von Patienten beeinflussen könnte.

Dennoch gibt es grundlegende Aspekte, mit denen sich jede Organisation befassen sollte:

• Führen Sie eine Bereitschaftsbewertung durchDies legt eine Basis der aktuellen Fähigkeiten fest und identifiziert potenzielle Lücken unter Berücksichtigung priorisierter KI-Anwendungsfälle. Unternehmen sollten prüfen, wo bestehende Kontrollen erweitert werden können, um den differenzierten Risiken von GenAI zu begegnen und die Notwendigkeit der Implementierung neuer Technologien oder der Verbesserung bestehender Prozesse zu berücksichtigen.
• Etablieren Sie einen KI-Governance-ProzessDies kann eine völlig neue Entwicklung innerhalb eines Unternehmens oder eine Änderung bestehender Risikomanagementprogramme sein. Dies sollte die Definition unternehmensweiter KI-Enablement-Funktionen und die Einbeziehung von Stakeholdern aus den Bereichen Geschäftsbereich, IT, Produkt, Risikomanagement, Cybersicherheit usw. als Teil der Governance-Struktur umfassen. Darüber hinaus sollten die Definition/Aktualisierung relevanter Richtlinien (Nutzungsrichtlinien, Cloud-Sicherheitsrichtlinien, Risikomanagement für Drittanbietertechnologien usw.) sowie die Festlegung von L&D-Anforderungen zur Förderung von KI-Kompetenz und KI-Sicherheit im gesamten Unternehmen einbezogen werden.
• Etablieren Sie eine vertrauenswürdige KI-Architektur– Mit der Einrichtung von KI-/GenAI-Plattformen und Experimentier-Sandboxen müssen sowohl vorhandene Technologien als auch neue Lösungen (z. B. KI-Firewalls/Laufzeitsicherheit, Leitplanken, Modell-Lebenszyklusmanagement, erweiterte IAM-Funktionen usw.) auf wiederholbare und skalierbare Weise in Entwicklungs- und Bereitstellungsumgebungen integriert werden.
• Verbessern Sie den SDLCUnternehmen sollten eine enge Zusammenarbeit zwischen KI-Entwicklern und den Risikomanagementteams aufbauen, die sich um den Schutz, die Sicherheit und den Aufbau von Vertrauen in KI-Lösungen kümmern. Dazu gehört die Etablierung eines einheitlichen/standardisierten Satzes sicherer Softwareentwicklungspraktiken und Kontrollanforderungen in Zusammenarbeit mit den breiteren KI-Entwicklungs- und -Einführungsteams.

Können Sie das Konzept einer „KI-Firewall“ einfach erklären? Wie unterscheidet sie sich von herkömmlichen Netzwerk-Firewalls?

Eine KI-Firewall ist eine Sicherheitsebene, die die Ein- und Ausgaben von KI-Systemen – insbesondere großer Sprachmodelle – überwacht und steuert, um Missbrauch zu verhindern, sensible Daten zu schützen und verantwortungsvolles KI-Verhalten zu gewährleisten. Im Gegensatz zu herkömmlichen Firewalls, die Netzwerke durch Filterung des Datenverkehrs anhand von IP-Adressen, Ports und bekannten Bedrohungen schützen, konzentrieren sich KI-Firewalls auf das Verständnis und die Verwaltung natürlicher Sprachinteraktionen. Sie blockieren schädliche Inhalte, Datenlecks, Prompt-Injection und unethischen KI-Einsatz durch die Anwendung von Richtlinien, kontextsensitiven Filtern und modellspezifischen Schutzmaßnahmen. Im Wesentlichen schützt eine herkömmliche Firewall Ihr Netzwerk, während eine KI-Firewall Ihre KI-Modelle und deren Ausgaben schützt.

Gibt es aktuelle Industriestandards oder neue Protokolle, die die Verwendung KI-spezifischer Firewalls oder Leitplanken regeln?
Das Model Communication Protocol (MCP) ist kein universeller Standard, gewinnt aber branchenweit an Bedeutung, um den wachsenden Konfigurationsaufwand in Unternehmen zu bewältigen, die die Vielfalt der KI-GenAI-Lösungen verwalten müssen. MCP regelt den Informationsaustausch (einschließlich Lernen) von KI-Modellen, einschließlich Integrität und Verifizierung. MCP ist der TCP/IP-Stack (Transmission Control Protocol) für KI-Modelle und eignet sich besonders für zentralisierte, föderierte und verteilte Anwendungsfälle. MCP ist derzeit ein konzeptionelles Framework, das durch verschiedene Tools, Forschung und Projekte umgesetzt wird.

In diesem Bereich entwickeln sich die Dinge schnell, und wir können davon ausgehen, dass sich in den nächsten Jahren einiges ändern wird.

Wie verändert KI den Bereich der Bedrohungserkennung und -reaktion heute im Vergleich zu vor fünf Jahren?

Wir beobachten eine unterschiedlich starke Modernisierung kommerzieller Security Operations Center (SOC)-Plattformen. Diese nutzen umfangreiche, hochwertige Datensätze und fortschrittliche KI/ML-Modelle, um die Erkennung und Klassifizierung von Bedrohungen zu verbessern. Darüber hinaus nutzen sie Automatisierungs-, Workflow- und automatische Fehlerbehebungsfunktionen, um die Zeit von der Erkennung bis zur Schadensbegrenzung zu verkürzen. Einige haben zudem Copilot-Funktionen eingeführt, um die Triage und Reaktion weiter zu unterstützen.

Darüber hinaus werden Agenten entwickelt, die ausgewählte Rollen innerhalb des SOC erfüllen. Als praktisches Beispiel haben wir einen „Digitaler Analyst“ Agent für den Einsatz in unserem eigenen Managed-Services-Angebot. Der Agent fungiert als Analyst der ersten Ebene, sortiert eingehende Warnmeldungen, fügt Kontext aus Bedrohungsdaten und anderen Quellen hinzu und empfiehlt (basierend auf einer umfassenden Fallhistorie) Reaktionsschritte für unsere menschlichen Analysten, die diese dann überprüfen, gegebenenfalls anpassen und Maßnahmen ergreifen.

Wie wird sich Ihrer Meinung nach die Beziehung zwischen KI und Cybersicherheit in den nächsten drei bis fünf Jahren entwickeln – wird KI eher ein Risiko oder eine Lösung darstellen?
Die Weiterentwicklung von KI in den nächsten drei bis fünf Jahren kann die Cybersicherheit verbessern, birgt aber gleichzeitig auch Risiken. KI vergrößert die Angriffsfläche und schafft neue Herausforderungen für die Verteidigung. Zudem erhöht konfrontative KI die Durchführbarkeit, Geschwindigkeit und das Ausmaß von Angriffen, was weitere Herausforderungen mit sich bringt. Andererseits bietet der Einsatz von KI im Bereich der Cybersicherheit erhebliche Chancen, die Effektivität, Effizienz, Agilität und Geschwindigkeit von Cyberoperationen in den meisten Bereichen zu verbessern – und so letztlich ein „Feuer mit Feuer bekämpfen“-Szenario zu schaffen.

Vielen Dank für das tolle Interview. Leser können auch gerne besuchen Deloitte.