Halluzinationskontrolle: Vorteile und Risiken der Einbindung von LLMs in Sicherheitsprozesse

Große Sprachmodelle (LLMs), die auf großen Datenmengen trainiert wurden, können Sicherheitsoperationsteams intelligenter machen. LLMs bieten inline-Vorschläge und Anleitungen für die Reaktion, Audits, Posture-Management und mehr. Die meisten Sicherheitsteams experimentieren mit oder verwenden LLMs, um manuelle Arbeit in Workflows zu reduzieren. Dies kann sowohl für alltägliche als auch für komplexe Aufgaben gelten.

Beispielsweise kann ein LLM einen Mitarbeiter per E-Mail fragen, ob er beabsichtigt hat, ein proprietäres Dokument zu teilen, und die Antwort mit einer Empfehlung für einen Sicherheitsexperten verarbeiten. Ein LLM kann auch damit beauftragt werden, Anfragen zu übersetzen, um Angriffe auf Open-Source-Module zu suchen, und Agenten zu starten, die auf bestimmte Bedingungen ausgerichtet sind – neue Mitwirkende an weit verbreiteten Bibliotheken, unangemessene Code-Muster – mit jedem Agenten, der für diese spezifische Bedingung vorbereitet ist.

Allerdings bergen diese leistungsstarken KI-Systeme erhebliche Risiken, die sich von anderen Risiken unterscheiden, denen Sicherheitsteams gegenüberstehen. Modelle, die Sicherheits-LLMs antreiben, können durch Prompt-Injection oder Datenvergiftung kompromittiert werden. Kontinuierliche Feedback-Schleifen und Machine-Learning-Algorithmen ohne ausreichende menschliche Anleitung können es Angreifern ermöglichen, Kontrollen zu testen und dann schlecht gezielte Reaktionen auszulösen. LLMs neigen zu Halluzinationen, sogar in begrenzten Bereichen. Selbst die besten LLMs erfinden Dinge, wenn sie die Antwort nicht kennen.

Sicherheitsprozesse und KI-Richtlinien für die Verwendung von LLMs und Workflows werden immer kritischer, da diese Systeme in der Cybersicherheit und Forschung immer häufiger verwendet werden. Es ist wichtig, dass diese Prozesse eingehalten und in Governance-Systemen gemessen und berücksichtigt werden, um sicherzustellen, dass CISOs ausreichende GRC-Abdeckung (Governance, Risk und Compliance) für neue Anforderungen wie den Cybersecurity-Framework 2.0 bereitstellen können.

Das große Versprechen von LLMs in der Cybersicherheit

CISOs und ihre Teams kämpfen ständig darum, mit der steigenden Flut neuer Cyberangriffe Schritt zu halten. Laut Qualys erreichte die Anzahl der im Jahr 2023 gemeldeten CVEs einen neuen Rekord von 26.447. Das ist mehr als 5-mal so viel wie im Jahr 2013.

Diese Herausforderung ist nur noch größer geworden, da die Angriffsfläche des durchschnittlichen Unternehmens mit jedem Jahr größer wird. AppSec-Teams müssen viele mehr Software-Anwendungen sichern und überwachen. Cloud-Computing, APIs, Multi-Cloud- und Virtualisierungstechnologien haben zusätzliche Komplexität hinzugefügt. Mit modernen CI/CD-Tools und -Prozessen können Anwendungsteams mehr Code, schneller und häufiger ausliefern. Microservices haben monolithische Apps in zahlreiche APIs und Angriffsflächen aufgeteilt und viele mehr Löcher in globalen Firewalls für die Kommunikation mit externen Diensten oder Kundengeräten gebohrt.

Fortgeschrittene LLMs versprechen, die Arbeitsbelastung von Cybersicherheitsteams zu reduzieren und ihre Fähigkeiten zu verbessern. AI-gestützte Codierungstools haben die Software-Entwicklung weitgehend durchdrungen. Eine Studie von Github ergab, dass 92 % der Entwickler AI-Tools für Code-Vorschläge und -Vervollständigung verwenden. Die meisten dieser “Co-Pilot”-Tools haben einige Sicherheitsfunktionen. Tatsächlich sind programmatische Disziplinen mit relativ binären Ergebnissen wie Codierung (Code wird entweder bestehen oder nicht bestehen) gut für LLMs geeignet. Jenseits von Code-Scanning für Software-Entwicklung und im CI/CD-Pipeline könnten AI-Systeme für Cybersicherheitsteams in mehreren anderen Bereichen wertvoll sein:

• Erweiterte Analyse: LLMs können große Mengen an Sicherheitsdaten (Logs, Alerts, Threat-Intelligence) verarbeiten, um Muster und Korrelationen zu erkennen, die für Menschen unsichtbar sind. Sie können dies über Sprachen, rund um die Uhr und über zahlreiche Dimensionen hinweg tun. Dies eröffnet neue Möglichkeiten für Sicherheitsteams. LLMs können einen Stapel von Alerts in Echtzeit abbauen, indem sie diejenigen markieren, die wahrscheinlich am schwerwiegendsten sind. Durch Verstärkendes Lernen sollte die Analyse über die Zeit verbessert werden.
• Automatisierung: LLMs können Sicherheitsaufgaben automatisieren, die normalerweise konversationellen Austausch erfordern. Wenn beispielsweise ein Sicherheitsteam einen IoC erhält und den Besitzer eines Endpunkts fragen muss, ob er tatsächlich in einem Gerät angemeldet war oder ob er sich außerhalb seiner normalen Arbeitszonen befindet, kann das LLM diese einfachen Operationen durchführen und dann mit Fragen, Links oder Anweisungen fortfahren. Dies war früher eine Interaktion, die ein IT- oder Sicherheitsteammitglied selbst durchführen musste. LLMs können auch erweiterte Funktionalitäten bieten. Beispielsweise kann ein Microsoft Copilot für Sicherheit Incident-Analyseberichte generieren und komplexen Malware-Code in natürliche Sprachbeschreibungen übersetzen.
• kontinuierliches Lernen und Feinabstimmung: Im Gegensatz zu früheren Machine-Learning-Systemen für Sicherheitsrichtlinien und -verständnis können LLMs auf der Fliege lernen, indem sie menschliche Bewertungen ihrer Antworten verarbeiten und durch neue Datenpools feinabgestimmt werden, die möglicherweise nicht in internen Logdateien enthalten sind. Tatsächlich können Cybersicherheits-LLMs mithilfe desselben grundlegenden Modells für verschiedene Teams und ihre Bedürfnisse, Workflows oder regionsspezifische oder branchenspezifische Aufgaben feinabgestimmt werden. Dies bedeutet auch, dass das gesamte System sofort so intelligent sein kann wie das Modell, wobei Änderungen schnell über alle Schnittstellen verbreitet werden.

Risiken von LLMs für die Cybersicherheit

Als neue Technologie mit einer kurzen Erfolgsgeschichte bergen LLMs erhebliche Risiken. Schlimmer noch, das vollständige Ausmaß dieser Risiken ist schwierig zu verstehen, da die Ausgaben von LLMs nicht 100 % vorhersehbar oder programmatisch sind. Beispielsweise können LLMs “halluzinieren” und Antworten erfinden oder Fragen falsch beantworten, basierend auf imaginären Daten. Bevor LLMs für Cybersicherheitsanwendungsfälle eingesetzt werden, müssen potenzielle Risiken berücksichtigt werden, einschließlich:

• Prompt-Injection: Angreifer können böswillige Prompts erstellen, um irreführende oder schädliche Ausgaben zu erzeugen. Dieser Angriffstyp kann die Neigung von LLMs ausnutzen, Inhalte auf der Grundlage der erhaltenen Prompts zu generieren. In Cybersicherheitsanwendungsfällen kann die Prompt-Injection am riskantesten als Form des Insider-Angriffs oder des Angriffs durch einen nicht autorisierten Benutzer sein, der Prompts verwendet, um die Systemausgaben dauerhaft zu verändern, indem er das Modellverhalten verzieht. Dies könnte ungenaue oder ungültige Ausgaben für andere Systembenutzer erzeugen.
• Datenvergiftung: Die Trainingsdaten, auf die LLMs angewiesen sind, können absichtlich verfälscht werden, was ihre Entscheidungsfindung beeinträchtigen kann. In Cybersicherheitsumgebungen, in denen Organisationen wahrscheinlich Modelle verwenden, die von Tool-Anbietern trainiert wurden, kann Datenvergiftung während der Feinabstimmung des Modells für den spezifischen Kunden und Anwendungsfall auftreten. Das Risiko besteht darin, dass ein nicht autorisierter Benutzer schlechte Daten – beispielsweise korrupte Logdateien – hinzufügt, um den Trainingsprozess zu untergraben. Ein autorisierter Benutzer könnte dies auch unbeabsichtigt tun. Das Ergebnis wären LLM-Ausgaben, die auf schlechten Daten basieren.
• Halluzinationen: Wie bereits erwähnt, können LLMs tatsächlich falsche, illogische oder sogar schädliche Antworten generieren, basierend auf Missverständnissen von Prompts oder grundlegenden Datenfehlern. In Cybersicherheitsanwendungsfällen können Halluzinationen zu kritischen Fehlern führen, die die Bedrohungsanalyse, die Schwachstellen-Triage und -Behebung und mehr beeinträchtigen. Da die Cybersicherheit eine mission-kritische Aktivität ist, müssen LLMs einem höheren Standard für die Verwaltung und Verhinderung von Halluzinationen in diesen Kontexten gerecht werden.

Da KI-Systeme leistungsfähiger werden, expandieren ihre Informationen über Sicherheitsbereitstellungen rasch. Um klar zu sein, haben viele Cybersicherheitsunternehmen bereits Mustererkennung und Machine Learning für dynamisches Filtern verwendet. Was neu in der Ära der generativen KI ist, sind interaktive LLMs, die eine Ebene der Intelligenz über bestehende Workflows und Datenpools hinaus bieten, idealerweise die Effizienz und die Fähigkeiten von Cybersicherheitsteams verbessern. Mit anderen Worten kann GenAI Sicherheitstechnikern helfen, mit weniger Aufwand und denselben Ressourcen mehr zu erreichen, was zu besserer Leistung und beschleunigten Prozessen führt.