Vordenker

Wenn KI verrückt spielt: Insider-Bedrohungen in der Ära autonomer Agenten

mm

 Der rasanten Aufstieg von KI-Agentsen stellt neue Herausforderungen für Sicherheits- und IT-Teams dar. Am Rande dieses Übergangs zu mehr agentenautomatisierten Workflows für Aufgaben der Geschäftskontinuität fand jüngste Tests heraus, dass KI-Agentsen unter bestimmten Bedingungen unsichere oder täuschende Verhaltensweisen zeigen können, was eine neue Insider-Bedrohung für Unternehmen aus verschiedenen Branchen darstellt.

Es besteht ein kritischer Bedarf für Organisationen, KI-Agentsen, die auf sensible Daten zugreifen und ohne menschliche Aufsicht handeln, ordnungsgemäß zu überwachen. Dies kann potenziell neue Klassen von Risiken einführen, die schneller, weniger vorhersehbar und schwieriger zuzuordnen sind. Die Realität dieser Risiken ist zweifach. Einerseits müssen Sicherheitsteams auf schlechte Akteure vorbereitet sein, die KI-Agentsen nutzen, um soziale Ingenieursangriffe auf ihre Mitarbeiter zu verstärken. Andererseits müssen sie auf firmenintern genehmigte interne KI-Agentsen vorbereitet sein, die möglicherweise Verhaltensweisen zeigen, die ein ganz neues Set von Sicherheitsrisiken und Schwachstellen erzeugen.

Wie interne KI-Agentsen zu Insider-Bedrohungen führen können

KI-Agentsen bergen zwei wichtige interne Sicherheitsrisiken innerhalb von Unternehmensnetzwerken. Erstens handeln sie autonom ohne die ethischen Grenzen oder die eingebauten Rechenschaftspflichten, die menschliche Mitarbeiter von Natur aus befolgen. Basierend auf abgeleiteten Zielen und nicht auf expliziten Anweisungen können ihre Effizienz und Beharrlichkeit Grenzen überschreiten und es ihnen ermöglichen, ohne Genehmigung zu handeln. Ohne notwendige Kontroll- und Ausgleichsmechanismen können Expositionen leicht erstellt und übersehen werden.

Diese Agentsen haben möglicherweise auch Zugang zu großen Mengen an Daten, aber sie fehlen die Fähigkeit, zwischen privilegierten und routinemäßigen Informationen zu unterscheiden. Daher können selbst einfache Aufgaben wie die Analyse von Datensätzen dazu führen, dass Daten geleakt oder externen Parteien zugänglich gemacht werden. Diese Herausforderung wird noch komplexer, wenn KI über verschiedene Systeme und Workflows mit unterschiedlichen Datenregeln und -protokollen skaliert. Agentsen, die über Regionen hinweg operieren, verletzen oft standortspezifische Datenverarbeitungsregeln aufgrund inkonsistenter Richtlinien durchsetzung, was Sicherheitsrisiken aufbaut. Die Realität ist, dass nur 30% der US-Unternehmen aktiv kartieren, welche KI-Agentsen Zugang zu kritischen Systemen haben, was einen großen Sicherheitsblindpunkt darstellt.

Wie externe KI-Agentsen zu Insider-Bedrohungen führen können

Eine der häufigsten Eintrittswege für Hacker sind Phishing- und soziale Ingenieursangriffe. Schlechte Akteure und Cyber-Gangs nutzen KI-Agentsen, um diese Angriffe zu verstärken und komplexe Deepfake- und Nachahmungsincidenten durchzuführen. KI-Agentsen können verwendet werden, um Phishing- und soziale Ingenieursangriffe zu erstellen, die für ungeschulte Augen realistischer und glaubwürdiger erscheinen. 60% der Datenlecks im Jahr 2024 umfassten ein menschliches Element, und fast ein Viertel davon stammte von sozialen Ingenieursangriffen. Diese Zahl wird nur steigen, da die Verwendung von KI-Agentsen diese Methoden des Eintritts weiter stärken wird.

KI-Agentsen können trainiert werden, um umfangreiche Mengen an sozialen Medien und persönlichen Daten über Plattformen und Kanäle hinweg zu sichten, um gezielte, personalisierte Kommunikationen zu senden. Mitteilungen, die den Ton und die Stimme der Absender nachahmen, sind wahrscheinlicher erfolgreich und schwerer von echten Medien zu unterscheiden. KI-Agentsen können lernen, ihre Kampagnen anzupassen, um die Wirksamkeit zu verbessern, und wenn ein Angriff nicht funktioniert, können sie ihre Herangehensweise ändern oder einen erfolgreichen Angriff nachahmen.

Wenn es um Deepfakes geht, können KI-Agentsen diese Nachahmungen mit außergewöhnlichen Geschwindigkeiten erzeugen, was zu massiver Manipulation führt. Schlechte Akteure nutzen auch KI-Agentsen, um Echtzeit-Videoanrufe mit minimaler Latenz durchzuführen und die Glaubwürdigkeit zu erhöhen. Sie können auf die Reaktion eines Ziels in Echtzeit reagieren und ihre Herangehensweise ändern, wenn notwendig. Diese verstärkten Angriffe können das Risiko von Insider-Bedrohungen durch unwissende Mitarbeiter erhöhen, die möglicherweise dazu verleitet werden, sensible Daten preiszugeben, Transaktionen zu autorisieren oder Anmeldedaten an Bedrohungsakteure weiterzugeben.

Die Rolle der Sicherheitsteams bei der Bewältigung von KI-Herausforderungen

Sicherheitsteams müssen spezifische Maßnahmen ergreifen, um die Blindpunkte zu begrenzen, die durch KI-Agentsen entstehen. IT-Abteilungen sollten in erster Linie den Zugang von KI-Agentsen zu sensiblen Daten durch Datenverwaltung und Echtzeit-Überwachungskontrollen einschränken. Schritte, um dies zu erreichen, umfassen die Klassifizierung von KI-Agentsen-Identitäten in IAM-Systemen und die Überwachung ihrer Aktivitäten mit dem gleichen Rigor wie privilegierte Konten. Der Sichtbarkeitsaspekt geht weiter, indem die Netzwerkaktivität für bereits implementierte Verhaltensbaselines für KI-Agentsen überwacht wird. Mit Sichtbarkeit können IT-Teams privilegierten Zugriff und Anomalien überwachen, was nicht nur Präventionsbemühungen unterstützt, sondern auch die Eindämmung und Wiederherstellungsmaßnahmen im Falle eines verrückten Agents beschleunigt.

Darüber hinaus können Organisationen, indem sie neue Muster und Taktiken identifizieren, die in KI-Agentsen-Angriffen verwendet werden, ihre Verteidigungsstrategien aktualisieren und ihre Sicherheitssysteme trainieren, um ähnliche Bedrohungen in der Zukunft zu erkennen und abzuwehren.

Im Voraus bleiben bei Insider-Bedrohungen, die durch KI-Agentsen eingeführt werden

Die Realität ist, dass KI-Agentsen ein neuartiges Insider-Risiko aufgrund ihrer Autonomie und zunehmenden Zugriffs auf sensible Systeme darstellen. Darüber hinaus werden Bedrohungsakteure weiterhin KI-Agentsen nutzen, um menschliche Schwachstellen durch Deepfakes, Phishing und soziale Ingenieursangriffe effektiver auszunutzen.

Da diese Technologie fortschreitet, müssen Unternehmen ihre Sichtbarkeit in den Zugriff und das Verhalten von KI-Agentsen verbessern, bevor sie diese in ihre Workflows integrieren. Dies umfasst Investitionen in proaktive, 360-Grad-Echtzeit-Überwachung neben einer KI-Agentsen-Belegschaft. Obwohl KI-Agentsen kritische Geschäftsbottlenecks und -herausforderungen lösen können, erfordern sie einen proaktiven Ansatz, um zukünftige Insider-Bedrohungen zu begrenzen.

Mit über zwei Jahrzehnten Erfahrung im Design, Management und Implementieren von fortschrittlichen Software- und Elektroniksystemen ist Todd ein erfahrener Technologe, der leidenschaftlich daran arbeitet, große Sprachmodelle zu nutzen, um die menschliche Computerinteraktion zu verändern. Todd ist der Förderung von natürlichen Sprachtechnologien gewidmet und sucht kontinuierlich nach Möglichkeiten, umfangreiche, innovative Anwendungen zu entwickeln, die die Grenzen der menschlichen Maschinenkollaboration neu definieren.