Cybersicherheitsstrategien für die Entwicklung von Low-Code- und High-Code-Agenten

Wenn Unternehmen KI-Agenten in ihren Geschäftssystemen einsetzen, hängen Entwicklungsgeschwindigkeit und Sicherheitsaufsicht eng zusammen. Cybersicherheitsstrategien für die Entwicklung von Low-Code- und High-Code-Agenten müssen berücksichtigen, wie die jeweiligen Ansätze den Zugriff auf Informationen ermöglichen und Aktionen ausführen lassen. Gezielte Schutzmaßnahmen können diesen Unterschieden Rechnung tragen, während eine gemeinsame Governance dafür sorgt, dass die Aktivitäten der Agenten auch bei zunehmendem Einsatz auf autorisierte Aufgaben beschränkt bleiben.

Was die Entwicklung von Low-Code- und High-Code-KI-Agenten unterscheidet

Mit Low-Code-Plattformen können Entwickler mithilfe visueller Oberflächen und vorgefertigter Konnektoren, die Geschäftsdienste verbinden, Agenten erstellen. Die High-Code-Entwicklung bietet Programmierern mehr Flexibilität, das Verhalten von Agenten durch individuellen Code, Tool-Integrationen und Ausführungsumgebungen festzulegen. Bei beiden Ansätzen muss überwacht werden, auf welche Informationen Agenten zugreifen und welche Aktionen sie ausführen können.

Die Sicherheitsverantwortung unterscheidet sich, weil die Kontrolle an unterschiedlichen Stellen liegt. Entwickler, die mit Low-Code arbeiten, nutzen Plattform-Einstellungen, die die Freigabe und den Zugriff über Konnektoren regeln. Daher sind Konfigurationsentscheidungen besonders wichtig. High-Code-Teams tragen mehr Verantwortung für die Software und Umgebungen, in denen Agenten Anweisungen ausführen, einschließlich der Begrenzung des Zugriffs auf Dateien und Zugangsdaten.

The Cybersecurity and Infrastructure Security Agency nennt mehrere Risiken agentischer KI, die für beide Ansätze einen hilfreichen Bezugsrahmen bieten. Eine vergrößerte Angriffsfläche bedeutet zusätzliche Einstiegspunkte, während schleichende Ausweitung von Berechtigungen die Ansammlung immer weiterer Zugriffsrechte bezeichnet. Eine Abweichung vom vorgesehenen Verhalten liegt vor, wenn Agenten von ihren vorgesehenen Aufgaben abweichen; unübersichtliche Ereignisprotokolle erschweren die Untersuchung. Ein weit verbreiteter Konnektor und ein uneingeschränkt nutzbares Befehlszeilenwerkzeug können unterschiedliche Ausprägungen derselben Probleme verursachen.

Sicherheitsrisiken und Schutzmaßnahmen für Low-Code-KI-Agenten

Dank der Zugänglichkeit von Low-Code können auch Mitarbeitende außerhalb traditioneller Entwicklungsteams Agenten erstellen. Die Sicherheitsaufsicht muss auch diese Entwickler einbeziehen, damit praktische Verbindungen mit den autorisierten geschäftlichen Einsatzbereichen vereinbar bleiben.

Sicherheitslücken in Low-Code-Umgebungen

Fachanwender, die selbst Anwendungen entwickeln, verbinden einen Agenten möglicherweise mit freigegebenen Dateien oder Geschäftsanwendungen, ohne dessen Berechtigungen vollständig zu verstehen. Über diese Verbindungen gewährter Zugriff kann sensible Informationen offenlegen oder Aktionen ermöglichen, die über den vorgesehenen Arbeitsablauf hinausgehen. Weitreichende Freigaben und unklare Zuständigkeiten können das Risiko zusätzlich erhöhen.

Die breite Einführung macht eine einheitliche Aufsicht über alle Abteilungen hinweg wichtig. In einer Marktanalyse aus dem Jahr 2024 berichtet Forrester, dass 87 % der Entwickler in Unternehmen Low-Code-Plattformen für einen Teil ihrer Entwicklungsarbeit nutzen. Diese Erkenntnis bezieht sich allgemein auf die Entwicklung und belegt daher die Reichweite der Plattformen, misst jedoch nicht ausdrücklich, wie weit KI-Agenten eingesetzt werden.

Praktische Maßnahmen zur Verbesserung der Sicherheit von Low-Code-Agenten

Teams sollten die Berechtigungen von Konnektoren mit den Aufgaben abgleichen, für die die jeweiligen Agenten vorgesehen sind, und nach dem Prinzip der geringsten Berechtigungen vorgehen. Ein zentrales Verzeichnis sollte für jede Bereitstellung die verantwortliche Person und die verbundenen Dienste erfassen; für sensible Aktionen sollten Genehmigungen erforderlich sein. So erhalten Sicherheitsteams eine Grundlage, um nicht registrierte Agenten zu erkennen und unangemessene Zugriffe zu untersuchen.

Der Ansatz von Microsoft für die Daten-Governance setzt auf kontrollierten Zugriff auf Geschäftsinformationen. Naveen Jangir, leitender Architekt bei Microsoft Digital, empfiehlt Unternehmen, „die Informationen mit angemessenen Zugriffsbeschränkungen zu verwalten und zu schützen“. Diese Kontrollen ermöglichen es autorisierten Nutzern und KI-Funktionen, die Informationen innerhalb festgelegter Berechtigungsgrenzen zu nutzen, ohne sie unnötig preiszugeben. Werden Richtlinien für Konnektoren mit klaren Zuständigkeiten verbunden, können diese Einschränkungen zum festen Bestandteil der täglichen Entwicklungsarbeit werden.

Sicherheitsrisiken und Schutzmaßnahmen für High-Code-KI-Agenten

Wenn Teams KI-Coding-Agenten zur Entwicklung maßgeschneiderter Systeme einsetzen, können die generierten Änderungen schneller eintreffen, als Menschen sie prüfen können. Daher erfordert die Sicherheit bei der High-Code-Entwicklung Kontrollen sowohl für den Entwicklungsprozess als auch für die Umgebungen, in denen Agenten Aufgaben ausführen.

Die besonderen Sicherheitsherausforderungen der High-Code-Entwicklung

Beim Lesen externer Repositorien mit von Angreifern eingeschleusten Anweisungen können Coding-Agenten indirekten Prompt-Injection-Angriffen ausgesetzt sein. Befolgt ein Agent solche Anweisungen, während er Zugriff auf Entwicklungswerkzeuge hat, kann er unsichere Befehle ausführen oder Zugangsdaten offenlegen. Die möglichen Folgen hängen teilweise davon ab, auf welche Dateien, Werkzeuge und externen Ziele die Ausführungsumgebung Zugriff erlaubt.

Die Sandbox-Richtlinien von NVIDIA befassen sich mit der Offenlegung von Zugangsdaten innerhalb dieser Ausführungsgrenze. Darin heißt es: „Sandbox-Umgebungen sollten Zugangsdaten nur über eine explizite Bereitstellung von Geheimnissen erhalten“, um den Zugriff darauf einzuschränken. Daher sollten Agenten nicht die vollständigen Zugangsdaten ihrer Ausführungsumgebung übernehmen, wenn ihre Aufgaben nur eingeschränkten Zugriff erfordern. Teams sollten Zugangsdaten gezielt für die jeweilige Aufgabe bereitstellen und nicht benötigte Geheimnisse außerhalb der Reichweite des Agenten aufbewahren.

Strategien zur Absicherung von High-Code-Agentenpipelines

In abgeschotteten Ausführungsumgebungen sollte der Datei- und Netzwerkzugriff entsprechend der jeweiligen Aufgabe eingeschränkt werden. Teams sollten außerdem den generierten Code einer statischen Anwendungssicherheitsprüfung unterziehen. Unabhängige Prüfer sollten Autorisierungsentscheidungen oder Geschäftslogik untersuchen, die automatisierte Prüfungen möglicherweise übersehen. Diese Schutzebenen sichern die Ausführungsgrenzen ab und beheben Schwachstellen in der entstehenden Software.

Amazon Web Services empfiehlt in seinem Rahmenwerk für die Kontrolle von Coding-Agenten, Codegenerierung und -bewertung voneinander zu trennen. Das Unternehmen weist darauf hin, dass „eine separate Sitzung dazu beiträgt, Bestätigungsfehler zu vermeiden“. Allerdings können zwei Sitzungen mit demselben Modell bei der Überprüfung dieselben grundlegenden blinden Flecken aufweisen. Wo praktikabel, können ein anderes Prüfmodell und die menschliche Bewertung sicherheitskritischer Änderungen für zusätzliche Kontrolle sorgen.

Eine Sicherheitsstrategie für beide Ansätze entwickeln

Für die KI-Sicherheit bei der Entwicklung von Low-Code- und High-Code-Agenten braucht es einen gemeinsamen Überblick über die Aktivitäten überall dort, wo Agenten Informationen austauschen. So könnte etwa ein Low-Code-Workflow Inhalte an einen eigens entwickelten Agenten übermitteln, der anschließend einen anderen Unternehmensdienst aufruft. Werden die einzelnen Komponenten getrennt überprüft, fehlt den Sicherheitsteams möglicherweise der nötige Kontext, um den gesamten Ablauf zu verstehen.

Die KI-Sicherheitsexperten von Darktrace vertreten die Auffassung, dass Organisationen auch Prompts und Sitzungen prüfen müssen– neben den Antworten in unternehmensweit eingesetzten generativen KI-Tools und bei beiden Entwicklungsansätzen. Die Perspektive umfasst außerdem Software-as-a-Service- und Secure-Access-Service-Edge-Umgebungen. Dank dieser Transparenz erhalten Organisationen den nötigen Kontext, um „raffinierte dialogbasierte Prompt-Angriffe und bösartige Verkettungen zu erkennen“.

Die Sichtweise von Darktrace unterstützt eine umfassendere KI-Sicherheitsstrategie für die Entwicklung von Low-Code- und High-Code-Agenten: Einblick in Prompts, Sitzungsüberwachung und die Kontrolle von Identitäten helfen Teams zu verstehen, wie Agenten über verbundene Tools hinweg miteinander interagieren. Sicherheitsteams sollten untersuchen, wie sich Anweisungen im Verlauf verbundener Sitzungen verändern und ob spätere Aktionen weiterhin mit der ursprünglichen Autorisierung übereinstimmen. Außerdem sollten sie berücksichtigen, wie sensibel die für Untersuchungen gespeicherten Informationen sind.

Governance und Überwachung für die langfristige Sicherheit von KI-Agenten

Für jeden Agenten sollte es unabhängig von seiner Entwicklungsmethode eine verantwortliche Person und einen klar definierten Umfang zulässiger Aufgaben geben. Die Governance sollte außerdem festlegen, wer Änderungen an diesem Umfang genehmigen darf und wer die Aktivitäten eines Agenten aussetzen kann, wenn er sich unerwartet verhält.

Forschungsarbeiten zur Agenten-Governance legen nahe, dass Agenten eine authentifizierbare und auditierbare Berechtigungbenötigen, damit sich die Verantwortlichkeit sicherstellen lässt. Bei diesem Ansatz wird die Person, die eine Berechtigung erteilt, mit den Aufgaben verknüpft, die ein Agent übernehmen darf. Organisationen können dann überprüfen, ob eine Aktion von dieser Berechtigung gedeckt ist.

Teams sollten Aktivitätsprotokolle führen, die erteilte Berechtigungen mit der Nutzung von Tools und den Ergebnissen verknüpfen. Bei regelmäßigen Überprüfungen sollten diese Berechtigungen angesichts veränderter Fähigkeiten erneut bewertet, nach Abschluss von Arbeiten verbliebene Zugriffsrechte entfernt und die Aktualität der Zuständigkeiten bestätigt werden. Entwicklungs- und Sicherheitsteams können mithilfe dieser Überprüfungen sicherstellen, dass die betrieblichen Kontrollen weiterhin dem genehmigten Zweck des Agenten entsprechen.

Den Sicherheitsrisiken von KI-Agenten einen Schritt voraus sein

Bei der Low-Code-Entwicklung sind sorgfältig festgelegte Plattformberechtigungen und eine konsequente Governance für Konnektoren erforderlich. In der High-Code-Entwicklung wiederum müssen eigens eingerichtete Ausführungsumgebungen und Codeprüfungen besonders sorgfältig behandelt werden. Eine zentrale Überwachung und einheitliche Zuständigkeiten schaffen eine gemeinsame Grundlage, um zu kontrollieren, wie Agenten über vernetzte Unternehmenssysteme hinweg auf Informationen zugreifen und Aktionen ausführen. Wenn die Fähigkeiten erweitert werden, sollten Entwickler die Schutzmaßnahmen zusammen mit Änderungen an den Tools und Zuständigkeiten der Agenten neu bewerten und während des gesamten Lebenszyklus jedes Einsatzes klar festlegen, welche Aktivitäten zulässig sind.