Vordenker
Von der Absicht zum autonomen Handeln: KI-Agenten in Unternehmen steuern

Wichtige PunkteGovernance muss innerhalb des Produkts angesiedelt sein, weil sie definiert, welche…
Mehr anzeigen
- Governance muss innerhalb des Produkts angesiedelt sein, weil sie definiert, welche Verantwortlichkeiten eine Organisation sicher delegieren kann.
- Eine agentische Kontrollebene verbindet Agentenidentität und genehmigte Fähigkeiten mit Richtliniendurchsetzung und Ausführungsaufsicht.
- Organisationen sollten mit einem eng begrenzten Workflow beginnen und die Befugnisse von Agenten nur dann erweitern, wenn betriebliche Nachweise dies stützen.
Eine Anweisung wie „Dienst wiederherstellen“ klingt eindeutig – bis ein KI-Agent entscheiden muss, welche Befugnisse sie ihm erteilt. Eine Anwendung neu zu starten, eine Konfiguration zu ändern und Infrastruktur bereitzustellen, kann diesem Ziel jeweils dienen, hat aber unterschiedliche Folgen. Wenn Agenten nicht mehr nur Maßnahmen empfehlen, sondern sie auch ausführen, brauchen Unternehmen eine klare Verbindung zwischen geschäftlicher Absicht und operativer Befugnis.
Governance muss Teil des Produkts sein, denn sie bestimmt, welche Aufgaben ein Unternehmen mit gutem Gewissen delegieren kann. Ein Agent, der Aufgaben zuverlässig, innerhalb vereinbarter Grenzen und mit Nachweisen über seine Handlungen erledigt, bietet eine solidere Grundlage für den Einsatz in Unternehmen als ein Agent mit unklaren Befugnissen. Die architektonische Herausforderung besteht darin, diese Grenzen in die Funktionsweise des Systems einzubetten.
Um diese Grenzen in der Praxis umzusetzen, braucht es eine einheitliche Methode, um das Handeln von Agenten zu steuern. Eine Steuerungsebene für agentische Systeme kann diese Grundlage schaffen, indem sie die Identität der Agenten, genehmigte Fähigkeiten, die Durchsetzung von Richtlinien, die Verwaltung des Speichers und die Ausführungsaufsicht über bestehende Unternehmenssysteme hinweg miteinander verknüpft. Sie legt fest, wer eine Handlung angefordert hat, welche Befugnis ihr zugrunde liegt, auf welche Ressourcen sie sich auswirken kann und wie sich das Ergebnis überprüfen lässt.
Hier sind drei praktische Leitlinien, die wir für die Steuerung von KI-Agenten in Unternehmen empfehlen:
Fähigkeiten mit klaren Befugnissen verknüpfen
Jeder Agent sollte eine eindeutig identifizierbare verantwortliche Person, einen klar definierten Zweck und auf seine Aufgabe zugeschnittene Berechtigungen haben. Dies entspricht dem NIST-Rahmenwerk für das Risikomanagement von KI, das Governance als kontinuierliche Funktion über den gesamten Lebenszyklus von KI hinweg versteht. Bei Agenten muss dieses Prinzip auch dann gelten, wenn eine Handlung ein Unternehmenssystem verändert. Delegiert ein Agent eine Aufgabe an einen anderen, müssen diese Grenzen bestehen bleiben.
Auch die Ermittlung verfügbarer Fähigkeiten erfordert klare Regeln: Ein genehmigter Katalog sollte für jedes Werkzeug seinen Zweck, seine Eingaben und Ausgaben, die zulässigen Umgebungen und mögliche Nebenwirkungen beschreiben. Ein Werkzeug zu entdecken, berechtigt noch nicht zu seiner Ausführung; die Berechtigung muss daher bei jedem Ausführungsversuch überprüft werden. Die OWASP-Leitlinien zu übermäßiger Handlungsfreiheit unterstreichen diesen Unterschied mit Empfehlungen, den Funktionsumfang und die Berechtigungen zu begrenzen und die Autorisierung in nachgelagerten Systemen durchzusetzen.
Betrachten wir beispielhaft einen Ablauf zur Wiederherstellung eines Dienstes: Ein Agent untersucht die Verlangsamung einer Anwendung und schlägt vor, eine Komponente neu zu starten. Die Richtlinie erlaubt den Zugriff auf genehmigte Telemetriedaten; ein Neustart in der Produktionsumgebung setzt jedoch voraus, dass die Funktionsfähigkeit der Redundanz nachgewiesen ist und die verantwortliche Person für den Dienst zustimmt. So wird aus einer allgemeinen Anweisung eine klar begrenzte operative Entscheidung.
Operative Absichten in kontrollierte Werkzeuge überführen
Gibt es ein genehmigtes Wiederherstellungswerkzeug, kann der Agent mithilfe dieser Funktionalität eine Anfrage vorbereiten. Ist kein solches Werkzeug vorhanden, kann er dabei helfen, ein Skript, ein Ablaufhandbuch, ein Eingabeschema und eine Werkzeugbeschreibung zu erstellen und so eine operative Absicht in eine vorgeschlagene Funktionalität zu überführen, die andere prüfen können. Darin liegt der praktische Nutzen der agentischen Werkzeugentwicklung: Agenten können sowohl zur betrieblichen Infrastruktur beitragen als auch sie nutzen.
Die Erstellung dieser Infrastruktur sollte jedoch nicht automatisch dazu führen, dass sie in der Produktionsumgebung ausführbar ist. Für eine vorgeschlagene Funktionalität braucht es einen unabhängigen Freigabeprozess mit klarer Verantwortlichkeit, Sicherheitsprüfungen, Versionsverwaltung und Tests, die ungültige Eingaben, einen übermäßigen Umfang, Teilausfälle und wiederholte Ausführungen abdecken. Von Agenten erstellte Tests können Nachweise liefern; ob die Funktionalität ihre operativen Anforderungen erfüllt, sollte jedoch vor ihrer Aufnahme in den genehmigten Katalog unabhängig überprüft werden.
Ausführungsgrenzen sollten anschließend den Umfang der Ressourcen, den Netzwerkzugriff, die Dauer und die Ausgaben beschränken. Erforderliche Genehmigungen müssen sich auf die jeweilige Handlung, das Ziel und die Version beziehen. Auch Wiederherstellungsmaßnahmen verdienen besondere Aufmerksamkeit: Manche Änderungen lassen sich rückgängig machen, andere erfordern ausgleichende Maßnahmen oder können nicht rückgängig gemacht werden. Jede Funktionalität sollte diese Einschränkungen klar benennen und den Betreibern eine getestete Möglichkeit bieten, die weitere Ausführung auszusetzen.
Der Speicher bringt eine weitere Governance-Verantwortung mit sich, denn gespeicherte Beobachtungen können künftige Entscheidungen noch lange beeinflussen, nachdem sich ihr ursprünglicher Kontext geändert hat. Unternehmen sollten festlegen, was Agenten speichern dürfen, wie lange Informationen verfügbar bleiben und welche Zugriffsgrenzen gelten; dies sollte durch Mechanismen zur Nachverfolgung der Herkunft und zur Berichtigung ergänzt werden. Eine gespeicherte Berechtigung darf niemals zu einer dauerhaft geltenden Befugnis werden, und veraltetes Betriebswissen sollte neue Handlungen nicht unbemerkt beeinflussen.
Autonomie auf Basis von Nachweisen ausbauen
Wirksame Aufsicht setzt Nachweise voraus, die die ursprüngliche Anfrage, die geltende Richtlinie, die Genehmigung, die Werkzeugversion, das Ausführungsergebnis und die anschließende Überprüfung miteinander verknüpfen. Menschliche Prüfende benötigen genügend Kontext, um die vorgeschlagene Änderung, die damit verbundene Unsicherheit und mögliche Wiederherstellungsoptionen beurteilen zu können, ohne von unnötigen Einzelheiten überfordert zu werden. Damit diese Aufsicht gewährleistet ist, sollte die Eskalation anhand klar definierter Bedingungen erfolgen, etwa bei widersprüchlichen Beobachtungen oder einem unbekannten Systemzustand, statt sich allein auf die vom Agenten geäußerte Zuversicht zu verlassen.
IT-Verantwortliche sollten mit einem eng umrissenen Arbeitsablauf beginnen und die Befugnisse schrittweise erweitern, sobald die betrieblichen Nachweise dies rechtfertigen. Dabei sollten sie neben erfolgreichen Ergebnissen auch Ausnahmen, die Wiederherstellungszeit, Richtlinienverstöße und den erforderlichen Aufsichtsaufwand messen. Anhand dieser Kennzahlen lässt sich feststellen, ob ein Agent bereit für mehr Verantwortung ist und wo zusätzliche Schutzmaßnahmen oder Tests erforderlich sind.
Die Chance besteht darin, Delegation wiederholbar zu gestalten: Jede genehmigte Fähigkeit legt fest, was ein Agent unter welchen Bedingungen und mit welcher Rechenschaftspflicht tun darf. Diese Disziplin kann die Resilienz und Effizienz stärken und Organisationen zugleich eine belastbare Grundlage dafür bieten, mehr Autonomie zu gewähren. Die wichtigste Erkenntnis lautet: Governance verdient ihren Platz im Produkt, weil sie diese Weiterentwicklung ermöglicht.












