KI‑Agenten sind einsatzbereit. Die meisten Unternehmen sind nicht bereit, sie zuzulassen.

Für den größten Teil der Ära der generativen KI haben wir uns darauf konzentriert, was Modelle sagen und was wir in sie einbringen. Wir prüfen Eingabeaufforderungen, filtern Antworten, führen Red‑Team‑Tests an Modellen durch und bauen Kontrollen rund um Eingaben und Ausgaben. Diese Schutzmaßnahmen sind nach wie vor wichtig, wurden jedoch für eine Welt entwickelt, in der KI hauptsächlich etwas für einen Menschen erzeugt.

Agenten verändern diese Gleichung. Sie konsumieren oder erzeugen nicht nur Informationen. Sie handeln.

Ein Agent kann Werkzeuge ausführen, Sub‑Agenten aufrufen, mit anderen Agenten zusammenarbeiten, APIs ansprechen, auf Daten zugreifen, Anmeldeinformationen verwenden, MCP‑Server kontaktieren, Code erzeugen und ausführen und dabei autonom eine Reihe von Entscheidungen im Dienst eines Ziels treffen. Ein unermüdliches Streben. Sobald das geschieht, lautet die zentrale Frage nicht mehr einfach, ob das Modell eine sichere Antwort erzeugt hat, sondern ob die von ihm ausgeführten Handlungen sicher auszuführen sind.

Aktuelle Offenlegungen von OpenAI machen diese Unterscheidung immer wichtiger. OpenAI hat begonnen systematisch unerwartetes oder besorgniserregendes Modellverhalten melden, während seine umfassenderen Sicherheitsarbeiten zunehmend die Risiken adressieren, die entstehen, wenn Modelle mehr Autonomie und Zugriff auf Werkzeuge erhalten.

Die Lehre ist nicht, dass Agenten grundsätzlich unsicher sind. Es ist, dass die Sicherheitsgrenze verschoben wurde.

Agentische Systeme erfordern ein anderes Betriebsmodell

Agentische KI ist nicht einfach nur eine weitere Anwendungsarchitektur. Die Software selbst bestimmt zunehmend, wie Arbeit erledigt wird.

Ein Agent kann auf ein Hindernis stoßen, interpretieren, was geschehen ist, und einen anderen Weg wählen. Er kann Werkzeuge in einer Weise kombinieren, die nicht explizit im Voraus entworfen wurde. Er kann Code erzeugen und diesen Code im Rahmen desselben Workflows ausführen. Die Abfolge der Aktionen kann sich bei jedem Durchlauf des Agenten ändern.

Gleichzeitig wächst die Zahl der Personen, die diese Software erstellen, dramatisch. Wie wir über den Aufstieg des Bürgerentwicklers geschrieben haben, wandelt KI Menschen, die sich nie als Entwickler gesehen haben, in Software‑Ersteller um. Ein Marketing‑Experte, Finanzanalyst oder Betriebsleiter kann nun beschreiben, was er möchte, und einen Agenten erstellen, der mit echten Geschäftssystemen interagieren kann.

Das ist eine außergewöhnliche Ausweitung dessen, wer Software erstellen kann und was diese Software leisten kann. Es bedeutet auch, dass Organisationen deutlich mehr autonome Software einsetzen werden, die in weitaus mehr Bereichen des Unternehmens operiert.

Die Antwort kann nicht einfach darin bestehen, die gestrigen Kontrollen auf diese neue Umgebung anzuwenden. Wenn Unternehmen diese Systeme nicht sicher betreiben können, wird die Alternative darin bestehen, sie einzuschränken und letztlich die Produktivitätsgewinne, die sie erzielen wollen, zu verlangsamen.

Kontrolle muss dort existieren, wo Agenten handeln

Wenn KI autonomer wird, verschiebt sich die Herausforderung von der Kontrolle dessen, was in ein Modell einfließt, hin zur Kontrolle dessen, was geschieht, wenn seine Entscheidungen zu Handlungen werden.

Ein Agent kann mit einem genehmigten Benutzer, einer akzeptablen Eingabeaufforderung, legitimen Anmeldeinformationen und autorisiertem Zugriff auf ein Werkzeug beginnen. Keine dieser Voraussetzungen garantiert, dass jede nachfolgende Aktion ausgeführt werden sollte.

Hier wird die Laufzeit kritisch. Unternehmen müssen nicht nur wissen, wer der Agent ist, sondern Fragen stellen, was er gerade tut:

• Welche Werkzeuge es aufruft,
• Auf welche Ressourcen es zugreift, welchen Code es ausführen möchte, 
• Welche Sub‑Agenten und sonstigen Agenten‑Kommunikationen stattfinden,
• Was unmittelbar vor dieser Aktion geschehen ist und ob sein Verhalten innerhalb akzeptabler Grenzen bleibt,
• Was der Agent zur Laufzeit im Hintergrund tut.

Und wenn es das nicht tut, muss das System in der Lage sein, in Echtzeit vor der Ausführung einzugreifen.

Das ist ein wichtiger Unterschied. Beobachtbarkeit zeigt, was geschehen ist. Laufzeitkontrolle gibt Ihnen die Möglichkeit, die Ausführungsebene des Agenten zu begrenzen.

Das wird besonders wichtig, weil agentisches Verhalten sowohl nicht-deterministisch als auch multidimensional ist. Eine blockierte Aktion führt dazu, dass ein Agent einen anderen Ansatz für sein Ziel versucht. Ein scheinbar harmloser Werkzeugaufruf kann riskant werden, weil ihm etwas vorausgegangen ist. Einfach nur zu beobachten oder „zu erkennen und zu reagieren“ ist im Spiel zu spät, um den Zugriff auf den Agenten und dessen Ausführung tatsächlich zu steuern.

Die Laufzeit muss inline und synchron sein, um mit der Geschwindigkeit der KI Schritt halten zu können.  Die grundlegende Herausforderung bei der Umsetzung solcher Ansätze beruht auf Denkweisen aus der Vor‑KI‑Ära, die auf einer längeren Analyse‑ und Erkennungsmethodik basieren.  Diese Prinzipien gelten in der heutigen Welt nicht mehr.

Laufzeitsicherheit erfordert Kontext, nicht nur Kontrollen

Es gibt die Tendenz, auf aufkommende KI‑Risiken mit einer Reduzierung der Autonomie zu reagieren: Agenten weniger Berechtigungen zu geben, menschliche Genehmigungen häufiger zu verlangen oder die Umgebungen, in denen sie operieren, einzuschränken. Solche Kontrollen sind manchmal angemessen, insbesondere bei hochriskanten Aktionen.

Aber sie können nicht das langfristige Betriebsmodell sein.

Wenn ein Mensch jede bedeutende Entscheidung genehmigen muss, haben wir den größten Teil des Nutzens eines autonomen Agenten entfernt. Durch die Abhängigkeit von strengen Human‑in‑the‑Loop‑Interaktionen haben wir einige der talentiertesten Personen zu „Knopfdruckern“ gemacht. Das wirkt sich direkt auf die Fähigkeit aus, den Umfang und die Abhängigkeiten des Code‑Bestands zu verstehen, auf dem agentische Organisationen aufbauen.

Das wirtschaftliche Versprechen von agentischer KI entsteht gerade daraus, Software zu ermöglichen, sinnvolle Arbeit eigenständig und kontinuierlich – rund um die Uhr – zu erledigen. Das Ziel sollte daher nicht sein, Autonomie zu eliminieren, sondern größere Autonomie sicher zu betreiben.

Das erfordert unabhängige Kontrollen außerhalb des eigenen Denkprozesses des Agenten. Anthropics Forschung zu agentischer Fehlanpassung, die in bewusst konstruierten Simulationen durchgeführt wurde, zeigt, warum das wichtig ist. Wenn Systeme autonomer werden, kann ihr Verhalten von den Erwartungen der Betreiber abweichen, selbst wenn das ursprüngliche Ziel klar erscheint.

Die praktische Konsequenz ist einfach: Organisationen können sich nicht ausschließlich darauf verlassen, zu verstehen, was ein Agent tun soll. Sie müssen verstehen und kontrollieren, was er tatsächlich tut.

Der Agent ist nicht mehr das eigentliche Problem

Die Branche hat enorme Energie darauf verwendet, Agenten leistungsfähiger zu machen. Wir nähern uns schnell dem Punkt, an dem die Leistungsfähigkeit nicht mehr die Hauptbeschränkung für die Einführung in Unternehmen darstellt.

Die Beschränkung ist die Kontrolle.

Wenn Agenten autonomer werden, steigen die Konsequenzen ihrer Handlungen – und Kontrollen, die für vorhersehbare Software konzipiert wurden, werden weniger wirksam. Unternehmen benötigen kontinuierliche Sichtbarkeit darüber, was Agenten tun, den Kontext, um zu verstehen, warum diese Aktionen wichtig sind, und die Möglichkeit, einzugreifen, ohne bei jeder Entscheidung einen Menschen zwischenschalten zu müssen.

Das ändert, was es bedeutet, Software zu betreiben.

• Entwickler müssen verstehen, wie Agenten tatsächlich agieren, nicht nur, wie sie entworfen wurden zu agieren.
• Plattform‑ und Sicherheitsteams müssen Grenzen festlegen, die auch dann durchsetzbar bleiben, wenn Agenten über Systeme und Werkzeuge hinweg agieren.
• Führungskräfte benötigen die Sicherheit, dass mehr Autonomie nicht bedeutet, die Kontrolle aufzugeben.

Das ist grundlegend anders, als eine weitere Anwendung zu sichern oder ein weiteres Modell zu steuern. Wir führen autonome Akteure in Unternehmensumgebungen ein: Systeme, die denken, Entscheidungen treffen und handeln können. Wenn Organisationen diese Aktionen nicht in Echtzeit sehen und kontrollieren können, werden sie letztlich die Handlungsmöglichkeiten der Agenten einschränken müssen, wodurch ein großer Teil des Werts, den die Autonomie schaffen sollte, verloren geht.

Die Antwort besteht nicht darin, anzunehmen, wir könnten jede schlechte Entscheidung verhindern. Wenn Systeme autonomer und nicht‑deterministisch werden, wird das zunehmend schwerer zu garantieren.

Das Ziel ist sicherzustellen, dass eine schlechte oder destruktive Handlung nicht zu einem nachteiligen Ergebnis führt.

Dies erfordert eine neue operationelle Ebene rund um Agenten: eine, die das Verhalten kontinuierlich beobachtet, Aktionen im Kontext versteht, Grenzen über den gesamten agentischen Laufzeit‑Stack hinweg durchsetzt und eingreift, bevor eine unbeabsichtigte oder inakzeptable Handlung zu einem irreversiblen Ergebnis wird.

Die nächste Phase von KI im Unternehmen wird nicht allein dadurch definiert, wie fähig Agenten werden. Sie wird dadurch definiert, wie viel Autonomie Organisationen ihnen sicher geben können.