Menschen halten sich mit knapper Not fest, während KI die Softwareauslieferung beschleunigt

Während des größten Teils der Geschichte der Softwareentwicklung waren Menschen die Kontrollinstanz. Ein Entwickler nimmt eine Änderung vor, eine andere Person prüft sie, jemand genehmigt sie, und schließlich wird sie bereitgestellt.

KI beschleunigt dieses gesamte System, während wir weiterhin versuchen, Menschen im Mittelpunkt zu halten. Entwickler können jetzt Code und Änderungen in Sekunden erstellen. Agenten können über Repositorys, Werkzeuge, Infrastrukturen und andere Systeme hinweg mit weniger menschlicher Beteiligung arbeiten.

Unser Instinkt ist, Menschen wieder in den Prozess einzubinden. Wir prüfen den Pull‑Request, genehmigen den Werkzeugaufruf, überprüfen die Änderung und bestätigen die Bereitstellung, weil wir sicherstellen wollen, dass die KI nichts getan hat, was sie nicht tun sollte. Wir halten uns mit knapper Not fest.

Dieser Instinkt ist sinnvoll. Die menschliche Überprüfung hat uns eine Möglichkeit gegeben, die Kontrolle zu behalten, während die Software in die Produktion übergeht. Aber die KI beginnt, mit einer Geschwindigkeit und einem Volumen zu arbeiten, bei denen Menschen nicht mehr die skalierbare Einheit für die Governance bleiben können.

KI bewegt sich bereits schneller als die menschliche Überprüfung

Die erste Welle der generativen KI in der Softwareentwicklung konzentrierte sich hauptsächlich darauf, Entwicklern zu helfen, Code schneller zu schreiben. Das allein verändert die Softwareauslieferung. Mehr Code bedeutet mehr Anwendungsänderungen, Infrastrukturänderungen und Datenbankänderungen, die durch Tests, Sicherheit, Überprüfung, Bereitstellung und Produktion gehen.

Das Problem ist nicht unbedingt, dass KI schlechtere Änderungen erzeugt. Sie erzeugt mehr Änderungen, schneller. Wenn die Kontrolle über all diese neuen Outputs eine weitere Person ist, die jede Änderung prüft, funktioniert die Rechnung irgendwann nicht mehr.

Wir sehen bereits Anzeichen dafür. Anthropic hat kürzlich berichtet, dass Claude‑Code‑Nutzer etwa 93 % der Berechtigungsprompts genehmigen. Das Unternehmen stellte fest, dass wiederholte Prompts zu Genehmigungs‑Müdigkeit führen können, weil die Menschen weniger aufmerksam werden, je mehr Genehmigungen verlangt werden. Anthropic verwendet jetzt einen automatischen Klassifikator, um Aktionen zu bewerten und potenziell gefährliche zu stoppen, anstatt eine Person alles genehmigen zu lassen.

Denken Sie darüber nach, was das über die menschliche Aufsicht aussagt. Wenn jemand 93 % der Zeit genehmigt, bringt eine weitere Genehmigung nicht unbedingt mehr Kontrolle. Irgendwann wird der Mensch zu einem weiteren Schritt im Arbeitsablauf.

Wir können KI nutzen, um mehr Software zu erstellen. Wir können nicht darauf reagieren, indem wir eine ebenso große menschliche Prüfungsoperation dahinter aufbauen.

KI entwickelt sich vom Code‑Erzeugen zum Handeln

Coding‑Assistenten haben KI eine Rolle in der Entwicklung gegeben. Agenten ermöglichen es KI, an weitaus mehr Phasen des Software‑Entwicklungs‑Lebenszyklus (SDLC) teilzunehmen. Ein Agent kann ein Ziel erhalten, entscheiden, wie er es erreichen kann, Werkzeuge einsetzen, die Ergebnisse beobachten und sein weiteres Vorgehen anpassen.

Im Software‑Engineering kann das bedeuten, Dateien zu ändern, Befehle auszuführen, mit Repositorys zu interagieren, APIs aufzurufen, Code zu testen oder mit der Infrastruktur zu arbeiten. Menschen fühlen sich ebenfalls immer wohler dabei, Agenten eigenständig arbeiten zu lassen. In einer Studie mit Millionen von Mensch‑Agent‑Interaktionen Anthropic hat festgestellt, dass erfahrene Claude‑Code‑Nutzer in mehr als 40 % der Sitzungen die vollständige Auto‑Genehmigung nutzten, etwa doppelt so häufig wie neue Nutzer.

Das bedeutet nicht, dass autonome Agenten heute überall Produktionsumgebungen betreiben. Das tun sie nicht. Aber die Softwareentwicklung gibt uns einen frühen Einblick, wohin das führt.

Heute erzeugt KI mehr Änderungen, und die menschliche Überprüfung gerät unter Druck. Als Nächstes wird KI in mehr Phasen des SDLC mitwirken. Schließlich werden Agenten Änderungen erstellen, validieren, bereitstellen, beobachten und beheben – mit deutlich weniger menschlicher Beteiligung.

In jedem Schritt entfernen wir einen weiteren Ort, an dem früher ein Mensch die Kontrolle hatte. Die Frage wandelt sich von „Kann KI die Arbeit erledigen?“ zu „Was sollte KI eigenständig tun dürfen?“

Berechtigung ist nicht Autorität

Agenten benötigen Zugriff, um nützliche Arbeit zu leisten. Ein Agent, der bei der Bereitstellung von Software hilft, benötigt möglicherweise Zugriff auf ein Repository, ein CI/CD‑System, eine Cloud‑Umgebung oder eine Datenbank. Entfernt man diesen Zugriff, nimmt man auch einen Großteil dessen weg, was den Agenten nützlich macht.

Aber Zugriff und Autorität sind nicht dasselbe. Einem Agenten die Erlaubnis zu geben, ein System zu erreichen, bedeutet nicht, dass er die Autorität hat, jede im System verfügbare Aktion auszuführen.

Traditionelle Zugriffskontrollen können uns sagen, ob ein Agent die Erlaubnis hat, etwas zu erreichen. Wir benötigen zudem eine Methode, um zu bestimmen, ob die konkrete Aktion, die er ausführen möchte, tatsächlich stattfinden sollte. Das wird wichtiger, wenn das entscheidende System eine Aufgabe anders interpretiert als die Person, die sie zugewiesen hat, ein Hindernis stößt und einen anderen Weg wählt oder ein legitimes Werkzeug auf eine nicht vorhergesehene Weise nutzt.

OWASP beschreibt eine Variante dieses Problems als exzessive Agentur. Sie weist auf übermäßige Funktionalität, Berechtigungen und Autonomie als Ursachen für schädliche Aktionen hin und empfiehlt eine unabhängige Genehmigung für Aktionen mit hoher Auswirkung.

NVIDIA geht dasselbe Problem auf Architekturebene an. Seine Open Agent Safety Platform verlagert die Durchsetzung von Richtlinien außerhalb des Agenten und macht einen einfachen Punkt: Von einem Agenten kann nicht erwartet werden, sein eigenes Verhalten vollständig zu steuern.

Das sollte bestimmen, wie wir den KI‑SDLC aufbauen. Ein Agent könnte die Erlaubnis benötigen, auf eine Datenbank, eine Infrastruktur‑Umgebung oder ein Bereitstellungssystem zuzugreifen. Das bedeutet nicht, dass der Agent selbst entscheiden darf, dass jede von ihm gewünschte Änderung sicher ist.

KI trifft Entscheidungen auf Basis von Wahrscheinlichkeiten. Wir sollten nicht zulassen, dass jede dieser Entscheidungen automatisch zu einer Aktion gegen ein kritisches System wird.

Der Mensch in der Schleife kann nicht die gesamte Antwort sein

Die offensichtliche Reaktion ist, eine Person vor folgenreichen KI‑Aktionen zu behalten. Bei manchen Entscheidungen ist das genau das Richtige. Der Fehler besteht darin, „Mensch in der Schleife“ zur Antwort für jede Entscheidung zu machen.

Wenn jede Aktion eines Agenten von jemandem geprüft und genehmigt werden muss, haben wir den Engpass wiederhergestellt, den KI eigentlich beseitigen sollte. Noch schlimmer: Zu viele Genehmigungen können die Aufsicht zu einer Gewohnheit machen. Eine Person, die den ganzen Tag auf „Genehmigen“ klickt, übt nicht unbedingt Urteil aus.

Wir müssen bewusster entscheiden, wo Entscheidungen getroffen werden. KI kann Entscheidungen innerhalb des ihr zugewiesenen Aufgabengebiets treffen. Richtlinien können Entscheidungen handhaben, bei denen die Regeln bereits bekannt sind. Menschen können Ausnahmen und Entscheidungen behandeln, die tatsächlich Urteil erfordern.

Eine risikofreie Änderung, die den etablierten Richtlinien entspricht, sollte nicht von jemandem beobachtet werden müssen. Eine Änderung, die gegen die Richtlinien verstößt, sollte automatisch gestoppt werden. Eine Ausnahme mit bedeutenden geschäftlichen, sicherheitsrelevanten oder betrieblichen Konsequenzen kann erfordern, dass eine Person die Entscheidung trifft.

Das ist ein völlig anderes Modell, als einfach einen Menschen in jede Schleife zu setzen. Das Ziel ist nicht, Menschen zu entfernen. Es geht darum, die menschliche Aufmerksamkeit nicht mehr zur Voraussetzung jeder Aktion zu machen und den geregelten Weg zum einfachsten Weg zu machen.

Setzen Sie die Kontrolle dort ein, wo die Aktion stattfindet

Unternehmen werden sich nicht auf ein einziges KI‑Modell oder einen einzigen Agenten festlegen. Entwickler werden verschiedene Copilots nutzen. Teams werden mit unterschiedlichen Modellen experimentieren. KI wird in Entwickler‑Tools, Sicherheitsprodukten, Datenplattformen und internen Anwendungen auftauchen.

Versuche, für jedes KI‑Tool einen eigenen Governance‑Prozess zu bauen, werden nicht skalierbar sein. Die Kontrolle muss näher an der Aktion liegen, die die KI ausführen möchte.

Wenn eine KI‑generierte Änderung in eine Bereitstellungspipeline eintritt, sollte sie denselben Richtlinien unterliegen wie eine von Menschen erzeugte Änderung. Wenn ein Agent Infrastruktur, Daten oder eine Produktionsdatenbank ändern will, dürfen die Kontrollen um dieses System nicht verschwinden, nur weil der Akteur sich ändert.

Die Herkunft der Änderung bestimmt nicht das Risiko. Die Änderung selbst tut es. Ein Entwickler, ein Codierungsassistent, ein automatisierter Prozess oder ein autonomer Agent können unterschiedliche Wege zum selben Ergebnis nehmen, aber diese Aktion kann dennoch denselben Richtlinien unterliegen, bevor sie Konsequenzen hat.

Damit kann die Technologie sich ändern, ohne dass Unternehmen jedes Mal die Governance neu aufbauen müssen. Modelle werden sich ändern. Agenten werden leistungsfähiger werden. Die Kontrollen um kritische Systeme können konsistent bleiben.

NIST verfolgt einen ähnlichen risikobasierten Ansatz in seinem KI‑Risikomanagement‑Framework, das Governance als etwas behandelt, das über den gesamten KI‑Lebenszyklus hinweg funktionieren muss, anstatt als einmalige Genehmigung am Ende. Für die Software‑Auslieferung bedeutet das, Kontrollen in den Pfad zu integrieren, den die KI bereits nimmt, anstatt einen weiteren manuellen Prozess darauf zu setzen.

Wenn der Mensch geht, darf die Evidenz nicht mit ihm gehen

Ein weiteres Problem verbirgt sich im Modell der menschlichen Überprüfung. Wenn Sie die Person aus dem Prozess entfernen, verlieren Sie nicht nur die Überprüfung. Sie können auch die Person verlieren, die geholfen hat, den Nachweis zu erbringen, dass die Überprüfung stattgefunden hat.

Das wird zu einem ernsthaften Problem für Unternehmen mit Sicherheits-, Compliance‑ und Prüfungsanforderungen. Sie müssen weiterhin wissen, was geändert wurde, wer oder was es initiiert hat, welche Richtlinie angewendet wurde, ob sie bestanden wurde, wer eine Ausnahme genehmigt hat, wo die Änderung ausgeführt wurde und was danach geschah.

Sie können die Änderung nicht automatisieren und die Evidenz manuell lassen. In einem von Menschen gesteuerten Prozess können Teams die Evidenz später aus Tickets, Genehmigungen, Pipeline‑Logs, Screenshots und Gesprächen rekonstruieren. Dieser Ansatz wird schwieriger, je mehr Änderungen es gibt, und wird unrealistisch, wenn Maschinen Änderungen kontinuierlich erzeugen und ausführen.

Die Evidenz muss Teil des Auslieferungsprozesses werden. Richtlinienentscheidungen, Genehmigungen, Ausnahmen, Deployments und Ergebnisse sollten Aufzeichnungen erzeugen, während die Arbeit stattfindet. Prüfungs‑Evidenz wird damit zu einem Nebenprodukt der Software‑Auslieferung statt zu etwas, das Teams nachträglich zusammenstellen.

Damit ergeben sich zwei unterschiedliche Aufgaben für die Governance in einem KI‑gesteuerten SDLC. Vor einer Aktion bestimmen, ob sie stattfinden soll. Nach der Aktion nachweisen, was geschehen ist.

Menschen verschwinden nicht. Unsere Aufgabe ändert sich.

Es gibt einen nachvollziehbaren Instinkt, die Kontrolle daran zu messen, wie oft eine Person eingebunden wird. Mehr Reviews fühlen sich sicherer an. Mehr Genehmigungen fühlen sich sicherer an. Einen Menschen in jeder Schleife zu behalten, fühlt sich sicherer an.

KI wird diese Annahme testen. Wenn KI die Menge an Software, die wir erstellen können, weiter erhöht, werden Menschen nicht in der Lage sein, jede Änderung zu prüfen, jede Aktion zu genehmigen, jede Bereitstellung zu beobachten und jede Entscheidung nachträglich zu rekonstruieren. Der Versuch, das zu tun, wird entweder die KI verlangsamen oder die menschliche Aufsicht zu einem Stempelverfahren machen.

Der KI‑SDLC benötigt eine andere Arbeitsteilung. KI kann mehr von der Arbeit übernehmen, während Richtlinien wiederholbare Entscheidungen steuern und Menschen eingreifen, wenn etwas tatsächlich ein Urteil erfordert. Die Nachweise sollten dabei automatisch erstellt werden.

Wir werden der KI mehr Zugriff gewähren, weil sie so nützlich wird. Wir werden den Agenten mehr Autonomie geben, weil wir so mehr Nutzen aus ihnen ziehen. Die Herausforderung besteht darin, sicherzustellen, dass größerer Zugriff und mehr Autonomie nicht stillschweigend zu uneingeschränkter Befugnis werden.

Menschen müssen nicht noch fester festhalten. Das Ziel ist nicht weniger Kontrolle. Es ist ein Kontrollmodell, das nicht davon abhängt, dass wir jede Entscheidung selbst festhalten. Wir müssen die Kontrollen schaffen, die es uns ermöglichen, unseren Griff zu lockern, ohne die Kontrolle zu verlieren.