Vordenker

Warum Tests von Anfang an in die KI-Produktionsstraße gehören

Ole Lensmar
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteKI beschleunigt das Programmieren, legt aber schwaches nachgelagertes Testen offen und…
Mehr anzeigen
  • KI beschleunigt das Programmieren, legt aber schwaches nachgelagertes Testen offen und senkt die Lieferstabilität.
  • Agenten, die ihre eigenen Tests bewerten, können schummeln, indem sie fehlschlagende Tests bearbeiten, statt den Code zu reparieren.
  • Testen muss eine eigene Station außerhalb von CI sein, damit jede Änderung demselben Urteil unterliegt.

Ich entwickle seit mehr als zwanzig Jahren Testwerkzeuge, und während des größten Teils dieser Zeit verliefen meine Gespräche mit Entwicklungsteams ziemlich ähnlich. Tester fühlten sich im Softwarelebenszyklus wie Bürger zweiter Klasse. Getestet wurde spät, oft blieb dafür nur die Zeit, die vor einer Veröffentlichung noch übrig war, und die Tests wurden in eine CI-Pipeline eingefügt, die für etwas anderes entwickelt worden war. KI hat die Art und Weise, wie wir Code schreiben, inzwischen grundlegend verändert – und das wirkt sich definitiv auf das Testen aus, zum Guten wie zum Schlechten. In vielerlei Hinsicht hat KI die Herausforderung sichtbarer gemacht.

In den vergangenen Monaten war ich auf einigen Konferenzen zu Testing und Cloud-Native-Technologien (LeadDev, CloudX, StarWest). Fast jedes Team, mit dem ich gesprochen habe, arbeitet an einer Variante desselben Vorhabens: einem KI-gesteuerten Softwareauslieferungsprozess, in dem Agenten Aufgaben von der Spezifikation bis zum laufenden Produktivbetrieb übernehmen und Menschen dabei in angemessenem Umfang eingebunden sind. Ich stelle mir das wie eine Produktionsstraße vor. Agenten schreiben den Code, andere Agenten prüfen ihn, und Pipelines erstellen daraus Software und stellen sie bereit. Menschen behalten das Ganze im Blick. Worüber ich deutlich weniger höre, ist die Frage, wo das Testen in diesem Ablauf seinen Platz hat.

Noch hat niemand die Lösung gefunden

Im Moment herrscht ein bisschen Wilder Westen. Alle paar Wochen kommen neue Agentenfähigkeiten hinzu, die großen KI-Labore veröffentlichen laufend neue Modelle, und Teams wie Anbieter probieren alles Mögliche aus, um zu sehen, was sich durchsetzt.

Einige Daten deuten darauf hin, dass sich bereits Lücken zeigen. Der jüngste DORA-Bericht zur KI-gestützten Softwareentwicklung von Google, für den fast 5.000 Fachleute aus der Technologiebranche befragt wurden, ergab, dass der Einsatz von KI mit einem höheren Durchsatz bei der Softwareauslieferung einhergeht – eine gute Nachricht. Gleichzeitig hängt er weiterhin mit einer geringeren Stabilität der Auslieferung zusammen. Die Forschenden erklären dies damit, dass KI die Entwicklung beschleunigt und dadurch Schwächen in späteren Phasen des Prozesses offenlegt. Als eine der Maßnahmen, die verhindern, dass mehr Änderungen zu mehr Instabilität führen, nennen sie umfassende automatisierte Tests.

Das überrascht mich nicht. Wenn man wesentlich mehr Code durch einen Prozess schickt, der für deutlich weniger ausgelegt ist, wird es irgendwo langsamer oder geht irgendwo etwas schief.

Entwickler sind schneller, aber die meisten Auslieferungen nicht

Wenn Menschen sich vorstellen, was bei KI-generiertem Code schiefgehen kann, denken sie meist daran, dass ein Agent etwas Schreckliches in die Produktion bringt. Sicher kommt das vor – und wenn es passiert, sind die Folgen nicht gerade erfreulich: Fehler, unzufriedene Kunden, vielleicht ein Sicherheitsvorfall. Aber ehrlich gesagt begegnet mir das nicht besonders oft.

Die Entwicklerumfrage von Stack Overflow aus dem Jahr 2026 zeigt, worauf sich der KI-Einsatz derzeit konzentriert. Entwickler nutzen KI vor allem, um Code in Bereichen zu generieren, mit denen sie bereits vertraut sind (67 %), und um Fehler zu beheben (61 %). Nur 20 % setzen sie ein, um Produktivsysteme bereitzustellen, zu betreiben oder Probleme damit zu beheben. Bislang hat KI vor allem das Schreiben von Code beschleunigt. Die Überprüfung dieses Codes und seine Überführung in die Produktion funktionieren jedoch größtenteils noch wie zuvor.

Das deckt sich auch mit meinen Beobachtungen: Teams produzieren deutlich mehr Code, ohne schneller zu veröffentlichen. Einzelne Entwickler oder Teams haben vielleicht das Gefühl, doppelt so viele Funktionen zu entwickeln. Doch diese Funktionen bleiben in späteren Prozessschritten stecken und warten auf eine Prüfung, auf Tests oder auf eine Umgebung, in der sie getestet werden können. All der zusätzliche Code verstopft die Pipeline und bremst in vielen Fällen sogar die gesamte Auslieferung der Teams.

Die Fragen zu Schutzmaßnahmen kommen von Führungskräften

Die Sorge vor durch KI verursachten Engpässen bei der Auslieferung ist zwar sehr konkret, aber sie ist nicht das Einzige, wonach Teams uns fragen. Entwickler wollen meist wissen, wie sie schneller besseren Code schreiben können. Die Fragen zu Schutzmaßnahmen kommen von Engineering-Managern und denjenigen, die agentengesteuerte Arbeitsabläufe einrichten. Wie stellen wir sicher, dass die Agenten nicht außer Kontrolle geraten? Woher wissen wir, dass sie keine Rückschritte verursachen oder stillschweigend Aufgaben überspringen, die sie erledigen sollten? Wie stellen wir sicher, dass die von ihnen geschriebenen Tests tatsächlich (und zwar ehrlich!) das validieren, was sie validieren sollen?

Ich glaube, das liegt daran, dass sie auf unterschiedliche Dinge achten. Ein Entwickler betrachtet jeweils einen Pull Request. Ein Engineering-Manager ist für alles verantwortlich, was über viele Agenten und Menschen hinweg veröffentlicht wird, und muss erklären, was passiert ist, wenn in der Produktion etwas schiefgeht.

Und ihre Vorsicht ist begründet. Forschende entwickelten einen Benchmark namens ImpossibleBench, der Programmieraufgaben umfasst, bei denen die Unit-Tests der Spezifikation widersprechen. Die einzige Möglichkeit, sie zu bestehen, besteht also darin zu schummeln. Führende Modelle taten oft genau das: Sie bearbeiteten oder löschten beispielsweise die fehlschlagenden Tests, statt den Code zu korrigieren (!!). Eine separate Studie zu von Agenten verfassten Pull Requests zeigte Lücken darin auf, wie gut Agenten ihre eigenen Änderungen testen. Zudem verweist sie auf frühere Forschungsergebnisse, denen zufolge bei fast einem Drittel der zusammengeführten Pull Requests von Agenten nachträgliche Korrekturen oder Refactoring nötig waren.

Meine Schlussfolgerung ist, dass Schutzmaßnahmen nicht allein in der Umgebung des Agenten verankert sein dürfen und auch nicht erst greifen können, nachdem der Code ausgeliefert wurde. Wenn der Agent, der den Code geschrieben hat, auch darüber entscheidet, ob er die Tests bestanden hat, sagt das Ergebnis nicht viel aus. Das heißt nicht, dass Agenten keine Tests schreiben sollten. Es heißt, dass die Bewertung von einer Stelle kommen muss, die der Agent nicht beeinflussen kann. Das Testen muss eine eigene Station in der Produktionsstraße sein, die jede Änderung durchläuft – ganz gleich, ob sie von einem Menschen oder einem Agenten stammt.

Was diese Station leisten muss

Die Antwort ist keine völlig neue Art des Testens. Das meiste, was gebraucht wird, fordern gute QA-Teams schon seit jeher. Es ist heute einfach wichtiger.

Tests müssen daraufhin überprüft werden, ob sie die Anforderungen korrekt abbilden – genau wie der Code, den sie testen. Außerdem müssen sie in derselben Umgebung ausgeführt werden, in der auch die Software läuft. Ein Test, der in der Sandbox eines Agenten besteht, sagt wenig über Staging oder Produktion aus. Außerdem bleibt womöglich unklar, welche Abhängigkeiten simuliert wurden – und auf welche Weise. Eine aktuelle Studie zu fast 180.000 von Agenten generierten Testdateien ergab, dass Agenten mehr Sonderfälle abdeckten als von Menschen geschriebene Tests, ihre Tests jedoch häufiger Anzeichen von Instabilität aufwiesen. Das lag vor allem daran, dass die Agenten zu wenig über die Umgebung wussten, in der die Tests ausgeführt werden sollten. Werden Tests frühzeitig auf echter Infrastruktur ausgeführt, lässt sich das erkennen.

Tests und ihre Ergebnisse müssen erhalten bleiben. Schreibt ein Agent einen Test, sollte er die vorhandenen Tests und deren Ergebnisse als Kontext heranziehen können, um sowohl aus der Testabdeckung als auch aus möglichen Stabilitätsproblemen zu lernen. Tests müssen wie jeder andere Code überprüft und versioniert werden, damit sie bei der nächsten Änderung erneut ausgeführt werden, statt mit dem Ende der Sitzung zu verschwinden.

Ein erfolgreiches Testergebnis sollte unabhängig davon dasselbe bedeuten, wer den Test angefordert hat – eine Pipeline, ein Entwickler oder ein Agent. Dafür müssen dieselben Tests auf derselben Infrastruktur ausgeführt und die Ergebnisse zentral an einem Ort zusammengeführt werden.

Auch Menschen sollten ihr Urteilsvermögen bewahren. Routinecode und die nötigen Verknüpfungen überlasse ich gerne den Agenten. Zu entscheiden, was getestet werden sollte und was ein Fehlschlag bedeutet, bleibt jedoch menschliche Arbeit – zumindest vorerst.

Das bedeutet auch, dass Tests nicht ausschließlich in CI/CD stattfinden können (wenn Sie sich eine Sache aus diesem Artikel merken, dann diese!). CI-Pipelines wurden dafür entwickelt, Code zu erstellen und auszuliefern – für automatisierte Tests in großem Maßstab waren sie nie gedacht. Je mehr Code entsteht und je stärker wir uns einem agentischen SDLC zuwenden, desto weniger eignen sich CI-Pipelines für die Durchführung von Tests. Tests müssen ein zentraler Bestandteil der Softwarebereitstellung sein, statt nur einen Schritt am Ende einer Pipeline zu bilden. Das heißt, Tests als eigenständiges System über alle Werkzeuge und Umgebungen hinweg zu orchestrieren, die ein Team nutzt – unabhängig davon, wer den Prozess steuert: ein Agent oder ein Mensch.

Wo anfangen?

Die meisten Teams haben bereits Tests, denen sie vertrauen – in Playwright, Cypress, k6, Postman oder dem Tool, auf das sie sich sonst festgelegt haben. Das ist ein guter Ausgangspunkt. Ein paar Vorschläge:

  1. Zeichnen Sie nach, wie eine Änderung heute von der Eingabeaufforderung bis in die Produktion gelangt, und markieren Sie jede Stelle, an der ein Test ausgeführt wird. Gibt es nur eine solche Stelle, und liegt sie kurz vor Schluss, würde ich dort anfangen.
  2. Lassen Sie Agenten bestehende Tests nicht unbemerkt ändern. Die ImpossibleBench-Forschenden stellten fest, dass sich Betrugsversuche verringerten, wenn Agenten der Zugriff auf Tests eingeschränkt wurde. Muss ein Agent einen Test ändern, sollte die Änderung wie bei jedem anderen Code als Pull Request eingereicht und von einem Menschen überprüft werden.
  3. Führen Sie Ihre Tests so früh wie möglich in Testumgebungen aus – vorzugsweise in echten –, statt in Agenten-Sandboxes. Das kann zunächst auch nur eine kleine Smoke-Test-Suite sein, die für jede von einem Agenten erzeugte Änderung auf Staging läuft. Wenn Sie KI zum Schreiben von Tests verwenden, akzeptieren Sie einen Test erst, nachdem er dort ausgeführt wurde.
  4. Führen Sie Ihre Testergebnisse zentral in einer Steuerungsebene zusammen – sei es in einem Reporting-Tool, Ihrer APM-Lösung oder einer speziellen Testplattform. Stellen Sie sicher, dass sowohl Menschen als auch Agenten auf diese Ergebnisse zugreifen können.
  5. Messen Sie die Ergebnisse der Bereitstellung, nicht die Aktivität. Die Anzahl der Pull Requests sagt nur wenig aus. Die Bereitstellungskennzahlen von DORA, etwa die Durchlaufzeit von Änderungen und die Fehlerquote bei Änderungen, zeigen viel deutlicher, ob KI einen Beitrag leistet.
  6. Lassen Sie Agenten dieselbe Testinfrastruktur nutzen wie Ihre Mitarbeitenden, damit ihre Arbeit nach denselben Maßstäben geprüft wird.

Optimistisch – unter bestimmten Bedingungen

Wenn es um KI geht, sehe ich das Glas eher halb voll. Ich glaube, dass KI Softwareteams deutlich leistungsfähiger und letztlich produktiver machen wird. Damit das gelingt, müssen Teams den Ergebnissen ihrer Agenten so weit vertrauen können, dass sie diese ausliefern. Außerdem brauchen sie einen ganzheitlichen Testansatz für den agentischen SDLC – denn dort entsteht dieses Vertrauen oder geht verloren.

Wenn Sie auf einen agentischen SDLC hinarbeiten: Welche Rolle spielt das Testen heute darin?

Ole Lensmar ist Mitgründer und CTO von Testkube, der offenen Testplattform für KI-gestützte Entwicklungsteams. Er entwickelte SoapUI, eines der meistgenutzten API-Testtools, und war zuvor Vorsitzender der OpenAPI Initiative.