Vibe-Coding leidet, wenn die Rolle von KI erweitert wird

Eine neue Studie zeigt, dass Vibe-Coding verbessert wird, wenn Menschen die Anweisungen geben, aber verschlechtert wird, wenn KI dies tut, wobei die beste Hybrid-Einrichtung Menschen an erster Stelle hält, mit KI als Schiedsrichter oder Richter.

Neue Forschung aus den Vereinigten Staaten, die untersucht, was passiert, wenn KI-Systeme anstelle von Menschen die Richtung von Vibe-Coding bestimmen, hat festgestellt, dass die Ergebnisse fast immer schlechter sind, wenn Large Language Models (LLMs) eine größere Richtungsrolle übernehmen.

Obwohl die Forscher OpenAIs GPT-5 als Rahmen für ihre menschlich-KI-Kollaborations-Experimente verwendeten, bestätigten sie später, dass sowohl Anthropics Claude Opus 4.5 als auch Google Gemini 3 Pro dem gleichen Verschlechterungstrend unterlagen, wenn die Verantwortung wuchs, und erklärten, dass “sogar begrenzte menschliche Beteiligung die Leistung stetig verbessert”.

‘[Menschen] bieten effektive hochrangige Anweisungen über Iterationen hinweg, [während] KI-Anweisungen oft zu Leistungsverlust führen. Außerdem finden wir, dass eine sorgfältige Rollenzuweisung, die Menschen für die Richtung verantwortlich macht und die Bewertung an KI auslagert, die Hybrid-Leistung verbessern kann.’

Um einen konsistenten Test zu ermöglichen, der sowohl von Menschen als auch von KI ausgewertet werden kann, wurde ein kontrollierter experimenteller Rahmen um eine iterative Codierungsaufgabe herum aufgebaut, bei der ein Referenzbild – das ein Foto eines Tieres wie eines Katzen, Hundes, Tigers, Vogels, Elefanten, Pinguins, Haies, Zebras, Giraffen oder Pandas zeigt – mithilfe von skalierbaren Vektorgrafiken (SVG) nachgebildet werden musste und die Nachbildung gegen das Quellbild, aus dem sie abgeleitet wurde, bewertet werden musste:

Sowohl menschliche als auch KI-Teilnehmer wurden ein fotografisches Referenzbild zusammen mit einer KI-generierten SVG-Rekonstruktion gezeigt und aufgefordert, die Ähnlichkeit zwischen den beiden auf einer siebenstufigen Skala zu bewerten. Quelle

In jeder Runde gab ein Agent hochrangige natürliche Sprachanweisungen, um den Code-Generator zu leiten, und ein anderer entschied, ob die neue Version beibehalten oder zur vorherigen Version zurückgekehrt werden sollte – ein strukturierter Kreislauf, der reale kollaborative Arbeitsabläufe widerspiegelt.

Über 16 Experimente mit 604 Teilnehmern und Tausenden von API-Aufrufen wurden vollständig menschlich geleitete Testrunden direkt mit vollständig KI-gesteuerten Runden unter identischen Bedingungen verglichen.

Einige der verschiedenen Lösungen, die durch verschiedene Kombinationen von menschlicher/KI-Kollaborationsprozentsätzen und -typen erreicht wurden (aus einer größeren Abbildung in der Quellarbeit, auf die wir den Leser verweisen).

Obwohl Menschen und KI auf dem gleichen Niveau begannen, divergierten ihre Trajektoren im Laufe der Zeit: Wenn Menschen die Anweisungen gaben und die Auswahlentscheidungen trafen, verbesserten sich die Ähnlichkeitsscores über die Iterationen hinweg, mit stetiger kumulativer Verbesserung; aber wenn KI-Systeme beide Rollen übernahmen, zeigte die Leistung keine konsistenten Gewinne und verschlechterte sich häufig über die Runden hinweg – obwohl das gleiche zugrunde liegende Modell für die Code-Generierung verwendet wurde und die KI Zugang zu den gleichen Informationen wie die menschlichen Teilnehmer hatte.

Der Prolixity-Effekt

Die Ergebnisse zeigten auch, dass menschliche Anweisungen typischerweise kurz und handlungsorientiert waren, sich auf die nächste Änderung im aktuellen Bild konzentrierten; im Gegensatz dazu waren KI-Anweisungen viel länger und detaillierter (ein Faktor, der für GPT-5 parametrisiert wurde), visuelle Attribute beschrieb und nicht die inkrementelle Korrektur priorisierte.

Als jedoch strenge Wortlimits für KI-Anweisungen auferlegt wurden, konnte dies das Muster nicht umkehren; selbst wenn KI-Anweisungen auf 10, 20 oder 30 Wörter beschränkt wurden, führten KI-gesteuerte Ketten immer noch nicht zu einer Verbesserung über die Zeit hinweg:

Ähnlichkeitsscores über Iterationen für menschlich geleitete Runden im Vergleich zu vollständig KI-gesteuerten Runden mit 10-, 20- oder 30-Wort-Anweisungen. Offensichtlich verhindert die Verkürzung von KI-Prompts den beobachteten Leistungsabfall nicht, wenn KI die Anweisung und Auswahl leitet.

Hybrid-Experimente machten das Muster deutlicher, indem sie zeigten, dass bereits eine geringe menschliche Beteiligung die Ergebnisse verbesserte, im Vergleich zu vollständig KI-gesteuerten Einrichtungen; dennoch verschlechterte sich die Leistung in der Regel, wenn der Anteil der KI-Anweisungen zunahm.

Wenn die Rollen getrennt wurden, konnte die Bewertung und Auswahl an KI übertragen werden, ohne dass die Qualität stark litt; aber die Ersetzung menschlicher hochrangiger Anweisungen durch KI-Anweisungen führte zu deutlichen Leistungsabfällen, was darauf hindeutet, dass es nicht darauf ankommt, wer den Code generiert, sondern wer die Richtung über die Iterationen hinweg aufrechterhält.

Die Autoren kommen zu dem Schluss:

‘Über mehrere Experimente hinweg verbesserte sich die menschlich geleitete Codierung konsistent über die Iterationen hinweg, während die KI-gesteuerte Codierung oft zusammenbrach, obwohl sie Zugang zu den gleichen Informationen und ähnlichen Ausführungsfähigkeiten hatte.

‘Dies deutet auf Schlüsselkämpfe heutiger KI-Systeme hin, die eine kohärente, hochrangige Richtung über wiederholte Interaktionen hinweg aufrechterhalten müssen, wie es für eine erfolgreiche Vibe-Codierung erforderlich ist’

Die neue Arbeit trägt den Titel Warum menschliche Anleitung in der kollaborativen Vibe-Codierung wichtig ist und stammt von sieben Forschern der Cornell University, Princeton University, Massachusetts Institute of Technology und New York University.

Methode

Für die Experimente sah ein menschlicher Anweisunggeber ein GPT-5-generiertes Tier-Referenzbild zusammen mit dem aktuellen SVG-Nachbild und schrieb natürliche Sprachanweisungen, um den Code-Generator in Richtung einer besseren Übereinstimmung zu leiten.

So würde der Generator jedes Mal ein neues SVG produzieren, was einen iterativen Kreislauf für die Überprüfung ermöglichte, wie sich die Wirkung der Anleitung über die Zeit hinweg ansammelt. Die Ziele waren zehn GPT-5-generierte Tierbilder, die eine Vielzahl von Formen und Texturen abdeckten, so dass Verbesserungen oder Fehler leicht zu erkennen wären:

Schema für den in der Studie verwendeten Vibe-Coding-Arbeitsablauf. In A) betrachtet ein menschlicher Anweisunggeber ein fotografisches Referenzbild zusammen mit dem aktuellen SVG und schreibt natürliche Sprachanweisungen für den Code-Generator. In B) vergleicht ein menschlicher Auswahler das neue SVG mit dem vorherigen und wählt die Version, die dem Referenzbild besser entspricht, bevor er es für die nächste Runde der Anweisung weiterleitet. In C) bewerten unabhängige menschliche Auswahler, wie ähnlich jedes generierte SVG seinem Referenzbild ist, und liefern die Bewertungen, die zur Gesamtleistung verwendet werden.

Ein menschlicher Auswahler verglich jedes neu generierte SVG mit dem vorherigen und akzeptierte oder lehnte es ab, was den Prozess mit dem Referenzbild über die Runden hinweg abgestimmt hielt. In dieser Grundausstattung führte der gleiche Mensch beide Rollen aus.

Um die Qualität zu messen, bewerteten unabhängige menschliche Auswahler, wie ähnlich jedes generierte SVG seinem Referenzbild war. Über 16 Experimente hinweg produzierten 120 Menschen 4.800 Bewertungen. Alle Experimente wurden auf dem PsyNet-Framework durchgeführt, einem Portal, das für strukturierte Interaktionen zwischen Menschen und KI-Systemen konzipiert ist.

Die Studie rekrutierte 604 muttersprachliche Englischsprecher, die an Tests teilnahmen, die 4.800 API-Aufrufe für die Code-Generierung und 5.327 API-Aufrufe für die Anweisung verbrauchten. Obwohl GPT-5 das primäre Modell war, das verwendet wurde, wurden kleinere Vergleichsbatches mit Claude Opus 4.5 und Gemini 3 Pro durchgeführt, die jeweils 280 Anfragen bearbeiteten.

Ergebnisse

Es wurden 30 Vibe-Coding-Runden durchgeführt, jede bestehend aus 15 Edits der zehn Referenzbilder. Dafür wurden 45 menschliche Teilnehmer ausgewählt, die jeweils als Auswahler und Anweisunggeber über zehn Iterationen hinweg fungierten, in den “menschengeführten” Runden.

Innerhalb jeder Runde wählte der gleiche Teilnehmer zunächst zwischen dem aktuellen und dem vorherigen SVG und schrieb dann die nächste Runde der Anweisungen. Eine zweite Version des Tests ersetzte die menschlichen Entscheidungen durch API-Aufrufe an GPT 5, während der Rest der Einrichtung unverändert blieb. In allen Fällen leiteten der Anweisunggeber und der Auswahler den Code-Generator mit natürlicher Sprache an.

Ein repräsentatives Beispiel für die Mehrfachrunden-Vibe-Codierung zeigt, wie sich der Prozess über die Zeit hinweg divergiert; wenn Menschen als Auswahler und Anweisunggeber fungierten, verbesserte sich die SVG-Ausgabe stetig über die Iterationen hinweg, näherte sich dem Referenzbild mit jeder Runde an:

Beispiel für Fortschritte bei einem Referenzbild unter menschlicher Führung (oben) und KI-Führung (unten) bei der Vibe-Codierung, die eine stetige Verbesserung über die Iterationen hinweg bei menschlicher Führung und Stagnation oder Abdrift zeigt, wenn beide Rollen von KI übernommen werden.

Im Gegensatz dazu verbesserten sich die Ergebnisse in der KI-gesteuerten Version in den frühen Runden manchmal, aber spätere Versuche scheiterten daran, auf diesen Gewinnen aufzubauen, und drifteten in einigen Fällen vom Ziel ab:

Endausgaben aus der letzten Iteration, die menschlich geleitete Runden (obere Reihe) mit KI-gesteuerten Runden (untere Reihe) über das gleiche Satz von Referenzbildern hinweg vergleicht. Die menschlich geleiteten Ergebnisse entsprechen dem Originaltier näher, während die KI-gesteuerten Ergebnisse sichtbare Verzerrungen oder Verluste von Schlüsselmerkmalen aufweisen.

Um die entstehenden Trends quantitativ zu messen, wurden die Endbilder unabhängigen menschlichen Bewertern gezeigt und für ihre Ähnlichkeit mit den Referenzbildern bewertet. In den frühen Runden erzielten menschlich geleitete und KI-gesteuerte Runden etwa die gleichen Ergebnisse; aber bis zur 15. Runde war der Unterschied deutlich, mit den menschlich ausgewählten Bildern, die viel näher an den Zielen bewertet wurden. Über die Zeit hinweg stiegen die menschlichen Bewertungen stetig, mit dem größten relativen Gewinn über KI, der 27,1 % erreichte.

Durchschnittliche Ähnlichkeitsscores über Iterationen für menschlich geleitete und KI-gesteuerte Vibe-Codierung, die eine stetige Verbesserung zeigt, wenn Menschen als Auswahler und Anweisunggeber fungieren, und einen allmählichen Rückgang, wenn beide Rollen von GPT 5 übernommen werden.

Um sicherzustellen, dass die entstehenden Trends nicht auf die kollektive Kraft mehrerer menschlicher Teilnehmer zurückzuführen waren, rekrutierte die Forschung zehn weitere Personen, die alleine arbeiteten, und ließ sie jeweils drei Runden durchführen – und die Ergebnisse verbesserten sich auf die gleiche Weise stetig, was zeigt, dass die Gewinne kein Zufall der kollektiven Anstrengung waren.

Das große Bild

Allerdings: Wenn GPT-5 die Ausgaben selbst bewertete, würde es zugeben, dass die menschlichen Ergebnisse besser sind? Menschliche und KI-Bewertungen bewegten sich im Allgemeinen in die gleiche Richtung, sodass das Modell Gut von Schlecht unterscheiden konnte, bewertete KI-generierte Bilder jedoch höher als Menschen.

‘Insbesondere fragten wir, ob KI-Agenten erkennen würden, dass ihre eigenen Ausgaben schlechter sind als die von Menschen produzierten, oder ob sie eine Vorliebe für ihre eigenen Kreationen zeigen würden, was auf ein potenzielles Ausrichtungsproblem hindeuten würde.’

Wie sich herausstellte, gibt es tatsächlich ein Ausrichtungsproblem*:

‘KI-Bewerter wiesen KI-generierten [Ausgaben] höhere Bewertungen zu. Diese Ergebnisse deuten darauf hin, dass die beobachteten Leistungsunterschiede auf eine Fehlausrichtung in der Darstellung zwischen Menschen und KI zurückzuführen sind.’

Bei der Untersuchung, wie Menschen und KI ihre Anweisungen formulieren, wurden Diskrepanzen in den Tests deutlich. Wie in der folgenden Abbildung zu sehen ist, sind sowohl Fokus als auch Länge Themen der KI-Mensch-Divergenz:

Ein Vergleich, wie Menschen und KI Anweisungen während der Codieraufgabe gaben. ‘A’ zeigt, dass Menschen kurze, direkte Anweisungen schreiben, während KI lange, detaillierte Beschreibungen schreibt. ‘B’ kartiert die Anweisungen und zeigt, dass menschliche Prompts zusammenklumpen, während KI-Prompts sich nach Tier aufteilen. ‘C’ verfolgt, wie die Begrenzung der KI-Anweisungslänge ihre schlechten Ergebnisse über die Zeit hinweg nicht behebt; und ‘D’ zeigt, dass Menschen abwechslungsreichere und ausgewogenere Anweisungen geben als KI, selbst wenn Wortlimits auferlegt werden.

Menschliche Anweisungen neigten dazu, kurz und prägnant zu sein, klare Edits anzubieten, die allgemein auf die Ziele angewendet werden konnten. KI-Anweisungen hingegen waren dicht mit beschreibenden Details gefüllt und oft aufgebläht mit Spezifika über Schattierungen, Texturen, Beleuchtung oder anatomische Feinheiten – Beschreibungen, die isoliert Sinn ergeben, aber keine nützlichen nächsten Schritte für das Modell liefern (und die denen vertraut sein werden, die mit LLMs vertraut sind um Kontextlängen, d. h. die Fähigkeit, das “große Bild” zu behalten, während ein Projekt wächst und sich entwickelt).

Um zu sehen, ob reduzierte Verbosität die Leistung verbessern würde, wurde GPT-5 auf 10, 20 oder 30 Wörter pro Anweisung beschränkt; aber auch diese komprimierten Anweisungen zeigten keine Verbesserung (siehe untere rechte Ecke der obigen Grafik).

Gemeinsame Unternehmungen

Um zu testen, was passiert, wenn Menschen und KI kontrollieren, führten die Forscher Codieraufgaben mit verschiedenen Kombinationen von menschlicher und KI-Eingabe durch, die von hauptsächlich menschlich bis hauptsächlich KI reichten.

Jede Hybrid-Kombination übertraf die vollständige KI-Kontrolle, sodass bereits eine geringe menschliche Anleitung die Ergebnisse verbesserte:

Hybrid-Codierungseinrichtungen mit verschiedenen menschlichen/KI-Mischungen. (A) zeigt, wie Menschen und KI abwechselnd als Anweisunggeber und Auswahler für jeden Codierungsschritt fungierten; (B) zeigt, dass mehr menschliche Beteiligung zu besseren Ergebnissen führte, während eine größere KI-Eingabe die Bewertungen senkte; und (C) zeigt einen stetigen Rückgang der Endausgabqualität, wenn der Anteil der menschlichen Beteiligung abnimmt, was bestätigt, dass eine konsistentere menschliche Richtung bessere Ergebnisse produziert.

Je mehr KI den Prozess übernahm, desto schlechter wurde die Leistung, mit den besten Ergebnissen, wenn Menschen die meisten Runden leiteten, und den schlechtesten, wenn KI die meisten Runden leitete. Keine dieser gemischten Einrichtungen konnte die Leistung über die Runden hinweg verbessern, was darauf hindeutet, dass menschliche Richtung am besten funktioniert, wenn sie konstant und konsistent ist, anstatt gelegentlich.

Rollenwechsel

Die Studie untersuchte auch, ob es wichtig ist, wer was tut in diesen Arten von Aufgaben, und testete dies. Die überarbeitete Übung umfasste zwei Aufgaben: Ein Teilnehmer würde angeben, wie das Bild geändert werden soll, und ein anderer würde eine bevorzugte Version auswählen.

Wenn beide Aufgaben von Menschen durchgeführt wurden, blieb die Qualität erhalten; aber wenn ein Mensch die Anweisungen gab und niemand zwischen den Versionen wählte, verschlechterte sich die Qualität:

Tests für Rollenteilung bei der Vibe-Codierung: In (A) führte das Entfernen der Auswahlerrolle zu schlechterer Leistung, selbst wenn ein Mensch die Anweisungen gab; in (B) verringerte die Ersetzung des menschlichen Auswahlers durch KI die Qualität leicht, aber nicht so stark wie das vollständige Entfernen der Auswahl.

Wenn KI die Kontrolle übernahm, spielte es keine Rolle, ob der Auswahlschritt übersprungen wurde, da ihre Ausgaben konsistent blieben; aber wenn Menschen die Anweisungen gaben und KI zwischen den Ergebnissen wählte, blieb die Qualität nahe bei der vollständig menschlichen Einrichtung.

Das Gegenteil funktionierte nicht: Wenn KI die Anweisungen gab und Menschen die Ausgaben wählten, führte dies zu schwächeren Ergebnissen, was darauf hindeutet, dass menschliche kreative Anleitung unerlässlich bleibt, während die Aufgabe der Auswahl zwischen Optionen an KI übertragen werden kann, ohne dass die Leistung stark beeinträchtigt wird.

Das Papier kommt zu dem Schluss:

‘[Hochrangige] Ideengenerierung und Anweisung sind die kritischen menschlichen Beiträge, während Bewertung und Auswahl oft an KI delegiert werden können, ohne dass die Leistung beeinträchtigt wird.

‘Dies legt ein praktisches Designprinzip für Hybrid-Systeme nahe: Menschen sollten die Richtung vorgeben, während KI die Bewertung und Ausführung unterstützen kann.’

Schlussfolgerung

Es bleibt abzuwarten, wie sehr verbesserte und/oder erweiterte Kontextfenster die Leistung von LLMs in Aufgaben dieser Art beeinflussen werden. Der Tag, an dem “LLM-Amnesie” aufhört, ein tägliches Ärgernis der menschlichen KI-Zusammenarbeit zu sein, mag Anlass zur Freude und Sorge sein, da das Problem, das KI zu lösen versucht, letztendlich Menschen sind.

Dennoch macht die Arbeit der Autoren deutlich, dass es innate und kritische Meinungsverschiedenheiten zwischen KI und Menschen bezüglich Qualität gibt, die möglicherweise von den Verbrauchern als unersetzlich menschliches Konzept angesehen werden.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlichung am Freitag, den 13. Februar 2026