Vibe Coding lijdt onder uitbreiding van AI-rol

Een nieuwe studie ontdekt dat vibe coding verbetert wanneer mensen de instructies geven, maar afneemt wanneer AI dit doet, waarbij de beste hybride setup mensen voorop stelt, met AI als arbiter of rechter.

Nieuw onderzoek uit de Verenigde Staten, dat onderzoekt wat er gebeurt wanneer AI-systemen de richting van vibe coding mogen bepalen, in plaats van alleen menselijke instructies uit te voeren, heeft ontdekt dat wanneer Large Language Models (LLM’s) een grotere richtingsrol krijgen, de resultaten bijna altijd slechter zijn.

Hoewel de onderzoekers OpenAI’s GPT-5 gebruikten als kader voor hun menselijke/AI-samenwerkingsexperimenten, bevestigden ze later dat zowel Anthropic’s Claude Opus 4.5 als Google Gemini 3 Pro onderhevig waren aan dezelfde achteruitgaande curve naarmate de verantwoordelijkheden toenamen, waarbij werd gesteld dat ‘zelfs beperkte menselijke betrokkenheid de prestaties gestaag verbetert’:

‘[Mensen] bieden uniek effectieve hoogwaardige richting over iteraties heen, [terwijl] AI-richting vaak leidt tot prestatie-inzinking. Bovendien vinden we dat een zorgvuldige roltoewijzing die mensen verantwoordelijk maakt voor richting en de evaluatie naar AI doorschuift, de hybride prestaties kan verbeteren.’

Om een consistent test te kunnen uitvoeren dat zowel door mensen als door AI kon worden geëvalueerd, werd een gecontroleerd experimenteel kader opgebouwd rond een iteratieve codetaak waarbij een referentiebeeld – met een foto van een kat, hond, tijger, vogel, olifant, pinguïn, haai, zebra, giraffe of panda – moest worden gereconstrueerd met behulp van scalable vector graphics (SVG), en die reconstructie werd beoordeeld tegen de fotobron waaruit het was afgeleid:

Zowel menselijke als AI-deelnemers werden een fotografisch referentiebeeld getoond naast een AI-gegenereerde SVG-reconstructie, en gevraagd om te beoordelen hoe vergelijkbaar de twee waren op een schaal van zeven punten. Bron

In elke ronde gaf een agent hoogwaardige natuurlijke taalinstructies om een codegenerator te leiden, en een andere besliste of de nieuwe versie werd behouden of teruggedraaid – een gestructureerde lus die echte samenwerkingswerkstromen weerspiegelt.

Over zestien experimenten met 604 deelnemers en duizenden API-aanroepen werden volledig door mensen geleide testronden rechtstreeks vergeleken met volledig door AI geleide ronden, onder identieke omstandigheden.

Enkele van de gevarieerde oplossingen die werden bereikt door verschillende combinaties van menselijke/AI-samenwerkingspercentages en -typen (genomen uit een grotere illustratie in het bronartikel, waarnaar we de lezer verwijzen).

Hoewel mensen en AI op hetzelfde niveau presteerden aan het begin van de tests, vertoonden hun trajecten zich na verloop van tijd als verschillend: wanneer mensen de instructies gaven en de selectiebeslissingen namen, namen de overeenkomstscores toe over iteraties, met een gestage cumulatieve verbetering; maar wanneer AI-systemen beide rollen vervulden, toonden de prestaties geen consistente verbetering en namen vaak af over ronden – zelfs wanneer hetzelfde onderliggende model werd gebruikt voor codegeneratie en de AI toegang had tot dezelfde informatie als menselijke deelnemers.

Het Prolixity-effect

De resultaten toonden ook aan dat menselijke instructies meestal kort en actiegericht waren, gericht op wat er in de huidige afbeelding moest worden veranderd; daarentegen waren AI-instructies veel langer en zwaar beschrijvend (een factor die werd geparametriseerd voor GPT-5), waarbij visuele attributen werden beschreven in plaats van incrementele correctie prioriteit te geven.

Maar, zoals te zien is in de grafiek hieronder, had het opleggen van strikte woordlimieten aan AI-instructies de trend niet omgekeerd; zelfs wanneer beperkt tot 10, 20 of 30 woorden, faalden AI-geleide ketens nog steeds om te verbeteren over tijd:

Overeenkomstbeoordelingen over iteraties voor menselijk geleide ronden in vergelijking met volledig AI-geleide ronden beperkt tot 10, 20 of 30 woorden. Het is duidelijk dat het verkorten van AI-prompten de iteratieve prestatie-afname niet voorkomt die wordt waargenomen wanneer AI zowel instructie als selectie leidt.

Hybride experimenten maakten het patroon duidelijker, waaruit bleek dat het toevoegen van enige menselijke betrokkenheid de resultaten verbeterde, in vergelijking met volledig AI-geleide opstellingen; maar de prestaties daalden meestal naarmate de hoeveelheid AI-richting toenam.

Wanneer de rollen werden gescheiden, kon de evaluatie en selectie met relatief weinig kwaliteitsverlies aan AI worden overgedragen; maar het vervangen van menselijke hoogwaardige instructie door AI-richting leidde tot merkbare dalingen in prestaties, wat suggereert dat het niet uitmaakt wie de code genereert, maar wie de richting vaststelt en volhoudt over iteraties.

De auteurs concluderen:

‘Over meerdere experimenten heen vertoont menselijk geleide coding consistent verbetering over iteraties, terwijl AI-geleide coding vaak ineenstort ondanks toegang tot dezelfde informatie en vergelijkbare uitvoeringsmogelijkheden.

‘Dit wijst op belangrijke strijd van hedendaagse AI-systemen om coherente hoogwaardige richting te behouden over herhaalde interacties heen, van het type dat nodig is voor succesvolle vibe coding’

Het nieuwe artikel heeft als titel Waarom menselijke richting belangrijk is in collaboratieve vibe coding, en komt van zeven onderzoekers van Cornell University, Princeton University, Massachusetts Institute of Technology en New York University.

Methode

Voor de experimenten keek een menselijke instructeur naar een door GPT-5 gegenereerde dierfoto, samen met de laatste geassocieerde SVG-nabootsingspoging. Vervolgens schreef de instructeur natuurlijke taalinstructies om de codegenerator naar een betere overeenkomst te leiden.

Daardoor produceerde de generator een nieuwe SVG elke ronde, waardoor een iteratieve lus ontstond voor het testen van de effecten van richting over tijd. De doelen waren tien door GPT-5 gegenereerde dierbeelden, die een reeks vormen en texturen omvatten, zodat verbeteringen of fouten gemakkelijk konden worden gedetecteerd:

Schema voor de vibe coding-werkstroom die in de studie werd gebruikt. In A) bekijkt een menselijke instructeur een fotografisch referentiebeeld samen met de tot nu toe gegenereerde SVG en schrijft natuurlijke taalinstructies voor de codegenerator om de volgende SVG te produceren; in B) vergelijkt een menselijke selector de nieuwe SVG met de vorige en kiest welke versie beter overeenkomt met het referentiebeeld, voordat de geselecteerde SVG naar de volgende ronde van instructie wordt doorgestuurd; en in C) beoordelen onafhankelijke menselijke evaluatoren hoe vergelijkbaar elke gegenereerde SVG is met het referentiebeeld, waarbij de scores worden gebruikt om de algehele prestatie te beoordelen.

Een menselijke selector vergeleek elke nieuw gegenereerde SVG met de vorige en accepteerde of verwierp deze, waardoor het proces overeenkwam met het referentiebeeld over ronden. In deze baseline-opstelling voerde dezelfde mens beide rollen uit.

Om kwaliteit te meten, beoordeelden onafhankelijke menselijke evaluatoren hoe vergelijkbaar elke gegenereerde SVG was met het referentiebeeld. Over zestien experimenten produceerden 120 mensen 4.800 beoordelingen. Alle experimenten werden uitgevoerd op het PsyNet-framework, een portal ontworpen om gestructureerde interacties tussen mensen en AI-systemen te accommoderen.

Het onderzoek zou 604 moedertaalsprekers van het Engels rekruteren, in tests die 4.800 API-aanroepen voor codegeneratie en 5.327 API-aanroepen voor instructie zouden doorlopen. Hoewel GPT-5 het hoofdmodel was dat werd gebruikt, werden kleinere vergelijkingsbatches gemaakt met Claude Opus 4.5 en Gemini 3 Pro, die elk 280 queries afhandelden.

Resultaten

Dertig vibe-coding-ronden werden uitgevoerd, elk bestaande uit vijftien bewerkingen van de core-tien referentiebeelden. Voor deze ronden werden 45 menselijke deelnemers geselecteerd, die elk zowel selector als instructeur waren over tien iteraties, in de ‘menselijk geleide’ ronden.

Binnen elke beurt koos dezelfde deelnemer eerst tussen de huidige en vorige SVG, en schreef vervolgens de volgende ronde instructies. Een tweede versie van de test verving de menselijke beslissingen met API-aanroepen naar GPT 5, terwijl de rest van de opstelling ongewijzigd bleef. In alle gevallen gaf de instructeur en selector rollen de codegenerator aan met gewone taal.

Een representatief voorbeeld van meerdere ronden vibe coding toont aan hoe het proces over tijd uiteenloopt; wanneer mensen zowel selector als instructeur waren, verbeterde de SVG-uitvoer gestaag over iteraties, waarbij deze dichter bij het referentiebeeld kwam met elke ronde:

Voorbeelden van voortgang voor één referentiebeeld onder menselijk geleide (boven) en AI-geleide (onder) vibe coding, waaruit blijkt dat de uitvoer over iteraties verbetert wanneer mensen beide rollen vervullen, en dat deze stil blijft of afwijkt wanneer beide rollen door AI worden uitgevoerd.

Omgekeerd, in de AI-geleide versie, vingen vroege ronden soms belangrijke visuele kenmerken op, maar latere pogingen faalden om deze verbeteringen voort te zetten, en gingen in sommige gevallen zelfs achteruit ten opzichte van het doel:

Einduitvoer van de laatste iteratie, waarin menselijk geleide beurten (bovenste rij) worden vergeleken met AI-geleide ketens (onderste rij), over hetzelfde set referentiebeelden. De menselijk geleide resultaten komen dichter bij de oorspronkelijke dieren, terwijl de AI-geleide resultaten zichtbare vertekeningen of verlies van belangrijke kenmerken vertonen.

Om de ontluikende trends kwantitatief te meten, werden de eindbeelden getoond aan onafhankelijke menselijke beoordelaars en beoordeeld op overeenkomst met de referentiebeelden. In de vroege ronden scoorden menselijk geleide en AI-geleide runs ongeveer hetzelfde; maar tegen de vijftiende ronde was het verschil duidelijk, met de door mensen gekozen beelden die veel dichter bij de doelen werden beoordeeld. Over tijd steeg de menselijke scores gestaag, met de grootste relatieve winst ten opzichte van AI die 27,1% bereikte.

Gemiddelde overeenkomstbeoordelingen over iteraties voor menselijk geleide en AI-geleide vibe coding, waaruit blijkt dat de uitvoer over iteraties verbetert wanneer mensen zowel selector als instructeur zijn, en een gestage daling vertoont wanneer beide rollen door GPT 5 worden uitgevoerd.

Om ervoor te zorgen dat de ontluikende trends niet te wijten waren aan de collectieve kracht van meerdere gelijktijdige menselijke deelnemers, recruteerden de onderzoekers tien extra mensen om alleen te werken, elk drie ronden uitvoerend – en de resultaten verbeterden op dezelfde gestage manier, waaruit bleek dat de winsten niet een toeval van collectieve inspanning waren.

Het Grote Plaatje

Echter, zou GPT-5, als het de uitvoer zelf beoordeelde, erkennen dat de menselijke resultaten beter waren? Menselijke en AI-beoordelingen gingen over het algemeen in dezelfde richting, zodat het model goed van slecht kon onderscheiden, maar het scoorde AI-gegenereerde beelden hoger dan mensen dat deden.

‘Specifiek vroegen we ons af of AI-agenten zouden erkennen dat hun eigen uitvoer inferieur is aan die geproduceerd door mensen, of dat ze de voorkeur zouden geven aan hun eigen creaties, wat een potentieel uitlijningsprobleem zou aangeven.’

Het blijkt dat er inderdaad een uitlijningsprobleem is*:

‘AI-beoordelaars wezen hogere beoordelingen toe aan AI-gegenereerde [uitvoer]. Deze bevindingen suggereren dat de waargenomen prestatieverschillen kunnen voortkomen uit een misalignement in representaties tussen mensen en AI.’

Bij het onderzoeken van hoe mensen en AI hun richting formuleren, werden discrepanties duidelijk in tests. Zoals te zien is in de onderstaande figuur, zijn zowel focus als lengte onderwerpen van AI/menselijke divergentie:

Een vergelijking van hoe mensen en AI instructies gaven tijdens de codetaak. ‘A’ toont aan dat mensen korte, directe instructies schrijven, terwijl AI lange, gedetailleerde beschrijvingen schrijft. ‘B’ toont de instructies in kaart, waaruit blijkt dat menselijke prompts bijeen klitten, terwijl AI-prompts uit elkaar vallen per dier. ‘C’ volgt hoe het beperken van de AI-instructielengte de slechte resultaten over tijd niet verhelpt; en ‘D’ illustreert dat mensen meer gevarieerde en evenwichtige richting geven dan AI, zelfs wanneer woordlimieten worden opgelegd.

Menselijke instructies waren meestal kort en ter zake, waarbij duidelijke bewerkingen werden aangeboden die algemeen op de doelen konden worden toegepast. AI-instructies waren daarentegen dik met beschrijvende details en vaak opgeblazen met specificaties over schaduwen, texturen, verlichting of anatomische miniaturen – beschrijvingen die in isolatie zin kunnen hebben, maar die geen nuttige volgende stappen voor het model bieden (en die herkenbaar zullen zijn voor degenen die op de hoogte zijn van LLM’s problemen met contextlengte, d.w.z. het vermogen om ‘het grote plaatje’ te behouden terwijl een project ontwikkelt en groeit).

Om te zien of minder woorden de prestaties zouden verbeteren, werd GPT-5 beperkt tot 10, 20 of 30 woorden per instructie; maar zelfs deze gecomprimeerde instructies faalden om enige verbetering te laten zien (zie onderste rechts van de bovenstaande grafiek).

Gezamenlijke Ondernemingen

Om te testen wat er gebeurt wanneer mensen en AI delen de controle, voerden de onderzoekers codetaak uit met verschillende mengsels van menselijke en AI-input, variërend van voornamelijk menselijk tot voornamelijk AI.

Elk hybride mengsel overtrof volledige AI-controle, zodat zelfs een kleine hoeveelheid menselijke richting de resultaten verbeterde:

Hybride codingscenario’s met verschillende menselijke/AI-mengsels. (A) Toont aan hoe mensen en AI om de beurt instructeur en selector waren voor elke codestap; (B) toont aan dat meer menselijke betrokkenheid tot betere resultaten leidde, terwijl grotere AI-input de scores verlaagde; en (C) toont een gestage daling van de einduitvoerkwaliteit naarmate de deelname van mensen afneemt, waaruit blijkt dat consistentere menselijke richting betere resultaten oplevert.

Naarmate AI meer van het proces overnam, daalde de prestatie, met de beste resultaten die werden behaald wanneer mensen de meeste ronden leidden, en de zwakste wanneer AI de meeste ronden leidde. Geen van deze gemengde opstellingen wist de prestatie te laten verbeteren met elke nieuwe ronde, wat suggereert dat menselijke richting het beste werkt wanneer deze consistent en gestaag is, in plaats van occasioneel.

Rolomkering

De studie onderzocht ook of het uitmaakt wie wat doet in dit soort taken, en testte hiervoor. De herziene oefening omvatte twee taken: één deelnemer zou dicteren hoe de afbeelding moest worden gewijzigd, en een andere zou een preferabele versie kiezen.

Wanneer beide taken door mensen werden uitgevoerd, werd de kwaliteit gehandhaafd; maar wanneer een mens de instructies gaf en niemand een versie koos, werd de kwaliteit slechter:

Tests voor rolverdeling in vibe coding: in (A) leidde het verwijderen van de selectorrol tot slechtere prestaties, zelfs wanneer een mens de instructies gaf; in (B) verlaagde het vervangen van de menselijke selector door een AI de kwaliteit enigszins, maar niet zo ernstig als het volledig weglaten van de selectie.

Wanneer AI de leiding had, maakte het niet uit of de keuzestap werd overgeslagen, aangezien de uitvoer consistent bleef; maar wanneer mensen de instructies gaven en AI de resultaten koos, bleef de kwaliteit dicht bij de volledig menselijke opstelling.

Het tegenovergestelde werkte niet: het geven van AI-instructies terwijl mensen de uitvoer kozen, leidde tot zwakkere resultaten, wat suggereert dat menselijke creatieve richting essentieel blijft, terwijl de taak van het kiezen tussen opties kan worden overgedragen aan AI zonder grote verlies.

Het artikel concludeert:

‘[Hoogwaardige] ideageneratie en instructie zijn de kritieke menselijke bijdragen, terwijl evaluatie en selectie vaak aan AI kunnen worden overgedragen zonder verlies van prestatie.

‘Dit suggereert een praktisch ontwerpprincipe voor hybride systemen: mensen moeten de richting bepalen, terwijl AI evaluatie en uitvoering kan ondersteunen.’

Conclusie

Het blijft afwachten in hoeverre verbeterde en/of uitgebreidere contextvensters de prestaties van LLM’s in taken van dit type zullen beïnvloeden. De dag dat ‘LLM-vergetelheid’ ophoudt een dagelijkse ergernis te zijn van menselijke AI-samenwerking, kan zowel een reden tot vreugde als tot bezorgdheid zijn, aangezien het probleem dat AI probeert op te lossen, naar alle waarschijnlijkheid, mensen zijn.

Desondanks maakt het werk van de auteurs duidelijk dat er innate en kritieke meningsverschillen bestaan tussen AI en mensen met betrekking tot kwaliteit, die mogelijk door consumenten worden bepaald als een onvervangbaar menselijk concept.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Publicatie op vrijdag 13 februari 2026