Vibe-kodning lider, når AI’s rolle udvides

En ny studie viser, at vibe-kodning forbedres, når mennesker giver instruktioner, men forringes, når AI gør det, med den bedste hybridopsætning, der holder mennesker i forgrunden, med AI som en dommer eller værge.

Nyt forskning fra USA, der undersøger, hvad der sker, når AI-systemer tillades at styre vibe-kodning, i stedet for blot at udføre menneskelige instruktioner, har fundet, at når Large Language Models (LLMs) tager på en større retningsskabende rolle, er resultaterne næsten altid dårligere.

Selvom forskerne brugte OpenAI’s GPT-5 som rammen for deres menneske/AI-samarbejdsforsøg, bekræftede de senere, at både Anthropic’s Claude Opus 4.5 og Google Gemini 3 Pro var underlagt den samme forringende kurve, da ansvar voksede, og fastslog, at ‘ selv begrænset menneskelig indblanding stadig forbedrer præstationen’:

‘[Mennesker] giver unikt effektive højt niveau-vejledning på tværs af iterationer, [hvorimod] AI-vejledning ofte fører til præstationskollaps. Desuden finder vi, at en omhyggelig rollefordeling, der holder mennesker i ledelsen af retning, mens udvurdering offloads til AI, kan forbedre hybridpræstation.’

For at give en konsistent test, der kunne vurderes lige så godt af mennesker som af AI, blev et kontrolleret eksperimentelt rammeværk bygget omkring en iterativ kodningsskabende opgave, hvor en referencebillede – med et foto af en kat, hund, tiger, fugl, elefant, penguin, haj, zebra, giraf eller panda – skulle genskabes ved hjælp af scalable vector graphics (SVG), og denne genskabelse vurderet i forhold til foto-kilden, hvorfra den blev afledt:

Både menneskelige og AI-deltagere blev vist et fotoreferencebillede sammen med en AI-genereret SVG-rekonstruktion, og bedt om at vurdere, hvor lignende de to var på en syv-punkts-skala. Kilde

I hver runde gav en agent højt niveau-natur-sprog-instruktioner til at vejlede en kodegenerator, og en anden afgjorde, om at beholde den nye version eller gå tilbage til den forrige – en struktureret løkke, der spejler virkelige samarbejdsarbejdsgange.

Over 16 eksperimenter med 604 deltagere og tusindvis af API-kald blev fuldt menneske-ledede testrundener sammenlignet direkte med fuldt AI-ledede rundener under ellers identiske betingelser.

Nogle af de varierede løsninger, der blev nået af forskellige kombinationer af menneske/AI-samarbejdspctent og -typer (taget fra en større illustration i kildepapiret, som vi henviser læseren til).

Selvom mennesker og AI opførte sig på samme niveau ved starten af testene, divergerede deres baner over tid: når mennesker gav instruktioner og træffer valg, steg ligningskorerne over iterationer, med stadig kumulativ forbedring; men når AI-systemer udfyldte begge roller, viste præstationen ingen konsistente gevinster, og hyppigt forringede over runder – selvom det samme underliggende model blev brugt til kodegenerering, og AI havde adgang til samme information som menneskelige deltagere.

Den lange udviklingseffekt

Resultaterne viste også, at menneskelige instruktioner typisk var korte og handle-orienterede, fokuserede på, hvad der skulle ændres næste gang i den aktuelle billed, modsat AI-instruktioner, der var lang og detaljeret (en faktor, der blev parametreret for GPT-5), detaljerede visuelle attributter snarere end at prioritere inkrementel korrektion.

Men, som set i grafen nedenfor, fik pålægning af strenge ordgrænser for AI-instruktioner ikke omvendt mønsteret; selv når begrænset til 10, 20 eller 30 ord, AI-ledede kæder fik ikke bedret sig over tid:

Ligningsskorer over iterationer for menneske-ledede runder sammenlignet med fuldt AI-ledede runder begrænset til 10, 20 eller 30-ord-instruktioner. Det er tydeligt, at forkortning af AI-prompts ikke forhindrer den iterative præstationsnedgang, der observeres, når AI styrer både instruktion og valg.

Hybrid-eksperimenter gjorde mønsteret klart, viser, at tilføjelse af selv en lille menneskelig indblanding forbedrede resultater, sammenlignet med fuldt AI-ledede opsætninger; dog forringedes præstation typisk, når AI-vejledningens andel øgedes.

Når rollerne adskiltes, kunne evaluering og valg overdrages til AI med relativt lidt kvalitets-tab, men erstatning af menneskelig højt niveau-instruktion med AI-vejledning førte til bemærkelsesværdige tab i præstation, hvilket antyder, at det, der betyder mest, ikke er, hvem genererer koden, men hvem sætter og fastholder retningen over iterationer.

Forfatterne konkluderer:

‘Over flere eksperimenter var menneske-ledet kodning konsistent forbedret over iterationer, mens AI-ledet kodning ofte kollapsede, på trods af adgang til samme information og lignende udførelseskapaciteter.

‘Dette peger på nøglekampe for i dag’s AI-systemer i at fastholde koherent højt niveau-retning over gentagne interaktioner, af den type, der er nødvendig for succesfuld vibe-kodning’

Den nye artikel er tituleret Hvorfor menneskelig vejledning betyder i samarbejdende vibe-kodning, og kommer fra syv forskere på Cornell University, Princeton University, Massachusetts Institute of Technology og New York University.

Metode

For eksperimenterne så en menneskelig instruktør på en GPT-5-genereret dyre-referencebillede sammen med den seneste associerede SVG-imitationsforsøg. Derefter skrev instruktøren natur-sprog-instruktioner til at vejlede kodegenerator til at følge i næste runde.

Således ville generator producere en ny SVG hver runde, og give en iterativ løkke til test af, hvordan effekten af vejledning akkumulerer over tid:

Schema for vibe-kodningsarbejdsgangen brugt i studiet. I A), ser en menneskelig instruktør på et fotoreferencebillede sammen med den bedste SVG produceret hidtil og skriver natur-sprog-instruktioner for kodegenerator til at følge i næste runde; i B), sammenligner en menneskelig vælger den nye SVG med den forrige og vælger, hvilken version bedst matcher referencebilledet, før den valgte SVG videre gives til næste runde af instruktion; og i C), uafhængige menneskelige evalueringer vurderer, hvor lignende hver genereret SVG er til dens referencebillede, og leverer scorene brugt til at vurdere samlet præstation.

En menneskelig vælger sammenlignede hver nygenereret SVG med den forrige og accepterede eller afviste den, hvilket holdt processen i overensstemmelse med referencebilledet over runder. I denne basisopsætning udførte samme menneske begge roller.

Til at måle kvalitet, uafhængige menneskelige evalueringer vurderede, hvor lignende hver genereret SVG var til dens referencebillede. Over 16 eksperimenter producerede 120 mennesker 4.800 vurderinger. Alle eksperimenter blev kørt på PsyNet-rammen, et portal designet til at rumme strukturerede interaktioner mellem mennesker og AI-systemer.

Studiet ville rekruttere 604 native engelsktalende, i tests, der ville brænde igennem 4.800 API-kald til kodegenerering, og 5.327 API-kald til instruktion. Selvom GPT-5 var det primære model brugt, blev mindre sammenligningsbatcher lavet med Claude Opus 4.5 og Gemini 3 Pro, der hver håndterede 280 forespørgsler.

Resultater

Tredive vibe-kodningsrunder blev kørt, hver bestående af femten redigeringer af de grundlæggende ti referencebilleder. For disse valgtes 45 menneskelige deltagere, hver fungerende som både vælger og instruktør over ti iterationer, i ‘menneske-ledede’ runder.

Inden for hver runde valgte samme deltager først mellem den aktuelle og forrige SVG, og derefter skrev næste runde af instruktioner. En anden version af testen erstattede disse menneskelige beslutninger med API-kald til GPT 5, mens resten af opsætningen forblev uændret. I alle tilfælde vejledede instruktøren og vælgeren kodegenerator med almindeligt sprog.

Et repræsentativt eksempel på multi-runde vibe-kodning viser, hvordan processen divergerer over tid; når mennesker fungerede som både vælger og instruktør, forbedrede SVG-udgangen sig stadigt over iterationer, nærmede sig referencebilledet med hver runde:

Eksempel på fremgang for et referencebillede under menneske-ledet (top) og AI-ledet (bunden) vibe-kodning, viser stadig forbedring over iterationer med mennesker i begge roller, og stagnation eller drift, når begge roller håndteres af AI.

Omvrendt, i AI-ledede versionen, fanget tidlige runder undertiden nøglevisuelle funktioner, men senere forsøg lykkedes ikke at bygge på disse gevinster, og i nogle tilfælde drænedes fra målet:

Endelige udgange fra den endelige iteration, sammenligner menneske-ledede runder (toprække) med AI-ledede kæder (bundenrække), over samme referencebilledsæt. Menneske-ledede resultater matcher bedre med de originale dyr, og AI-ledede resultater viser synlige forvrængninger eller tab af nøglefunktioner.

Til at måle de fremvoksende tendenser kvantitativt, blev de endelige billeder vist til uafhængige menneskelige vurderinger og vurderet for ligning til referencebillederne. I de tidlige runder scorede menneske-ledede og AI-ledede runder omtrent det samme; men ved femtende runde var forskellen tydelig, med menneske-valgte billeder vurderet meget tættere på målene. Over tid steg menneske-scorene stadigt, med den største relative gevinst over AI på 27,1%.

Gennemsnitsligningsskorer over iterationer for menneske-ledede og AI-ledede vibe-kodning, viser stadig gevinster, når mennesker fungerer som både vælger og instruktør, og en gradvis nedgang, når begge roller håndteres af GPT 5.

For at sikre, at de fremvoksende tendenser ikke skyldtes den kollektive kraft af multiple samtidige menneskelige deltagere, rekrutterede forskerne ti yderligere personer til at arbejde alene, hver af dem kørende tre runder på egen hånd – og resultaterne forbedredes på samme måde, demonstrerende, at gevinsterne ikke var et tilfælde af kollektiv indsats.

Det store billede

Men hvis GPT-5 selv vurderede output, ville det så indrømme, at menneske-resultaterne var bedre? Menneske- og AI-vurderinger bevægede sig generelt i samme retning, så modellen kunne skelne mellem godt og dårligt, dog vurderede AI-genererede billeder højere end mennesker gjorde.

‘Specifikt spurgte vi, om AI-agenter ville erkende, at deres egne outputs er ringere end dem, der er produceret af mennesker, eller i stedet vise en præference for deres egne skabninger, hvilket ville indikere en potentiel alignment-problem.’

Som det viste sig, er der faktisk et alignment-problem*:

‘AI-vurderinger tildelte højere vurderinger til AI-genererede [outputs]. Disse fund tyder på, at de observerede præstationsforskelle kan stamme fra en misalignment i repræsentationer mellem mennesker og AI.’

Ved at undersøge, hvordan mennesker og AI hver især formulerer deres vejledning, blev forskelle tydelige i tests. Som set i figuren nedenfor, er både fokus og længde emner for AI/menneskelig divergens:

En sammenligning af, hvordan mennesker og AI gav instruktioner under kodningsopgaven. ‘A’ viser, at mennesker skriver korte, direkte instruktioner, mens AI skriver lange, detaljerede beskrivelser. ‘B’ kortlægger instruktionerne, og viser, at menneskelige prompts klumper sammen, mens AI-prompts splittes fra hinanden efter dyr. ‘C’ sporer, hvordan begrænsning af AI-instruktionslængde ikke fikserer dens dårlige resultater over tid; og ‘D’ illustrerer, at mennesker giver mere varierede og balancerede vejledninger end AI, selv når ordgrænser pålægges.

Menneskelige instruktioner havde tilbøjelighed til at være korte og til punkt, tilbød klare redigeringer, der kunne anvendes generelt på tværs af mål. AI-instruktioner, på den anden side, var tætte med deskriptiv detalje og ofte opblæste med specifikationer om skygge, teksturer, belysning eller anatomisk detaljer – beskrivelser, der kan give mening i isolation, men ikke giver brugbare næste skridt for modellen (og som vil være bekendt for dem, der er bekendt med LLM’ers problemer omkring kontekstlængde, dvs. at kunne fastholde ‘det store billede’, når et projekt udvikler sig og vokser).

For at se, om reduceret verbositet ville forbedre præstation, blev GPT-5 begrænset til 10, 20 eller 30 ord per instruktion; men selv disse komprimerede instruktioner fik ikke vist nogen forbedring (se bunden til højre i graf ovenfor).

Fælles foretagender

For at teste, hvad der sker, når mennesker og AI del kontrol, kørte forskerne kodningsopgaver med forskellige blanding af menneske- og AI-indput, fra overvejende menneske til overvejende AI.

Hver hybrid-blanding overgik fuld AI-kontrol, så selv en lille menneskelig vejledning forbedrede resultater:

Hybrid-kodningsopsætninger med forskellige menneske/AI-blandinger. (A) Viser, hvordan mennesker og AI skiftedes til at være instruktører og vælgere for hver kodningsskridt; (B) viser, at mere menneskelig indblanding førte til højere kvalitetsresultater, mens større AI-indput sænkede scorene; og (C) viser en stadig nedgang i slutoutputkvalitet, efterhånden som andelen af menneskelig deltagelse falder, og bekræfter, at mere konsekvent menneskelig retning producerer bedre resultater.

Da AI overtog mere af processen, faldt præstation, med de bedste resultater set, når mennesker ledede de fleste runder, og de svageste, når AI ledede de fleste runder. Ingen af disse blandede opsætninger formåede at forbedre sig over tid, hvilket antyder, at menneskelig retning fungerer bedst, når den er konsekvent og stadig, snarere end tilfældig.

Rolleomvending

Studiet undersøgte også, om det betyder hvem gør hvad i disse typer opgaver, og testede for dette. Den reviderede øvelse involverede to opgaver: en deltager skulle diktere, hvordan man ændrer billedet, og en anden skulle vælge en foretrukken version.

Når begge job blev udført af mennesker, blev kvalitet opretholdt; men når et menneske gav instruktioner og ingen valgte mellem versioner, blev kvalitet dårligere:

Tests for rollefordeling i vibe-kodning: i (A), førte fjernelse af vælgerrollen til dårligere præstation, selv når et menneske gav instruktioner; i (B), erstattede en menneskelig vælger med en AI reducerede kvalitet lidt, men ikke så alvorligt som at springe valget over helt.

Når AI var i ledelsen, betød det ikke noget at springe valgeskridtet over, da dens outputs forblev konstant på begge måder; men når mennesker gav instruktioner og AI valgte mellem resultater, forblev kvalitet tæt på den fuldt menneske-ledede opsætning.

Det modsatte fungerede ikke: havde AI givet instruktioner, mens mennesker valgte outputs, førte det til svagere resultater, hvilket antyder, at menneskelig kreativ vejledning forbliver afgørende, mens opgaven med at vælge mellem muligheder kan overdrages til AI uden større kvalitetstab.

Artiklen konkluderer:

‘[Højt niveau] idé-generering og instruktion er de kritiske menneskelige bidrag, mens evaluering og valg kan ofte overdrages til AI uden kvalitetstab.

‘Dette antyder en praktisk design-princippet for hybrid-systemer: mennesker skal sætte retning, mens AI kan støtte evaluering og udførelse.’

Konklusion

Det er endnu ikke klart, i hvilken udstrækning forbedrede og/eller forøgede kontekstvinduer vil påvirke præstationen af LLM’er i opgaver af denne type. Den dag, hvor ‘LLM-glemsomhed’ ophører med at være en daglig plage for menneske-AI-samarbejde, kan være en årsag til både fejring og bekymring, da problemet, som AI søger at løse, kan siges at være mennesker.

Ikke desto mindre, viser forfatternes arbejde også, at der er innate og kritiske uenigheder mellem AI og mennesker omkring kvalitet, hvilket kan være bestemt af forbrugere til at være en uerstattelig menneskelig koncept.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet fredag, 13. februar 2026