Vibe-koding liderer når AI sin rolle utvides

En ny studie finner at vibe-koding forbedres når mennesker gir instruksjoner, men forverres når AI gjør det, med den beste hybridoppsettet som holder mennesker fremst, med AI som en dommer eller avgjørelse.

Ny forskning fra USA, som undersøker hva som skjer når AI-systemer får styre vibe-koding, i stedet for bare å utføre menneskelige instruksjoner, har funnet at når store språkmodeller (LLM) tar på seg en større retning, er resultater nesten alltid dårligere.

Selv om forskerne brukte OpenAI’s GPT-5 som rammeverk for deres menneske-AI-samarbeids eksperimenter, bekreftet de senere at både Anthropic’s Claude Opus 4.5 og Google Gemini 3 Pro var underlagt samme forverrende kurve når ansvar vokste, og uttalte at ‘selv begrenset menneskelig involvering stadig forbedrer ytelsen’:

‘[Mennesker] gir unikt effektive høynivå-veiledning over iterasjoner, [hvor] AI-veiledning ofte leder til ytelses-kollaps. Og, vi finner at en forsiktig rollefordeling som holder mennesker i charge av retning mens avlastning til AI kan forbedre hybrid-ytelse.’

For å gi en konsistent test som kunne vurderes like av mennesker som av AI, ble et kontrollert eksperimentelt rammeverk bygget rundt en iterativ kodingsoppgave hvor en referansebilde – med et foto av en katt, hund, tiger, fugl, elefant, pingvin, hai, sebra, giraff, eller panda – måtte gjenskapes ved hjelp av scalable vector graphics (SVG), og at gjenskapelsen ble bedømt mot foto-kilden som den var avledet fra:

Både menneskelige og AI-deltagere ble vist et fotografisk referansebilde sammen med en AI-generert SVG-rekonstruksjon, og ble bedt om å vurdere hvor lik de to var på en syv-punkts skala. Kilde

I hver runde, ga en agent høynivå-natur-språk-instruksjoner for å guide en kodegenerator, og en annen bestemte om å beholde den nye versjonen eller gå tilbake til den forrige – en strukturert loop som speiler virkelige samarbeids-workflows.

Over 16 eksperimenter som involverte 604 deltakere og tusenvis av API-kall, ble fullt menneske-ledede test-runder sammenlignet direkte med fullt AI-ledede runder, under ellers identiske forhold.

Noen av de varierende løsningene som ble nådd av forskjellige kombinasjoner av menneske-AI-samarbeidsprosenter og typer (tatt fra en større illustrasjon i kildepapiret, som vi henviser leseren til).

Selv om mennesker og AI utførte på lignende nivå ved starten av testene, divergerte deres trajektorier over tid: når mennesker ga instruksjoner og tok valg, økte likhetsskorene over iterasjoner, med stadig kumulativ forbedring; men når AI-systemer fylte begge roller, viste ytelsen ingen konsistente gevinster, og ofte forverret over runder – selv om samme underliggende modell ble brukt for kodegenerering, og AI hadde tilgang til samme informasjon som menneskelige deltakere.

Den prolixe effekten

Resultatene viste også at menneskelige instruksjoner vanligvis var korte og handle-orienterte, fokusert på hva som skulle endres neste i gjeldende bilde; motsatt, AI-instruksjoner var mye lengre og tungt beskrevende (en faktor som var parametrert for GPT-5), detaljert visuelle attributter heller enn å prioritere inkrementell korreksjon.

Men, som vist i grafen nedenfor, hadde pålegg av strenge ordgrenser på AI-instruksjoner ikke omvendt mønsteret; selv når begrenset til 10, 20 eller 30 ord, AI-ledede kjeder feilet fortsatt å forbedre over tid:

Likhetsskore over iterasjoner for menneske-ledede runder sammenlignet med fullt AI-ledede runder begrenset til 10, 20 eller 30-ord-instruksjoner. Det er åpenbart at forkorting av AI-forespørsler ikke forhindrer den iterative ytelsesnedgangen observert når AI styrer både instruksjon og valg.

Hybrid-eksperimenter gjorde mønsteret klarere, viser at tilføyelse av bare litt menneskelig involvering forbedret resultater, sammenlignet med fullt AI-ledede oppsett; men ytelsen vanligvis forverret når andelen av AI-veiledning økte.

Når rollene ble skilt, kunne evaluering og valg håndteres av AI med relativt liten kvalitets-tap; men erstattelse av menneskelig høynivå-instruksjon med AI-veiledning ledet til merkbare nedganger i ytelse, hvilket antyder at det som betyr mest er ikke hvem genererer koden, men hvem setter og opprettholder retningen over iterasjoner.

Forfatterne konkluderer:

‘Over flere eksperimenter, menneske-ledet kodning konsistent forbedret over iterasjoner, mens AI-ledet kodning ofte kollapset til tross for tilgang til samme informasjon og lignende eksekverings-evner.

‘Dette peker på nøkkelkampene til dagens AI-systemer i å opprettholde koherent høynivå-retning over gjentatte interaksjoner, av den type som er nødvendig for vellykket vibe-koding’

Den nye artikkelen har tittelen Hvorfor menneskelig veiledning betyr noe i samarbeidende vibe-koding, og kommer fra syv forskere over Cornell University, Princeton University, Massachusetts Institute of Technology, og New York University.

Metode

For eksperimentene, så en menneskelig instruktør på en GPT-5-generert dyrebilde sammen med den siste assosiert SVG-imitasjon-forsøk. Den skrev deretter natur-språk-instruksjoner for å guide kodegeneratoren mot en nærmere sammenligning.

Slik ville generatoren produsere en ny SVG hver runde, og gi en iterativ loop for å teste hvordan effekten av veiledning akkumuleres over tid. Målene var ti GPT-5-genererte dyre-bilder, som dekket et spekter av former og teksturer så at forbedringer eller feil ville være lett å oppdage:

Skjema for vibe-koding-arbeidsflyten brukt i studien. I A), en menneskelig instruktør ser på et fotografisk referansebilde sammen med den beste SVG-produsert så langt og skriver natur-språk-instruksjoner for kodegeneratoren å følge når den produserer den neste SVG; i B), en menneskelig velger sammenligner den nye SVG med den forrige og velger hvilken versjon som bedre matcher referanse-bildet, før den valgte SVG sendes videre til neste runde av instruksjon; og i C), uavhengige menneskelige evaluatorene vurderer hvor lik hver generert SVG er til sin referansebilde, og leverer poengene som brukes til å vurdere generell ytelse.

En menneskelig velger sammenlignet hver ny-generert SVG med den forrige og aksepterte eller avviste den, som holdt prosessen i linje med referanse-bildet over runder. I denne basisoppsettet, utførte samme menneske begge rollene.

For å måle kvalitet, uavhengige menneskelige evaluatorene vurderer hvor lik hver generert SVG var til sin referansebilde. Over seksten eksperimenter, produserte 120 mennesker 4800 vurderinger. Alle eksperimenter ble kjørt på PsyNet-rammeverket, et portal designet for å håndtere strukturerte interaksjoner mellom mennesker og AI-systemer.

Studien ville rekruttere 604 native engelsk-talende, i tester som ville forbrenne 4800 API-kall for kodegenerering, og 5327 API-kall for instruksjon. Selv om GPT-5 var hovedmodellen brukt, ble mindre sammenlignings-batcher gjort med Claude Opus 4.5 og Gemini 3 Pro, som hver håndterte 280 forespørsler.

Resultater

Tretti vibe-koding-runder ble kjørt, hver bestående av femten redigeringer av de grunnleggende ti referanse-bildene. For disse, ble 45 menneskelige deltakere valgt, hver som både velger og instruktør over ti iterasjoner, i ‘menneske-ledede’ runder.

Innen hver runde, valgte samme deltaker først mellom den gjeldende og forrige SVG, og skrev deretter neste runde av instruksjoner. En annen versjon av testen erstattet disse menneskelige avgjørelsene med API-kall til GPT 5, mens resten av oppsettet forble uendret. I alle tilfeller promptet instruktøren og velgeren kodegeneratoren med ren språk.

Et representativt eksempel på multi-runde vibe-koding viser hvordan prosessen divergerer over tid; når mennesker fungerte som både velger og instruktør, forbedret SVG-utgangen jevnt over iterasjoner, nærmet seg referanse-bildet med hver runde:

Eksempel-fremgangsmåter for ett referansebilde under menneske-ledet (øverst) og AI-ledet (nederst) vibe-koding, viser jevn forbedring over iterasjoner med mennesker i begge roller, og stagnasjon eller drift når begge roller håndteres av AI.

Motsatt, i AI-ledede versjonen, fanget tidlige runder noen gang nøkkelvisuelle egenskaper, men senere forsøk feilet å bygge på disse gevinstene, og i noen tilfeller drev bort fra målet:

Endelige utgang fra siste iterasjon, sammenligner menneske-ledede runder (øverste rad) med AI-ledede kjeder (nederste rad), over samme sett av referanse-bilder. Menneske-ledede resultater matcher originaldyrene nærmere, og AI-ledede resultater viser synlige forvrengninger eller tap av nøkkel-egenskaper.

For å måle de fremvoksende trendene kvantitativt, ble de endelige bildene vist til uavhengige menneskelige vurderere og scoret for likhet til referanse-bildene. I tidlige runder, scoret menneske-ledede og AI-ledede runder omtrent like; men ved femtende runde, var forskjellen klar, med menneske-valgte bilder ratet mye nærmere målene. Over tid, steg menneske-scorene jevnt, med den største relative gevinst over AI på 27,1%.

Gjennomsnitts-likhetsskore over iterasjoner for menneske-ledede og AI-ledede vibe-koding, viser jevn forbedring når mennesker fungerer som både velger og instruktør, og en gradvis nedgang når begge roller håndteres av GPT 5.

For å sikre at de fremvoksende trendene ikke skyldtes den kollektive kraften av flere samtidige menneskelige deltakere, rekrutterte forskerne ti ekstra mennesker til å arbeide alene, hver som utførte tre runder på egen hånd – og resultater forbedret på samme jevne måte, og viste at gevinstene ikke var et tilfelle av kollektiv innsats.

Det store bildet

Men hvis GPT-5 dømte utgangene selv, ville det innrømme at menneske-resultatene var bedre? Menneske- og AI-vurderinger generelt beveget seg i samme retning, så modellen kunne skille godt fra dårlig, men konsistent scoret AI-genererte bilder <em"høyere enn mennesker gjorde.

‘Spesifikt, spurte vi om AI-agenter ville erkjenne at deres egne utgang er underlegne de produsert av mennesker, eller i stedet vise en preferanse for sine egne skaperverk, som ville indikere en potensiell alignerings-problem.’

Som det viste seg, er det faktisk et alignerings-problem*:

‘AI-evaluatorene tildelte høyere poeng til AI-genererte [utgang]. Disse funnene antyder at de observerte ytelses-forskjellene kan stamme fra en misalignering i representasjoner mellom mennesker og AI.’

Ved å undersøke hvordan mennesker og AI hver formulerer sin veiledning, ble forskjeller klare i tester. Som vist i figuren nedenfor, er både fokus og lengde emner for AI-menneskelig divergens:

En sammenligning av hvordan mennesker og AI ga instruksjoner under kodings-oppgaven. ‘A’ viser at mennesker skriver korte, direkte instruksjoner, mens AI skriver lange, detaljerte beskrivelser. ‘B’ kartlegger instruksjonene, og avslører at menneskelige instruksjoner clusterer sammen, mens AI-instruksjoner splittes fra hverandre etter dyr. ‘C’ sporer hvordan begrensning av AI-instruksjonslengde ikke fikserer dens dårlige resultater over tid; og ‘D’ illustrerer at mennesker gir mer variert og balansert veiledning enn AI, selv når ordgrenser pålegges.

Menneskelige instruksjoner tenderte til å være korte og til punkt, og tilbød klare redigeringer som kunne applikeres generelt over mål. AI-instruksjoner, på den andre siden, var tettpakkede med beskrivende detaljer, og ofte oppblåst med spesifikke detaljer om skygging, teksturer, lys eller anatomiske detaljer – beskrivelser som kan gjøre mening i isolasjon, men ikke gir nyttige neste skritt for modellen (og som vil være kjent for de som er klar over LLM-er sine problemer om kontekst-lengde, dvs. å kunne beholde ‘det store bildet’ mens et prosjekt utvikler seg og vokser).

For å se om redusert verbositet ville forbedre ytelsen, ble GPT-5 begrenset til 10, 20 eller 30 ord per instruksjon; men selv disse komprimerte instruksjoner feilet å vise noen forbedring:

Felles innsats

For å teste hva som skjer når mennesker og AI del kontroll, kjørte forskerne kodings-oppgaver med forskjellige blander av menneske-AI-innsats, fra hovedsakelig menneske til hovedsakelig AI.

Hver hybrid-blanding overgikk full AI-kontroll, så at selv en liten mengde menneskelig veiledning forbedret resultater:

Hybrid-kodingsoppsett med forskjellige menneske-AI-blander. (A) Viser hvordan mennesker og AI tok tur som instruktører og velgere for hver kodings-trinn; (B) viser at mer menneskelig involvering ledet til høyere kvalitetsresultater, mens større AI-innsats senket poengene; og (C) viser en jevn nedgang i sluttfase-kvalitet når andelen av menneskelig deltakelse minker, og bekrefter at mer konsistent menneskelig retning produserte bedre resultater.

Når AI tok over mer av prosessen, sank ytelsen, med de beste resultater sett når mennesker ledet de fleste runder, og de svakeste når AI ledet de fleste runder. Ingen av disse blandede oppsettene klarte å forbedre over hver ny runde, og antyder at menneskelig retning fungerer best når den er jevn og konsistent, heller enn tilfeldig.

Rolle-omvending

Studien undersøkte også om det betyr noe hvem som gjør hva i disse typene oppgaver, og testet for dette. Den reviderte øvelsen involverte to oppgaver: en deltaker skulle diktere hvordan man skulle endre bildet, og en annen skulle velge en foretrukket versjon.

Når begge jobbene ble gjort av mennesker, ble kvaliteten opprettholdt; men når en menneske ga instruksjoner og ingen valgte mellom versjoner, ble kvaliteten dårligere:

Tester for rolle-delning i vibe-koding: i (A), fjerning av velger-rollen ledet til dårligere ytelse, selv når et menneske ga instruksjoner; i (B), erstattelse av menneskelig velger med AI-reduserte kvaliteten noe, men ikke like alvorlig som å hoppe over valg helt.

Når AI var i charge, betydde det ikke noe å hoppe over valg-trinnet; men når mennesker ga instruksjoner og AI valgte resultater, ble kvaliteten opprettholdt nær menneske-ledede oppsettet.

Motsatt fungerer ikke: å la AI gi instruksjoner mens mennesker valgte utgang, ledet til svakere resultater, og antyder at menneskelig kreativ veiledning forblir essensiell, mens jobben med å velge mellom alternativer kan overføres til AI uten større kvalitetstap.

Artikkelen konkluderer:

‘[Høynivå] ide-generering og instruksjon er de kritiske menneskelige bidragene, mens evaluering og valg kan ofte deles til AI uten kvalitetstap.

‘Dette antyder en praktisk design-prinsipp for hybrid-systemer: mennesker bør sette retning, mens AI kan støtte evaluering og eksekvering.’

Konklusjon

Det er fortsatt å se hvor mye forbedrede og/eller økte kontekst-vinduer vil påvirke ytelsen til LLM-er i oppgaver av denne typen. Dagen da ‘LLM-glemsel’ slutter å være en daglig plage for menneske-AI-samarbeid kan være en årsak både for feiring og bekymring, siden problemet som AI forsøker å løse, kan hevdes å være mennesker.

Likevel, forfatternes arbeid gjør det klart at det er innate og kritiske uenigheter mellom AI og mennesker om kvalitet, som kan bli bestemt av forbrukere til å være et uerstattelig menneskelig konsept.

* Min konvertering av forfatternes inline-citater til lenker.

Først publisert fredag, 13. februar 2026