Menneskelig kode fra 2020 slo vibe-kodede agenter i agenttest

ChatGPT og andre vibe-koding-verktøy ble testet i nesten 40 000 kamper – og tapte mot kode skrevet av en masterstudent før oppfinnelsen av store språkmodeller.

I en ny studie fra Storbritannia, ble menneske-kodede agenter satt opp mot vibe-kodede agenter utviklet med de nyeste store språkmodellene (LLM), som ChatGPT-5 og Claude, og fant at agentene som ble skapt uten AI-hjelp, lett slo de AI-baserte versjonene.

Begge sett med agenter ble skapt av forskjellige generasjoner av studenter fra det sveitsiske føderale tekniske instituttet i Lausanne. De ikke-AI-agenter ble utviklet som en del av kursarbeid i 2020, to år før oppfinnelsen av ChatGPT og starten på LLM-revolusjonen, mens de nye agentene ble skapt av nåværende studenter, med hjelp av de nyeste og beste LLM-ene som er tilgjengelige.

Even om det var en rigget kamp, kunne ikke vibe-kodede løsninger vinne, og de fem øverste plassene ble konsekvent holdt av ‘rene’ agenter, med flertallet av LLM-agenter (33 av 40) ble lett slått av ‘svært enkle’ basisagenter, over 38 304 kamper i en turnering, over en rekke variabler og omstendigheter.

Arbeidet sier:

‘Vårt arbeid viser at selv om state-of-the-art LLM-er kan generere kode som kjører (dvs. fri for syntaksfeil), er den genererte løsningen ikke konkurransedyktig med menneske-designet løsninger på dimensjoner som strategisk planlegging, optimalisering eller multi-agent konkurranse.

‘Derfor bringer dette arbeidet denne nye grensen i kodegenerering til fremtred, og har som mål å fremme utviklingen av benchmark, datasett og åpne kildekoder som understreker resonning-drevet kode-syntese.’

Utfordringen som ble utformet, var å kreativt delta i auksjoner, over en rekke strategier, og å ordne logistikken for å levere vunne varer til vinnerne.

Forfatterne bemerker at en rekke fordeler ble gitt til LLM-er, som å gripe inn i deres kode for å forbedre deres ytelse – en fordel som ikke ble tillatt for 2020-koden. Likevel, selv når de ble forsynt med korrekturkode som ville ha forbedret deres resultater, kunne ikke LLM-ene bruke den eller akseptere den:

‘[I] vårt benchmark, selv når vi eksponerer en god løsning i kontekst, er LLM-en fortsatt ikke i stand til å bruke den.

‘Dette resultatet reiser også interessante fremtidige forskningsspørsmål om grensene for kontekst-læring og problemløsning i komplekse scenarioer.’

LLM-ene som ble brukt i testen, var GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1, og DeepSeek R1*.

Den nye artikkelen har tittelen Kan vibe-koding slå masterstudenter? En LLM mot menneske-koding turnering på marked-drevet strategisk planlegging, og kommer fra en forfatter ved University of Southampton, og en annen ved University of Oxford og Alan Turing Institute. Benchmarket vil, ifølge forfatterne, bli utgitt snart.

Metode

Forfatterne bemerker at tradisjonelle tester i denne sfæren fokuserer på utfordringer med tydelig definerte binære løsninger (korrekt eller ikke korrekt), verifisert gjennom unit tests. De hevder at dette ikke er den ideelle måten å utforske begrensningene av LLM-basert kode, og har i stedet utformet en mer kompleks utfordrings-scenario, med multiple interne benchmark og milepæler, hvor seier er mulig, men langt ifra enkel.

Sammenligning av standard, unit-test-basert tilnærming (øverst), og den mer åpne utfordrings-scenariet utformet av forfatterne (i blått, nederst). Kilde

Aksjon, henting og leveringsproblemet (APDP) som ble brukt i forfatternes studie, var delvis selvvalgt, på grunn av tilgjengeligheten av en korpus av 2020-studentarbeid fra det sveitsiske universitetet; arbeid som søkte å skape automatiserte agenter for APDP-oppgaven, før noen evne til å støtte utviklingen gjennom AI.

Forfatterne søkte å unngå populære test-rammeverk som HumanEval, BigCodeBench og WebDev Arena (blant mange andre), siden denne klassen av test-prosedyrer tenderer til å lide under data-forurensning (dvs. eksempler hvor systemet kan ha trent på test-data i stedet for å respektere en split).

APDP er et to-trinns logistikk-problem basert på reverse-auksjoner og kjøretøy-ruting. I det første trinnet, konkurranse-agenter om å vinne leveringsoppgaver ved å sende inn bud for hvor mye de skal betales for å fullføre hver enkelt.

I det andre trinnet, må hver agent skape en effektiv plan for å fullføre bare de oppgavene de vant, ved å tildele dem til kjøretøy med forskjellige kapasiteter og kostnader, under tid- og ressurs-begrensninger:

I APDP, bud selskaper i reverse-auksjoner for leveringsoppgaver, så optimaliserer de kjøretøy-ruter for å fullføre bare de oppgavene de vinner, med mål om å maksimere fortjeneste.

Målet er ikke bare å fullføre oppgavene, men å maksimere total fortjeneste ved å forutse hvilke pakker av oppgaver som vil fungere best sammen, og forutsi strategiene til konkurrenter som alle prøver å gjøre det samme.

APDP-benchmarket øker vanskelighetsgraden av kode-genereringsoppgaver ved å introdusere strategisk planlegging over en sekvens av interavhengige auksjoner, med hver bud som omformer landskapet av fremtidige valg; og derfor krever agenter å resonere ikke bare om umiddelbare kostnader, men om posisjonering, tid og langtids-konsekvenser.

Kjerne-leveringsproblemet er NP-hardt, dvs. ingen algoritme kan pålitelig finne den beste løsningen på en rimelig tid når antallet oppgaver øker. Dette gjør brute force til en uframkommelig tilnærming, og tvinger agenter til å bytte nøyaktighet mot hastighet.

Konkurransen er i gang

Forfatternes evaluering sammenlignet 40 LLM-kodede agenter mot 17 menneske-kodede agenter i en rekke head-to-head-turneringer. Hver av de 12 turneringene brukte en annen kombinasjon av fire vei-nettverkstopologier, og bestod av all-play-all paringer, med agenter som møtte hver andre motstander to ganger: en gang som kontrollerte hver av to selskaper, med forskjellige kjøretøy-specifikasjoner.

Dette opplegget ga 3 192 kamper per turnering, totalt 38 304 kamper. I hver kamp ble 50 leveringsoppgaver auksjonert, definert av deres henting- og leveringspunkter og vekt, og trukket tilfeldig over vei-layoter modellert på Sveits, Frankrike, Storbritannia og Nederland:

Forenklet vei-nettverk brukt i turneringen: Storbritannia (øverst til venstre), Sveits (øverst til høyre), Nederland (nederst til venstre) og Frankrike (nederst til høyre). Blå og røde firkanter markerer henting- og leveringsoppgaver. Fargede trekanter viser nåværende posisjoner for agentens kjøretøy.

Student-agenter ble trukket fra en 2020-kurs-turnering. Åtte kom fra topp-prestasjonene i en enkelt-eliminering-finale, og fire flere ble valgt for sterke prestasjoner mot basis-agenter i head-to-head-kamper.

Basis-agenter fulgte faste heuristikk. Naiv beregnet totalt avstand og bud deretter, ved å bruke bare ett kjøretøy og ignorere batch; ExpCostFixedBid simulerte 10 tilfeldige oppgaver, og bud den gjennomsnittlige marginale kostnaden; Honest beregnet den faktiske marginale kostnaden for å sette inn oppgaven i planen; ModelOpponent gjorde det samme, men la til en estimat av motstanderens kostnad, og bud maks; og RiskSeeking blandet en tid-avtakende prioritet med live-kostnads-estimering og motstander-modellering – igjen bud maks.

Evalueringen inkluderte 40 LLM-kodede agenter bygget med (ovennevnte) GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro og DeepSeek R1. Hver modell ble promptet med fem forskjellige strategier, anvendt to ganger per modell.

To strategier brukte statiske prompter skrevet av forskjellige forfattere, mens en tredje ba modellen om å reflektere over og revidere sin egen utgang; en annen involverte kritikk og revisjon av en separat LLM. Den siste strategien brukte GPT-4 til å syntetisere en ny prompt ved å gjennomgå alle fire tidligere tilnærminger.

Grunn-prompten reflekterte den opprinnelige student-oppgaven, som beskrev leverings-miljøet og instruerte modellen om å bud og planlegge for å maksimere fortjeneste, uten å bruke høy-kompleksitets-metoder.

Alle LLM-agenter ble testet i både selv-spill og turnerings-innstillinger til alle observerbare feil var fikset. Feil-retting ble håndtert autonomt av LLM-ene selv, promptet med feil-informasjon.

Vanlige LLM-feil, bemerker artikkelen, inkluderte brudd på tidsbegrensninger, feil i å hente eller levere tildelte oppgaver, og brudd på kjøretøy-kapasitets-begrensninger – feil som ofte oppstod fra å ignorere eksplisitte instruksjoner, eller fra feilaktig omplanlegging-logikk^†:

‘En annen vanlig feil vi fant (hovedsakelig med Gemini, Claude og DeepSeek, og ikke så mye med GPT) er at LLM-en ofte konsekvent feilet i å løse en feil.

‘For eksempel, en agent ville konsekvent time-out, til tross for flere (f.eks. 5 − 15) sykluser av å prompte LLM-en med feilen og motta den oppdaterte versjonen av koden.

‘Den eneste løsningen vi fant for slike situasjoner (der LLM-en gjentakende feiler i å løse den samme feilen) er å starte på nytt fra scratch. Overordnet sett observerte vi behovet for bettydelig manuell innsats for å oppnå feilfri kode. Vi måtte generere betydelig flere agenter for å få de 40 feilfrie vi evaluerte.’

Resultatene som vises nedenfor summerer resultater fra 12 dobbelte round-robin-turneringer, som omfatter fire nettverks-topologier og tre turneringer per topologi, og gir det beste delen av 40 000 kamper:

For sammenligning, spilte hver agent 112 kamper per turnering, så maksimumsgjennomsnitt for seiere eller tap per agent er 112. Standardavvik (SD) reflekterer variasjon over turneringer. Menneske-kodede agenter vises i fet skrift. LLM-kodede agenter er merket med modell (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), etterfulgt av en to-bokstavs prompt-strategi-kode og en siffer som indikerer om agenten er den første eller andre generert med denne prompten. Kilde

I forhold til resultater som vises ovenfor, sier forfatterne^†:

‘LLM-er genererte ikke forventet/konkurransedyktig kode, selv i enklere varianter av APDP-problemet (til tross for at koden var nesten fri for syntaksfeil). Dette understreker viktigheten av resonning-drevet kode-evaluering-benchmark som går utenfor auto-complete og identifiserer nye svakheter i LLM-er.’

‘Våre resultater demonstrerer en tydelig overlegenhet for menneske-kodede agenter: (i) De topp 5 plassene er konsekvent holdt av student-agenter, og (ii) flertallet av LLM-agenter (33 av 40) ble slått av svært enkle basisagenter (slik som den forventede kostnads-fikset bud).

‘Viktigere, vi debugget ikke student-koden (mens vi grundig testet/debugget LLM-koden, både i selv-spill og turnerings-innstilling). Hver gang en student-agent krasjet, ga vi automatisk seieren til LLM-en. Et stort antall av disse krasjene ville være enkle å fikse (f.eks. agenter som time-out), så student-agenter kunne potensielt rangere enda høyere.’

Som en ytterligere eksperiment, ble GPT-5 Thinking promptet til å forbedre koden til den beste menneske-kodede agenten, Student 1; men den nå LLM-modifiserte agenten falt til tiende plass, nå den dårligste av alle menneske-kode-resultatene. I stedet for å forbedre løsningen, forverret LLM-ene endringene den med nesten 20%.

Forfatterne konkluderer:

‘[Våre] resultater understreker viktige begrensninger i LLM-kode-generering, mest merkbart deres begrensede resonning- og planleggings-evner mens de genererer [kode]. Moderne LLM-er er i stand til å levere syntaks-feil-frie kode som kjører, men det er ikke benchmarket vi bør bruke til å måle fremgang mot avansert generell AI.’

Konklusjon

Forfatterne selv observerer mot slutten av artikkelen at vibe-koding har gitt mennesker av alle tekniske bakgrunner mulighet, og karakteriserer praksisen i et positivt lys, som en utjevner. Likevel antyder de også at fordi vibe-koding har nettopp ankommet, er dens grenser ikke kjent, og kan antas å være høyere enn man realistisk kan forvente.

De avslutter sitt tilbud med å påkalle en mål-endring ‘fra kode som kompilerer til kode som konkurranse‘.

En spørsmål som den uforberedte leser av denne interessante nye artikkelen kan ha, er om forfatterne slår opp eller ned, siden den agente-oppgaven i spørsmål er betraktelig mer kompleks og involvert enn å spy ut PowerShell-skript og andre former for mindre funksjonalitet og fikser for hvilke vibe-koding er godt egnet.

* Vennligst merk at artikkelen henviser kontinuerlig til ‘DeepThink R1′, som ser ut til å være ikke-eksisterende, og bare dukker opp noen få ganger på internettet (antageligvis fra andre forfattere som har skrevet feil ‘DeepSeek R1)’. Hvis dette er min feil, vennligst kontakt meg via mine profil-detaljer, og jeg vil korrigere.

^† Forfatternes betoning, ikke min.

Først publisert onsdag, 26. november 2025. Endret 17:35 est for formatering.