Menneskelig kode fra 2020 besejrede vibe-kodede agenter i agente-test

ChatGPT og andre vibe-kodningværktøjer blev testet i næsten 40.000 kampe – og tabte til kode skrevet af studerende før opfindelsen af Large Language Models.

I en ny studie fra Storbritannien fik forskerne menneskeligt kodede agenter til at konkurrere mod vibe-kodede agenter udviklet med de seneste Large Language Models (LLMs), såsom ChatGPT-5 og Claude, og fandt, at agenterne, der blev skabt uden AI-hjælp, let kunne besejre de AI-faciliteterede versioner.

Begge sæt af agenter blev skabt af forskellige generationer af studerende fra det schweiziske føderale tekniske institut i Lausanne. De ikke-AI-agenter blev udviklet som en del af en kursus i 2020, to år før opfindelsen af ChatGPT og starten på LLM-revolutionen, mens de nye agenter blev skabt af nuværende studerende med hjælp fra de seneste og bedste LLMs.

Selv med en manipuleret kamp kunne vibe-kodede løsninger ikke vinde, og de fem øverste pladser blev konsekvent besat af ‘rå’ agenter, og de fleste LLM-agenter (33 ud af 40) blev let besejret af ‘meget simple’ baseline-agenter, på tværs af 38.304 udfordringer i en turnering, på tværs af et stort antal variable og omstændigheder.

Artiklen siger:

‘Vores arbejde demonstrerer, at selvom state-of-the-art LLMs kan generere kode, der kører (dvs. fri for syntaksfejl), er den genererede løsning ikke konkurrencedygtig i forhold til menneskeligt designede løsninger på dimensioner såsom strategisk planlægning, optimering eller multi-agent-konkurrence.

‘Derfor bringer dette arbejde denne nye front i kodegenerering til forkanten, og sigter mod at faciliterer udviklingen af benchmarks, datasæt og open-source-baselines, der belaster reasoningsdrevet kode-syntese.’

Udfordringen, der blev udformet, var at deltage kreativt i auktioner på tværs af en række strategier og at arrangere logistikken for levering af vundne varer til vinderne.

Forfatterne bemærker, at en række fordele blev givet til LLMs, såsom at gribe ind i deres kode for at forbedre deres præstation – en fordel, der ikke var tilladt for 2020-koden. Trods dette kunne LLMs ikke acceptere eller bruge denne fordel, selv når de fik korrekt kode, der ville have forbedret deres resultater:

‘[I] vores benchmark, selv når vi eksponerer en god løsning i kontekst, kan LLM ikke udnytte den.

‘Dette resultat rejser også interessante fremtidige forskningsspørgsmål om grænserne for in-context-læring og retrieval-forstærket problemløsning i komplekse scenarier.’

LLMs, der blev brugt i testen, var GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 og DeepSeek R1*.

Den nye artikel har titlen Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning og kommer fra en forfatter fra University of Southampton og en anden fra University of Oxford og Alan Turing Institute. Benchmarket vil, ifølge forfatterne, blive frigivet snart.

Metode

Forfatterne bemærker, at traditionelle tests i denne sfære fokuserer på udfordringer med klart definerede binære løsninger (korrekt eller ikke korrekt), verificeret gennem unit-tests. De hævder, at dette ikke er den ideelle måde at udforske begrænsningerne for LLM-hjulpet kode, og har i stedet udformet en mere kompleks udfordrings-scenario med multiple interne benchmarks og milepæle, hvor sejr er muligt, men langt fra simpelt:

Sammenligning af standard, unit-test-baserede tilgange (øverst), og den mere åbne udfordrings-scenario, der er udformet af forfatterne (i blåt, nederst). Kilde

Auktion, afhentning og leverings-problemet (APDP) blev brugt i forfatternes studie og var delvist selvvalgt på grund af tilgængeligheden af en korpus af 2020-studentarbejde fra det schweiziske universitet; arbejde, der havde til formål at skabe automatiserede agenter til APDP-opgaven, før muligheden for at styrke udviklingen gennem AI. Derfor var det relativt let at give moderne studerende samme opgave, men med de nuværende værktøjer.

Forfatterne søgte at undgå populære test-rammer såsom HumanEval, BigCodeBench og WebDev Arena (iblandt mange andre), da denne klasse af test-procedurer tenderer til at lide under data-forurening (dvs. tilfælde, hvor systemet måske har trænet på test-data i stedet for at respektere en split).

APDP er et to-trins logistik-problem baseret på reverse-auktioner og køretøjs-ruteplanlægning. I første trin konkurrerer agenterne om at vinde leverings-opgaver ved at indgive bud på, hvor meget de skal betales for at fuldføre hver opgave. At budde for højt betyder at tabe opgaven; at budde for lavt kan betyde at tabe penge.

I andet trin skal hver agent skabe en effektiv plan til at fuldføre kun de opgaver, de har vundet, ved at tildele dem til køretøjer med forskellige kapaciteter og omkostninger, under tids- og ressource-begrænsninger:

I APDP, buder virksomheder på reverse-auktioner for leverings-opgaver, derefter optimerer de køretøjs-ruter for at fuldføre kun de opgaver, de har vundet, med det formål at maksimere profit.

Målet er ikke blot at fuldføre opgaverne, men at maksimere den samlede profit ved at forudse, hvilke bundter af opgaver, der vil fungere bedst sammen, og forudse strategierne for konkurrenter, der alle forsøger at gøre det samme.

APDP-benchmarket øger sværhedsgraden af kode-genererings-opgaver ved at introducere strategisk planlægning på tværs af en række afhængige auktioner, hvor hver bud ændrer landskabet for fremtidige valg; og kræver derfor, at agenterne forstår ikke blot omgående omkostninger, men også positionering, timing og langsigtede konsekvenser.

Det centrale leverings-problem er NP-hard, dvs. ingen algoritme kan pålideligt finde den bedste løsning på rimelig tid, når antallet af opgaver vokser. Dette gør, at brute force ikke er en brugbar tilgang, og tvinger agenterne til at handle præcision for hastighed.

Kap-løbet er i gang

Forfatternes evaluering sammenlignede 40 LLM-kodede agenter med 17 menneskeligt kodede agenter i en række head-to-head-turneringer. Hver af de 12 turneringer brugte en anden kombination af fire vej-netværk-topologier og bestod af all-play-all-par-rengøringer, hvor agenterne mødte hver modstander to gange: en gang som kontrollerende selskab og en gang som det andet selskab, med forskellige køretøjs-specifikationer.

Dette setup resulterede i 3.192 kampe per turnering, i alt 38.304 kampe. I hver kamp blev 50 leverings-opgaver auktioneret, defineret af deres afhentnings- og leveringspunkter og vægt, og trukket tilfældigt på tværs af vej-layout, der var modelleret på Schweiz, Frankrig, Storbritannien og Holland:

Forenklede vej-netværk, der blev brugt i turneringen: Storbritannien (øverst til venstre), Schweiz (øverst til højre), Holland (nederst til venstre) og Frankrig (nederst til højre). Blå og røde firkanter markerer afhentnings- og leverings-opgaver. Farvede trekanter viser den nuværende position for agenternes køretøjer.

Student-agenterne blev trukket fra en 2020-kursus-turnering. Otte kom fra de bedste performere i en enkelt-eliminations-finale, og fire mere blev valgt for stærke præstationer mod baseline-agenterne i head-to-head-kampe.

Baseline-agenterne fulgte faste heuristikker. Naiv beregnede den samlede distance og bød derefter, ved at bruge kun ét køretøj og ignorere batchning; ExpCostFixedBid simulerede 10 tilfældige opgaver og bød den gennemsnitlige marginale omkostning; Honest beregnede den faktiske marginale omkostning ved at indsætte opgaven i tidsplanen; ModelOpponent gjorde det samme, men tilføjede en estimat af modstanderens omkostning, og bød maksimum; og RiskSeeking blandede en tids-afbrydende prioritet med live-omkostnings-estimering og modstander-modellering – igen bød det højere af de to.

Evalueringen omfattede 40 LLM-kodede agenter, der blev bygget med (ovennævnte) GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro og DeepSeek R1. Hver model blev promptet med fem forskellige strategier, der blev anvendt to gange per model.

To strategier brugte statiske prompts skrevet af forskellige forfattere, mens en tredje bad modellen om at selv-reflektere og revidere sin egen output; en anden involverede kritik og revision af en separat LLM. Den sidste strategi brugte GPT-4 til at syntetisere en ny prompt ved at gennemgå alle fire tidligere tilgange.

Den grundlæggende prompt afspejlede den oprindelige student-opgave, der beskrev leverings-miljøet og instruerede modellen om at budde og planlægge for at maksimere profit, uden at stole på komplekse metoder.

Alle LLM-agenter blev testet i både selv-spil og turnerings-indstillinger, indtil alle observerbare fejl var rettet. Fejl-retning blev håndteret autonomt af LLMs selv, promptet med fejl-informationen.

Almindelige LLM-fejl, som artiklen bemærker, omfattede overtrædelse af tidsgrænser, fejl ved at afhente eller levere tildelte opgaver, og overtrædelse af køretøjs-kapacitets-begrænsninger – fejl, der ofte opstod på grund af, at de ikke respekterede eksplicitte instruktioner eller på grund af fejl i omplanlægnings-logik^†:

‘En anden almindelig fejl, vi fandt (især med Gemini, Claude og DeepSeek, og ikke så meget med GPT), er, at LLM ofte konsekvent fejlede i at løse en fejl.

‘For eksempel ville en agent konsekvent timeout, på trods af multiple (f.eks. 5 − 15) cykler af at prompte LLM med fejlen og modtage den opdaterede version af koden.

‘Den eneste løsning, vi fandt for sådanne situationer (hvor LLM gentagne gange fejler i at løse den samme fejl), er at starte forfra. Overordnet set observerede vi behovet for betragtelig manuel indsats for at opnå fejl-fri kode. Vi måtte generere betragteligt flere agenter for at få de 40 fejl-frie, vi evaluerede.’

Resultaterne, der vises nedenfor, summerer resultater fra 12 dobbelt-omgangs-turneringer, der omfatter fire netværk-topologier og tre turneringer per topologi, hvilket resulterer i næsten 40.000 kampe:

Til sammenligning, spillede hver agent 112 kampe per turnering, så det maksimale gennemsnitlige antal sejre eller nederlag per agent er 112. Standardafvigelse (SD) afspejler variabilitet på tværs af turneringer. Menneskeligt kodede agenter fremhæves i fed. LLM-kodede agenter er mærket med model (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), efterfulgt af en to-bogstavers prompt-strategi-kode og et tal, der angiver, om agenten er den første eller anden, der er genereret med denne prompt. Kilde

I forhold til resultaterne ovenfor siger forfatterne^†:

‘LLMs genererede ikke forventede/konkurrencedygtige kode, selv i simple varianter af APDP-problemet (på trods af, at koden var stort set fri for syntaksfejl). Dette understreger vigtigheden af reasoningsdrevne kode-evaluering-benchmarks, der går ud over auto-complete og identificerer nye svagheder i LLMs.’

‘Vore resultater demonstrerer en klar overlegenhet for menneskeligt kodede agenter: (i) De top 5 pladser er konsekvent besat af student-agenter, og (ii) de fleste LLM-agenter (33 ud af 40) bliver besejret af meget simple baseline-agenter (såsom den forventede omkostnings-fikserede bud).

‘Vigtigt, vi debuggede ikke student-koden (mens vi grundigt testede og debuggede LLM-koden, både i selv-spil og turnerings-indstillinger). Hver gang en student-agent crashed, gav vi automatisk sejren til LLM. Et stort antal af disse crashes ville være lette at rette (f.eks. agenter, der timed out), så student-agenter kunne potentielt rangere endnu højere.’

Som en yderligere eksperiment blev GPT-5 Thinking promptet til at forbedre koden for den bedst performende menneskeligt kodede agent, Student 1; men den nu LLM-modificerede agent faldt herefter til tiende pladsen, nu den dårligste af alle menneskeligt kodede scores. I stedet for at forbedre løsningen, forringede LLMs ændringer den med næsten 20%.

Forfatterne konkluderer:

‘[Vore] resultater fremhæver vigtige begrænsninger for LLM-kode-generering, mest bemærkelsesværdigt deres begrænsede reasonings- og planlægnings-evner, mens de genererer [kode]. Moderne LLMs kan levere syntaks-fejl-fri kode, der kører, men det er ikke den benchmark, vi skal bruge til at måle fremgang mod avanceret generel AI.’

Konklusion

Forfatterne selv bemærker mod slutningen af artiklen, at vibe-kodning har givet mennesker af alle tekniske baggrunde mulighed for at deltage, og karakteriserer praksis i en positiv lys, som en udjævner. De antyder dog også, at da vibe-kodning er en ny udvikling, er dens begrænsninger ikke kendt, og kan antages at være højere, end man realistisk kan forvente.

De afslutter deres artikel med at kalde for en mål-skift ‘fra kode, der compiler til kode, der konkurrerer’.

En spørgsmål, som den almindelige læser af denne interessante nye artikel kan have, er, om forfatterne slår opad eller nedad, da den agente-opgave i spørgsmål er betydeligt mere kompleks og involveret end at generere PowerShell-scripts og andre former for mindre funktionalitet og rettelser, som vibe-kodning er velegnet til.

* Vær venlig at bemærke, at artiklen henviser konstant til ‘DeepThink R1′, som synes at være ikke-eksisterende, og kun viser en håndfuld henvisninger på internettet (formodentlig fra andre forfattere, der har skrevet forkert ‘DeepSeek R1)’. Hvis dette er min fejl, kontakt mig venligst via mine profil-oplysninger, så jeg kan rette.

^† Forfatternes fremhævelse, ikke min.

Først publiceret onsdag, den 26. november 2025. Ændret kl. 17:35 øst for formatering.