Mänsklig kod från 2020 krossade vibe-kodade agenter i agenter-tester

ChatGPT och andra vibe-kodningsverktyg sattes på prov i nästan 40 000 matcher – och förlorade mot kod skriven av en masterstudent före uppfinningen av stora språkmodeller.

I en ny studie från Storbritannien ställdes mänskligt skrivna agenter mot vibe-kodade agenter som utvecklats med de senaste stora språkmodellerna (LLM), såsom ChatGPT-5 och Claude, och fann att agenterna som skapades utan AI-stöd lätt besegrade de AI-faciliteterade versionerna.

Båda uppsättningarna av agenter skapades av olika generationer av studenter från det artificiella intelligenslaboratoriet vid det schweiziska federala tekniska institutet i Lausanne. De icke-AI-agenter utvecklades som en del av kursarbeten 2020, två år före tillkomsten av ChatGPT och början på LLM-revolutionen, medan de nya agenterna skapades av nuvarande studenter med hjälp av de senaste och bästa LLM:erna som finns tillgängliga.

Även med ett riggat spel kunde de vibe-kodade lösningarna inte vinna, och de fem toppositionerna hölls konsekvent av “råa” agenter, med majoriteten av LLM-agenter (33 av 40) besegrades lätt av “mycket enkla” basagenter, över 38 304 utmaningar i en turnering, över ett stort antal variabler och omständigheter.

Artikeln fortsätter med att beskriva studiens resultat och metoder, och hur de mänskligt skrivna agenterna presterade bättre än de AI-genererade agenterna i olika tester och utmaningar.

Metod

Författarna noterar att traditionella tester inom detta område fokuserar på utmaningar med tydligt definierade binära lösningar (korrekt eller inte korrekt), verifierade genom enhetstester. De hävdar att detta inte är det ideala sättet att undersöka begränsningarna för LLM-stödd kod, och författarna har därför utvecklat en mer komplex utmaningsscenarie med flera interna benchmark och milstolpar, där seger är möjlig, men långt ifrån enkel.

Jämförelse av standard, enhetstestbaserade tillvägagångssätt (ovan), och den mer öppna utmaningsscenariot som författarna har utvecklat (i blått, nedan). Källa

Utmaningen som författarna har utvecklat kallas Auction, Pickup and Delivery Problem (APDP), och består av två delar: auktioner och logistik. I den första delen tävlar agenterna om att vinna leveransuppgifter genom att lämna anbud på hur mycket de ska betalas för att slutföra varje uppgift. I den andra delen måste varje agent skapa en effektiv plan för att slutföra endast de uppgifter de vunnit, genom att tilldela uppgifterna till fordon med olika kapaciteter och kostnader, under tids- och resursbegränsningar.

Tävlingen är igång

Författarnas utvärdering jämförde 40 LLM-kodade agenter mot 17 mänskligt skrivna agenter i en serie av head-to-head-turneringar. Var och en av de 12 turneringarna använde en annan kombination av fyra vägnätverkstopologier, och bestod av all-play-all parningar, med agenter som mötte varje annan motståndare två gånger: en gång som kontrollanter av två företag, med olika fordonsspecifikationer.

Detta upplägg gav 3 192 matcher per turnering, totalt 38 304 matcher. I varje match auktionerades 50 leveransuppgifter, definierade av deras upphämtnings- och leveranspunkter och vikt, och drogs slumpmässigt över väglayouter modellerade efter Schweiz, Frankrike, Storbritannien och Nederländerna.

Förenklade vägnätverk som användes i turneringen: Storbritannien (överst till vänster), Schweiz (överst till höger), Nederländerna (nederst till vänster) och Frankrike (nederst till höger). Blå och röda fyrkanter markerar upphämtnings- och leveransuppgifter. Färgade trianglar visar agenternas fordonens nuvarande positioner.

Studentagenterna valdes ut från en turnering 2020. Åtta kom från de bästa prestationerna i en enskild utslagning, och fyra valdes ut för starka prestationer mot basagenterna i head-to-head-matcher.

Basagenterna följde fasta heuristiker. Naiv beräknade total distans och lämnade anbud därefter, med endast ett fordon och ignorerande batchning; ExpCostFixedBid simulerade 10 slumpmässiga uppgifter och lämnade anbud på genomsnittlig marginalkostnad; Ärlig beräknade den faktiska marginalkostnaden för att införa uppgiften i schemat; ModelOpponent gjorde detsamma men lade till en uppskattning av motståndarens kostnad, och lämnade anbud på maximum; och RiskSeeking blandade en tidsavtagande prioritet med levande kostnadsuppskattning och motståndarmodellering – och lämnade anbud på det högsta av de två.

Utvärderingen inkluderade 40 LLM-kodade agenter byggda med (ovannämnda) GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro och DeepSeek R1. Varje modell fick fem olika strategier, tillämpade två gånger per modell.

Resultaten visar att de mänskligt skrivna agenterna presterade bättre än de LLM-kodade agenterna i de flesta fallen, och att de LLM-kodade agenterna hade svårt att generera kod som kunde konkurrera med de mänskligt skrivna agenterna.

Slutsats

Författarna konstaterar att deras resultat visar på viktiga begränsningar för LLM-kodgenerering, särskilt när det gäller deras begränsade resonemangs- och planeringsförmåga. De menar att moderna LLM:er kan generera syntax-fria kod som fungerar, men att detta inte är den benchmark som bör användas för att mäta framsteg mot avancerad allmän AI.

Författarna avslutar med att kalla för en förändring av fokus från “kod som kompilerar” till “kod som konkurrerar”.

En fråga som den ovana läsaren av denna intressanta nya artikel kan ha är om författarna slår upp eller ner, eftersom den agenterelaterade uppgiften i fråga är betydligt mer komplex och involverad än att generera PowerShell-skript och andra former av mindre funktionalitet och korrigeringar, för vilka vibe-kodning är väl lämpad.

* Vänligen notera att artikeln hänvisar kontinuerligt till ‘DeepThink R1′, som verkar vara icke-existerande, och endast ger ett fåtal referenser på internet (förmodligen från andra författare som har skrivit fel ‘DeepSeek R1)’. Om detta är mitt fel, vänligen kontakta mig via mina profiluppgifter, så kommer jag att korrigera.

^† Författarnas betoning, inte min.

Publicerad första gången onsdag, 26 november 2025. Ändrad 17:35 för formatering.