Menselijke Code Van 2020 Versloeg Vibe-Gecodeerde Agents in Agente-Tests

ChatGPT en andere vibe-coding-tools werden getest in bijna 40.000 wedstrijden – en verloren van code geschreven door een masterstudent voordat de uitvinding van Large Language Models.

In een nieuwe studie uit het VK hebben onderzoekers menselijk gecodeerde agents tegenover vibe-gecodeerde agents ontwikkeld met de nieuwste Large Language Models (LLM’s), zoals ChatGPT-5 en Claude, en ontdekt dat de agents die zonder hulp van AI zijn gemaakt, de AI-gefaciliteerde versies gemakkelijk versloegen.

Beide sets agents zijn gemaakt door verschillende generaties studenten van het Artificial Intelligence Laboratory van de Swiss Federal Technology Institute of Lausanne. De niet-AI-agents zijn ontwikkeld als onderdeel van een cursus in 2020, twee jaar voordat de invoering van ChatGPT en het begin van de LLM-revolutie, terwijl de nieuwe agents zijn gemaakt door huidige studenten, geholpen door de nieuwste en beste LLM’s die beschikbaar zijn.

Zelfs met een oneerlijke wedstrijd konden de vibe-gecodeerde oplossingen niet winnen, en de top vijf posities werden consistent ingenomen door ‘raw’ agents, met de meerderheid van de LLM-agents (33 van de 40) gemakkelijk verslagen door ‘zeer eenvoudige’ baseline-agents, over 38.304 uitdagingen in een toernooi, over een breed aantal variabelen en omstandigheden.