Menneskekode fra 2020 knuste vibe-kodede agenter i agente-test

ChatGPT og andre vibe-kodningsværktøjer blev sat til prøve i næsten 40.000 kampe – og tabte til kode skrevet af studerende før opfindelsen af Large Language Models.

I en ny studie fra Storbritannien satte forskere menneske-kodede agenter op imod vibe-kodede agenter udviklet med de seneste Large Language Models (LLMs), såsom ChatGPT-5 og Claude, og fandt, at agenterne skabt uden AI’s hjælp meget let besejrede de AI-faciliteterede versioner.

Begge sæt af agenter blev skabt af forskellige generationer af studerende fra det schweiziske tekniske institut i Lausanne. De ikke-AI-agenter blev udviklet som en del af en kursus i 2020, to år før opfindelsen af ChatGPT og starten på LLM-revolutionen, mens de nye agenter blev skabt af nuværende studerende med hjælp fra de seneste og bedste LLM’er, der er til rådighed.

Selv med et manipuleret spil kunne vibe-kodede løsninger ikke vinde, og de fem øverste pladser blev konsekvent besat af ‘rå’ agenter, med de fleste LLM-agenter (33 ud af 40) let besejret af ‘meget simple’ baseline-agenter, på tværs af 38.304 udfordringer i en turnering, på tværs af et stort antal variable og omstændigheder.