Lidský kód z roku 2020 porazil agentů vytvořených pomocí vibračního kódování v agentských testech

ChatGPT a další nástroje pro vibe coding byly otestovány v téměř 40 000 zápasech – a prohrály s kódem postgraduálních studentů napsaným před vznikem velkých jazykových modelů.Nová britská studie postavila agenty napsané lidmi proti agentům vytvořeným pomocí vibe codingu s nejnovějšími velkými jazykovými modely jako GPT-5 a Claude. Agenti bez AI snadno zvítězili. Obě skupiny vytvořily různé ročníky studentů laboratoře AI na EPFL. Původní agenti vznikli v kurzu roku 2020, dva roky před ChatGPT, zatímco nové vytvořili současní studenti s pomocí nejlepších LLM. Ani s výhodami řešení vytvořená s AI nevyhrála. Prvních pět míst patřilo lidem a 33 ze 40 agentů LLM porazily velmi jednoduché základní strategie ve 38 304 utkáních. Autoři uvádějí:

„Ačkoli moderní LLM dokážou vytvořit spustitelný kód bez syntaktických chyb, jejich řešení nekonkuruje lidským návrhům ve strategickém plánování, optimalizaci ani soutěži více agentů.“

„Práce ukazuje novou hranici generování kódu a podporuje vývoj benchmarků, datových sad a otevřených základů zdůrazňujících syntézu kódu založenou na uvažování.“

Úkolem bylo kreativně se účastnit aukcí s různými strategiemi a naplánovat logistiku vyhraných dodávek. LLM dostaly výhody, včetně možnosti opravovat kód, kterou řešení z roku 2020 neměla. Ani když jim byl ukázán opravný kód, nedokázaly jej využít:

„I když v kontextu ukážeme dobré řešení, LLM jej stále nedokáže použít.“

„Výsledek otevírá otázky o limitech učení v kontextu a řešení složitých problémů s vyhledáváním informací.“

Testovány byly GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 a DeepSeek R1*. Nová studie se jmenuje Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning a pochází od autorů z University of Southampton, University of Oxford a Alan Turing Institute. Benchmark má být brzy zveřejněn.

Metoda

Tradiční testy se zaměřují na binární výsledky — správně nebo nesprávně — ověřené pomocí jednotkových testů. Autoři proto navrhli otevřenější vícestupňovou výzvu, v níž je vítězství možné, ale obtížné. Srovnání přístupu založeného na jednotkových testech a otevřenějšího scénáře. ZdrojProblém Auction, Pickup and Delivery (APDP) byl zvolen i proto, že existoval soubor studentského kódu z roku 2020, vytvořený před pomocí AI. Dnešní studenti dostali stejné zadání s moderními nástroji. Autoři se vyhnuli benchmarkům HumanEval, BigCodeBench a WebDev Arena kvůli možné kontaminaci dat, kdy se systém mohl učit na testovacích datech namísto dodržení správného rozdělení.Reverzní aukce a plánování tras vozidel tvoří dvoufázový APDP. Nejprve agenti nabízejí cenu za doručení; příliš vysoká nabídka prohraje, příliš nízká může být ztrátová. Poté plánují jen vyhrané úkoly pro vozidla s různou kapacitou a náklady v časových a zdrojových omezeních. Firmy nabízejí v reverzních aukcích a poté optimalizují trasy vozidel pro vyhrané úkoly.Cílem je maximalizovat zisk předvídáním výhodných balíků úkolů a strategií soupeřů. Každá aukce mění budoucí možnosti, takže agent musí uvažovat o nákladech, pozici, čase a dlouhodobých důsledcích. Jádro problému je NP-hard: s rostoucím počtem úkolů nelze spolehlivě najít nejlepší řešení v rozumném čase.

Závod začíná

Hodnocení porovnalo 40 agentů LLM se 17 lidskými agenty ve 12 turnajích na čtyřech silničních topologiích formátem každý s každým. Každá dvojice hrála dvakrát, což dalo 3 192 zápasů na turnaj a 38 304 celkem. V každém zápase se dražilo 50 dodávek na mapách Švýcarska, Francie, Velké Británie a Nizozemska. Silniční sítě použité v turnaji a označení úkolů a poloh vozidel.Studentští agenti pocházeli z turnaje kurzu roku 2020: osm finalistů a čtyři další silní proti základům. Základní agenti používali pevné heuristiky. Naive počítal celkovou vzdálenost s jedním vozidlem; ExpCostFixedBid simuloval deset úkolů a nabízel průměrné mezní náklady; Honest počítal skutečné mezní náklady; ModelOpponent přidal odhad nákladů soupeře; a RiskSeeking spojil časově klesající odhad s aktuálními náklady a modelem soupeře. Čtyřicet agentů LLM vzniklo pomocí GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro a DeepSeek R1, každý s pěti strategiemi promptu dvakrát. Dva prompty byly statické, třetí vyžadoval sebereflexi, čtvrtý kritiku jiným LLM a pátý syntetizoval GPT-4. Základní prompt odpovídal původnímu studentskému zadání. Agenti LLM byli testováni a opravováni samotnými modely, dokud nezmizely pozorované chyby. Častými selháními byly časové limity, nevyzvednutí či nedoručení úkolů a porušení kapacity vozidel kvůli ignorování pokynů nebo chybnému přeplánování^†:

„Častým problémem, zejména u Gemini, Claude a DeepSeek, bylo opakované selhání při opravě chyby.“

„Agent stále překračoval časový limit i po 5–15 cyklech, kdy LLM dostal chybu a dodal novou verzi kódu.“

„Jediným řešením bylo začít od nuly. Bezchybný kód vyžadoval značné ruční úsilí a museli jsme vytvořit mnohem více agentů, abychom získali 40 funkčních.“

Tabulka shrnuje 12 dvojitých turnajů, téměř 40 000 zápasů:

Každý agent odehrál 112 zápasů na turnaj. Směrodatná odchylka (SD) ukazuje variabilitu. Lidští agenti jsou tučně. Agenti LLM jsou označeni modelem (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), kódem strategie promptu a číslem prvního či druhého vygenerování. ZdrojK výsledkům autoři uvádějí^†:

„LLM nevytvořily očekávaný ani konkurenceschopný kód ani v jednodušších variantách APDP, přestože byl většinou bez syntaktických chyb. Potřebujeme benchmarky založené na uvažování, které jdou za automatické doplňování.“

„Lidští agenti jasně dominovali: prvních pět míst trvale obsadili studenti a 33 ze 40 agentů LLM porazily velmi jednoduché základní strategie.“

„Studentský kód jsme neopravovali, zatímco kód LLM jsme důkladně testovali a ladili. Každý pád studenta znamenal automatickou výhru LLM. Mnoho pádů by šlo snadno opravit, takže studenti mohli být ještě výše.“

V dalším experimentu měl GPT-5 Thinking vylepšit nejlepšího lidského agenta Student 1; upravený agent klesl na desáté, nejhorší lidské místo. Změny snížily výkon téměř o 20 %. Autoři uzavírají:

„Výsledky ukazují zásadní omezení generování kódu LLM, zejména ve schopnosti uvažovat a plánovat. Kód bez syntaktických chyb není správným měřítkem pokroku k pokročilé obecné AI.“

Závěr

Autoři uznávají, že vibe coding zpřístupnil tvorbu lidem s různým technickým zázemím a působí jako vyrovnávací síla. Jeho hranice jsou však dosud neznámé a zřejmě nižší, než se předpokládá. Vyzývají k posunu cíle „od kódu, který se zkompiluje, ke kódu, který dokáže soutěžit“. Čtenář se může ptát, zda je srovnání přiměřené, protože agentní úloha je mnohem složitější než drobné skripty PowerShell a opravy, pro něž se vibe coding dobře hodí. * Poznámka: studie stále používá název „DeepThink R1“, který zřejmě neexistuje a pravděpodobně je chybným zápisem „DeepSeek R1“. Pokud se mýlím, kontaktujte mě přes profil a text opravím.^† Zvýraznění pochází od autorů.Poprvé zveřejněno ve středu 26. listopadu 2025. Formátování upraveno v 17:35 EST.