Codul Uman Din 2020 A Învinge Agentii Vibe-Codati în Testele Agentice

ChatGPT și alte instrumente de vibe coding au fost testate în aproape 40.000 de meciuri și au pierdut în fața codului scris de masteranzi înainte de apariția modelelor lingvistice mari.Un nou studiu britanic a comparat agenți programați de oameni cu agenți creați prin vibe coding cu cele mai noi modele lingvistice mari precum GPT-5 și Claude. Agenții realizați fără AI au câștigat ușor. Ambele grupuri au fost create de generații diferite de studenți ai laboratorului AI de la EPFL. Agenții fără AI proveneau dintr-un curs din 2020, cu doi ani înainte de ChatGPT, iar cei noi au fost făcuți de studenți actuali ajutați de cele mai bune LLM-uri. Chiar și cu avantaje acordate AI, soluțiile vibe-coded nu au câștigat: primele cinci locuri au revenit agenților umani, iar 33 din 40 de agenți LLM au fost învinși de strategii de bază foarte simple în 38.304 confruntări. Lucrarea afirmă:

„Deși LLM-urile moderne pot genera cod funcțional, fără erori de sintaxă, soluția nu concurează cu cele proiectate de oameni la planificare strategică, optimizare sau competiție multi-agent.”

„Această lucrare evidențiază noua frontieră a generării de cod și urmărește dezvoltarea de benchmark-uri, seturi de date și baze open-source care solicită sinteza de cod bazată pe raționament.”

Provocarea cerea participarea creativă la licitații și planificarea logisticii pentru livrarea sarcinilor câștigate. LLM-urile au primit avantaje, inclusiv intervenții asupra codului, inaccesibile soluțiilor din 2020. Totuși, chiar când li s-a oferit cod corectiv, nu l-au putut folosi:

„În benchmark-ul nostru, chiar dacă prezentăm în context o soluție bună, LLM-ul tot nu o poate utiliza.”

„Rezultatul ridică întrebări despre limitele învățării în context și ale rezolvării problemelor complexe cu recuperare de informații.”

Modelele testate au fost GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 și DeepSeek R1*. Noua lucrare se intitulează Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning și are autori de la University of Southampton, University of Oxford și Alan Turing Institute. Benchmark-ul urmează să fie publicat în curând.

Metodă

Testele tradiționale folosesc adesea rezultate binare — corect sau incorect — verificate prin teste unitare. Autorii au conceput în schimb o provocare deschisă, cu repere multiple, în care victoria este posibilă, dar dificilă. Comparație între abordările standard bazate pe teste unitare și scenariul mai deschis al autorilor. SursăProblema Auction, Pickup and Delivery (APDP) a fost aleasă și datorită unui corpus de cod studențesc din 2020, scris înainte ca AI să poată ajuta dezvoltarea. Studenții actuali au primit aceeași temă, dar au folosit instrumente moderne. Autorii au evitat benchmark-uri precum HumanEval, BigCodeBench și WebDev Arena din cauza contaminării datelor, când sistemul s-ar putea antrena pe datele de test în loc să respecte separarea seturilor.Licitațiile inverse și rutarea vehiculelor formează APDP. Mai întâi agenții licitează pentru sarcini de livrare: o ofertă prea mare pierde, una prea mică poate produce pierderi. Apoi planifică eficient doar sarcinile câștigate, folosind vehicule cu capacități și costuri diferite, sub limite de timp și resurse. În APDP, companiile licitează în licitații inverse și apoi optimizează rutele vehiculelor pentru sarcinile câștigate.Scopul este profitul maxim, anticipând grupurile avantajoase de sarcini și strategiile rivalilor. Fiecare licitație schimbă opțiunile următoare, deci agenții trebuie să gândească la cost, poziționare, timp și consecințe. Problema centrală este NP-hard: pe măsură ce numărul sarcinilor crește, nu există un algoritm care să găsească sigur soluția optimă într-un timp rezonabil.

Începe cursa

Evaluarea a comparat 40 de agenți LLM cu 17 agenți umani în 12 turnee, pe patru topologii rutiere, în sistem fiecare cu fiecare. Fiecare pereche s-a întâlnit de două ori, rezultând 3.192 de meciuri pe turneu și 38.304 în total. În fiecare meci s-au licitat 50 de livrări pe hărți inspirate din Elveția, Franța, Marea Britanie și Țările de Jos. Rețelele rutiere simplificate ale turneului și pozițiile sarcinilor și vehiculelor.Agenții studenților proveneau din turneul unui curs din 2020: opt finaliști și încă patru performanți față de strategiile de bază. Acestea foloseau euristici fixe. Naive calcula distanța și licita folosind un singur vehicul; ExpCostFixedBid simula zece sarcini și oferea costul marginal mediu; Honest calcula costul real al inserării în program; ModelOpponent adăuga o estimare a costului rivalului; iar RiskSeeking combina o estimare care scădea în timp cu costul curent și modelarea rivalului. Cei 40 de agenți LLM au fost generați cu GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro și DeepSeek R1, fiecare cu cinci strategii de prompt, de două ori. Două prompturi erau statice, unul cerea autoreflecție, altul critica printr-un LLM separat, iar ultimul era sintetizat de GPT-4. Promptul de bază reproducea tema studenților. Agenții au fost testați și depanați de LLM-uri până la eliminarea erorilor observabile. Eșecurile frecvente includeau depășirea timpului, neluarea sau nelivrarea sarcinilor și depășirea capacității vehiculelor, adesea din ignorarea instrucțiunilor sau replanificare defectuoasă^†:

„O problemă frecventă, mai ales la Gemini, Claude și DeepSeek, era imposibilitatea repetată de a rezolva un defect.”

„Un agent depășea constant timpul chiar după 5–15 cicluri în care modelul primea eroarea și furniza o versiune actualizată.”

„Singura soluție era reluarea de la zero. Obținerea unui cod fără erori a necesitat mult efort manual și a trebuit să generăm mult mai mulți agenți pentru a găsi 40 funcționali.”

Tabelul rezumă cele 12 turnee duble, aproape 40.000 de meciuri:

Fiecare agent a jucat 112 meciuri pe turneu. Abaterea standard (SD) arată variația între turnee. Agenții umani sunt îngroșați. Cei LLM sunt identificați prin model (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), codul strategiei de prompt și numărul primei sau celei de-a doua generări. SursăDespre rezultate, autorii spun^†:

„LLM-urile nu au produs cod competitiv nici în variante mai simple ale APDP, deși codul era în mare parte fără erori de sintaxă. Sunt necesare benchmark-uri de evaluare bazate pe raționament, dincolo de autocompletare.”

„Agenții umani au fost clar superiori: primele cinci locuri au revenit constant studenților, iar 33 din 40 de agenți LLM au fost bătuți de strategii de bază foarte simple.”

„Nu am depanat codul studenților, dar am testat și depanat atent codul LLM. La fiecare blocare a unui student, LLM-ul primea automat victoria. Multe blocări erau ușor de remediat, deci studenții ar fi putut clasa și mai sus.”

Într-un experiment suplimentar, GPT-5 Thinking a încercat să îmbunătățească cel mai bun agent uman, Student 1; versiunea modificată a coborât pe locul zece, cel mai slab rezultat uman. Modificările au degradat performanța cu aproape 20%. Autorii concluzionează:

„Rezultatele arată limite importante ale generării de cod cu LLM, în special în raționare și planificare. Codul modern poate rula fără erori de sintaxă, dar acesta nu este benchmark-ul potrivit pentru progresul spre inteligență generală avansată.”

Concluzie

Autorii recunosc că vibe coding a oferit putere oamenilor cu orice nivel tehnic și îl descriu drept o forță de egalizare. Totuși, limitele sale sunt încă necunoscute și probabil mai joase decât se presupune. Ei cer schimbarea obiectivului „de la cod care se compilează la cod care concurează”. Cititorul poate întreba dacă testul compară corect lucrurile, fiindcă sarcina agentică este mult mai complexă decât scripturile PowerShell și micile funcții la care vibe coding excelează. * Notă: lucrarea folosește constant numele „DeepThink R1”, care pare să nu existe și probabil este o scriere greșită a „DeepSeek R1”. Dacă aceasta este eroarea mea, vă rog să mă contactați și voi corecta.^† Sublinierea aparține autorilor.Publicat inițial miercuri, 26 noiembrie 2025. Modificat la 17:35 EST pentru formatare.