Людський код 2020 року переміг агентів, створених за допомогою Vibe-Coding, у тестах агентських можливостей

ChatGPT та інші інструменти vibe coding перевірили майже у 40 000 матчах — і вони програли коду аспірантів, написаному до появи великих мовних моделей.Нове британське дослідження порівняло агентів, написаних людьми, з агентами, створеними за допомогою vibe coding на базі найновіших великих мовних моделей на кшталт GPT-5 і Claude. Агенти без допомоги AI легко перемогли. Обидві групи створили різні покоління студентів лабораторії AI в EPFL. Агенти без AI були курсовою роботою 2020 року, за два роки до ChatGPT, а нових створили нинішні студенти за допомогою найкращих LLM. Навіть із перевагами для AI vibe-coded рішення не виграли: перші п’ять місць посіли людські агенти, а 33 з 40 агентів LLM програли дуже простим базовим стратегіям у 38 304 випробуваннях. Автори пишуть:

«Хоча сучасні LLM можуть генерувати працездатний код без синтаксичних помилок, їхні рішення не конкурують із людськими у стратегічному плануванні, оптимізації чи багатоагентній конкуренції.»

«Ця робота висуває на перший план новий рубіж генерації коду та сприяє розробці benchmark-ів, наборів даних і відкритих базових рішень, що перевіряють синтез коду на основі міркувань.»

Завдання вимагало творчо брати участь в аукціонах за різними стратегіями й планувати логістику виграних доставок. LLM отримали переваги, зокрема можливість виправляти код, якої не мали рішення 2020 року. Та навіть коли їм показували корисний код, вони не могли ним скористатися:

«Навіть коли ми показуємо добрий розв’язок у контексті, LLM усе одно не може його використати.»

«Результат порушує питання про межі навчання в контексті та розв’язання складних задач із пошуком інформації.»

Тестували GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 і DeepSeek R1*. Нова стаття має назву Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning; її автори представляють University of Southampton, University of Oxford та Alan Turing Institute. Benchmark мають невдовзі опублікувати.

Метод

Традиційні тести зосереджуються на бінарних відповідях — правильно або неправильно — які перевіряють модульними тестами. Автори натомість створили відкриту багаторівневу задачу, де перемога можлива, але непроста. Порівняння підходів на основі модульних тестів та відкритішої задачі. ДжерелоAuction, Pickup and Delivery Problem (APDP) обрали зокрема через наявність студентського коду 2020 року, створеного до можливості допомоги AI. Сучасні студенти отримали те саме завдання з новими інструментами. Автори уникали benchmark-ів HumanEval, BigCodeBench і WebDev Arena через ризик забруднення даних, коли система могла навчатися на тестових даних замість правильного розділення.Зворотні аукціони та маршрутизація транспорту утворюють двоетапну APDP. Спочатку агенти пропонують ціну за доставку: зависока ставка програє, занизька може спричинити збиток. Потім вони планують лише виграні завдання для машин із різною місткістю та вартістю за часових і ресурсних обмежень. Компанії беруть участь у зворотних аукціонах і оптимізують маршрути транспорту для виграних завдань.Мета — максимізувати прибуток, передбачаючи вигідні пакети завдань і стратегії суперників. Кожен аукціон змінює майбутні варіанти, тому агент має міркувати про витрати, позицію, час і довгострокові наслідки. Основна задача є NP-складною: зі зростанням кількості завдань жоден алгоритм не знаходить надійно найкращий розв’язок за прийнятний час.

Перегони починаються

Оцінювання порівняло 40 агентів LLM із 17 людськими агентами у 12 турнірах на чотирьох дорожніх топологіях за системою кожен із кожним. Кожна пара грала двічі, що дало 3 192 матчі на турнір і 38 304 загалом. У кожному матчі продавали 50 доставок на картах Швейцарії, Франції, Великої Британії та Нідерландів. Дорожні мережі турніру та позначення завдань і транспортних засобів.Студентських агентів взяли з турніру курсу 2020 року: вісім фіналістів і ще чотири сильні проти базових агентів. Базові агенти використовували сталі евристики. Naive рахував загальну відстань і використовував одну машину; ExpCostFixedBid моделював десять завдань і пропонував середню граничну вартість; Honest рахував фактичну вартість додавання завдання; ModelOpponent додавав оцінку витрат суперника; а RiskSeeking поєднував часово-змінну попередню оцінку з поточною вартістю та моделлю суперника. Сорок агентів LLM створили за допомогою GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro і DeepSeek R1, використавши п’ять стратегій prompt двічі для кожної моделі. Два prompt були статичними, третій вимагав саморефлексії, четвертий — критики іншим LLM, а п’ятий синтезував GPT-4. Базовий prompt повторював оригінальне студентське завдання. Агенти LLM тестувалися й виправлялися самими моделями до усунення видимих помилок. Типові збої включали перевищення часу, невиконання забору чи доставки та порушення місткості через ігнорування інструкцій або хибне перепланування^†:

«Поширеною проблемою, переважно в Gemini, Claude та DeepSeek, була повторна нездатність виправити помилку.»

«Агент постійно перевищував час навіть після 5–15 циклів, коли LLM отримував повідомлення про помилку й повертав оновлений код.»

«Єдиним розв’язком було почати з нуля. Код без помилок вимагав значних ручних зусиль, і нам довелося створити набагато більше агентів, щоб отримати 40 працездатних.»

Таблиця підсумовує 12 подвійних кругових турнірів, майже 40 000 матчів:

Кожен агент грав 112 матчів на турнір. Стандартне відхилення (SD) показує мінливість. Людські агенти виділені жирним. Агенти LLM позначені моделлю (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), кодом стратегії prompt і номером першої чи другої генерації. ДжерелоЩодо результатів автори зазначають^†:

«LLM не створили очікуваного чи конкурентного коду навіть у простіших варіантах APDP, хоча код переважно не мав синтаксичних помилок. Це показує потребу в benchmark-ах на основі міркувань, що виходять за межі автодоповнення.»

«Людські агенти явно переважали: перші п’ять місць стабільно займали студенти, а 33 з 40 агентів LLM програли дуже простим базовим агентам.»

«Ми не виправляли студентський код, зате ретельно тестували й виправляли код LLM. Кожен збій студента автоматично давав перемогу LLM. Багато збоїв легко усунути, тому студенти могли б посісти ще вищі місця.»

У додатковому експерименті GPT-5 Thinking попросили поліпшити найкращого людського агента Student 1; змінений агент упав на десяте, найгірше серед людей місце. Зміни погіршили результат майже на 20%. Автори підсумовують:

«Результати показують важливі обмеження генерації коду LLM, передусім слабке міркування й планування. Сучасні LLM можуть давати працездатний код без синтаксичних помилок, але це не той benchmark, яким слід міряти прогрес до розвиненого загального AI.»

Висновок

Автори визнають, що vibe coding надає можливості людям із різним технічним досвідом і вирівнює доступ. Однак його межі ще невідомі й можуть бути нижчими за поширені очікування. Вони закликають змістити мету «від коду, який компілюється, до коду, який конкурує». Читач може запитати, чи не є порівняння надто суворим, адже агентне завдання значно складніше за невеликі PowerShell-скрипти й виправлення, для яких vibe coding добре підходить. * Примітка: стаття постійно використовує назву «DeepThink R1», яка, схоже, не існує й, імовірно, є помилковим написанням «DeepSeek R1». Якщо це моя помилка, зв’яжіться через профіль, і я виправлю текст.^† Виділення належить авторам.Вперше опубліковано в середу, 26 листопада 2025 року. Форматування змінено о 17:35 EST.