Код Человека из 2020 года разгромил агентов, закодированных настроением, в агентских тестах

ChatGPT и другие инструменты кодирования настроением были протестированы в почти 40 000 матчах – и проиграли коду, написанному аспирантом до изобретения больших языковых моделей.

В новом исследовании из Великобритании исследователи противопоставили агентов, закодированных человеком, агентам, разработанным с помощью последних больших языковых моделей (БЯМ), таких как ChatGPT-5 и Claude, и обнаружили, что агенты, созданные без помощи ИИ, легко победили версии, созданные с помощью ИИ.

Оба набора агентов были созданы разными поколениями студентов из лаборатории искусственного интеллекта Швейцарского федерального технологического института в Лозанне. Агенты, не использующие ИИ, были разработаны в рамках курсовой работы в 2020 году, за два года до появления ChatGPT и начала революции БЯМ, в то время как новые агенты были созданы текущими студентами с помощью последних и лучших БЯМ.

Даже с подстроенной игрой решения, закодированные настроением, не смогли выиграть, и пять лучших мест постоянно занимали “сырые” агенты, а большинство агентов БЯМ (33 из 40) легко были побеждены “очень простыми” базовыми агентами, в 38 304 вызовах в турнире, по широкому кругу переменных и обстоятельств.

В статье говорится:

‘Наша работа демонстрирует, что хотя современные БЯМ могут генерировать код, который работает (т.е. свободен от синтаксических ошибок), сгенерированное решение не является конкурентоспособным для человеческих решений по таким измерениям, как стратегическое планирование, оптимизация или многоагентная конкуренция.

‘Таким образом, эта работа подчеркивает эту новую границу в генерации кода и направлена на содействие разработке эталонов, наборов данных и открытым базовым линиям, которые подчеркивают синтез кода, управляемый рассуждениями.’

Вызов был разработан для творческого участия в аукционах, по различным стратегиям, и для организации логистики доставки выигранных предметов победителям.

Авторы отмечают, что БЯМ были даны несколько преимуществ, таких как вмешательство в их код для улучшения их производительности – бонус, который не был разрешен коду 2020 года. Несмотря на это, даже когда им была предоставлена исправленная код, которая, безусловно, улучшит их результаты, БЯМ не смогли принять ее или использовать:

‘[В] нашем эталоне даже когда мы раскрываем хорошее решение в контексте, БЯМ все равно не может использовать его.

‘Этот результат также поднимает интересные вопросы о будущих исследованиях по ограничениям контекстного обучения и решения проблем, дополненных извлечением, в сложных сценариях.’

БЯМ, использованные в тесте, были GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1, И DeepSeek R1*.

Новая статья называется Может ли кодирование настроением победить аспирантов CS? Турнир БЯМ против человеческого кодирования на рынке стратегического планирования, и исходит от одного автора из Университета Саутгемптона и другого из Университета Оксфорда и Института Алана Тьюринга. Эталон, утверждают авторы, скоро будет выпущен.

Метод

Авторы отмечают, что традиционные тесты в этой области фокусируются на вызовах с четко определенным бинарным решением (правильно или неправильно), проверяемым через юнит-тесты. Утверждая, что это не идеальный способ изучения ограничений кодирования БЯМ, авторы вместо этого разработали более сложный сценарий вызова, с несколькими внутренними эталонами и вехами, в котором победа возможна, но далеко не проста:

Сравнение стандартных подходов, основанных на юнит-тестах (выше), и более открытого сценария вызова, разработанного авторами (в синем, ниже). Источник

Проблема аукциона, подачи и доставки (APDP), использованная для исследования авторов, была частично самоотобрана, из-за наличия корпуса работы студентов 2020 года из швейцарского университета; работы, которая стремилась создать автоматические агенты для задачи APDP, до любой возможности укрепить разработку через ИИ. Поэтому было относительно легко поручить современным студентам ту же задачу, но предоставить им современные инструменты.

Авторы стремились избежать популярных тестовых фреймворков, таких как HumanEval, BigCodeBench и WebDev Arena (среди многих других), поскольку этот класс тестовых процедур склонен страдать от загрязнения данных (т.е. случаев, когда система может обучиться на тестовых данных вместо уважения разделения).

APDP – это двухэтапная логистическая проблема, основанная на обратных аукционах и маршрутизации транспортных средств. На первом этапе агенты конкурируют, чтобы выиграть задачи доставки, подавая заявки на то, сколько они должны быть оплачены за выполнение каждой из них. Заявка слишком высокой означает проигрыш задачи; заявка слишком низкой может означать потерю денег.

На втором этапе каждый агент должен создать эффективный план, чтобы выполнить только те задачи, которые они выиграли, назначая их транспортным средствам с разными емкостями и затратами, под временными и ресурсными ограничениями:

В APDP компании участвуют в обратных аукционах для задач доставки, затем оптимизируют маршруты транспортных средств, чтобы выполнить только те задачи, которые они выиграли, стремясь максимизировать прибыль.

Цель – не просто выполнить задачи, но и максимизировать общую прибыль, предвидя, какие наборы задач будут работать лучше всего вместе, и предсказывая стратегии конкурентов, которые пытаются сделать то же самое.

APDP-эталон повышает сложность задач генерации кода, вводя стратегическое планирование через последовательность взаимозависимых аукционов, с каждой заявкой, меняющей ландшафт будущих выборов; и поэтому требует от агентов рассуждения не только о непосредственных затратах, но и о позиционировании, времени и долгосрочных последствиях.

Основная проблема доставки является NP-жесткой, т.е. нет алгоритма, который может надежно найти лучшее решение в разумное время, когда количество задач растет. Это делает брутфорс неработоспособным подходом и заставляет агентов торговать точностью за скорость.

Гонка началась

Оценка авторов сравнила 40 агентов, закодированных БЯМ, с 17 агентами, закодированными человеком, в серии турниров один на один. Каждый из 12 турниров использовал разную комбинацию четырех топологий дорожной сети и состоял из все-против-всех пар, с агентами, сталкивающимися с каждым другим оппонентом дважды: один раз, контролируя каждую из двух компаний, с разными характеристиками транспортных средств.

Эта установка дала 3 192 матча на турнир, в общей сложности 38 304 матча. В каждом матче 50 задач доставки были аукционированы, определены их точками подачи и доставки и весом, и случайно выбраны через дорожные макеты, смоделированные на Швейцарии, Франции, Великобритании и Нидерландах:

Упрощенные дорожные сети, использованные в турнире: Великобритания (вверху слева), Швейцария (вверху справа), Нидерланды (внизу слева) и Франция (внизу справа). Синие и красные квадраты обозначают задачи подачи и доставки. Цветные треугольники показывают текущие позиции транспортных средств агентов.

Студенческие агенты были взяты из турнира 2020 года. Восемь из них были из лучших исполнителей в финале на выбывание, и четыре были выбраны за сильную производительность против базовых агентов в матчах один на один.

Базовые агенты следовали фиксированным эвристикам. Наивный рассчитывал общее расстояние и заявлял соответственно, используя только одно транспортное средство и игнорируя пакетирование; ExpCostFixedBid симулировал 10 случайных задач, и заявлял среднюю маржинальную стоимость; Честный вычислял фактическую маржинальную стоимость вставки задачи в график; ModelOpponent делал то же самое, но добавлял оценку стоимости оппонента, заявляя максимум; и RiskSeeking смешивал время-угасающий априорный с живой оценкой стоимости и моделированием оппонента – снова заявляя более высокую из двух.

Оценка включала 40 агентов, закодированных БЯМ, построенных с помощью (вышеупомянутых) GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro и DeepSeek R1. Каждая модель была запущена с пятью различными стратегиями, примененными дважды для каждой модели.

Две стратегии использовали статические подсказки, написанные разными авторами, в то время как третья просила модель саморефлексировать и пересмотреть свой собственный вывод; другая включала критику и пересмотр отдельным БЯМ. Последняя стратегия использовала GPT-4 для синтеза новой подсказки, просматривая все четыре предыдущих подхода.

Базовая подсказка отражала исходное студенческое задание, описывая среду доставки и инструктируя модель заявлять и планировать, чтобы максимизировать прибыль, не полагаясь на методы высокой сложности.

Все агенты БЯМ были протестированы в обоих самоигровых и турнирных условиях до тех пор, пока все наблюдаемые ошибки не были исправлены. Исправление ошибок осуществлялось автономно БЯМ themselves, с подсказкой информацией об ошибке.

Общие провалы БЯМ, отмеченные в статье, включали нарушения пределов времени, неудачу в подаче или доставке назначенных задач и нарушения ограничений емкости транспортных средств – ошибки, которые часто возникали из-за игнорирования явных инструкций или из-за ошибочной логики перепланирования^†:

‘Другой распространенной проблемой, которую мы обнаружили (в основном с Gemini, Claude и DeepSeek, и не так много с GPT), является то, что БЯМ часто последовательно не смогут решить ошибку.

‘Например, агент последовательно превышал время, несмотря на множество (например, 5 – 15) циклов подсказки БЯМ с ошибкой и получения обновленной версии кода.

‘Единственное решение, которое мы нашли для таких ситуаций (где БЯМ повторно не может решить одну и ту же ошибку), – это перезапустить с нуля. В целом мы наблюдали необходимость значительного ручного труда, чтобы достичь кода без ошибок. Нам пришлось сгенерировать значительно больше агентов, чтобы получить 40 агентов без ошибок, которые мы оценили.’

Результаты, приведенные ниже, суммируют результаты из 12 двойных круговых турниров, охватывающих четыре топологии сети и три турнира на топологию, в результате чего получается почти 40 000 матчей:

Для контекста, каждый агент сыграл 112 матчей на турнир, поэтому максимально возможное среднее значение для побед или поражений на агента составляет 112. Стандартное отклонение (SD) отражает изменчивость по турнирам. Агенты, закодированные человеком, выделены жирным шрифтом. Агенты, закодированные БЯМ, помечены моделью (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), за которой следует двухбуквенный код стратегии подсказки и цифра, указывающая, является ли агент первым или вторым, сгенерированным с этой подсказкой. Источник

В отношении результатов, приведенных выше, авторы заявляют^†:

‘БЯМ не сгенерировали ожидаемый/конкурентоспособный код даже в более простых вариантах проблемы APDP (несмотря на то, что код был в основном свободен от синтаксических ошибок). Это подчеркивает важность оценки кода, управляемого рассуждениями, которая выходит за рамки автозаполнения и выявляет новые слабости БЯМ.’

‘Наши результаты демонстрируют явное превосходство агентов, закодированных человеком: (i) первые пять мест постоянно занимают студентов-агентов, и (ii) большинство агентов БЯМ (33 из 40) побеждаются очень простыми базовыми агентами (такими как ожидаемая фиксированная заявка).

‘Важно отметить, что мы не отладили студенческий код (в то время как мы тщательно протестировали/отладили код БЯМ, как в самоигровых, так и в турнирных условиях). Каждый раз, когда студент-агент крахнулся, мы автоматически присудили победу БЯМ. Большое количество этих крахов было бы легко исправлено (например, агенты превысили время), поэтому студент-агенты потенциально могли бы занять еще более высокие места.’

Как дополнительный эксперимент, GPT-5 Thinking была запущена для улучшения кода лучшего студента-агента, Студента 1; но теперь модифицированный агент БЯМ упал на десятое место, теперь худшее из всех человеческих результатов. Вместо того, чтобы улучшить решение, изменения БЯМ ухудшили его почти на 20%.

Авторы заключили:

‘[Наши] результаты подчеркивают важные ограничения генерации кода БЯМ, наиболее заметные из которых являются их ограниченные возможности рассуждения и планирования при генерации [кода]. Современные БЯМ способны предоставить код, свободный от синтаксических ошибок, который работает, но это не тот эталон, который мы должны использовать для измерения прогресса в направлении продвинутого общего ИИ.’

Заключение

Авторы сами отмечают в конце статьи, что кодирование настроением дало людям всех технических фонов возможность, и характеризуют эту практику в положительном свете, как выравнивающую силу. Однако они также подразумевают, что поскольку кодирование настроением только что появилось, его пределы не известны и могут быть приняты за более высокие, чем можно реалистично ожидать.

Они заканчивают свою работу, призывая к сдвигу цели ‘от кода, который компилируется к коду, который конкурирует‘.

Один вопрос, который может возникнуть у случайного читателя этой интересной новой статьи, заключается в том, являются ли авторы ударом вверх или вниз, поскольку агентская задача в вопросе значительно более сложна и сложна, чем выпуск PowerShell-скриптов и других форм малой функциональности и исправлений, для которых кодирование настроением хорошо подходит.

* Пожалуйста, обратите внимание, что статья постоянно ссылается на ‘DeepThink R1′, который, кажется, не существует, появляясь только в нескольких ссылках в Интернете (предположительно из других авторов, которые неправильно написали ‘DeepSeek R1)’. Если это моя ошибка, пожалуйста, свяжитесь со мной через мои профильные данные, и я исправлю.

^† Акцент авторов, не мой.

Опубликовано впервые в среду, 26 ноября 2025 года. Исправлено 17:35 по восточному времени для форматирования.