Человеческий код 2020 года победил агентов, созданных с помощью вибрационного кодирования, в тестах агентов

ChatGPT и другие инструменты вибрационного кодирования были протестированы в почти 40 000 матчах – и проиграли коду, написанному аспирантом до изобретения больших языковых моделей.

В новом исследовании из Великобритании исследователи противопоставили человеческий код агентам, созданным с помощью вибрационного кодирования, разработанным с использованием последних больших языковых моделей (БЯМ), таких как ChatGPT-5 и Claude, и обнаружили, что агенты, созданные без помощи ИИ, легко победили версии, созданные с помощью ИИ.

Оба набора агентов были созданы разными поколениями студентов из лаборатории искусственного интеллекта Федерального технологического института Лозанны. НекИИ-агенты были разработаны в рамках курсовой работы в 2020 году, за два года до появления ChatGPT и начала революции БЯМ, в то время как новые агенты были созданы текущими студентами, с помощью последних и лучших БЯМ.

Даже с подстроенной игрой, вибрационно-кодированные решения не смогли выиграть, и первые пять мест постоянно занимали “сырые” агенты, а большинство агентов БЯМ (33 из 40) легко победили “очень простые” базовые агенты, в 38 304 вызовах в турнире, в широком диапазоне переменных и обстоятельств.

В статье говорится:

‘Наша работа демонстрирует, что хотя современные БЯМ могут генерировать код, который запускается (т. е. свободен от синтаксических ошибок), сгенерированное решение не является конкурентоспособным для человеческих решений по таким измерениям, как стратегическое планирование, оптимизация или многомерная конкуренция.

‘Таким образом, эта работа подчеркивает новый рубеж в генерации кода и направлена на содействие разработке эталонов, наборов данных и открытых исходных кодов, которые подчеркивают синтез кода, основанный на рассуждениях.’

Задача, разработанная для исследования авторов, заключалась в том, чтобы творчески участвовать в аукционах, по различным стратегиям, и организовывать логистику доставки выигранных предметов победителям.

Авторы отмечают, что БЯМ были даны несколько преимуществ, таких как вмешательство в их код для улучшения их производительности – преимущество, не разрешенное 2020-му коду. Несмотря на это, даже когда им была предоставлена исправленная код, которая, безусловно, улучшила бы их результаты, БЯМ не смогли использовать ее:

‘[В] нашем эталоне даже когда мы предоставляем хорошее решение в контексте, БЯМ все равно не может использовать его.

‘Этот результат также поднимает интересные вопросы о будущих исследованиях по пределам контекстного обучения и решения проблем, дополненных извлечением в сложных сценариях.’

БЯМ, использованные в тесте, были GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 и DeepSeek R1*.

Новая статья называется Может ли вибрационное кодирование победить студентов-магистров? Турнир БЯМ против человеческого кодирования на рыночном стратегическом планировании, и исходит от одного автора из Университета Саутгемптона и другого из Университета Оксфорда и Института Алана Тьюринга. Эталон, утверждают авторы, будет выпущен вскоре.

Метод

Авторы отмечают, что традиционные тесты в этой области фокусируются на вызовах с четко определенным бинарным решением (правильно или неправильно), проверяемым с помощью юнит-тестов. Считая, что это не идеальный способ изучения ограничений кодирования БЯМ, авторы разработали более сложный сценарий вызова, с несколькими внутренними эталонами и вехами, в котором победа возможна, но далеко не проста:

Сравнение стандартных подходов, основанных на юнит-тестах (выше), и разработанного авторами сценария вызова (синий, ниже). Источник

Задача аукциона, подачи и доставки (APDP) использовалась для исследования авторов частично потому, что была доступна корпуса 2020 года студенческой работы из швейцарского университета; работы, которая стремилась создать автоматические агенты для задачи APDP, до появления возможности укрепить разработку с помощью ИИ. Поэтому было относительно легко задать современным студентам ту же задачу, но предоставить им современные инструменты.

Авторы стремились избежать популярных тестовых фреймворков, таких как HumanEval, BigCodeBench и WebDev Arena (среди многих других), поскольку этот класс тестовых процедур склонен страдать от загрязнения данных (т. е. случаев, когда система может обучиться на тестовых данных вместо соблюдения разделения).

APDP – это двухэтапная логистическая задача, основанная на обратных аукционах и маршрутизации транспортных средств. На первом этапе агенты конкурируют за выигрыш задач доставки, подавая заявки на то, сколько они должны быть оплачены за каждую задачу. Заявка слишком высокой означает потерю задачи; заявка слишком низкой может означать потерю денег.

На втором этапе каждый агент должен создать эффективный план для выполнения только тех задач, которые он выиграл, присваивая их транспортным средствам с разными емкостями и затратами, под временными и ресурсными ограничениями:

В APDP компании участвуют в обратных аукционах за задачи доставки, затем оптимизируют маршруты транспортных средств для выполнения только тех задач, которые они выиграли, стремясь максимизировать прибыль.

Цель не только выполнить задачи, но и максимизировать общую прибыль, предвидя, какие наборы задач будут работать лучше всего вместе, и предсказывая стратегии конкурентов, которые все пытаются сделать то же самое.

Эталон APDP повышает сложность задач генерации кода, вводя стратегическое планирование на протяжении последовательности взаимозависимых аукционов, с каждой заявкой, меняющей ландшафт будущих выборов; и поэтому требует от агентов рассуждения не только о непосредственных затратах, но и о позиционировании, времени и долгосрочных последствиях.

Основная проблема доставки NP-сложна, т. е. нет алгоритма, который может надежно найти лучшее решение в разумное время, когда количество задач растет. Это делает метод грубой силы неработоспособным и заставляет агентов торговать точностью за скорость.

Гонка началась

Оценка авторов сравнивает 40 агентов, созданных с помощью БЯМ, с 17 человеческими агентами в серии матчей один на один. Каждый из 12 турниров использовал разную комбинацию четырех топологий дорожной сети, и состоял из всех против всех пар, с агентами, сталкивающимися с каждым другим соперником дважды: один раз, контролируя каждую из двух компаний, с разными характеристиками транспортных средств.

Эта установка дала 3 192 матча на турнир, в общей сложности 38 304 матча. В каждом матче 50 задач доставки были аукционированы, определенные их точками подачи и сдачи и весом, и были случайно распределены по сетям дорог, смоделированным на Швейцарии, Франции, Великобритании и Нидерландах:

Упрощенные дорожные сети, использованные в турнире: Великобритания (вверху слева), Швейцария (вверху справа), Нидерланды (внизу слева) и Франция (внизу справа). Синие и красные квадраты обозначают задачи подачи и доставки. Цветные треугольники показывают текущие позиции транспортных средств агентов.

Студенческие агенты были выбраны из турнира 2020 года. Восемь из них были из лучших исполнителей в финале на выбывание, и четыре были выбраны за сильную производительность против базовых агентов в матчах один на один.

Базовые агенты следовали фиксированным эвристикам. Наивный рассчитывал общее расстояние и заявлял соответственно, используя только одно транспортное средство и игнорируя пакетирование; ExpCostFixedBid симулировал 10 случайных задач, и заявлял среднюю маржинальную стоимость; Честный рассчитывал фактическую маржинальную стоимость вставки задачи в график; ModelOpponent делал то же самое, но добавлял оценку стоимости соперника, заявляя максимум; и RiskSeeking смешивал время-затухающий приоритет с живой оценкой стоимости и моделированием соперника – снова заявляя максимум.

Оценка включала 40 агентов, созданных с помощью БЯМ, построенных с использованием (вышеупомянутых) GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro и DeepSeek R1. Каждая модель была запущена с пятью различными стратегиями, примененными дважды для каждой модели.

Две стратегии использовали статические подсказки, написанные разными авторами, в то время как третья просила модель саморефлексировать и пересмотреть свой собственный вывод; еще одна включала критику и пересмотр отдельным БЯМ. Последняя стратегия использовала GPT-4 для синтеза новой подсказки, просматривая все четыре предыдущих подхода.

Базовая подсказка отражала исходное студенческое задание, описывая среду доставки и инструктируя модель заявлять и планировать для максимизации прибыли, не полагаясь на высоко сложные методы.

Все агенты БЯМ были протестированы в обоих режимах самоигры и турнира до тех пор, пока все наблюдаемые ошибки не были исправлены. Исправление ошибок обрабатывалось автономно БЯМ, запущенными с информацией об ошибке.

Общие провалы БЯМ, отмеченные в статье, включали нарушения пределов времени, неисправность подачи или доставки назначенных задач и нарушения ограничений емкости транспортных средств – ошибки, которые часто возникали из-за игнорирования явных инструкций или из-за ошибочной логики повторного планирования^†:

‘Другой распространенной проблемой, которую мы обнаружили (в основном с Gemini, Claude и DeepSeek, и не так много с GPT), является то, что БЯМ часто последовательно не могут решить ошибку.

‘Например, агент может последовательно превышать время; несмотря на несколько (например, 5-15) циклов запуска БЯМ с ошибкой и получения обновленной версии кода.

‘Единственное решение, которое мы нашли для таких ситуаций (где БЯМ повторно не может решить одну и ту же ошибку), – это перезапустить с нуля. В целом мы наблюдали необходимость в значительных ручных усилиях для достижения кода без ошибок. Нам пришлось сгенерировать значительно больше агентов, чтобы получить 40 агентов без ошибок, которые мы оценили.’

Результаты, представленные ниже, суммируют исходы из 12 двойных круговых турниров, охватывающих четыре топологии сетей и три турнира на каждой топологии, в общей сложности около 40 000 матчей:

Для контекста, каждый агент играл 112 матчей на турнир, поэтому максимально возможное среднее значение для побед или поражений на агента составляет 112. Стандартное отклонение (SD) отражает изменчивость по турнирам. Человеческие агенты выделены жирным шрифтом. Агенты БЯМ обозначены моделью (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), за которой следует двухбуквенный код стратегии подсказки и цифра, указывающая, является ли агент первым или вторым, сгенерированным с этой подсказкой. Источник

В отношении результатов, представленных выше, авторы заявляют^†:

‘БЯМ не генерировали ожидаемый/конкурентный код даже в более простых вариантах проблемы APDP (несмотря на то, что код был в основном свободен от синтаксических ошибок). Это подчеркивает важность оценки кода, основанной на рассуждениях, которая выходит за рамки автозаполнения и выявляет новые слабости БЯМ.’

‘Наши результаты демонстрируют явное превосходство человеческих агентов: (i) первые пять мест постоянно занимают студенческие агенты, и (ii) большинство агентов БЯМ (33 из 40) легко побеждаются очень простыми базовыми агентами (такими как фиксированная заявка ожидаемой стоимости).

‘Важно отметить, что мы не отлаживали студенческий код (в то время как мы тщательно тестировали/отлаживали код БЯМ, как в самоигре, так и в турнирных настройках). Каждый раз, когда студенческий агент крахнулся, мы автоматически присуждали победу БЯМ. Большое количество этих крахов было бы легко исправимо (например, агенты превышали время), поэтому студенческие агенты могли бы потенциально занять еще более высокие места.’

Как дополнительный эксперимент, GPT-5 Thinking была запущена для улучшения кода лучшего человеческого агента, Студент 1; но теперь модифицированный агент БЯМ впоследствии упал на десятое место, теперь худшее из всех человеческих результатов. Вместо того, чтобы улучшить решение, изменения БЯМ ухудшили его примерно на 20%.

Авторы заключают:

‘[Наши] результаты подчеркивают важные ограничения генерации кода БЯМ, наиболее заметные из которых – ограниченные возможности рассуждения и планирования при генерации [кода]. Современные БЯМ способны предоставлять код, свободный от синтаксических ошибок, но это не тот эталон, который мы должны использовать для измерения прогресса в направлении продвинутого общего ИИ.’

Заключение

Авторы сами отмечают в конце статьи, что вибрационное кодирование расширило возможности людей всех технических фонов и характеризуют эту практику в положительном свете, как выравнивающую силу. Однако они также подразумевают, что поскольку вибрационное кодирование только что появилось, его пределы неизвестны и могут быть приняты за гораздо более высокие, чем можно реалистично ожидать.

Они заканчивают свою работу, призывая к сдвигу цели ‘от кода, который компилируется, до кода, который конкурирует’.

Один вопрос, который может возникнуть у случайного читателя этой интересной новой статьи, заключается в том, бьют ли авторы выше или ниже, поскольку агентская задача в вопросе значительно более сложна и сложна, чем выплевывание скриптов PowerShell и других форм минимальной функциональности и исправлений, для которых вибрационное кодирование хорошо подходит.

* Пожалуйста, обратите внимание, что статья постоянно ссылается на ‘DeepThink R1′, который, кажется, не существует, обнаруживая только несколько ссылок в Интернете (предположительно из других авторов, которые неправильно написали ‘DeepSeek R1)’. Если это ошибка с моей стороны, пожалуйста, свяжитесь со мной через мои профильные данные, и я исправлю.

^† Подчеркивание авторов, а не мое.

Опубликовано в среду, 26 ноября 2025 года. Исправлено 17:35 по восточному времени для форматирования.