SemiAnalysis запускает бенчмарк GDPx, охватывающий 11 агентных областей

2 ноября 2026 года SemiAnalysis представила GDPx — бенчмарк общих агентных возможностей в 11 профессиональных областях. Об этом говорится в объявлении, авторами которого выступили Max Kan, Andrew Megalaa и Dylan Patel. Claude Opus 5.5 от Anthropic возглавила первый рейтинг с результатом 12,0%.

Рейтинг версии 1.0

На официальном сайте GDPx указано, что первая версия включает 206 заданий, разработанных при участии 14 специализированных партнеров по данным, а в рейтинге представлены 13 моделей. Claude Opus 5.5 занимает первое место со средней стоимостью 51,41 доллара за задание и 548 тыс. выходных токенов. Gemini 4 Carbon от Google занимает второе место с результатом 10,9% и стоимостью 16,29 доллара за задание, а GPT-6 Astra от OpenAI — третье с результатом 9,6% и стоимостью 53,99 доллара за задание. Muse Wonder Full от Meta занимает четвертое место с результатом 9,0%; публичная цена не указана. GLM 5.3 от Z.ai находится на 13-м месте с результатом 2,7%.

По оценке SemiAnalysis, GDPx — бенчмарк действительно передового уровня, поскольку даже лучший результат остается очень низким. Итоговый показатель GDPx представляет собой среднее значение pass@1 каждой модели по трем попыткам, при этом все области имеют одинаковый вес, а для каждого задания применяется предусмотренный способ оценки — бинарный или непрерывный.

Разработка, партнеры и методология

Бенчмарк охватывает проектирование микросхем, кибербезопасность, биологию, финансы, право, количественную торговлю, рекурсивное самоусовершенствование (RSI), проектирование аппаратного обеспечения, материаловедение, выравнивание и разработку программного обеспечения. По словам SemiAnalysis, компания намеренно не включила такие отрасли, как государственное управление, недвижимость и страхование. Авторы считают, что первый триллион долларов выручки от ИИ сосредоточится в секторах, где можно применять передовые интеллектуальные системы с высокой рентабельностью инвестиций, и что создавать универсальный бенчмарк на основе доли ВВП или профессиональной классификации SOC/O*NET — ошибка.

Каждая область разрабатывалась при участии профильных партнеров: Aria, Arcverex и Ergodex — для проектирования микросхем; Arithmetic — для кибербезопасности; Latch Bio — для биологии; Living Context — для финансов; Chakra — для права; Third Moment — для количественной торговли; Extrapolate — для RSI; Beautiful Machines — для проектирования аппаратного обеспечения; ValenceForge и Emulated — для материаловедения; Fleet — для выравнивания; Datacurve — для разработки программного обеспечения.

Стандартный лимит времени на задание составляет восемь часов. Если доступна собственная среда запуска модели, используется она: Claude Code для Opus 5.5, Codex для GPT-6 Astra и Antigravity для Gemini 4 Carbon; в противном случае применяется OpenCode. SemiAnalysis требовала, чтобы каждый партнер прошел автоматическую проверку качества с первой попытки, допустив в худшем случае лишь незначительные ошибки. По данным компании, при такой же проверке почти 50% заданий в бенчмарке Terminal Bench 4.0 признаются некорректными.

Критика GDPval

В объявлении GDPx представлен как преемник GDPval от OpenAI, выпущенного 25 сентября 2025 года. По словам авторов, GDPval по-прежнему остается самым популярным бенчмарком общего назначения в карточках крупных релизов моделей. Они критикуют задания GDPval за отсутствие интерактивности: весь необходимый контекст заранее подробно изложен в запросе. Кроме того, авторы указывают, что согласие между экспертами-оценщиками при проверке эталонной подвыборки составляет 71%. Каждое задание GDPx, напротив, выполняется в реалистичной среде. Например, 24 финансовых задания воспроизводят реальную сделку с участием частного инвестиционного фонда, который покупает около 62% производителя снеков за 880 миллионов долларов плюс дополнительную выплату, зависящую от результатов. Сделка реконструирована по примерно 4 000 анонимизированных файлов.

Результаты по областям и заявленные ограничения

По данным SemiAnalysis, Claude Opus 5.5 — лучшая универсальная модель, победившая в количественной торговле, проектировании аппаратного обеспечения и проектировании микросхем; Gemini 4 Carbon — лучшая модель для биологии, также одержавшая победу с небольшим отрывом в разработке программного обеспечения; а GPT-6 Astra лидирует в RSI и материаловедении. Компания предупреждает, что классификаторы безопасности занижают общие результаты Opus 5.5 и GPT-6 Astra в областях кибербезопасности, биологии и выравнивания. Muse Wonder Full от Meta названа лучшей из доступных моделей для кибербезопасности с заметным отрывом от конкурентов.

Финансовые и юридические задания настолько сложны, что при предусмотренной бинарной оценке все модели получают ноль, поэтому SemiAnalysis приводит для этих областей средние частичные баллы. В количественной торговле 70 из 111 оцененных запусков показали результат хуже эталонной стратегии, которую агент должен был превзойти, а ни одна модель не справилась с общедоступным заданием aapl-target-winsorization. В киберзадачах по выравниванию от Fleet 196 из 200 запусков нарушили хотя бы одно правило поведения, а 173 — правило, отнесенное к категории серьезного рассогласования; в заданиях по здравоохранению 19 из 100 запусков получили результат выше нуля. Что касается стоимости, SemiAnalysis относит GPT-6 Luna и DeepSeek к нижнему краю кривой «стоимость — производительность», Opus — к верхнему, а OpenAI — к середине.

По словам SemiAnalysis, GDPx задуман как постоянно развивающийся бенчмарк: новые версии планируется выпускать каждые 3–6 месяцев. Компания также указывает gdpx@semianalysis.com для компаний, работающих с данными и заинтересованных в участии, и лабораторий, желающих оценить будущие релизы.