SemiAnalysis запускає бенчмарк GDPx, що охоплює 11 агентних сфер

2 листопада 2026 року SemiAnalysis представила GDPx — бенчмарк загальних агентних можливостей, що охоплює 11 професійних сфер. Про це йдеться в оголошенні, авторами якого є Max Kan, Andrew Megalaa та Dylan Patel. Claude Opus 5.5 від Anthropic очолює першу таблицю лідерів із результатом 12,0%.

Таблиця лідерів V1.0

На офіційному сайті GDPx зазначено, що перша версія містить 206 завдань, створених за участю 14 спеціалізованих партнерів із даними, а в таблиці лідерів наведено 13 моделей. Claude Opus 5.5 посідає перше місце із середньою вартістю $51.41 за завдання та 548 тис. вихідних токенів. Gemini 4 Carbon від Google посідає друге місце з результатом 10,9% і вартістю $16.29 за завдання, а GPT-6 Astra від OpenAI — третє з результатом 9,6% і вартістю $53.99 за завдання. Muse Wonder Full від Meta посідає четверте місце з результатом 9,0%; публічну ціну не зазначено. GLM 5.3 від Z.ai — на 13-му місці з результатом 2,7%.

SemiAnalysis називає GDPx справжнім бенчмарком передового рівня саме тому, що найвищий результат залишається таким низьким. Підсумковий бал GDPx — це середнє значення pass@1 кожної моделі за трьома спробами; усі сфери мають однакову вагу, а для оцінювання кожного завдання застосовується передбачений для нього метод — бінарний або неперервний.

Дизайн, партнери та методологія

До переліку сфер входять проєктування мікросхем, кібербезпека, біологія, фінанси, право, кількісна торгівля, рекурсивне самовдосконалення (RSI), проєктування апаратного забезпечення, матеріалознавство, вирівнювання ШІ та розробка програмного забезпечення. SemiAnalysis зазначає, що свідомо не охоплює такі галузі, як державне управління, нерухомість і страхування. Автори вважають, що перший трильйон доларів доходів від ШІ зосередиться в секторах, де можна впроваджувати передовий інтелект із високою рентабельністю інвестицій, а створювати загальний бенчмарк на основі частки ВВП або класифікації професій SOC/O*NET — помилковий підхід.

Кожну сферу розроблено за участю спеціалізованих партнерів: Aria, Arcverex і Ergodex — для проєктування мікросхем; Arithmetic — для кібербезпеки; Latch Bio — для біології; Living Context — для фінансів; Chakra — для права; Third Moment — для кількісної торгівлі; Extrapolate — для RSI; Beautiful Machines — для проєктування апаратного забезпечення; ValenceForge і Emulated — для матеріалознавства; Fleet — для вирівнювання ШІ; Datacurve — для розробки програмного забезпечення.

Типове обмеження часу на виконання завдань становить вісім годин. Якщо доступне власне середовище запуску моделі, використовують його: Claude Code для Opus 5.5, Codex для GPT-6 Astra та Antigravity для Gemini 4 Carbon; в інших випадках застосовують OpenCode. SemiAnalysis вимагала, щоб кожен партнер пройшов її автоматизовану перевірку якості з першої спроби, причому помилки могли бути лише незначними. Компанія повідомляє, що такий самий процес позначає як несправні майже 50% завдань у бенчмарку Terminal Bench 4.0.

Критика GDPval

В оголошенні GDPx позиціонують як наступника GDPval від OpenAI, випущеного 25 вересня 2025 року. За словами авторів, він досі залишається найпопулярнішим бенчмарком загального призначення на картках основних випусків моделей. Автори критикують GDPval за неінтерактивність завдань, у яких увесь потрібний контекст одразу надається в запиті, і наводять показник узгодженості оцінок між експертами-людьми — 71% на його золотій підмножині. Натомість кожне завдання GDPx передбачає реалістичне середовище: наприклад, 24 фінансові завдання відтворюють реальну угоду з приватного капіталу, у межах якої фонд купує приблизно 62% виробника снеків за $880 мільйонів із додатковою виплатою, залежною від результатів. Угоду реконструйовано за приблизно 4 000 анонімізованих файлів.

Результати за сферами та зазначені обмеження

За оцінкою SemiAnalysis, Claude Opus 5.5 — найкраща універсальна модель: вона перемогла в кількісній торгівлі, проєктуванні апаратного забезпечення та проєктуванні мікросхем. Gemini 4 Carbon — найкраща модель для біології та з невеликим відривом перемагає в розробці програмного забезпечення, а GPT-6 Astra здобуває перемогу в RSI та матеріалознавстві. SemiAnalysis застерігає, що загальні результати Opus 5.5 і GPT-6 Astra занижені через їхні класифікатори безпеки у сферах кібербезпеки, біології та вирівнювання ШІ. Muse Wonder Full від Meta компанія називає найкращою доступною моделлю для кібербезпеки зі значним відривом від інших.

Фінансові та юридичні завдання настільки складні, що за передбаченої бінарної системи оцінювання всі моделі набирають нуль балів, тому SemiAnalysis наводить для цих сфер середні часткові результати. У кількісній торгівлі 70 зі 111 оцінених запусків показали гірший результат, ніж базова стратегія, яку агент мав перевершити, а жодна модель не розв’язала відкрите завдання aapl-target-winsorization. У кіберзавданнях Fleet із вирівнювання ШІ 196 зі 200 запусків порушили принаймні одне правило поведінки, а 173 — правило, порушення якого було визнано серйозною невідповідністю. У завданнях із охорони здоров’я 19 зі 100 запусків набрали більше нуля балів. Щодо вартості, SemiAnalysis розміщує GPT-6 Luna та DeepSeek на нижньому кінці межі співвідношення вартості й продуктивності, Opus — на верхньому, а OpenAI — посередині.

SemiAnalysis зазначає, що GDPx задумано як бенчмарк, який постійно оновлюватиметься: нові версії планують випускати кожні 3–6 місяців. Також компанія наводить gdpx@semianalysis.com для компаній, що працюють із даними й зацікавлені в участі, та лабораторій, які хочуть оцінити майбутні випуски.