SemiAnalysis lança benchmark GDPx que abrange 11 domínios agênticos

Em 2 de novembro de 2026, a SemiAnalysis lançou o GDPx, um benchmark de capacidades agênticas gerais que abrange 11 domínios profissionais, em um anúncio assinado por Max Kan, Andrew Megalaa e Dylan Patel. Claude Opus 5.5, da Anthropic, lidera o placar de estreia, com uma pontuação de 12,0%.

O placar da versão 1.0

O site oficial do GDPx informa que a primeira versão tem 206 tarefas, desenvolvidas com 14 parceiros especializados em dados, e que seu placar classifica 13 modelos. Claude Opus 5.5 ocupa o primeiro lugar, com um custo médio de US$ 51,41 por tarefa e 548 mil tokens de saída. Gemini 4 Carbon, do Google, fica em segundo lugar, com 10,9% e US$ 16,29 por tarefa, enquanto GPT-6 Astra, da OpenAI, está em terceiro, com 9,6% e US$ 53,99 por tarefa. Muse Wonder Full, da Meta, fica em quarto lugar, com 9,0%, sem preço público informado, e GLM 5.3, da Z.ai, ocupa a 13ª posição, com 2,7%.

A SemiAnalysis descreve o GDPx como um benchmark realmente de ponta justamente porque a pontuação mais alta continua tão baixa. A pontuação geral do GDPx é a média do resultado pass@1 de cada modelo em três tentativas, atribui o mesmo peso a todos os domínios e aplica o método de avaliação previsto para cada tarefa, binário ou contínuo.

Design, parceiros e metodologia

Os domínios são design de chips, cibersegurança, biologia, finanças, direito, negociação quantitativa, autoaperfeiçoamento recursivo (RSI), design de hardware, ciência dos materiais, alinhamento e engenharia de software; a SemiAnalysis afirma que excluiu intencionalmente setores como governo, mercado imobiliário e seguros. Os autores argumentam que o primeiro trilhão de dólares em receita de IA se concentrará nos setores capazes de implementar inteligência de ponta com alto retorno sobre o investimento (ROI) e que é um erro criar um benchmark geral com base na participação no PIB ou na taxonomia ocupacional SOC/O*NET.

Cada domínio foi desenvolvido com parceiros especializados: Aria, Arcverex e Ergodex em design de chips; Arithmetic em cibersegurança; Latch Bio em biologia; Living Context em finanças; Chakra em direito; Third Moment em negociação quantitativa; Extrapolate em RSI; Beautiful Machines em design de hardware; ValenceForge e Emulated em ciência dos materiais; Fleet em alinhamento; e Datacurve em engenharia de software.

As tarefas têm um limite de tempo padrão de oito horas, e os modelos são executados em seu ambiente nativo, quando disponível — Claude Code para Opus 5.5, Codex para GPT-6 Astra e Antigravity para Gemini 4 Carbon —, com OpenCode como alternativa. A SemiAnalysis exigiu que todos os parceiros fossem aprovados em sua verificação automatizada de qualidade na primeira tentativa, sem mais do que pequenos erros, e informa que o mesmo processo identifica quase 50% das tarefas do benchmark Terminal Bench 4.0 como defeituosas.

A crítica ao GDPval

O anúncio apresenta o GDPx como sucessor do GDPval, da OpenAI, lançado em 25 de setembro de 2025 e ainda, segundo os autores, o benchmark de uso geral mais popular nos cartões de lançamento dos principais modelos. Eles criticam as tarefas do GDPval por não serem interativas e por fornecerem no prompt, de forma mastigada, todo o contexto necessário; também citam uma concordância de 71% entre especialistas humanos na avaliação do subconjunto de referência. Em vez disso, cada tarefa do GDPx vem acompanhada de um ambiente realista: as 24 tarefas de finanças, por exemplo, reproduzem uma transação real de private equity na qual um fundo compra cerca de 62% de uma fabricante de salgadinhos por US$ 880 milhões, mais um earnout, reconstituída a partir de aproximadamente 4.000 arquivos anonimizados.

Resultados por domínio e limitações declaradas

A SemiAnalysis aponta Claude Opus 5.5 como o melhor modelo geral, vencedor em negociação quantitativa, design de hardware e design de chips; Gemini 4 Carbon como o melhor modelo para biologia, com uma vitória por pequena margem em engenharia de software; e GPT-6 Astra como vencedor em RSI e ciência dos materiais. A empresa alerta que as pontuações gerais do Opus 5.5 e do GPT-6 Astra são prejudicadas pelos classificadores de segurança desses modelos nos domínios de cibersegurança, biologia e alinhamento, e descreve Muse Wonder Full, da Meta, como o melhor modelo de cibersegurança disponível, com uma vantagem expressiva.

As tarefas de finanças e direito são tão difíceis que todos os modelos obtêm zero na avaliação binária prevista; por isso, a SemiAnalysis informa as pontuações parciais médias nesses domínios. Em negociação quantitativa, 70 das 111 execuções avaliadas tiveram desempenho inferior ao da estratégia de referência que o agente deveria superar, e nenhum modelo resolveu a tarefa pública aapl-target-winsorization. Nas tarefas de cibersegurança de alinhamento da Fleet, 196 de 200 execuções violaram pelo menos uma regra de comportamento, e 173 violaram uma regra classificada como gravemente desalinhada; nas tarefas de saúde, 19 de 100 execuções obtiveram pontuação acima de zero. Quanto ao custo, a SemiAnalysis coloca GPT-6 Luna e DeepSeek na extremidade de menor custo da fronteira entre custo e desempenho, Opus na extremidade de maior custo e a OpenAI no meio.

A SemiAnalysis afirma que o GDPx foi concebido como um benchmark em constante evolução, com novas versões previstas a cada 3–6 meses, e disponibiliza gdpx@semianalysis.com para empresas de dados interessadas em participar e laboratórios que queiram avaliar versões futuras.