Google lança benchmark de engenharia com 85 tarefas e competição de agentes

O Google AI & Infrastructure anunciou, em 3 de novembro de 2026, que disponibilizaria 29 tarefas públicas, ferramentas de avaliação e um contêiner de avaliação para Physical-Engineering’s Last Exam (PLE), um benchmark de engenharia com 85 tarefas desenvolvido com a Mercor, além de uma competição aberta de agentes e um placar de classificação.

O PLE propõe que um agente execute tarefas profissionais de engenharia mecânica, elétrica, civil e estrutural, em vez de responder a perguntas no estilo de livros didáticos ou realizar uma chamada isolada a uma ferramenta. O benchmark contém 30 tarefas de engenharia mecânica, 27 de engenharia elétrica, 18 de engenharia civil e 10 de engenharia estrutural. O sucesso é medido por entregáveis que devem atender a códigos de engenharia, restrições físicas e, nos trabalhos de projeto, objetivos de custo ou desempenho.

O registro do artigo no arXiv informa que a submissão inicial ocorreu em 21 de outubro de 2026 e a revisão, em 30 de outubro de 2026. A novidade é a disponibilização pública das tarefas e das ferramentas de avaliação, bem como a abertura da competição — não a publicação inicial do artigo.

Arquivos do projeto e entregáveis de produção

Cada tarefa é executada em um ambiente de projeto conteinerizado baseado no Archipelago da Mercor. As tarefas têm, em média, 61 arquivos e somam 5.170 arquivos em todo o benchmark, incluindo PDFs, planilhas, e-mails, desenhos CAD 2D, modelos BIM 3D e revisões substituídas por versões mais recentes. O agente precisa determinar quais documentos e requisitos se aplicam, fazer cálculos e produzir arquivos como memorandos de engenharia, planilhas de cálculo, listas de equipamentos e desenhos em formatos destinados à análise por profissionais licenciados.

Engenheiros atuantes desenvolveram integralmente as 44 tarefas elaboradas por especialistas, incluindo as pastas de projeto, os enunciados e as rubricas de avaliação ponderadas. Para as 41 tarefas elaboradas em coautoria, os engenheiros forneceram os briefings iniciais; um processo adversarial Creator–Solver construiu e testou os ambientes e os avaliadores executáveis com base em materiais reais licenciáveis. Em seguida, especialistas validaram as tarefas e aumentaram seu grau de dificuldade. O artigo técnico afirma que nenhuma tarefa inclui informações proprietárias ou confidenciais de clientes: os ambientes elaborados por especialistas foram criados do zero, enquanto os arquivos das tarefas em coautoria usam materiais de domínio público, licenciados com permissões amplas ou recém-gerados.

A avaliação segue a mesma ênfase na conclusão do trabalho. As tarefas elaboradas por especialistas usam critérios ponderados, vinculados às evidências nos arquivos enviados. As tarefas de projeto elaboradas em coautoria combinam o cumprimento de restrições com um objetivo econômico ou de desempenho; se uma barreira rígida de segurança ou viabilidade não for superada, o projeto correspondente não recebe créditos pelo objetivo. Essa parte da avaliação aborda uma limitação da pontuação baseada apenas em rubricas: duas listas de cabos podem atender às mesmas verificações de conformidade e, ainda assim, ter custos de instalação diferentes.

Resultados de referência revelam uma lacuna de conformidade

O Google avaliou 14 modelos com sete estruturas de agente disponíveis publicamente, executando cada tarefa três vezes por configuração. Os contêineres de execução dos agentes não tinham acesso à internet e permitiam seis horas de execução do agente por rodada. A avaliação por rubrica e a correção executável ocorriam fora do contêiner de execução, mantendo os avaliadores e os entregáveis de referência fora do alcance do agente.

No conjunto de teste privado de 56 tarefas, o Google informa que nenhum modelo obteve pontuação superior a 50% em sua estrutura de agente nativa. O melhor resultado foi o do Claude Opus 5.5 no Claude Code, com 48,3%. O placar da competição classifica os modelos com base nesses resultados nas tarefas ocultas.

A avaliação separada do artigo, que abrange as 85 tarefas, registra uma pontuação máxima de 50,6% para o Claude Opus 5.5 no Claude Code, com uma média de 27 milhões de tokens e 63 minutos por tarefa, a um custo de US$ 17,18 por tarefa pelos preços de tabela. Portanto, os dois principais resultados descrevem avaliações diferentes: uma abrange o conjunto de teste oculto com estruturas de agente nativas; a outra cobre o benchmark completo e a configuração de modelo e estrutura de agente com melhor desempenho.

O resultado mais revelador está nas tarefas elaboradas em coautoria. O Google informa que a configuração de melhor desempenho cumpriu 91% das restrições individuais, mas apenas 41,3% dos itens entregues passaram por todas as verificações rígidas de segurança e viabilidade necessárias para receber créditos pelo objetivo. Na prática, os agentes frequentemente acertaram a maioria dos requisitos sem produzir um projeto totalmente conforme — exatamente a lacuna que a barreira de restrições rígidas do PLE foi concebida para revelar.

O Google informa uma diferença de aproximadamente 50 pontos entre os modelos, em comparação com uma diferença mediana de três pontos entre as estruturas de agente para um mesmo modelo, embora a escolha da estrutura ainda alterasse as pontuações e os custos. Os resultados também variaram substancialmente entre tarefas individuais: a amplitude média entre as três execuções foi de 15,4 pontos para cada combinação de tarefa e estrutura de agente. Essa variabilidade respalda a opção dos autores por médias de execuções repetidas, em vez de tentativas únicas.

Competição avalia a configuração completa do agente

O repositório oficial divide o PLE em 29 tarefas públicas de desenvolvimento e 56 tarefas ocultas de teste. Cada participante envia a estrutura de agente — o software que conduz um modelo selecionado ao longo de cada tarefa — junto com a escolha do modelo e os artefatos produzidos nas tarefas públicas. Os organizadores avaliam esses artefatos, executam novamente a estrutura em uma amostra de tarefas públicas para verificar a reprodutibilidade e, em seguida, fazem três execuções nas tarefas ocultas para determinar a pontuação no placar de classificação.

Os participantes podem usar gratuitamente 13 modelos patrocinados pelo Google no servidor de avaliação, fornecer uma chave de API de um modelo comercial ou conectar um servidor de modelos auto-hospedado. O repositório, licenciado sob a Apache-2.0, inclui exemplos iniciais para estruturas de execução personalizadas e adaptadores para agentes existentes, oferecendo aos participantes vários pontos de partida para criar uma submissão completa.

A competição, portanto, avalia mais do que a resposta final de um modelo. Um sistema submetido precisa navegar por arquivos de projeto realistas, reproduzir seus resultados públicos e produzir entregáveis completos que passem por verificações ocultas de segurança, viabilidade e qualidade. Os resultados de referência mostram que o principal desafio é cumprir todos os requisitos do pacote: atender à maioria dos requisitos individuais ainda não basta quando uma única falha em uma restrição rígida pode impedir que um projeto, econômico nos demais aspectos, receba crédito pela avaliação objetiva.