Modelos e plataformas de IA
OpenAI apresenta o MedChemBench para avaliar o raciocínio em química medicinal

Pontos-chaveO MedChemBench expõe uma lacuna entre reconstruir moléculas e escolher quais compostos…
Ver mais
- O MedChemBench expõe uma lacuna entre reconstruir moléculas e escolher quais compostos avançar.
- O GPT-6 Astra obteve 95,37% do crédito de estrutura molecular, mas apenas 50,42% para classificação e seleção de candidatos.
- A OpenAI admite que o benchmark está próximo da saturação e não consegue demonstrar que os modelos melhoram decisões reais de descoberta de fármacos.
OpenAI apresentou o MedChemBench, um benchmark de química medicinal com 99 problemas, em 20 de novembro de 2026, e informou que GPT-6.2 Astra obteve 84,5% dos créditos disponíveis na configuração xhigh de esforço de raciocínio. O benchmark testa se os modelos conseguem relacionar estruturas moleculares a evidências experimentais para explicar resultados, comparar compostos e prever propriedades.
As outras pontuações xhigh informadas foram 83,3% para GPT-6 Astra, 82,0% para GPT-6.1 Sol e 58,2% para GPT-5.6 Sol. O benchmark aborda uma dificuldade central da química medicinal: um composto pode ser potente contra uma proteína relacionada a uma doença e, ao mesmo tempo, ser mal absorvido ou metabolizado rápido demais. Portanto, escolher o que testar em seguida exige ponderar propriedades concorrentes, em vez de otimizar uma única medida.
Como o MedChemBench elabora e avalia as tarefas
O artigo técnico descreve um conjunto retrospectivo de tarefas extraídas de 117 artigos e patentes, que abrange 761 estruturas moleculares distintas avaliadas. Em geral, os enunciados vão até um ponto de decisão específico de um programa de pesquisa e fornecem o contexto biológico, os compostos anteriores e determinados resultados experimentais. Os resultados posteriores são omitidos para orientar as respostas de referência e os critérios de avaliação.
As tarefas abrangem a descoberta pré-clínica de medicamentos, não o desenvolvimento clínico, e estão divididas em sete categorias. Entre elas estão a seleção integrada de compostos líderes, com 48 tarefas; a previsão de relações estrutura–atividade, com 26; e grupos menores que abrangem ADME (absorção, distribuição, metabolismo e excreção) e liberação, projeto e enumeração molecular, segurança e riscos, retrossíntese, além de biologia de ensaios e mecanismos. Oitenta e cinco tarefas abrangem mais de um domínio de conteúdo científico, refletindo como a escolha de um composto líder pode depender simultaneamente de potência, seletividade, ensaios celulares, metabolismo, exposição e segurança.
Um problema sobre PRMT5, uma proteína estudada na descoberta de medicamentos contra o câncer, pede aos modelos que reconstruam três compostos relacionados e prevejam potência celular, permeabilidade, efluxo e depuração microssomal humana. Os resultados omitidos ilustram a compensação entre propriedades: o composto 23 foi mais potente nas células, enquanto o composto 24 atravessou uma barreira celular com mais facilidade e se degradou mais lentamente em um ensaio com enzimas hepáticas.
A avaliação combina verificações determinísticas com critérios avaliados por modelos. A estrutura molecular e a justificativa científica correspondem, respectivamente, a 37,49% e 35,78% dos créditos disponíveis; a classificação e a seleção de candidatos correspondem a 17,51%, e as previsões numéricas ou categóricas, a 8,92%. Para avaliar as estruturas, o RDKit converte os SMILES enviados, uma representação textual de grafos moleculares, em uma forma isomérica canônica, preservando a estereoquímica e os isótopos. Em geral, as previsões numéricas recebem crédito parcial com base no erro multiplicativo, enquanto um avaliador independente GPT-6 Astra, com esforço de raciocínio médio, atribui crédito zero, parcial ou integral aos critérios de justificativa científica.
Resultados por componente e erros estruturais
Em 11 modelos GPT e 61 condições de modelo e nível de esforço, o artigo relata 60.390 respostas avaliadas, com dez respostas mantidas para cada tarefa em cada condição. GPT-6.2 Astra não está entre esses 11 modelos; seu resultado foi divulgado no anúncio.
No nível xhigh, o artigo informa que GPT-6 Astra obteve 95,37% dos créditos disponíveis para estrutura molecular e 91,05% para justificativa científica, em comparação com 50,42% para classificação e seleção de candidatos e 47,02% para previsão numérica. Os componentes abrangem tarefas aplicáveis e regras de pontuação diferentes, mas os resultados distinguem a capacidade de reconstrução e explicação, que é forte, da seleção de compostos e da previsão quantitativa, que são mais fracas.
Uma tarefa de reconstrução descrita no artigo torna concretas as diferenças estruturais. Os modelos tinham de montar uma molécula a partir de uma estrutura central e dois grupos ligados a ela, preservando um anel de 18 átomos. GPT-6 Astra produziu o composto correto em todas as dez respostas xhigh, enquanto GPT-5.6 Sol e GPT-5.6 Luna erraram em todas as dez respostas de cada um. A resposta de Sol mostrada como exemplo continha um anel de 15 átomos, enquanto Luna retornou dois fragmentos desconectados. Esses erros alteram a identidade da molécula antes mesmo de começar qualquer raciocínio sobre suas propriedades.
Limitações e extensões propostas
A OpenAI afirma que as pontuações não demonstram se os modelos conseguem descobrir novos medicamentos ou melhorar decisões laboratoriais. Cada resposta foi uma única tentativa, sem ferramentas, feedback ou novos experimentos, e as tarefas se baseiam em evidências históricas, não em descobertas prospectivas. Também não é possível descartar uma exposição prévia às fontes publicadas.
Como verificação heurística, os autores acrescentaram aos 99 enunciados identificadores de DOI das fontes ou de patentes para nove modelos no nível xhigh. As variações médias na pontuação geral foram de uma queda de 0,23 ponto percentual a um aumento de 0,80 ponto, e todos os intervalos de confiança de 95% específicos de cada modelo incluíram zero. Essa verificação não permite determinar se o material das fontes apareceu nos dados de treinamento.
O artigo descreve o MedChemBench como próximo da saturação em sua forma atual e afirma que a avaliação de projetos e sínteses abertas continua parcialmente vinculada às respostas de referência, o que pode penalizar alternativas plausíveis. Entre as extensões propostas estão casos prospectivos, avaliação por especialistas de respostas alternativas, tratamento explícito da incerteza dos ensaios e uma etapa baseada em agentes que permita recuperação de informações, cálculos, verificação de estruturas e revisão em várias etapas.
MedChemBench, portanto, distingue a compreensão química do impacto comprovado na descoberta de fármacos. Seus melhores resultados dizem respeito à reconstrução e à explicação de problemas históricos predefinidos, enquanto a seleção de compostos e as previsões numéricas ficam aquém. As avaliações prospectivas e baseadas em agentes propostas abordam a questão em aberto que daí decorre: se os modelos conseguem tomar decisões de pesquisa melhores quando precisam reunir evidências, calcular propriedades e revisar suas respostas ao longo de várias etapas.












