OpenAI apresenta o BioBasicsBench para testar agentes de IA com dados de laboratório experimental

A OpenAI apresentou o BioBasicsBench em 6 de novembro de 2026. Desenvolvido com a Ligo, empresa de projeto de enzimas, o benchmark reúne 100 tarefas para testar se agentes de IA conseguem interpretar evidências brutas de experimentos rotineiros de laboratório.

A OpenAI apresenta os resultados como recompensa média, isto é, a pontuação média nas tarefas expressa como porcentagem dos créditos disponíveis. No nível xhigh, o maior esforço de raciocínio informado para os sete modelos testados, GPT-6 Astra alcançou 66,7%, com intervalo de confiança de 95% entre 60,3% e 73,1%, enquanto o GPT-5.6 Sol obteve 43,8%, com intervalo entre 37,6% e 50,0%. Astra gerou, em média, 4.704 tokens de saída por tarefa, contra 9.099 do Sol.

Construído com base em evidências experimentais rotineiras

O BioBasicsBench aborda uma limitação que a OpenAI identifica em avaliações baseadas em gráficos e imagens selecionados para artigos científicos: o trabalho cotidiano de laboratório também envolve experimentos malsucedidos, imagens ambíguas, observações conflitantes e resolução de problemas. As tarefas pedem que os agentes interpretem dados experimentais, identifiquem erros e reconheçam quando as evidências não permitem justificar uma conclusão. Elas abrangem métodos de análise de proteínas, técnicas de imagem e citometria, quantificação e ensaios, métodos de ácidos nucleicos e clonagem molecular.

Cientistas criaram as tarefas com base em seus próprios experimentos e elaboraram critérios de avaliação. Os dados de entrada incluem imagens de géis e blots, placas com colônias, séries de imagens de microscopia, leituras de sequenciamento, exportações de leitores de placas, fotografias de bancadas e vídeos de protocolos. Cada tarefa pode combinar vários tipos de evidência e materiais de referência, como gráficos de marcadores e mapas de plasmídeos. Os agentes apresentam conclusões, medições ou recomendações estruturadas, e os critérios de avaliação atribuem pontos a elementos como resultados numéricos, justificativas e o reconhecimento de que as evidências são insuficientes.

Cada tarefa passou por uma revisão interna de um cientista da Ligo que não a havia elaborado, por uma revisão externa de um cientista com doutorado e experiência em laboratório e por uma revisão interna final que abrangeu o enunciado, as evidências, os critérios de avaliação, as notas do autor e uma tentativa de resposta de um modelo avaliada. A avaliação abrangeu 37 combinações de modelos e níveis de esforço de raciocínio, com cinco tentativas para cada tarefa em cada configuração, totalizando 18.500 resultados. Os intervalos de confiança foram calculados por reamostragem de tarefas inteiras, mantendo juntas as cinco tentativas de cada tarefa.

Exemplos que explicam o avanço de Astra

Em uma tarefa de análise de imagens celulares, o GPT-5.6 Sol classificou as células como mortas com base no sinal de um corante. Astra percebeu que a sobreposição das janelas de detecção poderia permitir a interferência de um segundo corante e pediu controles capazes de separar os sinais. Em uma tarefa de clonagem de DNA, Sol baseou suas conclusões na ausência de colônias em uma placa de controle negativo, enquanto Astra notou que a placa estava identificada para canamicina, e não para a ampicilina usada no experimento, e a descartou como controle confiável.

Outra tarefa mostrava células entrando e saindo de foco. Sol buscou uma explicação biológica para o aparente desaparecimento delas, enquanto Astra identificou uma pilha Z, uma série de imagens capturadas em diferentes profundidades. A OpenAI interpreta esses exemplos como evidência de melhor processamento multimodal, uso do contexto experimental e reconhecimento do que os dados podem ou não demonstrar, além de indicar que recursos multimodais nativos mais avançados podem ser importantes para a análise rotineira em laboratório.

Onde o benchmark revela falhas

A OpenAI alerta que pontuações mais altas ainda não equivalem a um julgamento laboratorial confiável. Em uma tarefa de PCR de colônias, Astra selecionou as amostras 4, 6, 7 e 8 por presumir que um produto de PCR maior indicava clonagem bem-sucedida; a interpretação de referência selecionou as amostras 5, 9 e 10. Esse erro levaria à purificação do plasmídeo incorreto.

Outros exemplos mostram observações corretas que não orientaram a resposta final. Astra generalizou que os vacúolos, compartimentos no interior das células, costumam ser mais escuros do que o material celular ao redor, embora, na mesma imagem, alguns vacúolos fossem mais claros. Alterar a profundidade de foco pode inverter o contraste, e as próprias observações intermediárias de Astra indicaram que ele variava conforme o foco. Em uma tarefa de contagem de colônias, a OpenAI informa que Astra não conseguiu separar colônias muito próximas, deixou de contar colônias visíveis e marcou áreas vazias do ágar, resultando em uma contagem cerca de 12% acima da referência do benchmark. Mantidos constantes o volume semeado e a diluição, essa contagem excessiva aumenta na mesma proporção a eficiência estimada de introdução de DNA.

A OpenAI afirma que acompanhar o desenvolvimento desses recursos também ajudará a avaliar suas consequências para a biossegurança e a segurança biológica.

Por isso, o padrão prático exigido vai além de uma pontuação geral mais alta: um agente precisa levar observações precisas até a conclusão, verificar os controles e não tirar conclusões que as evidências não sustentam. O BioBasicsBench transforma esses requisitos em metas de aprimoramento, e as falhas documentadas mostram por que o avanço rumo à assistência em laboratório ainda depende de superar a distância entre observar as evidências e tomar uma decisão experimental bem fundamentada.