OpenAI présente BioBasicsBench pour évaluer les agents d’IA sur des données de laboratoire expérimental

Le 6 novembre 2026, OpenAI a présenté BioBasicsBench, un banc d’essai de 100 tâches conçu avec Ligo, une entreprise spécialisée dans la conception d’enzymes, pour évaluer si des agents d’IA peuvent interpréter des données brutes issues d’expériences courantes en laboratoire.

OpenAI présente les résultats sous forme de récompense moyenne, c’est-à-dire le score moyen obtenu aux tâches, exprimé en pourcentage des points disponibles. Au niveau xhigh, le niveau d’effort de raisonnement le plus élevé indiqué pour les sept modèles évalués, GPT-6 Astra a atteint 66,7 %, avec un intervalle de confiance à 95 % de 60,3 à 73,1 %, tandis que GPT-5.6 Sol a obtenu 43,8 %, avec un intervalle de 37,6 à 50,0 %. Astra a produit en moyenne 4 704 jetons par tâche, contre 9 099 pour Sol.

Un banc d’essai fondé sur des données expérimentales courantes

BioBasicsBench répond à une limite des évaluations qu’OpenAI identifie comme étant conçues autour de graphiques et d’images sélectionnés pour des articles scientifiques : le travail quotidien en laboratoire comprend aussi des expériences infructueuses, des images ambiguës, des observations contradictoires et des problèmes à résoudre. Les tâches demandent aux agents d’interpréter des données expérimentales, de repérer des erreurs et de reconnaître les cas où les données ne permettent pas de tirer une conclusion. Elles couvrent les méthodes d’étude des protéines, l’imagerie et la cytométrie, la quantification et les tests, les méthodes d’étude des acides nucléiques et le clonage moléculaire.

Des scientifiques ont créé les tâches à partir de leurs propres expériences et rédigé les grilles d’évaluation. Les données fournies comprennent des images de gels et de transferts, des boîtes de culture avec colonies, des séries d’images de microscopie, des lectures de séquençage, des fichiers exportés par des lecteurs de plaques, des photos prises sur la paillasse et des vidéos de protocoles. Chaque tâche peut combiner plusieurs types de données et des documents de référence, tels que des graphiques d’échelle et des cartes plasmidiques. Les agents doivent fournir des conclusions, des mesures ou des recommandations structurées ; les grilles attribuent des points pour des éléments comme les résultats numériques, le raisonnement à l’appui et la reconnaissance de l’insuffisance des données.

Chaque tâche a fait l’objet d’une évaluation interne par un scientifique de Ligo qui ne l’avait pas rédigée, d’une évaluation externe par un scientifique titulaire d’un doctorat et travaillant en laboratoire expérimental, puis d’une dernière évaluation interne portant sur la consigne, les données, la grille d’évaluation, les notes de l’auteur et une réponse de modèle évaluée. L’évaluation a couvert 37 combinaisons de modèles et de niveaux d’effort de raisonnement, avec cinq tentatives pour chaque tâche et chaque combinaison, soit 18 500 résultats. Les intervalles de confiance ont été calculés par rééchantillonnage de tâches entières, en conservant ensemble les cinq tentatives de chaque tâche.

Exemples à l’origine des progrès d’Astra

Dans une tâche d’imagerie cellulaire, GPT-5.6 Sol a classé des cellules comme mortes en se fondant sur le signal d’un colorant. Astra a compris que le chevauchement des fenêtres de détection pouvait entraîner des interférences avec un second colorant et a demandé des contrôles permettant de distinguer les signaux. Dans une tâche de clonage de l’ADN, Sol a fondé ses conclusions sur l’absence de colonies sur une boîte témoin négative, tandis qu’Astra a remarqué que la boîte était étiquetée kanamycine, alors que l’expérience utilisait de l’ampicilline, et l’a écartée comme témoin fiable.

Une autre tâche montrait des cellules qui apparaissaient et disparaissaient de la mise au point. Sol a cherché une explication biologique à leur disparition apparente, tandis qu’Astra a identifié une pile z (z-stack), c’est-à-dire une série d’images prises à différentes profondeurs. OpenAI voit dans ces exemples la preuve d’une meilleure gestion multimodale, d’une meilleure prise en compte du contexte expérimental et d’une meilleure reconnaissance de ce que les données permettent ou non d’établir. Ils indiquent également que des capacités multimodales natives plus avancées pourraient être importantes pour l’analyse courante en laboratoire.

Les défaillances mises au jour par le banc d’essai

OpenAI avertit que des scores plus élevés ne signifient pas encore que le jugement en laboratoire est fiable. Dans une tâche de PCR sur colonies, Astra a sélectionné les pistes 4, 6, 7 et 8 en supposant qu’un produit de PCR plus gros indiquait un clonage réussi ; l’interprétation de référence retenait les pistes 5, 9 et 10. Cette erreur conduirait à purifier le mauvais plasmide.

D’autres exemples montrent que des observations correctes ne guident pas toujours la réponse finale. Astra a généralisé en affirmant que les vacuoles, des compartiments situés à l’intérieur des cellules, sont généralement plus sombres que le reste de la matière cellulaire, alors que l’image montrait aussi des vacuoles plus claires. Une variation de la profondeur de mise au point peut inverser le contraste, et les propres observations intermédiaires d’Astra indiquaient que celui-ci variait en fonction de la mise au point. Dans une tâche de comptage des colonies, OpenAI indique qu’Astra n’a pas séparé les colonies proches, en a omis de visibles et a marqué des zones de gélose vides, ce qui a entraîné un décompte supérieur d’environ 12 % à la référence du banc d’essai. Lorsque le volume ensemencé et la dilution sont fixes, ce surestimé augmente dans la même proportion l’efficacité estimée de l’introduction de l’ADN.

OpenAI indique que le suivi de l’évolution de ces capacités éclairera également son évaluation de leurs conséquences en matière de sécurité biologique et de sûreté biologique.

Le seuil à atteindre dans la pratique dépasse donc celui d’un meilleur score global : un agent doit s’appuyer sur des observations exactes pour parvenir à sa conclusion, vérifier les témoins et s’abstenir de tirer des conclusions que les données ne permettent pas d’étayer. BioBasicsBench fait de ces exigences des objectifs d’amélioration, et les échecs observés montrent pourquoi les progrès vers une assistance en laboratoire dépendent encore de la réduction de l’écart entre l’observation des données et la prise d’une décision expérimentale fondée.