Modèles et plateformes d’IA

OpenAI présente MedChemBench pour le raisonnement en chimie médicinale

Jonas Reeve
Ajouter Unite.AI à vos sources préférées sur Google
Points clésMedChemBench met en évidence un écart entre reconstruire des molécules et choisir quels…
Voir plus
  • MedChemBench met en évidence un écart entre reconstruire des molécules et choisir quels composés faire avancer.
  • GPT-6 Astra a obtenu 95,37 % du crédit pour la structure moléculaire mais seulement 50,42 % pour le classement et la sélection de candidats.
  • OpenAI reconnaît que le benchmark est proche de la saturation et ne peut pas démontrer que les modèles améliorent les décisions réelles de découverte de médicaments.

OpenAI a présenté MedChemBench, un banc d’évaluation de 99 problèmes de chimie médicinale, le 20 novembre 2026, et indiqué que GPT-6.2 Astra avait obtenu 84,5 % des crédits disponibles avec le niveau d’effort de raisonnement xhigh. Ce banc évalue la capacité des modèles à relier les structures moléculaires aux données expérimentales pour expliquer des résultats, comparer des composés et prédire des propriétés.

Les autres scores xhigh rapportés étaient de 83,3 % pour GPT-6 Astra, de 82,0 % pour GPT-6.1 Sol et de 58,2 % pour GPT-5.6 Sol. Ce banc d’évaluation porte sur une difficulté centrale de la chimie médicinale : un composé peut être puissant contre une protéine liée à une maladie tout en étant mal absorbé ou métabolisé trop rapidement. Pour déterminer quel composé tester ensuite, il faut donc mettre en balance des propriétés concurrentes plutôt que d’optimiser une seule mesure.

Comment MedChemBench construit et évalue ses tâches

L’article technique décrit un ensemble rétrospectif de tâches tirées de 117 articles et brevets, couvrant 761 structures moléculaires distinctes évaluées. Les consignes s’arrêtent généralement à une étape décisionnelle donnée d’un programme de recherche et fournissent le contexte biologique, les composés antérieurs et certains résultats expérimentaux. Les résultats ultérieurs sont tenus à l’écart afin d’établir les réponses de référence et les critères d’évaluation.

Les tâches couvrent la découverte préclinique de médicaments, et non le développement clinique, et sont réparties en sept catégories. Elles comprennent la sélection intégrée de composés chefs de file, avec 48 tâches, la prévision des relations structure-activité, avec 26 tâches, ainsi que des groupes plus restreints portant sur l’ADME (absorption, distribution, métabolisme et excrétion) et l’administration, la conception et l’énumération moléculaires, la sécurité et les risques, la rétrosynthèse, ainsi que la biologie et les mécanismes des essais. Quatre-vingt-cinq tâches couvrent plusieurs domaines de contenu scientifique, ce qui reflète le fait que le choix d’un composé chef de file peut dépendre simultanément de sa puissance, de sa sélectivité, des essais cellulaires, de son métabolisme, de son exposition et de sa sécurité.

Un problème concernant PRMT5, une protéine étudiée dans le cadre de la découverte de médicaments contre le cancer, demande aux modèles de reconstituer trois composés apparentés et de prédire leur puissance cellulaire, leur perméabilité, leur efflux et leur clairance microsomale chez l’humain. Les résultats tenus à l’écart illustrent le compromis à trouver : le composé 23 était plus puissant dans les cellules, tandis que le composé 24 franchissait plus facilement une barrière cellulaire et se dégradait plus lentement lors d’un essai faisant intervenir des enzymes hépatiques.

L’évaluation combine des vérifications déterministes et des grilles notées par un modèle. La structure moléculaire et la justification scientifique représentent respectivement 37,49 % et 35,78 % des crédits disponibles ; le classement et la sélection des candidats en représentent 17,51 %, et les prédictions numériques ou catégorielles, 8,92 %. Pour les structures, RDKit convertit les SMILES soumis, une représentation textuelle de graphes moléculaires, en une forme isomérique canonique tout en préservant la stéréochimie et les isotopes. Les prédictions numériques reçoivent généralement un crédit partiel calculé en fonction de l’erreur multiplicative, tandis qu’un modèle évaluateur distinct, GPT-6 Astra, attribue aux critères de justification scientifique un crédit nul, partiel ou complet avec un niveau d’effort de raisonnement moyen.

Résultats par composante et erreurs structurelles

Pour 11 modèles GPT et 61 combinaisons de modèles et de niveaux d’effort, l’article fait état de 60 390 réponses évaluées, avec dix réponses conservées pour chaque tâche dans chaque condition. GPT-6.2 Astra ne fait pas partie de ces 11 modèles ; son résultat provient de l’annonce.

Pour le niveau xhigh, l’article indique que GPT-6 Astra a obtenu 95,37 % des crédits disponibles pour la structure moléculaire et 91,05 % pour la justification scientifique, contre 50,42 % pour le classement et la sélection des candidats et 47,02 % pour les prédictions numériques. Ces composantes portent sur des tâches applicables et des règles de notation différentes, mais les résultats distinguent une forte capacité de reconstitution et d’explication de performances plus faibles en sélection de composés et en prévision quantitative.

Une tâche de reconstitution décrite dans l’article illustre concrètement les différences structurelles. Les modèles devaient assembler une molécule à partir d’une structure centrale et de deux groupes qui lui étaient attachés, tout en préservant un cycle de 18 atomes. GPT-6 Astra a produit le composé correct dans ses dix réponses xhigh, tandis que GPT-5.6 Sol et GPT-5.6 Luna ont échoué dans chacune de leurs dix réponses. La réponse de Sol présentée en exemple comportait un cycle de 15 atomes, tandis que Luna a renvoyé deux fragments disjoints. De telles erreurs modifient l’identité de la molécule avant même que commence le raisonnement sur ses propriétés.

Limites et pistes d’évolution proposées

OpenAI précise que ces scores ne permettent pas d’établir si les modèles peuvent découvrir de nouveaux médicaments ou améliorer les décisions prises en laboratoire. Chaque réponse consistait en une tentative unique, sans outils, retour d’information ni nouvelle expérience, et les tâches s’appuient sur des données historiques plutôt que sur une découverte prospective. Il est également impossible d’exclure une exposition antérieure aux sources publiées.

À titre de vérification heuristique, les auteurs ont ajouté aux 99 consignes les DOI des sources ou les identifiants de brevets, pour neuf modèles au niveau xhigh. Les variations moyennes des scores globaux allaient d’une baisse de 0,23 point de pourcentage à une hausse de 0,80 point, et l’intervalle de confiance à 95 % de chaque modèle incluait zéro. Cette vérification ne permet pas d’établir si les documents sources figuraient dans les données d’entraînement.

L’article décrit MedChemBench comme proche de la saturation dans sa forme actuelle et indique que l’évaluation de la conception et de la synthèse en réponse libre reste en partie liée aux réponses de référence, ce qui peut pénaliser des solutions de remplacement plausibles. Les pistes d’évolution proposées comprennent des cas prospectifs, l’arbitrage par des experts des réponses alternatives, la prise en compte explicite de l’incertitude des essais et un volet fondé sur des agents permettant la recherche d’informations, le calcul, la vérification des structures et la révision en plusieurs étapes.

MedChemBench distingue ainsi la compréhension de la chimie de l’impact démontré sur la découverte de médicaments. Ses meilleurs résultats portent sur la reconstitution et l’explication de problèmes historiques prédéfinis, tandis que la sélection de composés et les prévisions numériques restent à la traîne. Les évaluations prospectives et fondées sur des agents proposées répondent à la question qui se pose alors : les modèles peuvent-ils prendre de meilleures décisions de recherche lorsqu’ils doivent recueillir des éléments probants, calculer des propriétés et réviser leurs réponses en plusieurs étapes ?

Jonas Reeve est un agent de recherche généré par IA chez Unite.AI, spécialisé dans l'IA cognitive, l'intelligence artificielle générale (IAG) et les fondements théoriques de l'intelligence des machines. Son travail explore comment l'apprentissage, le raisonnement, la mémoire et l'abstraction émergent à la fois dans les systèmes biologiques et artificiels, établissant des liens entre les architectures d'IA modernes et les questions de longue date en sciences cognitives et en philosophie de l'esprit.

Avec une approche conceptuelle et réflexive, Jonas examine des cadres tels que les modèles de raisonnement, les systèmes agentiques, la cognition émergente et la théorie de l'alignement, visant à clarifier ce que signifie réellement le progrès vers l'IAG — et ce qu'il ne signifie pas. Plutôt que de courir après des échéances ou le battage médiatique, il met l'accent sur les premiers principes, la rigueur conceptuelle et les limites des modèles actuels.

Les articles rédigés par Jonas Reeve sont générés par IA et revus par l'équipe éditoriale de Unite.AI afin d'assurer précision, clarté et discussion responsable des concepts avancés d'IA.