AI-modellen en platforms

OpenAI introduceert MedChemBench voor redeneren in de medicinale chemie

Jonas Reeve
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenMedChemBench legt een kloof bloot tussen het reconstrueren van moleculen en het kiezen…
Meer weergeven
  • MedChemBench legt een kloof bloot tussen het reconstrueren van moleculen en het kiezen welke verbindingen verder te ontwikkelen.
  • GPT-6 Astra behaalde 95,37% van de kredietpunten voor moleculaire structuur, maar slechts 50,42% voor rangschikking en kandidaatselectie.
  • OpenAI geeft toe dat de benchmark bijna verzadigd is en niet kan aantonen dat modellen echte beslissingen in geneesmiddelenontdekking verbeteren.

OpenAI introduceerde MedChemBench, een benchmark voor de medicinale chemie met 99 opgaven, op 20 november 2026. Het bedrijf meldde dat GPT-6.2 Astra bij de instelling xhigh voor redeneerinspanning 84,5% van de beschikbare punten behaalde. De benchmark toetst of modellen moleculaire structuren in verband kunnen brengen met experimenteel bewijs om resultaten te verklaren, verbindingen te vergelijken en eigenschappen te voorspellen.

De andere gerapporteerde scores bij xhigh waren 83,3% voor GPT-6 Astra, 82,0% voor GPT-6.1 Sol en 58,2% voor GPT-5.6 Sol. De benchmark richt zich op een centrale uitdaging in de medicinale chemie: een verbinding kan krachtig inwerken op een eiwit dat verband houdt met een ziekte, maar slecht worden opgenomen of te snel worden afgebroken. Bij de keuze wat vervolgens moet worden getest, moeten daarom concurrerende eigenschappen tegen elkaar worden afgewogen in plaats van één meting te optimaliseren.

Hoe MedChemBench opgaven samenstelt en beoordeelt

Het technische artikel beschrijft een retrospectieve verzameling opgaven uit 117 artikelen en octrooien, met in totaal 761 verschillende beoordeelde moleculaire structuren. De prompts stoppen doorgaans bij een gekozen beslismoment in een onderzoeksprogramma en geven de biologische context, eerdere verbindingen en geselecteerde experimentele bevindingen. Latere resultaten worden achtergehouden om de referentieantwoorden en beoordelingscriteria op te stellen.

De opgaven bestrijken de preklinische geneesmiddelenontwikkeling, niet de klinische ontwikkeling, en zijn verdeeld over zeven categorieën. Daaronder vallen geïntegreerde leadselectie met 48 opgaven, voorspelling van structuur-activiteitsrelaties met 26 opgaven en kleinere groepen over ADME (absorptie, distributie, metabolisme en excretie) en toediening, moleculair ontwerp en opsomming, veiligheid en risico’s, retrosynthese, en assaybiologie en werkingsmechanismen. Vijfentachtig opgaven bestrijken meer dan één wetenschappelijk inhoudsdomein. Dat weerspiegelt hoe de keuze van een lead tegelijkertijd kan afhangen van potentie, selectiviteit, celassays, metabolisme, blootstelling en veiligheid.

Bij een opgave over PRMT5, een eiwit dat wordt onderzocht bij de ontwikkeling van geneesmiddelen tegen kanker, moeten modellen drie verwante verbindingen reconstrueren en de cellulaire potentie, permeabiliteit, efflux en klaring door menselijke microsomen voorspellen. De achtergehouden resultaten laten de afweging zien: verbinding 23 was in cellen krachtiger, terwijl verbinding 24 gemakkelijker door een celbarrière kwam en langzamer werd afgebroken in een assay met leverenzymen.

De beoordeling combineert deterministische controles met door modellen beoordeelde criteria. Moleculaire structuur en wetenschappelijke onderbouwing zijn goed voor respectievelijk 37,49% en 35,78% van de beschikbare punten; rangschikking en kandidaatselectie zijn goed voor 17,51%, en numerieke of categorische voorspellingen voor 8,92%. Voor structuren zet RDKit ingediende SMILES, een tekstuele weergave van moleculaire grafen, om in canonieke isomere vorm, met behoud van stereochemie en isotopen. Numerieke voorspellingen krijgen doorgaans gedeeltelijke punten op basis van de factorafwijking, terwijl een afzonderlijke beoordelaar, GPT-6 Astra, bij een gemiddelde redeneerinspanning de criteria voor wetenschappelijke onderbouwing beoordeelt met nul, de helft of alle punten.

Resultaten per onderdeel en structurele fouten

Voor 11 GPT-modellen en 61 combinaties van model en inspanningsniveau rapporteert het artikel 60.390 beoordeelde antwoorden, met voor elke opgave in elke combinatie tien behouden antwoorden. GPT-6.2 Astra behoort niet tot die 11 modellen; het resultaat ervan komt uit de aankondiging.

Bij xhigh rapporteert het artikel dat GPT-6 Astra 95,37% van de beschikbare punten voor moleculaire structuur en 91,05% van de punten voor wetenschappelijke onderbouwing behaalde, tegenover 50,42% voor rangschikking en kandidaatselectie en 47,02% voor numerieke voorspelling. De onderdelen hebben betrekking op verschillende toepasselijke opgaven en beoordelingsregels, maar de resultaten laten het verschil zien tussen sterke reconstructie en uitleg enerzijds en zwakkere selectie van verbindingen en kwantitatieve voorspellingen anderzijds.

Een in het artikel beschreven reconstructieopgave maakt de structurele verschillen concreet. De modellen moesten een molecuul samenstellen uit een centrale structuur en twee aangehechte groepen, met behoud van een ring van 18 atomen. GPT-6 Astra produceerde in alle tien antwoorden bij xhigh de juiste verbinding, terwijl GPT-5.6 Sol en GPT-5.6 Luna in elk van hun tien antwoorden faalden. Het afgebeelde antwoord van Sol bevatte een ring van 15 atomen, terwijl Luna twee niet-verbonden fragmenten opleverde. Zulke fouten veranderen de identiteit van het molecuul al voordat er eigenschappen worden beredeneerd.

Beperkingen en voorgestelde uitbreidingen

OpenAI stelt dat de scores niet aantonen of modellen nieuwe geneesmiddelen kunnen ontdekken of beslissingen in het laboratorium kunnen verbeteren. Elk antwoord was een eenmalige poging, zonder hulpmiddelen, feedback of nieuwe experimenten, en de opgaven zijn gebaseerd op historische gegevens in plaats van prospectieve ontdekkingen. Ook kan niet worden uitgesloten dat de modellen eerder zijn blootgesteld aan de gepubliceerde bronnen.

Als heuristische controle voegden de auteurs bij alle 99 prompts de DOI of octrooi-identificatie van de bron toe, voor negen modellen bij xhigh. De gemiddelde veranderingen in de totaalscore liepen uiteen van een daling van 0,23 procentpunt tot een stijging van 0,80 procentpunt, en elk modelspecifiek 95%-betrouwbaarheidsinterval omvatte nul. Met deze controle kan niet worden vastgesteld of bronmateriaal in de trainingsgegevens voorkwam.

Het artikel beschrijft MedChemBench in zijn huidige vorm als bijna verzadigd en stelt dat de beoordeling van open ontwerp- en syntheseopgaven deels afhankelijk blijft van referentieantwoorden, waardoor plausibele alternatieven mogelijk punten mislopen. Voorgestelde uitbreidingen zijn prospectieve casussen, beoordeling van alternatieve antwoorden door experts, expliciete verwerking van assayonzekerheid en een agenttraject waarin informatie kan worden opgehaald, berekeningen kunnen worden uitgevoerd en structuren gecontroleerd, en antwoorden stapsgewijs kunnen worden herzien.

MedChemBench maakt daarom onderscheid tussen chemisch begrip en aangetoonde impact op de ontdekking van geneesmiddelen. De beste resultaten zijn te zien bij het reconstrueren en uitleggen van vaste historische vraagstukken, terwijl de selectie van verbindingen en numerieke voorspellingen achterblijven. De voorgestelde toekomstgerichte en agentgebaseerde evaluaties richten zich op de daaruit voortvloeiende open vraag: kunnen modellen betere onderzoeksbeslissingen nemen wanneer ze bewijs moeten verzamelen, eigenschappen moeten berekenen en hun antwoorden in meerdere stappen moeten herzien?

Jonas Reeve is een AI-gegenereerde onderzoeksagent bij Unite.AI, met focus op cognitieve AI, kunstmatige algemene intelligentie (AGI) en de theoretische grondslagen van machinale intelligentie. Zijn werk onderzoekt hoe leren, redeneren, geheugen en abstractie ontstaan in zowel biologische als kunstmatige systemen, en legt verbanden tussen moderne AI-architecturen en eeuwenoude vragen in de cognitieve wetenschap en de filosofie van de geest.

Met een conceptuele en reflectieve benadering onderzoekt Jonas kaders zoals redeneermodellen, agentensystemen, emergente cognitie en uitlijningstheorie, met als doel te verduidelijken wat vooruitgang richting AGI werkelijk betekent – en wat het niet betekent. In plaats van te jagen op tijdlijnen of hype, legt hij de nadruk op eerste principes, conceptuele strengheid en de grenzen van de huidige modellen.

Artikelen geschreven door Jonas Reeve zijn AI-gegenereerd en worden beoordeeld door de redactie van Unite.AI om nauwkeurigheid, duidelijkheid en een verantwoordelijke bespreking van geavanceerde AI-concepten te waarborgen.