AI-modeller og platforme

OpenAI introducerer MedChemBench til ræsonnering inden for lægemiddelkemi

Jonas Reeve
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterMedChemBench afslører et gab mellem at rekonstruere molekyler og at vælge, hvilke…
Vis mere
  • MedChemBench afslører et gab mellem at rekonstruere molekyler og at vælge, hvilke forbindelser der skal fremmes.
  • GPT-6 Astra opnåede 95,37% af molekylstruktur-kreditten, men kun 50,42% for rangordning og kandidatudvælgelse.
  • OpenAI indrømmer, at benchmarken er tæt på mætning og ikke kan vise, at modeller forbedrer reelle beslutninger inden for lægemiddelopdagelse.

OpenAI introducerede MedChemBench, en benchmark med 99 opgaver inden for lægemiddelkemi, den 20. november 2026 og oplyste, at GPT-6.2 Astra opnåede 84,5 % af de mulige point ved indstillingen xhigh for ræsonneringsindsats. Benchmarken tester, om modeller kan koble molekylstrukturer sammen med eksperimentelle data for at forklare resultater, sammenligne forbindelser og forudsige egenskaber.

De øvrige rapporterede xhigh-resultater var 83,3 % for GPT-6 Astra, 82,0 % for GPT-6.1 Sol og 58,2 % for GPT-5.6 Sol. Benchmarken tager fat på en central udfordring inden for lægemiddelkemi: En forbindelse kan være potent over for et sygdomsrelateret protein, men samtidig blive dårligt optaget eller omsat for hurtigt. Når man skal vælge, hvad der skal testes som det næste, må man derfor afveje konkurrerende egenskaber frem for at optimere én enkelt måling.

Sådan opbygger og bedømmer MedChemBench opgaver

Den tekniske artikel beskriver et retrospektivt opgavesæt baseret på 117 artikler og patenter, som omfatter 761 forskellige molekylstrukturer, der indgår i bedømmelsen. Opgaveformuleringerne stopper som regel ved et udvalgt beslutningspunkt i et forskningsprogram og indeholder den biologiske kontekst, tidligere forbindelser og udvalgte eksperimentelle resultater. Senere resultater tilbageholdes, så de kan bruges til at udarbejde facitsvar og bedømmelseskriterier.

Opgaverne dækker præklinisk lægemiddeludvikling, ikke klinisk udvikling, og er fordelt på syv kategorier. De omfatter integreret udvælgelse af leadforbindelser med 48 opgaver, forudsigelse af struktur-aktivitetsforhold med 26 opgaver samt mindre grupper, der dækker ADME (absorption, distribution, metabolisme og udskillelse) og lægemiddellevering, molekylært design og enumerering, sikkerhed og risikofaktorer, retrosyntese samt biologiske assays og virkningsmekanisme. 85 opgaver spænder over mere end ét fagligt indholdsområde, hvilket afspejler, at valget af en leadforbindelse samtidig kan afhænge af potens, selektivitet, celleassays, metabolisme, eksponering og sikkerhed.

En opgave om PRMT5, et protein, der undersøges inden for udvikling af kræftlægemidler, beder modellerne om at rekonstruere tre beslægtede forbindelser og forudsige cellulær potens, permeabilitet, effluks og clearance i humane mikrosomer. De tilbageholdte resultater viser afvejningen: Forbindelse 23 var mere potent i celler, mens forbindelse 24 lettere passerede en cellebarriere og blev nedbrudt langsommere i et assay med leverenzymer.

Bedømmelsen kombinerer deterministiske kontroller med kriterier, der vurderes af en model. Molekylstruktur og faglig begrundelse udgør henholdsvis 37,49 % og 35,78 % af de mulige point; rangordning og valg af kandidater udgør 17,51 %, mens numeriske eller kategoriske forudsigelser udgør 8,92 %. For strukturer omdanner RDKit indsendte SMILES, en tekstlig repræsentation af molekylgrafer, til kanonisk isomerisk form, samtidig med at stereokemi og isotoper bevares. Numeriske forudsigelser får som regel delvis point efter foldfejl, mens en særskilt bedømmer, GPT-6 Astra, vurderer kriterierne for faglig begrundelse til nul, halvt eller fuldt point ved middel ræsonneringsindsats.

Resultater for delkomponenter og strukturelle fejl

På tværs af 11 GPT-modeller og 61 kombinationer af model og indsats rapporterer artiklen 60.390 bedømte svar med ti bevarede svar for hver opgave i hver kombination. GPT-6.2 Astra er ikke blandt de 11 modeller; resultatet for den stammer fra annonceringen.

Ved xhigh rapporterer artiklen, at GPT-6 Astra opnåede 95,37 % af de mulige point for molekylstruktur og 91,05 % for faglig begrundelse, sammenlignet med 50,42 % for rangordning og valg af kandidater og 47,02 % for numerisk forudsigelse. Delkomponenterne dækker forskellige relevante opgaver og bedømmelsesregler, men resultaterne viser forskellen mellem stærk rekonstruktion og forklaring og svagere valg af forbindelser og kvantitativ forudsigelse.

En rekonstruktionsopgave beskrevet i artiklen gør de strukturelle forskelle konkrete. Modellerne skulle samle et molekyle ud fra en central struktur og to påsatte grupper, samtidig med at en ring med 18 atomer blev bevaret. GPT-6 Astra fremstillede den korrekte forbindelse i alle sine ti xhigh-svar, mens GPT-5.6 Sol og GPT-5.6 Luna fejlede i alle deres ti svar. Det viste Sol-svar indeholdt en ring med 15 atomer, mens Luna returnerede to adskilte fragmenter. Sådanne fejl ændrer molekylets identitet, før nogen overvejelser om dets egenskaber overhovedet begynder.

Begrænsninger og foreslåede udvidelser

OpenAI oplyser, at resultaterne ikke viser, om modeller kan opdage nye lægemidler eller forbedre beslutninger i laboratoriet. Hvert svar var et enkelt forsøg uden værktøjer, feedback eller nye eksperimenter, og opgaverne bygger på historiske data frem for prospektiv lægemiddelopdagelse. Det kan heller ikke udelukkes, at modellerne tidligere har været eksponeret for de offentliggjorte kilder.

Som en heuristisk kontrol føjede forfatterne kildens DOI- eller patentidentifikatorer til alle 99 opgaveformuleringer for ni modeller ved xhigh. De gennemsnitlige ændringer i den samlede score spændte fra et fald på 0,23 procentpoint til en stigning på 0,80 point, og alle modelspecifikke 95 % konfidensintervaller omfattede nul. Kontrollen kan ikke fastslå, om kildematerialet indgik i træningsdataene.

Artiklen beskriver MedChemBench som tæt på at have nået mætningspunktet i sin nuværende form og anfører, at bedømmelsen af åbent design og syntese stadig delvist er bundet til facitsvar, hvilket kan straffe plausible alternativer. De foreslåede udvidelser omfatter prospektive cases, ekspertvurdering af alternative svar, eksplicit håndtering af usikkerhed i assays samt et agentbaseret spor, der giver mulighed for informationssøgning, beregninger, strukturverifikation og revision i flere trin.

MedChemBench adskiller derfor kemisk forståelse fra dokumenteret effekt på lægemiddelopdagelse. De bedste resultater handler om at rekonstruere og forklare fastlagte historiske problemstillinger, mens valg af forbindelser og numeriske prognoser halter bagefter. De foreslåede fremadrettede evalueringer og evalueringer med agenter adresserer det deraf følgende åbne spørgsmål: Kan modeller træffe bedre forskningsbeslutninger, når de skal indsamle evidens, beregne egenskaber og revidere deres svar over flere trin?

Jonas Reeve er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, med fokus på kognitiv AI, kunstig generel intelligens (AGI) og de teoretiske grundlag for maskinintelligens. Hans arbejde undersøger, hvordan læring, ræsonnement, hukommelse og abstraktion opstår i både biologiske og kunstige systemer, og trækker forbindelser mellem moderne AI-arkitekturer og langvarige spørgsmål inden for kognitiv videnskab og sindets filosofi.

Med en konceptuel og reflekterende tilgang undersøger Jonas rammer som ræsonneringsmodeller, agentbaserede systemer, emergent kognition og justeringsteori, med det formål at tydeliggøre, hvad fremskridt mod AGI faktisk betyder – og hvad det ikke gør. I stedet for at jagte tidslinjer eller hype lægger han vægt på første principper, konceptuel stringens og begrænsningerne i de nuværende modeller.

Artikler skrevet af Jonas Reeve er AI-genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre nøjagtighed, klarhed og ansvarlig diskussion af avancerede AI-koncepter.