AI-modeller og plattformer
OpenAI introduserer MedChemBench for resonnering innen medisinalkjemi

Viktige punkterMedChemBench avdekker et gap mellom å rekonstruere molekyler og å velge hvilke…
Vis mer
- MedChemBench avdekker et gap mellom å rekonstruere molekyler og å velge hvilke forbindelser som skal videreføres.
- GPT-6 Astra oppnådde 95,37 % av kreditten for molekylstruktur, men bare 50,42 % for rangering og kandidatutvelgelse.
- OpenAI innrømmer at benchmarken er nær metning og ikke kan vise at modeller forbedrer reelle beslutninger i legemiddeloppdagelse.
OpenAI introduserte MedChemBench, en benchmark for medisinalkjemi med 99 problemer, 20. november 2026 og opplyste at GPT-6.2 Astra oppnådde 84,5 % av den tilgjengelige uttellingen med innstillingen xhigh for resonneringsinnsats. Den tester om modeller kan knytte molekylstrukturer til eksperimentelle funn for å forklare resultater, sammenligne forbindelser og forutsi egenskaper.
De øvrige rapporterte resultatene ved xhigh var 83,3 % for GPT-6 Astra, 82,0 % for GPT-6.1 Sol og 58,2 % for GPT-5.6 Sol. Benchmarken tar for seg en sentral utfordring innen medisinalkjemi: En forbindelse kan være potent mot et sykdomsrelatert protein, men samtidig absorberes dårlig eller brytes ned for raskt. Når man skal velge hva som bør testes videre, må man derfor veie motstridende egenskaper opp mot hverandre i stedet for å optimalisere én enkelt måling.
Slik bygger og vurderer MedChemBench oppgavene
Den tekniske artikkelen beskriver et retrospektivt oppgavesett hentet fra 117 artikler og patenter, med til sammen 761 ulike molekylstrukturer som ble vurdert. Oppgavene stopper vanligvis ved et utvalgt beslutningspunkt i et forskningsprogram og oppgir den biologiske bakgrunnen, tidligere forbindelser og utvalgte eksperimentelle funn. Senere resultater holdes tilbake og brukes til å utarbeide fasitsvar og vurderingskriterier.
Oppgavene dekker preklinisk legemiddelutvikling, ikke klinisk utvikling, og er fordelt på sju kategorier. Disse omfatter helhetlig valg av utviklingskandidater med 48 oppgaver, prediksjon av struktur–aktivitetsforhold med 26 oppgaver og mindre grupper som dekker ADME (absorpsjon, distribusjon, metabolisme og utskillelse) og legemiddellevering, molekylær design og generering av molekyler, sikkerhet og risikofaktorer, retrosyntese samt analysebiologi og virkningsmekanisme. 85 oppgaver dekker mer enn ett faglig domene, noe som gjenspeiler at valget av utviklingskandidat samtidig kan avhenge av potens, selektivitet, celleanalyser, metabolisme, eksponering og sikkerhet.
I en oppgave om PRMT5, et protein som studeres innen kreftlegemiddelutvikling, skal modellene rekonstruere tre beslektede forbindelser og forutsi cellepotens, permeabilitet, effluks og human mikrosomal clearance. De tilbakeholdte resultatene viser avveiningen: Forbindelse 23 hadde høyere potens i celler, mens forbindelse 24 lettere passerte en cellebarriere og ble brutt ned langsommere i en analyse med leverenzymer.
Vurderingen kombinerer deterministiske kontroller med vurderingskriterier bedømt av en modell. Molekylstruktur og vitenskapelig begrunnelse utgjør henholdsvis 37,49 % og 35,78 % av den tilgjengelige uttellingen; rangering og valg av kandidater utgjør 17,51 %, mens numeriske eller kategoriske prediksjoner utgjør 8,92 %. For strukturer konverterer RDKit innsendte SMILES, en tekstlig representasjon av molekylgrafer, til kanonisk isomer form samtidig som stereokjemi og isotoper bevares. Numeriske prediksjoner får vanligvis delvis uttelling basert på foldfeil, mens en separat GPT-6 Astra-dommer med middels resonneringsinnsats vurderer kriteriene for vitenskapelig begrunnelse med null, halv eller full uttelling.
Resultater for delkomponenter og strukturelle feil
For 11 GPT-modeller og 61 kombinasjoner av modell og innsatsnivå rapporterer artikkelen 60 390 vurderte svar, med ti svar som ble beholdt for hver oppgave i hver kombinasjon. GPT-6.2 Astra er ikke blant disse 11 modellene; resultatet for den modellen stammer fra kunngjøringen.
For xhigh rapporterer artikkelen at GPT-6 Astra oppnådde 95,37 % av den tilgjengelige uttellingen for molekylstruktur og 91,05 % for vitenskapelig begrunnelse, sammenlignet med 50,42 % for rangering og valg av kandidater og 47,02 % for numeriske prediksjoner. Delkomponentene dekker ulike relevante oppgaver og vurderingsregler, men resultatene viser et skille mellom sterke prestasjoner i rekonstruksjon og forklaring og svakere prestasjoner i valg av forbindelser og kvantitative prognoser.
En rekonstruksjonsoppgave som beskrives i artikkelen, konkretiserer de strukturelle forskjellene. Modellene måtte sette sammen et molekyl av en sentral struktur og to påsatte grupper, samtidig som en ring med 18 atomer ble bevart. GPT-6 Astra produserte den riktige forbindelsen i alle de ti svarene ved xhigh, mens GPT-5.6 Sol og GPT-5.6 Luna feilet i alle sine ti svar. Sol-svaret som ble vist, inneholdt en ring med 15 atomer, mens Luna returnerte to frakoblede fragmenter. Slike feil endrer molekylets identitet før noen vurdering av egenskapene i det hele tatt begynner.
Begrensninger og foreslåtte utvidelser
OpenAI opplyser at resultatene ikke viser om modeller kan oppdage nye legemidler eller forbedre beslutninger i laboratoriet. Hvert svar var ett enkelt forsøk uten verktøy, tilbakemeldinger eller nye eksperimenter, og oppgavene bygger på historiske funn snarere enn framtidsrettet oppdagelse. Det kan heller ikke utelukkes at modellene tidligere har vært eksponert for de publiserte kildene.
Som en heuristisk kontroll la forfatterne til DOI-er eller patentidentifikatorer for kildene i alle de 99 oppgavene for ni modeller ved xhigh. Endringene i gjennomsnittlig totalskår varierte fra en nedgang på 0,23 prosentpoeng til en økning på 0,80 prosentpoeng, og alle de modellspesifikke 95 % konfidensintervallene omfattet null. Kontrollen kan ikke fastslå om kildematerialet inngikk i treningsdataene.
Artikkelen beskriver MedChemBench som nær metningspunktet i sin nåværende form og påpeker at vurderingen av åpne oppgaver innen design og syntese fortsatt delvis er knyttet til fasitsvar, noe som kan føre til at plausible alternativer straffes. Foreslåtte utvidelser omfatter framtidsrettede oppgaver, ekspertvurdering av alternative svar, eksplisitt håndtering av usikkerhet i analyser og et agentbasert spor som åpner for informasjonsinnhenting, beregninger, verifisering av strukturer og revisjon i flere trinn.
MedChemBench skiller dermed mellom kjemisk forståelse og dokumentert effekt på legemiddeloppdagelse. De sterkeste resultatene gjelder rekonstruksjon og forklaring av fastlagte historiske problemer, mens modellene henger etter når det gjelder valg av forbindelser og numeriske prognoser. De foreslåtte prospektive og agentbaserte evalueringene tar for seg det åpne spørsmålet som dette reiser: om modeller kan ta bedre forskningsbeslutninger når de må innhente dokumentasjon, beregne egenskaper og revidere svarene sine gjennom flere trinn.












