AI-modeller och plattformar
OpenAI presenterar MedChemBench för resonemang inom läkemedelskemi

Viktiga punkterMedChemBench blottlägger en klyfta mellan att rekonstruera molekyler och att välja…
Visa mer
- MedChemBench blottlägger en klyfta mellan att rekonstruera molekyler och att välja vilka föreningar som ska föras vidare.
- GPT-6 Astra erhöll 95,37 % av krediten för molekylstruktur men endast 50,42 % för rangordning och kandidaturval.
- OpenAI medger att riktmärket är nära mättnad och inte kan visa att modeller förbättrar verkliga beslut inom läkemedelsupptäckt.
OpenAI presenterade MedChemBench, ett riktmärke med 99 problem inom läkemedelskemi, den 20 november 2026 och uppgav att GPT-6.2 Astra fick 84,5 % av de tillgängliga poängen vid inställningen xhigh för resonemangsinsats. Det testar om modeller kan koppla molekylstrukturer till experimentella belägg för att förklara resultat, jämföra föreningar och förutsäga egenskaper.
De övriga rapporterade resultaten vid xhigh var 83,3 % för GPT-6 Astra, 82,0 % för GPT-6.1 Sol och 58,2 % för GPT-5.6 Sol. Riktmärket tar upp en central utmaning inom läkemedelskemi: en förening kan vara potent mot ett sjukdomsrelaterat protein men samtidigt absorberas dåligt eller metaboliseras alltför snabbt. För att välja vad som ska testas härnäst måste man därför väga konkurrerande egenskaper mot varandra i stället för att optimera ett enda mätvärde.
Så utformar och bedömer MedChemBench sina uppgifter
Den vetenskapliga artikeln beskriver en retrospektiv uppsättning uppgifter hämtade från 117 artiklar och patent, med sammanlagt 761 unika molekylstrukturer som bedöms. Frågorna stannar i regel vid en utvald beslutspunkt i ett forskningsprogram och anger den biologiska bakgrunden, tidigare föreningar och utvalda experimentella resultat. Senare resultat utelämnas och används för att utforma facitsvar och bedömningskriterier.
Uppgifterna omfattar preklinisk läkemedelsforskning, inte klinisk utveckling, och är indelade i sju kategorier. De omfattar bland annat integrerat urval av ledsubstanser med 48 uppgifter, prognoser för struktur–aktivitetsförhållanden med 26 uppgifter samt mindre grupper som täcker ADME (absorption, distribution, metabolism och utsöndring) och läkemedelstillförsel, molekylär design och uppräkning, säkerhet och problematiska egenskaper, retrosyntes samt analysbiologi och verkningsmekanism. Åttiofem uppgifter omfattar mer än ett vetenskapligt innehållsområde, vilket återspeglar hur valet av ledsubstans samtidigt kan bero på potens, selektivitet, cellanalyser, metabolism, exponering och säkerhet.
I en uppgift om PRMT5, ett protein som studeras inom cancerläkemedelsforskning, ska modellerna rekonstruera tre besläktade föreningar och förutsäga cellulär potens, permeabilitet, efflux och clearance i humana mikrosomer. De utelämnade resultaten visar avvägningen: förening 23 var mer potent i celler, medan förening 24 lättare passerade en cellbarriär och bröts ned långsammare i en analys av leverenzymer.
Bedömningen kombinerar deterministiska kontroller med bedömningsmallar som utvärderas av en modell. Molekylstruktur och vetenskaplig motivering står för 37,49 % respektive 35,78 % av de tillgängliga poängen; rankning och kandidatval står för 17,51 % och numeriska eller kategoriska förutsägelser för 8,92 %. För strukturbedömningen omvandlar RDKit inskickade SMILES, en textrepresentation av molekylgrafer, till kanonisk isomer form samtidigt som stereokemi och isotoper bevaras. Numeriska förutsägelser får i regel delpoäng utifrån faktorfelet, medan en separat bedömare, GPT-6 Astra med medelhög resonemangsinsats, ger noll, halv eller full poäng för kriterierna för vetenskaplig motivering.
Resultat för delmoment och strukturella fel
För 11 GPT-modeller och 61 kombinationer av modell och insatsnivå rapporterar artikeln 60 390 bedömda svar, med tio svar som behölls för varje uppgift under varje förhållande. GPT-6.2 Astra ingår inte bland dessa 11 modeller; resultatet för den modellen kommer från tillkännagivandet.
Vid xhigh rapporterar artikeln att GPT-6 Astra fick 95,37 % av de tillgängliga poängen för molekylstruktur och 91,05 % för vetenskaplig motivering, jämfört med 50,42 % för rankning och kandidatval samt 47,02 % för numeriska förutsägelser. Delmomenten omfattar olika tillämpliga uppgifter och bedömningsregler, men resultaten visar skillnaden mellan stark rekonstruktion och förklaring å ena sidan och svagare urval av föreningar och kvantitativa prognoser å den andra.
En rekonstruktionsuppgift som beskrivs i artikeln visar konkret vilka strukturella skillnader det handlar om. Modellerna skulle sätta ihop en molekyl av en central struktur och två fästa grupper, samtidigt som en ring med 18 atomer bevarades. GPT-6 Astra skapade rätt förening i samtliga tio svar vid xhigh, medan GPT-5.6 Sol och GPT-5.6 Luna misslyckades i alla sina tio svar. Sols illustrerade svar innehöll en ring med 15 atomer, medan Luna gav två åtskilda fragment. Sådana fel ändrar molekylens identitet innan någon analys av dess egenskaper ens börjar.
Begränsningar och föreslagna utvidgningar
OpenAI uppger att resultaten inte visar om modeller kan upptäcka nya läkemedel eller förbättra beslut i laboratoriet. Varje svar var ett enda försök utan verktyg, återkoppling eller nya experiment, och uppgifterna bygger på historiska belägg snarare än prospektiv läkemedelsforskning. Det går inte heller att utesluta att modellerna tidigare har exponerats för de publicerade källorna.
Som en heuristisk kontroll lade författarna till källornas DOI- eller patentidentifierare i samtliga 99 frågor för nio modeller vid xhigh. Den genomsnittliga förändringen av totalpoängen sträckte sig från en minskning med 0,23 procentenheter till en ökning med 0,80 poäng, och varje modellspecifikt 95-procentigt konfidensintervall omfattade noll. Kontrollen kan inte fastställa om källmaterialet förekom i träningsdata.
Artikeln beskriver MedChemBench som nära mättnad i sin nuvarande form och uppger att bedömningen av öppna design- och syntesuppgifter fortfarande delvis är knuten till facitsvar, vilket kan missgynna rimliga alternativ. Föreslagna utvidgningar omfattar prospektiva fall, expertbedömning av alternativa svar, uttrycklig hantering av osäkerhet i analyser samt ett agentbaserat spår som tillåter informationssökning, beräkningar, strukturverifiering och revidering i flera steg.
MedChemBench skiljer därför kemisk förståelse från påvisad påverkan på läkemedelsutveckling. De starkaste resultaten gäller att återskapa och förklara fasta historiska problem, medan val av föreningar och numeriska prognoser släpar efter. De föreslagna prospektiva och agentbaserade utvärderingarna tar upp den öppna fråga som därmed uppstår: om modeller kan fatta bättre forskningsbeslut när de måste samla in belägg, beräkna egenskaper och revidera sina svar i flera steg.












