AI-mallit ja alustat
OpenAI esittelee MedChemBenchin lääkeainekemian päättelyä varten

Keskeiset kohdatMedChemBench paljastaa kuilun molekyylien rekonstruoinnin ja sen välillä, mitkä…
Näytä lisää
- MedChemBench paljastaa kuilun molekyylien rekonstruoinnin ja sen välillä, mitkä yhdisteet valitaan edistettäviksi.
- GPT-6 Astra sai 95,37 % molekyylirakenteen pisteistä mutta vain 50,42 % sijoittelusta ja ehdokkaiden valinnasta.
- OpenAI myöntää, että vertailuarviointi on lähellä kyllästymistä eikä voi osoittaa mallien parantavan todellisia lääkekehityspäätöksiä.
OpenAI esitteli 20. marraskuuta 2026 MedChemBenchin, 99 ongelman lääkeainekemian vertailutestin, ja ilmoitti, että GPT-6.2 Astra sai xhigh-päättelytehon asetuksella 84,5 % saatavilla olevista pisteistä. Testissä arvioidaan, pystyvätkö mallit yhdistämään molekyylirakenteita kokeelliseen näyttöön tulosten selittämiseksi, yhdisteiden vertailemiseksi ja ominaisuuksien ennustamiseksi.
Muut ilmoitetut xhigh-pisteet olivat GPT-6 Astralla 83,3 %, GPT-6.1 Solilla 82,0 % ja GPT-5.6 Solilla 58,2 %. Vertailutesti käsittelee lääkeainekemian keskeistä haastetta: yhdiste voi tehota voimakkaasti sairauteen liittyvään proteiiniin mutta imeytyä huonosti tai hajota aineenvaihdunnassa liian nopeasti. Seuraavaksi testattavan yhdisteen valinta edellyttää siksi keskenään kilpailevien ominaisuuksien punnitsemista yhden mittarin optimoinnin sijaan.
Näin MedChemBenchin tehtävät laaditaan ja pisteytetään
Tieteellisessä artikkelissa kuvataan jälkikäteen koottua tehtäväjoukkoa, joka perustuu 117 artikkeliin ja patenttiin ja sisältää 761 erillistä pisteytettävää molekyylirakennetta. Tehtävänannot päättyvät yleensä tutkimusohjelman valittuun päätöksentekokohtaan, ja niissä annetaan biologinen tausta, aiemmat yhdisteet ja valikoidut koetulokset. Myöhemmät tulokset jätetään pois, jotta niitä voidaan käyttää mallivastausten ja pisteytyskriteerien määrittämiseen.
Tehtävät käsittelevät lääkekehityksen prekliinistä vaihetta, eivät kliinistä kehitystä, ja jakautuvat seitsemään luokkaan. Niihin kuuluvat integroitua johtoyhdisteen valintaa käsittelevät tehtävät (48), rakenne–aktiivisuussuhteen ennustamista käsittelevät tehtävät (26) sekä pienemmät ryhmät, jotka kattavat ADME:n (imeytyminen, jakautuminen, metabolia ja erittyminen) ja lääkkeen kuljetuksen, molekyylien suunnittelun ja luetteloinnin, turvallisuuden ja riskitekijät, retrosynteesin sekä biologiset määritykset ja vaikutusmekanismit. Kahdeksankymmentäviisi tehtävää kattaa useamman kuin yhden tieteellisen sisältöalueen, mikä kuvastaa sitä, että johtoyhdisteen valinta voi riippua samanaikaisesti tehosta, selektiivisyydestä, solumäärityksistä, metaboliasta, altistuksesta ja turvallisuudesta.
Yhdessä syöpälääkekehityksessä tutkittua proteiinia PRMT5:tä koskevassa tehtävässä malleja pyydetään rekonstruoimaan kolme toisiinsa liittyvää yhdistettä ja ennustamaan niiden solutason teho, läpäisevyys, effluksi ja puhdistuma ihmisen maksan mikrosomeissa. Pois jätetyt tulokset havainnollistavat ominaisuuksien välistä kompromissia: yhdiste 23 tehosi soluissa enemmän, kun taas yhdiste 24 läpäisi solurajan helpommin ja hajosi hitaammin maksaentsyymimäärityksessä.
Pisteytyksessä yhdistetään deterministisiä tarkistuksia ja mallin arvioimia kriteeristöjä. Molekyylirakenteen osuus saatavilla olevista pisteistä on 37,49 % ja tieteellisen perustelun 35,78 %; järjestyksen määrittämisen ja kandidaatin valinnan osuus on 17,51 % ja numeerisen tai luokittelevan ennusteen 8,92 %. Rakenteiden osalta RDKit muuntaa annetut SMILES-esitykset eli molekyyligraafien tekstimuotoiset kuvaukset kanoniseen isomeeriseen muotoon säilyttäen stereokemian ja isotoopit. Numeerisista ennusteista saa yleensä osittaiset pisteet kertavirheen perusteella, kun taas erillinen GPT-6 Astra -arvioija pisteyttää tieteellistä perustelua koskevat kriteerit puolikkailla tai täydellä pistemäärällä tai nollalla käyttäen keskitasoista päättelytehoa.
Osatulokset ja rakennevirheet
Artikkelissa raportoidaan 11 GPT-mallin ja 61 malli–päättelyteho-yhdistelmän osalta 60 390 pisteytettyä vastausta. Jokaisesta tehtävästä ja yhdistelmästä säilytettiin kymmenen vastausta. GPT-6.2 Astra ei kuulu näihin 11 malliin; sen tulos on peräisin julkistuksesta.
Artikkelin mukaan GPT-6 Astra sai xhigh-asetuksella 95,37 % saatavilla olevista molekyylirakenteen pisteistä ja 91,05 % tieteellisen perustelun pisteistä. Järjestyksen määrittämisestä ja kandidaatin valinnasta se sai 50,42 % ja numeerisesta ennustamisesta 47,02 %. Osioissa arvioidaan eri tehtäviä niihin sovellettavien erilaisten pisteytyssääntöjen mukaan, mutta tulokset tuovat esiin vahvan kyvyn rakenteiden rekonstruointiin ja tulosten selittämiseen sekä heikomman kyvyn yhdisteiden valintaan ja määrälliseen ennustamiseen.
Artikkelissa kuvattu rekonstruktiotehtävä havainnollistaa konkreettisesti rakenteellisia eroja. Mallien piti koota molekyyli keskirakenteesta ja kahdesta siihen liitetystä ryhmästä säilyttäen 18 atomia sisältävän renkaan. GPT-6 Astra tuotti oikean yhdisteen kaikissa kymmenessä xhigh-vastauksessaan, kun taas GPT-5.6 Sol ja GPT-5.6 Luna epäonnistuivat kaikissa kymmenessä vastauksessaan. Kuvassa esitetyssä Solin vastauksessa oli 15 atomia sisältävä rengas, kun taas Luna palautti kaksi toisistaan erillistä osaa. Tällaiset virheet muuttavat molekyylin identiteettiä jo ennen ominaisuuksien päättelyä.
Rajoitukset ja ehdotetut laajennukset
OpenAI toteaa, etteivät pisteet osoita, pystyvätkö mallit löytämään uusia lääkkeitä tai parantamaan laboratoriossa tehtäviä päätöksiä. Jokainen vastaus oli yksittäinen yritys ilman työkaluja, palautetta tai uusia kokeita, ja tehtävät perustuvat historialliseen näyttöön eivätkä ennakoivaan lääkekehitykseen. Ei myöskään voida sulkea pois sitä, että mallit ovat aiemmin altistuneet julkaistuille lähteille.
Kirjoittajat lisäsivät suuntaa-antavana tarkistuksena kaikkien 99 tehtävänannon yhteyteen lähteen DOI-tunnuksen tai patenttitunnuksen ja testasivat yhdeksää mallia xhigh-asetuksella. Kokonaispistemäärän keskimääräinen muutos vaihteli 0,23 prosenttiyksikön laskusta 0,80 prosenttiyksikön nousuun, ja jokaisen mallin 95 prosentin luottamusväli sisälsi nollan. Tarkistuksen perusteella ei voida päätellä, sisältyikö lähdemateriaalia mallien koulutusaineistoon.
Artikkelissa MedChemBenchiä kuvataan nykyisessä muodossaan lähes kyllästymispisteessä olevaksi vertailutestiksi. Siinä todetaan myös, että avointen suunnittelu- ja synteesitehtävien pisteytys perustuu yhä osittain mallivastauksiin, mikä voi johtaa uskottavien vaihtoehtojen rankaisemiseen. Ehdotettuihin laajennuksiin kuuluvat ennakoivat tapaustutkimukset, asiantuntijoiden tekemä vaihtoehtoisten vastausten arviointi, määrityksiin liittyvän epävarmuuden eksplisiittinen käsittely sekä agenttipohjainen osio, jossa sallitaan tiedonhaku, laskenta, rakenteiden tarkistaminen ja vastausten monivaiheinen tarkentaminen.
MedChemBench erottaa näin kemiallisen ymmärtämisen lääkekehitykseen liittyvästä osoitetusta vaikutuksesta. Sen parhaat tulokset koskevat ennalta määriteltyjen historiallisten ongelmien rekonstruointia ja selittämistä, kun taas yhdisteiden valinnassa ja numeerisissa ennusteissa tulokset jäävät heikommiksi. Ehdotetuilla prospektiivisilla ja agenttipohjaisilla arvioinneilla pyritään vastaamaan tästä nousevaan avoimeen kysymykseen: pystyvätkö mallit tekemään parempia tutkimuspäätöksiä, kun niiden on kerättävä näyttöä, laskettava ominaisuuksia ja tarkistettava vastauksiaan useassa vaiheessa.












