Modely a platformy AI
OpenAI představuje MedChemBench pro uvažování v medicinální chemii

Klíčové bodyMedChemBench odhaluje mezeru mezi rekonstrukcí molekul a volbou, které sloučeniny…
Zobrazit více
- MedChemBench odhaluje mezeru mezi rekonstrukcí molekul a volbou, které sloučeniny posunout dál.
- GPT-6 Astra získal 95,37 % kreditu za molekulární strukturu, ale pouze 50,42 % za hodnocení a výběr kandidátů.
- OpenAI připouští, že benchmark je blízko saturace a nemůže ukázat, že modely zlepšují skutečná rozhodnutí při objevování léků.
OpenAI představila 20. listopadu 2026 benchmark MedChemBench pro medicinální chemii, který obsahuje 99 problémů, a uvedla, že GPT-6.2 Astra získal při nastavení úsilí při uvažování xhigh 84,5 % dostupného skóre. Benchmark testuje, zda modely dokážou propojovat molekulární struktury s experimentálními důkazy, vysvětlovat výsledky, porovnávat sloučeniny a předpovídat jejich vlastnosti.
Další uváděné výsledky při nastavení xhigh byly 83,3 % pro GPT-6 Astra, 82,0 % pro GPT-6.1 Sol a 58,2 % pro GPT-5.6 Sol. Benchmark se zaměřuje na zásadní problém medicinální chemie: sloučenina může být účinná proti proteinu souvisejícímu s onemocněním, a přitom se může špatně vstřebávat nebo se příliš rychle metabolizovat. Výběr toho, co testovat dál, proto vyžaduje zvažování protichůdných vlastností namísto optimalizace jediného ukazatele.
Jak MedChemBench sestavuje a hodnotí úlohy
Odborná studie popisuje soubor retrospektivních úloh vybraných ze 117 článků a patentů, který zahrnuje 761 různých hodnocených molekulárních struktur. Zadání obvykle končí v určitém bodě rozhodování v rámci výzkumného programu a uvádí biologický kontext, dřívější sloučeniny i vybrané experimentální poznatky. Pozdější výsledky jsou zadrženy, aby sloužily jako podklad pro referenční odpovědi a kritéria hodnocení.
Úlohy pokrývají preklinický vývoj léčiv, nikoli klinický vývoj, a spadají do sedmi kategorií. Patří mezi ně integrovaný výběr vývojových kandidátních látek (48 úloh), předpovídání vztahu mezi strukturou a účinkem (26 úloh) a menší skupiny zaměřené na ADME (vstřebávání, distribuci, metabolismus a vylučování) a doručování léčiv, návrh a generování molekul, bezpečnost a rizikové vlastnosti, retrosyntézu a biologii testů a mechanismy účinku. Pětaosmdesát úloh zahrnuje více než jednu oblast vědeckého obsahu, což odráží skutečnost, že výběr vývojové kandidátní látky může současně záviset na účinnosti, selektivitě, buněčných testech, metabolismu, expozici i bezpečnosti.
Jeden problém týkající se PRMT5, proteinu zkoumaného při vývoji protinádorových léčiv, žádá modely, aby rekonstruovaly tři příbuzné sloučeniny a předpověděly jejich účinnost v buňkách, propustnost, eflux a clearance v lidských jaterních mikrozomech. Zadržené výsledky ukazují související kompromis: sloučenina 23 byla v buňkách účinnější, zatímco sloučenina 24 snáze pronikala přes buněčnou bariéru a v testu s jaterními enzymy se rozkládala pomaleji.
Hodnocení kombinuje deterministické kontroly s kritérii posuzovanými modelem. Molekulární struktura a vědecké zdůvodnění představují 37,49 % a 35,78 % dostupného skóre; pořadí a výběr kandidátních látek tvoří 17,51 % a číselné či kategoriální předpovědi 8,92 %. U struktur převádí RDKit zadané zápisy SMILES, tedy textovou reprezentaci molekulárních grafů, do kanonické izomerní podoby a přitom zachovává stereochemii i izotopy. Za číselné předpovědi se obecně uděluje částečné skóre podle násobkové chyby, zatímco samostatný hodnoticí model GPT-6 Astra při střední míře úsilí při uvažování posuzuje kritéria vědeckého zdůvodnění jako nulové, poloviční nebo plné skóre.
Výsledky jednotlivých složek a chyby ve strukturách
Studie uvádí 60 390 hodnocených odpovědí napříč 11 modely GPT a 61 kombinacemi modelů a úrovní úsilí; pro každou úlohu v každé kombinaci bylo ponecháno deset odpovědí. GPT-6.2 Astra mezi těchto 11 modelů nepatří; jeho výsledek pochází z oznámení.
Studie uvádí, že při nastavení xhigh získal GPT-6 Astra 95,37 % dostupného skóre za molekulární strukturu a 91,05 % za vědecké zdůvodnění, ve srovnání s 50,42 % za pořadí a výběr kandidátních látek a 47,02 % za číselné předpovědi. Jednotlivé složky se vztahují k různým použitelným úlohám a pravidlům hodnocení, výsledky však ukazují rozdíl mezi silnými schopnostmi v rekonstrukci a vysvětlování a slabšími výsledky při výběru sloučenin a kvantitativním předpovídání.
Rekonstrukční úloha popsaná ve studii názorně ukazuje rozdíly ve strukturách. Modely měly sestavit molekulu z centrální struktury a dvou připojených skupin a zachovat přitom kruh s 18 atomy. GPT-6 Astra vytvořil správnou sloučeninu ve všech deseti odpovědích při nastavení xhigh, zatímco GPT-5.6 Sol a GPT-5.6 Luna chybovaly ve všech svých deseti odpovědích. Znázorněná odpověď modelu Sol obsahovala kruh s 15 atomy, zatímco Luna vrátila dva nespojené fragmenty. Takové chyby mění identitu molekuly ještě předtím, než vůbec začne uvažování o jejích vlastnostech.
Omezení a navrhovaná rozšíření
OpenAI uvádí, že dosažená skóre neprokazují, zda modely dokážou objevovat nové léky nebo zlepšovat rozhodování v laboratoři. Každá odpověď vznikla na jediný pokus, bez nástrojů, zpětné vazby či nových experimentů, a úlohy vycházejí z historických důkazů, nikoli z prospektivního objevování. Nelze také vyloučit, že modely byly s publikovanými zdroji obeznámeny již dříve.
Jako heuristickou kontrolu autoři přidali ke všem 99 zadáním identifikátory DOI zdrojových článků nebo čísla patentů a otestovali devět modelů při nastavení xhigh. Průměrná změna celkového skóre se pohybovala od poklesu o 0,23 procentního bodu po nárůst o 0,80 bodu a každý 95% interval spolehlivosti pro jednotlivý model zahrnoval nulu. Tato kontrola nemůže prokázat, zda se zdrojový materiál objevil v trénovacích datech.
Studie popisuje MedChemBench v jeho současné podobě jako benchmark blížící se saturaci a uvádí, že hodnocení otevřeného návrhu a syntézy se stále částečně opírá o referenční odpovědi, což může znevýhodňovat věrohodné alternativy. Navrhovaná rozšíření zahrnují prospektivní případy, odborné posuzování alternativních odpovědí, výslovné zohlednění nejistoty testů a agentní část umožňující vyhledávání informací, výpočty, ověřování struktur a vícekrokové úpravy.
MedChemBench proto odděluje porozumění chemii od prokázaného přínosu pro objevování léčiv. Nejlepších výsledků dosahuje při rekonstrukci a vysvětlování předem stanovených historických problémů, zatímco při výběru sloučenin a numerickém předpovídání zaostává. Navrhovaná prospektivní hodnocení a hodnocení založená na agentech se zabývají nezodpovězenou otázkou, zda modely dokážou lépe rozhodovat o výzkumu, když musí shromažďovat důkazy, vypočítávat vlastnosti a v několika krocích své odpovědi upravovat.












