Моделі та платформи ШІ
OpenAI представляє MedChemBench для оцінювання міркувань у медичній хімії

Ключові моментиMedChemBench виявляє розрив між реконструкцією молекул і вибором того, які сполуки…
Показати більше
- MedChemBench виявляє розрив між реконструкцією молекул і вибором того, які сполуки просувати.
- GPT-6 Astra отримав 95,37% за кредит молекулярної структури, але лише 50,42% за ранжування та відбір кандидатів.
- OpenAI визнає, що бенчмарк близький до насичення і не може показати, що моделі покращують реальні рішення у відкритті ліків.
OpenAI представила MedChemBench — тест для оцінювання моделей у медичній хімії, що містить 99 завдань. 20 листопада 2026 року компанія повідомила, що GPT-6.2 Astra набрала 84,5% доступних балів у режимі зусиль міркування xhigh. Тест перевіряє, чи здатні моделі пов’язувати молекулярні структури з експериментальними даними, щоб пояснювати результати, порівнювати сполуки та прогнозувати їхні властивості.
Серед інших оприлюднених результатів у режимі xhigh — 83,3% у GPT-6 Astra, 82,0% у GPT-6.1 Sol і 58,2% у GPT-5.6 Sol. Тест охоплює одну з ключових проблем медичної хімії: сполука може ефективно діяти на білок, пов’язаний із захворюванням, але погано всмоктуватися або надто швидко метаболізуватися. Тому, обираючи, що перевіряти далі, потрібно зважати на сукупність властивостей, які можуть суперечити одна одній, а не оптимізувати лише один показник.
Як у MedChemBench формують і оцінюють завдання
У технічній статті описано ретроспективний набір завдань, сформований на основі 117 наукових статей і патентів; він охоплює 761 окрему молекулярну структуру, яку оцінюють. Формулювання завдань зазвичай зупиняються на вибраному етапі дослідницької програми й містять біологічний контекст, відомості про попередні сполуки та окремі експериментальні результати. Пізніші результати не надають, щоб на їхній основі підготувати еталонні відповіді й критерії оцінювання.
Завдання охоплюють доклінічне відкриття лікарських засобів, а не клінічну розробку, і поділені на сім категорій. Серед них — комплексний вибір провідної сполуки (48 завдань), прогнозування залежності «структура — активність» (26 завдань), а також менші групи завдань, присвячені ADME (всмоктуванню, розподілу, метаболізму та виведенню) й доставці, молекулярному дизайну та переліку сполук, безпеці й потенційним ризикам, ретросинтезу, а також біології тест-систем і механізмам дії. Вісімдесят п’ять завдань охоплюють кілька наукових предметних галузей, що відображає, як вибір провідної сполуки може водночас залежати від її активності, селективності, результатів клітинних тестів, метаболізму, експозиції та безпеки.
В одному із завдань про PRMT5 — білок, який досліджують під час розробки протипухлинних препаратів, — моделям потрібно відтворити три споріднені сполуки та спрогнозувати їхню активність у клітинах, проникність, ефлюкс і швидкість кліренсу в мікросомах печінки людини. Неоприлюднені результати демонструють компроміс між властивостями: сполука 23 була активнішою в клітинах, тоді як сполука 24 легше проходила крізь клітинний бар’єр і повільніше розщеплювалася під час аналізу за участю ферментів печінки.
Оцінювання поєднує перевірки за чітко визначеними правилами з критеріями, які застосовує модель-суддя. На молекулярну структуру та наукове обґрунтування припадає відповідно 37,49% і 35,78% доступних балів; на ранжування й вибір кандидатів — 17,51%, а на числові або категоріальні прогнози — 8,92%. Для оцінювання структур RDKit перетворює подані SMILES — текстове представлення молекулярних графів — на канонічну ізомерну форму, зберігаючи стереохімію та ізотопи. За числові прогнози зазвичай нараховують частину балів залежно від кратності похибки, тоді як окрема модель-суддя GPT-6 Astra із середнім рівнем зусиль міркування оцінює наукове обґрунтування в нуль, половину або повну кількість балів.
Результати за окремими компонентами та структурні помилки
У статті наведено результати 60 390 оцінених відповідей, отриманих від 11 моделей GPT у 61 комбінації моделі й рівня зусиль; для кожного завдання в кожній комбінації зберегли по десять відповідей. GPT-6.2 Astra не входить до цих 11 моделей: її результат наведено в анонсі.
За рівня зусиль xhigh у статті повідомляють, що GPT-6 Astra набрала 95,37% доступних балів за молекулярну структуру та 91,05% за наукове обґрунтування, порівняно з 50,42% за ранжування й вибір кандидатів і 47,02% за числове прогнозування. Ці компоненти охоплюють різні застосовні завдання та правила оцінювання, але результати засвідчують різницю між високими показниками відтворення й пояснення та слабшими результатами у виборі сполук і кількісному прогнозуванні.
Описане у статті завдання на відтворення структури наочно демонструє відмінності між відповідями. Моделі мали зібрати молекулу з центральної структури та двох приєднаних груп, зберігши кільце з 18 атомів. У всіх десяти відповідях GPT-6 Astra за рівня зусиль xhigh було наведено правильну сполуку, тоді як GPT-5.6 Sol і GPT-5.6 Luna помилилися в усіх десяти своїх відповідях. У показаній відповіді Sol було кільце з 15 атомів, а Luna повернула два непоєднані фрагменти. Такі помилки змінюють ідентичність молекули ще до початку міркувань про її властивості.
Обмеження та запропоновані напрями розвитку
OpenAI зазначає, що ці результати не доводять, чи здатні моделі відкривати нові ліки або покращувати рішення, які ухвалюють у лабораторіях. Кожну відповідь надавали з однієї спроби — без інструментів, зворотного зв’язку чи нових експериментів; завдання спираються на історичні дані, а не на перспективне відкриття препаратів. Також не можна виключити, що моделі раніше бачили опубліковані джерела.
Для евристичної перевірки автори додали до всіх 99 завдань ідентифікатори DOI джерел або патентів і протестували дев’ять моделей за рівня зусиль xhigh. Середні зміни загального бала становили від зниження на 0,23 відсоткового пункта до зростання на 0,80 пункта, а кожен 95-відсотковий довірчий інтервал для окремої моделі охоплював нуль. Ця перевірка не дає змоги встановити, чи були матеріали з джерел у тренувальних даних.
У статті MedChemBench описано як тест, результати якого в його нинішньому вигляді майже досягли граничного рівня. Також зазначено, що оцінювання відкритих завдань із дизайну та синтезу досі частково спирається на еталонні відповіді, через що правдоподібні альтернативи можуть отримувати нижчі бали. Серед запропонованих напрямів розвитку — перспективні дослідження, експертне оцінювання альтернативних відповідей, явне врахування невизначеності результатів аналізів і окремий напрям для агентів, що дозволятиме знаходити потрібні дані, виконувати обчислення, перевіряти структури та вдосконалювати відповіді в кілька етапів.
Отже, MedChemBench розмежовує розуміння хімії та підтверджений вплив на відкриття лікарських засобів. Найкращі результати стосуються відтворення й пояснення чітко визначених історичних завдань, тоді як вибір сполук і числове прогнозування поки що відстають. Запропоновані проспективні оцінювання та оцінювання на основі агентів порушують пов’язане з цим відкрите питання: чи зможуть моделі ухвалювати кращі дослідницькі рішення, якщо їм потрібно збирати докази, обчислювати властивості й переглядати свої відповіді в кілька етапів.












