Модели и платформы ИИ
OpenAI представляет MedChemBench для оценки рассуждений в области медицинской химии

Ключевые моментыMedChemBench выявляет разрыв между реконструкцией молекул и выбором соединений для…
Показать больше
- MedChemBench выявляет разрыв между реконструкцией молекул и выбором соединений для продвижения.
- GPT-6 Astra получил 95,37% за молекулярную структуру, но лишь 50,42% за ранжирование и отбор кандидатов.
- OpenAI признаёт, что бенчмарк близок к насыщению и не может показать, что модели улучшают реальные решения в разработке лекарств.
OpenAI представила MedChemBench — тест для оценки моделей в области медицинской химии, состоящий из 99 задач, — 20 ноября 2026 года и сообщила, что GPT-6.2 Astra набрала 84,5% от доступного количества баллов при настройке xhigh, задающей высокий уровень усилий при рассуждении. Тест оценивает, способны ли модели связывать молекулярные структуры с экспериментальными данными, чтобы объяснять результаты, сравнивать соединения и прогнозировать их свойства.
Другие опубликованные результаты при настройке xhigh составили 83,3% для GPT-6 Astra, 82,0% для GPT-6.1 Sol и 58,2% для GPT-5.6 Sol. Тест затрагивает одну из ключевых проблем медицинской химии: соединение может эффективно воздействовать на связанный с заболеванием белок, но при этом плохо всасываться или слишком быстро метаболизироваться. Поэтому, выбирая, что проверять дальше, необходимо учитывать конкурирующие свойства, а не оптимизировать один показатель.
Как устроены задания MedChemBench и как они оцениваются
В технической статье описан ретроспективный набор заданий, составленный на основе 117 научных статей и патентов и включающий 761 уникальную молекулярную структуру, для которой проводилась оценка. Обычно запросы ограничиваются выбранным этапом принятия решения в рамках исследовательской программы и содержат биологический контекст, сведения о ранее изученных соединениях и отдельные экспериментальные результаты. Более поздние результаты не раскрываются: на их основе формируются эталонные ответы и критерии оценки.
Задания охватывают семь категорий доклинического поиска лекарств, но не клиническую разработку. Среди них — комплексный отбор перспективных соединений (48 заданий), прогнозирование зависимости «структура — активность» (26 заданий), а также менее многочисленные группы заданий по ADME (всасыванию, распределению, метаболизму и выведению) и доставке лекарств, молекулярному дизайну и перечислению структур, безопасности и нежелательным свойствам, ретросинтезу, биологии тест-систем и механизмам действия. Восемьдесят пять заданий охватывают несколько научных областей, отражая то, что выбор перспективного соединения может одновременно зависеть от активности, селективности, результатов клеточных тестов, метаболизма, экспозиции и безопасности.
В одной из задач, посвящённой PRMT5 — белку, который изучают в рамках разработки противораковых препаратов, — моделям предлагается восстановить три родственных соединения и спрогнозировать их активность в клетках, проницаемость, эффлюкс и клиренс в микросомах печени человека. Не раскрытые в условии результаты показывают, с каким компромиссом приходится иметь дело: соединение 23 было активнее в клетках, тогда как соединение 24 легче проходило через клеточный барьер и медленнее разрушалось в тесте с ферментами печени.
При оценке сочетаются детерминированные проверки и критерии, оцениваемые моделью. На молекулярную структуру и научное обоснование приходится соответственно 37,49% и 35,78% доступных баллов; на ранжирование и отбор кандидатов — 17,51%, а на численные и категориальные прогнозы — 8,92%. Для проверки структур RDKit преобразует переданные SMILES — текстовое представление молекулярных графов — в каноническую изомерную форму, сохраняя стереохимию и изотопный состав. За численные прогнозы обычно начисляется часть баллов в зависимости от кратности ошибки, а отдельный оценщик GPT-6 Astra при среднем уровне усилий в рассуждении выставляет за научное обоснование ноль, половину или все баллы.
Результаты по отдельным компонентам и ошибки в структурах
В статье приводятся результаты по 11 моделям GPT и 61 сочетанию модели и уровня усилий при рассуждении: всего оценено 60 390 ответов, причём для каждой задачи в каждом сочетании модели и уровня усилий сохранено по десять ответов. GPT-6.2 Astra не входит в число этих 11 моделей; её результат приводится в объявлении.
Согласно статье, при настройке xhigh GPT-6 Astra получила 95,37% доступных баллов за молекулярную структуру и 91,05% — за научное обоснование. Для сравнения, за ранжирование и отбор кандидатов модель набрала 50,42%, а за численные прогнозы — 47,02%. Эти компоненты охватывают разные применимые задачи и используют разные правила оценки, однако результаты показывают, что модели лучше восстанавливают структуры и объясняют выводы, чем отбирают соединения и строят количественные прогнозы.
Описанное в статье задание на восстановление структуры наглядно показывает различия. Моделям нужно было собрать молекулу из центральной структуры и двух присоединённых групп, сохранив кольцо из 18 атомов. Во всех десяти ответах при настройке xhigh GPT-6 Astra указала верное соединение, тогда как GPT-5.6 Sol и GPT-5.6 Luna ошиблись во всех десяти своих ответах. В показанном ответе Sol кольцо состояло из 15 атомов, а Luna вернула два несвязанных фрагмента. Такие ошибки меняют идентичность молекулы ещё до того, как начинается анализ её свойств.
Ограничения и предлагаемые направления развития
OpenAI подчёркивает, что полученные результаты не доказывают способность моделей открывать новые лекарства или улучшать решения, принимаемые в лаборатории. Каждый ответ представлял собой единственную попытку без использования инструментов, обратной связи или новых экспериментов, а задания основывались на исторических данных, а не на перспективных исследованиях. Нельзя также исключить, что модели ранее встречали опубликованные источники.
Для эвристической проверки авторы добавили DOI источника или идентификаторы патентов во все 99 запросов для девяти моделей при настройке xhigh. Среднее изменение общей оценки варьировалось от снижения на 0,23 процентного пункта до повышения на 0,80 пункта, а каждый 95-процентный доверительный интервал для отдельной модели включал ноль. Эта проверка не позволяет установить, встречались ли исходные материалы в обучающих данных.
В статье MedChemBench характеризуется как почти достигший предела возможностей в нынешнем виде. В ней также отмечается, что оценка открытого молекулярного дизайна и синтеза по-прежнему частично опирается на эталонные ответы, из-за чего правдоподобные альтернативы могут получать заниженные оценки. Среди предлагаемых направлений развития — перспективные исследования, экспертная оценка альтернативных ответов, явный учёт неопределённости результатов анализов и режим с использованием ИИ-агента, который позволит искать информацию, выполнять расчёты, проверять структуры и пересматривать ответы в несколько этапов.
Таким образом, MedChemBench позволяет отделить понимание химии от подтверждённого влияния на открытие лекарственных препаратов. Наилучшие результаты модели показывают при реконструкции и объяснении заданных исторических задач, тогда как в выборе соединений и численном прогнозировании они уступают. Предлагаемые проспективные оценки и оценки на основе агентов призваны ответить на возникший вопрос: смогут ли модели принимать более взвешенные исследовательские решения, если им придётся собирать данные, рассчитывать свойства и пересматривать свои ответы в несколько этапов.












