OpenAI представляет BioBasicsBench для проверки ИИ-агентов на данных лабораторных экспериментов

OpenAI представила BioBasicsBench 6 ноября 2026 года. Этот бенчмарк, включающий 100 задач, разработан совместно с компанией Ligo, специализирующейся на проектировании ферментов, чтобы проверить, способны ли ИИ-агенты интерпретировать исходные данные обычных лабораторных экспериментов.

OpenAI представляет результаты как среднее вознаграждение — средний балл за выполнение задачи, выраженный в процентах от максимально возможного. При настройке xhigh — максимальном уровне усилий на рассуждение, указанном для всех семи протестированных моделей, — GPT-6 Astra набрала 66,7% при 95%-м доверительном интервале от 60,3 до 73,1%, тогда как результат GPT-5.6 Sol составил 43,8% при интервале от 37,6 до 50,0%. В среднем Astra выдавала 4 704 выходных токена на задачу против 9 099 у Sol.

На основе обычных экспериментальных данных

BioBasicsBench призван устранить ограничение, отмеченное OpenAI в оценках, основанных на диаграммах и изображениях, отобранных для научных статей: повседневная лабораторная работа также связана с неудачными экспериментами, неоднозначными изображениями, противоречивыми наблюдениями и устранением неполадок. Задачи требуют от агентов интерпретировать экспериментальные данные, выявлять ошибки и понимать, когда доказательств недостаточно для обоснованного вывода. Они охватывают методы работы с белками, визуализацию и цитометрию, количественный анализ и анализы, методы работы с нуклеиновыми кислотами и молекулярное клонирование.

Ученые составили задачи на основе собственных экспериментов и разработали критерии оценки. Входные данные включают изображения гелей и блотов, чашек с колониями, серии микроскопических снимков, прочтения секвенирования, выгрузки данных с планшетных ридеров, фотографии лабораторного стола и видео протоколов. В отдельных задачах могут сочетаться несколько типов данных и вспомогательные справочные материалы, например схемы маркеров и карты плазмид. Агенты выдают структурированные выводы, измерения или рекомендации, а критерии оценки учитывают, в частности, численные результаты, обоснование и распознавание того, что имеющихся данных недостаточно.

Каждую задачу проверяли внутри компании ученые Ligo, не участвовавшие в ее составлении, затем ее оценивал внешний специалист по лабораторным исследованиям с докторской степенью, после чего проводилась заключительная внутренняя проверка, охватывавшая формулировку задачи, данные, критерии оценки, заметки автора и оцененный ответ модели. В оценивание вошли 37 сочетаний модели и уровня усилий на рассуждение; для каждого сочетания каждую задачу выполняли пять раз, получив в общей сложности 18 500 результатов. Доверительные интервалы рассчитывали методом повторной выборки целых задач, сохраняя все пять попыток по каждой задаче вместе.

Примеры, объясняющие улучшение Astra

В задаче по визуализации клеток GPT-5.6 Sol классифицировала клетки как мертвые на основании сигнала красителя. Astra распознала, что перекрывающиеся окна детекции могут привести к взаимному влиянию второго красителя, и запросила контрольные образцы, позволяющие разделить сигналы. В задаче по клонированию ДНК Sol основывала выводы на отсутствии колоний на чашке отрицательного контроля, тогда как Astra заметила, что чашка была помечена как содержащая канамицин, а в эксперименте использовался ампициллин, и сочла ее ненадежным контролем.

В другой задаче клетки то появлялись в фокусе, то выходили из него. Sol искала биологическое объяснение их кажущемуся исчезновению, тогда как Astra определила, что перед ней z-стек — серия изображений, снятых на разной глубине. OpenAI рассматривает эти примеры как свидетельство улучшения работы с мультимодальными данными, использования экспериментального контекста и понимания того, что данные позволяют и чего не позволяют установить. По мнению компании, они также указывают на возможную важность более развитых встроенных мультимодальных возможностей для повседневного лабораторного анализа.

Какие ошибки выявляет бенчмарк

OpenAI предупреждает, что более высокие баллы пока не означают надежного лабораторного суждения. В задаче с ПЦР колоний Astra выбрала дорожки 4, 6, 7 и 8, предположив, что более крупный продукт ПЦР свидетельствует об успешном клонировании; в эталонной интерпретации были выбраны дорожки 5, 9 и 10. Такая ошибка привела бы к очистке неправильной плазмиды.

Другие примеры показывают, что даже верные наблюдения не всегда определяют итоговый ответ. Astra обобщила, что вакуоли — компартменты внутри клеток — обычно темнее окружающего клеточного материала, хотя на том же изображении вакуоли были светлее. При изменении глубины фокусировки контраст может стать обратным, и в собственных промежуточных наблюдениях Astra отмечала, что контраст менялся в зависимости от фокусировки. В задаче по подсчету колоний, сообщает OpenAI, Astra не смогла разделить близко расположенные колонии, пропустила видимые колонии и отметила пустой агар, в результате чего их число оказалось примерно на 12% выше эталонного значения бенчмарка. При неизменных объеме нанесенного материала и степени разбавления такой пересчет завышает на ту же долю расчетную эффективность введения ДНК.

OpenAI отмечает, что наблюдение за развитием этих возможностей также поможет оценить связанные с ними последствия для биобезопасности и биозащиты.

Таким образом, практические требования выше, чем просто улучшение общего балла: агент должен переносить точные наблюдения в итоговый вывод, проверять контрольные образцы и воздерживаться от выводов, не подтверждаемых данными. BioBasicsBench превращает эти требования в ориентиры для совершенствования, а разобранные примеры ошибок показывают, почему прогресс в создании лабораторных помощников по-прежнему зависит от устранения разрыва между наблюдением данных и принятием обоснованных экспериментальных решений.