OpenAI представляє BioBasicsBench для тестування ШІ-агентів на даних лабораторних експериментів

OpenAI представила BioBasicsBench 6 листопада 2026 року — тестовий набір зі 100 завдань, розроблений спільно з компанією Ligo, що спеціалізується на дизайні ферментів, щоб перевірити, чи можуть ШІ-агенти інтерпретувати первинні дані звичайних лабораторних експериментів.

OpenAI подає результати як середню винагороду — середній бал за завдання, виражений у відсотках від доступних балів. За налаштування xhigh — найвищого рівня зусиль для міркування, результати якого наведено для всіх семи тестованих моделей, — GPT-6 Astra набрала 66,7% із 95-відсотковим довірчим інтервалом 60,3–73,1%, тоді як GPT-5.6 Sol набрала 43,8% з інтервалом 37,6–50,0%. У середньому Astra генерувала 4 704 вихідні токени на завдання, тоді як Sol — 9 099.

На основі даних звичайних експериментів

BioBasicsBench усуває обмеження, яке OpenAI виявляє в оцінюваннях, побудованих на графіках і зображеннях, відібраних для наукових статей: повсякденна лабораторна робота також пов’язана з невдалими експериментами, неоднозначними зображеннями, суперечливими спостереженнями та пошуком несправностей. Завдання перевіряють, чи здатні агенти інтерпретувати експериментальні дані, помічати помилки й розуміти, коли наявні докази не дають підстав для висновку. Вони охоплюють методи роботи з білками, візуалізацію та цитометрію, кількісний аналіз і аналізи, методи роботи з нуклеїновими кислотами й молекулярне клонування.

Науковці створили завдання на основі власних експериментів і розробили критерії оцінювання. Вхідні дані охоплюють зображення гелів і блотів, чашки з колоніями, серії мікроскопічних зображень, результати секвенування, дані, експортовані з планшетних рідерів, фотографії лабораторного столу та відеозаписи протоколів. Окремі завдання можуть поєднувати кілька типів доказів і допоміжні довідкові матеріали, як-от таблиці маркерів молекулярної маси та карти плазмід. Агенти надають структуровані висновки, вимірювання або рекомендації, а критерії оцінювання передбачають бали за такі складові, як числові результати, обґрунтування та розуміння того, що доказів недостатньо.

Кожне завдання пройшло внутрішню перевірку науковцем Ligo, який його не створював, зовнішню перевірку науковцем із докторським ступенем, що працює в лабораторії, та заключну внутрішню перевірку, яка охоплювала запит, докази, критерії оцінювання, примітки автора й оцінену відповідь моделі. Оцінювання охопило 37 комбінацій моделей і рівнів зусиль для міркування; для кожної комбінації кожне завдання виконували п’ять разів, що дало загалом 18 500 результатів. Довірчі інтервали обчислювали методом повторної вибірки цілих завдань, зберігаючи разом усі п’ять спроб для кожного завдання.

Приклади, що пояснюють покращення Astra

У завданні з візуалізації клітин GPT-5.6 Sol класифікувала клітини як мертві на підставі сигналу барвника. Astra розпізнала, що перекриття діапазонів детекції могло спричинити вплив другого барвника, і запропонувала використати контрольні зразки, які дали б змогу розділити сигнали. У завданні з клонування ДНК Sol зробила висновки на підставі відсутності колоній на чашці негативного контролю, тоді як Astra помітила, що на чашці зазначено канаміцин, а не ампіцилін, використаний в експерименті, і відкинула її як надійний контроль.

В іншому завданні клітини то з’являлися у фокусі, то виходили з нього. Sol шукала біологічне пояснення їхньому видимому зникненню, тоді як Astra визначила, що йдеться про z-стек — серію зображень, отриманих на різній глибині. OpenAI трактує ці приклади як свідчення кращої роботи з різними типами даних, використання експериментального контексту та розуміння того, що дані можуть і чого не можуть підтвердити; також вони вказують на можливу важливість потужніших вбудованих мультимодальних можливостей для звичайного лабораторного аналізу.

Де тестовий набір виявляє помилки

OpenAI застерігає, що вищі бали ще не означають надійного лабораторного судження. У завданні з ПЛР колоній Astra вибрала доріжки 4, 6, 7 і 8, припустивши, що більший продукт ПЛР свідчить про успішне клонування; у референтній інтерпретації було вибрано доріжки 5, 9 і 10. Така помилка призвела б до очищення неправильної плазміди.

Інші приклади демонструють, як правильні спостереження не впливають на остаточну відповідь. Astra узагальнила, що вакуолі — відсіки всередині клітин — зазвичай темніші за навколишній клітинний матеріал, хоча на тому самому зображенні вакуолі були світлішими. Зміна глибини фокуса може обернути контраст, і у власних проміжних спостереженнях Astra зазначила, що контраст змінювався залежно від фокуса. У завданні з підрахунку колоній, за даними OpenAI, Astra не змогла відокремити близько розташовані колонії, пропустила видимі колонії та позначила порожні ділянки агару, через що кількість виявилася приблизно на 12% вищою за референтне значення тестового набору. За незмінних об’єму посіву та розведення такий завищений підрахунок так само збільшує оцінену ефективність введення ДНК.

OpenAI зазначає, що відстеження розвитку цих можливостей також допоможе оцінити їхні наслідки для біобезпеки та біозахисту.

Отже, практичні вимоги вищі, ніж просто кращий сукупний бал: агент має спиратися на точні спостереження, формулюючи висновок, перевіряти контрольні зразки й утримуватися від висновків, яких докази не підтверджують. BioBasicsBench перетворює ці вимоги на цілі для вдосконалення, а приклади невдалих відповідей показують, чому прогрес у створенні лабораторних помічників і далі залежить від подолання розриву між спостереженням доказів і ухваленням обґрунтованого експериментального рішення.