Штучний інтелект як дослідник: Перша рецензована наукова робота, написана без участі людей

Штучний інтелект перетнув ще одну значиму межу, що викликує наш розуміння того, чого можуть досягти машини самостійно. Вперше в науковій історії система штучного інтелекту написала повну наукову роботу, яка пройшла рецензування на науковій конференції без будь-якої допомоги людей у процесі написання. Це прорив може стати фундаментальним зсувом у тому, як проводиться наукове дослідження в майбутньому.

Історичне досягнення

Стаття, створена системою AI Scientist-v2, пройшла процес рецензування на семінарі у топовій міжнародній конференції з штучного інтелекту. Дослідження було подано на семінар ICLR 2025, який є одним з найпрестижніших майданчиків у сфері машинного навчання. Стаття була створена покращеною версією оригінальної системи AI Scientist, званої AI Scientist-v2.

Прийнята стаття, озаглавлена “Композиційна регуляризація: Несподівані перешкоди при покращенні узагальнення нейронних мереж“, отримала вражаючі оцінки від людських рецензентів. З трьох поданих статей одна отримала оцінки, які поставили її вище порогу прийняття. Це прорив є суттєвим прогресом, оскільки штучний інтелект тепер може брати участь у фундаментальному процесі наукового відкриття, який століттями був виключно людським.

Команда дослідників з Sakana AI, яка працювала у співпраці з університетами Британської Колумбії та Оксфорду, провела цей експеримент. Вони отримали затвердження інститутської ради з рецензування та працювали безпосередньо з організаторами конференції ICLR, щоб забезпечити проведення експерименту відповідно до наукових протоколів.

Як працює AI Scientist-v2

AI Scientist-v2 досягла цього успіху завдяки кільком суттєвим вдосконаленням порівняно зі своєю попередницею. На відміну від попередньої версії, AI Scientist-v2 усуває потребу у людських шаблонах коду, може працювати у різних галузях машинного навчання та використовує методологію дерева пошуку для дослідження декількох напрямків дослідження одночасно.

Система працює через процес, який віддзеркалює роботу людських дослідників. Вона починається з формулювання наукових гіпотез на основі галузі дослідження, яку їй доручено дослідити. Штучний інтелект потім проектує експерименти для перевірки цих гіпотез, пише необхідний код для проведення експериментів та виконує їх автоматично.

Що робить цю систему особливо просунутою, це використання методології агентського дерева пошуку. Цій підхід дозволяє штучному інтелекту досліджувати декілька напрямків дослідження одночасно, подібно до того, як людські дослідники можуть розглядати різні підходи до вирішення проблеми. Це включає проведення експериментів через агентський пошук дерева, аналіз результатів та генерацію чернетки статті. Дедикований менеджер експериментів координує весь цей процес, щоб забезпечити, що дослідження залишаються сфокусованими та продуктивними.

Система також включає вдосконалений компонент штучного інтелекту-рецензента, який використовує моделі мови та зору для надання відгуку щодо змісту та візуальної презентації результатів дослідження. Це створює ітеративний процес вдосконалення, де штучний інтелект може покращувати свою власну роботу на основі відгуку, подібно до того, як людські дослідники вдосконалюють свої рукописи на основі відгуку колег.

Що зробило цю наукову роботу особливою

Прийнята стаття зосередилася на складній проблемі машинного навчання, званій композиційною узагальненістю. Це стосується здатності нейронних мереж розуміти та застосовувати вивчені концепції у нових комбінаціях, яких вони ніколи раніше не бачили. AI Scientist-v2 досліджувала нові методи регуляризації, які могли б покращити цю здатність.

Цікаво, що стаття також повідомила про негативні результати. Штучний інтелект виявив, що певні підходи, які він гіпотезував, покращать продуктивність нейронної мережі, насправді створили несподівані перешкоди. У науці негативні результати цінні, оскільки вони запобігають іншим дослідникам слідувати непродуктивним напрямкам та сприяють нашому розумінню того, що не працює.

Дослідження пройшли суворі наукові стандарти на всьому етапі процесу. AI Scientist-v2 провела декілька експериментальних запусків, щоб забезпечити статистичну валідність, створила ясні візуалізації своїх результатів та належним чином процитувала попередню роботу. Вона відформатувала всю рукопис на основі академічних стандартів та написала повні дискусії щодо своєї методології та результатів.

Людські дослідники, які наглядали за проєктом, провели свій власний ретельний огляд усіх трьох згенерованих статей. Вони виявили, що хоча прийнята стаття була на рівні семінару, вона містила деякі технічні питання, які завадили б прийняттю на головній конференції. Ця чесна оцінка демонструє поточні обмеження, водночас визнаючи суттєвий прогрес, досягнутий.

Технічні можливості та вдосконалення

AI Scientist-v2 демонструє декілька вражаючих технічних можливостей, які відрізняють її від попередніх автоматизованих систем дослідження. Система може працювати у різних галузях машинного навчання без потреби у попередньо написаних шаблонах коду. Ця гнучкість означає, що вона може адаптуватися до нових галузей дослідження та генерувати оригінальні експериментальні підходи, а не слідувати попередньо визначеним шаблонам.

Методологія дерева пошуку є суттєвою інновацією в автоматизації дослідження штучного інтелекту. Замість того, щоб слідувати одному напрямку дослідження, система може підтримувати декілька гіпотез одночасно та розподіляти обчислювальні ресурси на основі обіцянки кожного напрямку. Цей підхід віддзеркалює той, як досвідчені людські дослідники часто підтримують декілька напрямків дослідження, одночасно концентруючи основні зусилля на найбільш перспективних напрямках.

Іншим важливим вдосконаленням є інтеграція моделей мови та зору для огляду та вдосконалення візуальних елементів наукових статей. Наукові діаграми та візуалізації є критично важливими для ефективної комунікації результатів дослідження. Штучний інтелект тепер може оцінювати та вдосконалювати свої власні візуалізації даних ітеративно.

Система також демонструє розуміння наукових конвенцій письма. Вона правильно структурує статті з відповідними розділами, підтримує послідовну термінологію на всьому рукописі та створює логічний потік між різними частинами наукової розповіді. Штучний інтелект демонструє розуміння того, як презентувати методологію, обговорювати обмеження та контекстуалізувати результати у рамках існуючої літератури.

Поточні обмеження та виклики

Незважаючи на це історичне досягнення, декілька важливих обмежень обмежують поточні можливості штучного інтелекту, згенерованого дослідження. Компанія заявила, що жодне зі своїх штучних інтелекту-створених досліджень не пройшло внутрішній бар для стандартів публікації на конференції ICLR. Це вказує на те, що хоча штучний інтелект може виробляти дослідження рівня семінару, досягнення найвищих рівнів наукової публікації залишається складним завданням.

Оцінки прийняття забезпечують важливий контекст для оцінки цього досягнення. Стаття була прийнята на семінарі, який зазвичай має менш суворі стандарти, ніж головна конференція (60-70% рівень прийняття проти 20-30% рівня прийняття, типового для головної конференції). Хоча це не зменшує значення досягнення, воно вказує на те, що виробництво真正их проривних досліджень залишається поза поточними можливостями штучного інтелекту.

AI Scientist-v2 також продемонструвала деякі слабкості, які людські дослідники виявили під час процесу рецензування. Система іноді робила помилки у цитатах, приписуючи результати дослідження неправильним авторам або публікаціям. Вона також боролася з деякими аспектами експериментального дизайну, які людські експерти підходили б інакше.

Можливо, найважливіше, що штучно створене дослідження зосередилося на інкрементальних поліпшеннях, а не на парадигмальних відкриттях. Система здається більш здатною проводити ретельні дослідження у рамках усталених наукових рамок, ніж пропонувати зовсім нові способи мислення про наукові проблеми.

Дорога вперед

Успішне рецензування штучного інтелекту-створених досліджень є початком нової ери наукового дослідження. Коли фундаментальні моделі продовжують покращуватися, ми можемо очікувати, що The AI Scientist та подібні системи будуть виробляти дедалі більш просунуті дослідження, які наближаються та потенційно перевершують людські можливості у багатьох галузях.

Команда дослідників очікує, що майбутні версії будуть здатні виробляти статті, які будуть прийняті на топових конференціях та в журналах. Логічний прогрес вказує на те, що системи штучного інтелекту можуть eventualно сприяти проривним відкриттям у галузях, починаючи від медицини та закінчуючи фізикою та хімією.

Це розвиток також викликає важливі питання щодо наукової етики та стандартів публікації. Наукове співтовариство повинно розробити нові норми для роботи зі штучним інтелекту-створеними дослідженнями, включаючи питання, коли та як розкривати участь штучного інтелекту, а також оцінювати таку роботу поряд з людським дослідженням.

Прозорість, продемонстрована командою дослідників у цьому експерименті, забезпечує цінну модель для майбутньої оцінки автоматизованих можливостей дослідження. Працюючи відкрито з організаторами конференції та піддаючи свою штучну інтелекту-створену роботу тим же стандартам, що й людське дослідження, вони встановили важливі прецеденти для відповідального розвитку автоматизованих наукових можливостей.

Основне

Прийняття статті, написаної штучним інтелектом, на провідному семінарі з машинного навчання є суттєвим прогресом у можливостях штучного інтелекту. Хоча робота ще не досягла рівня топової конференції, вона демонструє ясний напрямок до того, що системи штучного інтелекту стають серйозними учасниками наукового відкриття. Виклик тепер лежить не тільки у вдосконаленні технологій, але й у формуванні етичних та академічних рамок, які будуть керувати цією новою межею дослідження.