Штучний інтелект як дослідник: перший рецензований науковий звіт, написаний без участі людей

Штучний інтелект перетнув ще одну значиму віху, яка викликає питання про те, чого можуть досягти машини самостійно. Вперше в історії науки система штучного інтелекту написала повний науковий звіт, який пройшов рецензування на науковій конференції без будь-якої допомоги людей у процесі написання. Ця подія може стати фундаментальним зрушенням у тому, як наукові дослідження можуть проводитися в майбутньому.

Історичне досягнення

Звіт, створений системою AI Scientist-v2, пройшов процес рецензування на одному з міжнародних конференцій з штучного інтелекту. Дослідження було представлено на ICLR 2025, одному з найпрестижніших заходів у сфері машинного навчання. Звіт був створений покращеною версією оригінальної системи AI Scientist, яка називається AI Scientist-v2.

Прийнятий звіт, озаглавлений “Композиційна регуляризація: несподівані перешкоди при покращенні узагальнення нейронних мереж“, отримав високі оцінки від людських рецензентів. З трьох представлених робіт одна отримала оцінки, які перевищували поріг прийняття. Це досягнення є значним кроком вперед, оскільки штучний інтелект тепер може брати участь у фундаментальному процесі наукового відкриття, який століттями був виключно людським.

Команда дослідників з Sakana AI, яка працювала у співпраці з університетами Британської Колумбії та Оксфорду, провела цей експеримент. Вони отримали затвердження інститутського комітету з рецензування та працювали безпосередньо з організаторами конференції ICLR, щоб забезпечити дотримання наукових протоколів.

Як працює AI Scientist-v2

AI Scientist-v2 досяг цього успіху завдяки декільком значним вдосконаленням порівняно з попередньою версією. На відміну від попередньої версії, AI Scientist-v2 усуває потребу у людських шаблонах коду, може працювати у різних галузях машинного навчання та використовує методологію деревоподібного пошуку для дослідження декількох напрямків досліджень одночасно.

Система працює через процес, який віддзеркалює роботу людських дослідників. Вона починається з формулювання наукових гіпотез на основі галузі досліджень, яку їй доручено дослідити. Штучний інтелект потім проектує експерименти для перевірки цих гіпотез, пише необхідний код для проведення експериментів та виконує їх автоматично.

Що робить цю систему особливо просунутою, це використання методології деревоподібного пошуку. Цей підхід дозволяє штучному інтелекту досліджувати декілька напрямків досліджень одночасно, подібно до того, як людські дослідники можуть розглянути різні підходи до вирішення проблеми. Це включає проведення експериментів за допомогою деревоподібного пошуку, аналіз результатів та генерацію чернетки звіту. Спеціальний агент-менеджер експериментів координує весь цей процес, щоб забезпечити, що дослідження залишаються сфокусованими та продуктивними.

Система також включає покращений компонент рецензента штучного інтелекту, який використовує моделі мови та зору для надання відгуку щодо змісту та візуальної презентації результатів досліджень. Це створює процес ітеративного вдосконалення, де штучний інтелект може покращувати свою власну роботу на основі відгуку, подібно до того, як людські дослідники вдосконалюють свої рукописи на основі відгуку колег.

Що зробило цей науковий звіт особливим

Прийнятий звіт зосередився на складній проблемі машинного навчання, званій композиційною узагальненням. Це відноситься до здатності нейронних мереж розуміти та застосовувати вивчені концепції у нових комбінаціях, яких вони ніколи раніше не бачили. AI Scientist-v2 досліджував нові методи регуляризації, які могли б покращити цю здатність.

Цікаво, що звіт також повідомляє про негативні результати. Штучний інтелект виявив, що певні підходи, які він гіпотезував для покращення продуктивності нейронних мереж, насправді створювали несподівані перешкоди. У науці негативні результати цінні, оскільки вони запобігають тому, що інші дослідники будуть переслідувати непродуктивні напрямки, та сприяють нашому розумінню того, що не працює.

Дослідження слідувало суворим науковим стандартам протягом всього процесу. AI Scientist-v2 провів декілька експериментальних проходів, щоб забезпечити статистичну достовірність, створив ясні візуалізації своїх результатів та належним чином процитував попередню роботу. Він відформатував весь рукопис згідно з академічними стандартами та написав повні дискусії щодо своєї методології та результатів.

Людські дослідники, які наглядали за проєктом, провели свій власний ретельний огляд усіх трьох згенерованих робіт. Вони виявили, що хоча прийнятий звіт був на рівні конференції, він містив деякі технічні питання, які завадили б його прийняттю на головній конференції. Ця чесна оцінка демонструє поточні обмеження, визнаючи при цьому значний прогрес, досягнутий.

Технічні можливості та вдосконалення

AI Scientist-v2 демонструє декілька видатних технічних можливостей, які відрізняють його від попередніх автоматизованих систем досліджень. Система може працювати у різних галузях машинного навчання без потреби у попередньо написаних шаблонах коду. Ця гнучкість означає, що вона може адаптуватися до нових галузей досліджень та генерувати оригінальні експериментальні підходи, а не слідувати попередньо визначеним патернам.

Методологія деревоподібного пошуку є значним інноваційним кроком у автоматизації досліджень штучного інтелекту. Замість того, щоб переслідувати один напрямок досліджень, система може підтримувати декілька гіпотез одночасно та розподіляти обчислювальні ресурси на основі обіцянки кожного напрямку. Цей підхід віддзеркалює те, як досвідчені людські дослідники часто підтримують декілька напрямків досліджень, одночасно зосереджуючись на найбільш перспективних.

Іншим важливим вдосконаленням є інтеграція моделей мови та зору для перегляду та вдосконалення візуальних елементів наукових робіт. Наукові фігури та візуалізації є критично важливими для ефективної комунікації результатів досліджень. Штучний інтелект тепер може оцінювати та вдосконалювати свої власні візуалізації ітеративно.

Система також демонструє розуміння наукових конвенцій письма. Вона належним чином структурує роботи з відповідними розділами, підтримує послідовну термінологію протягом рукописів та створює логічний потік між різними частинами наукової розповіді. Штучний інтелект показує розуміння того, як представляти методологію, обговорювати обмеження та контекстуалізувати результати у рамках існуючої літератури.

Поточні обмеження та виклики

Незважаючи на це історичне досягнення, декілька важливих обмежень обмежують поточні можливості штучно згенерованих досліджень. Компанія заявила, що жодне зі своїх штучно згенерованих досліджень не пройшло внутрішній бар’єр для публікації на конференції ICLR. Це вказує на те, що хоча штучний інтелект може виробляти роботи рівня конференції, досягнення найвищих рівнів наукової публікації залишається складним завданням.

Відсотки прийняття надають важливий контекст для оцінки цього досягнення. Звіт був прийнятий на конференції, яка має менш суворі стандарти, ніж основна конференція (60-70% проти 20-30% на основній конференції). Хоча це не зменшує значення досягнення, воно вказує на те, що виробництво真正ньо новаторських досліджень залишається поза поточними можливостями штучного інтелекту.

AI Scientist-v2 також продемонстрував деякі слабкості, які людські дослідники виявили під час процесу рецензування. Система іноді робила помилки у цитатах, приписуючи результати досліджень неправильним авторам або публікаціям. Вона також боролася з деякими аспектами експериментального дизайну, які людські експерти підходили б інакше.

Можливо, найважливіше, що штучно згенеровані дослідження зосередилися на інкрементних поліпшеннях, а не на парадигмальних відкриттях. Система видається більш здатною проводити ретельні дослідження у рамках встановлених дослідницьких рамок, ніж пропонувати зовсім нові способи мислення про наукові проблеми.

Дорога вперед

Успішне рецензування штучно згенерованих досліджень є початком нової ери наукових досліджень. Коли фундаментальні моделі продовжують покращуватися, ми можемо очікувати, що AI Scientist та подібні системи будуть виробляти дедалі більш складні дослідження, які наближаються до або навіть перевершують людські можливості у багатьох галузях.

Команда дослідників очікує, що майбутні версії будуть здатні виробляти роботи, які будуть прийняті на топ-конференціях та в журналах. Логічний прогрес вказує на те, що системи штучного інтелекту можуть eventualно внесли свій внесок у новаторські відкриття у галузях, починаючи від медицини та закінчуючи фізикою та хімією.

Цей розвиток також піднімає важливі питання щодо етики досліджень та стандартів публікації. Наукове співтовариство повинно розвивати нові норми для роботи зі штучно згенерованими дослідженнями, включаючи питання, коли та як розкривати участь штучного інтелекту, а також оцінювати таку роботу поряд з людськими дослідженнями.

Прозорість, продемонстрована командою дослідників у цьому експерименті, надає цінну модель для майбутньої оцінки досліджень штучного інтелекту. Працюючи відкрито з організаторами конференції та піддаючи свою штучно згенеровану роботу тим же стандартам, що й людські дослідження, вони встановили важливі прецеденти для відповідального розвитку автоматизованих дослідницьких можливостей.

Основне

Прийняття штучно написаного звіту на провідній конференції з машинного навчання є значним кроком вперед у можливостях штучного інтелекту. Хоча робота ще не досягла рівня топ-конференції, вона демонструє чітку траєкторію до того, щоб системи штучного інтелекту стали серйозними учасниками наукового відкриття. Виклик зараз полягає не тільки у вдосконаленні технологій, але й у формуванні етичних та академічних рамок, які будуть регулювати цю нову галузь досліджень.