Искусственный интеллект в качестве исследователя: Первая рецензируемая исследовательская работа, написанная без участия человека

Искусственный интеллект перешагнул еще одну значительную грань, которая бросает вызов нашему пониманию того, что машины могут достичь самостоятельно. Впервые в научной истории система искусственного интеллекта написала полную исследовательскую работу, прошедшую рецензирование на академической конференции без какой-либо помощи человека в процессе написания. Этот прорыв может стать фундаментальным сдвигом в том, как научные исследования могут проводиться в будущем.

Историческое достижение

Работа, подготовленная системой AI Scientist-v2, прошла процесс рецензирования на семинаре в ведущей международной конференции по искусственному интеллекту. Исследование было представлено на семинар ICLR 2025, который является одним из самых престижных площадок в области машинного обучения. Работа была сгенерирована улучшенной версией оригинальной системы AI Scientist, называемой AI Scientist-v2.

Принятая работа, озаглавленная “Композиционная регуляризация: Неожиданные препятствия при улучшении обобщаемости нейронных сетей“, получила высокие оценки от человеческих рецензентов. Из трех представленных работ одна получила оценки, которые поставили ее выше порога принятия. Этот прорыв является значительным шагом вперед, поскольку искусственный интеллект теперь может участвовать в фундаментальном процессе научного открытия, который в течение веков был исключительно человеческим.

Исследовательская группа из Sakana AI, работавшая с сотрудниками Университета Британской Колумбии и Оксфордского университета, провела этот эксперимент. Они получили одобрение этического комитета и работали напрямую с организаторами конференции ICLR, чтобы обеспечить соблюдение всех научных протоколов.

Как работает AI Scientist-v2

AI Scientist-v2 достиг этого успеха благодаря нескольким значительным улучшениям по сравнению с предыдущей версией. В отличие от предыдущей версии, AI Scientist-v2 исключает необходимость в шаблонах кода, написанных человеком, может работать в различных областях машинного обучения и использует методологию дерева поиска для одновременного исследования нескольких направлений исследований.

Система работает через процесс, который отражает работу человеческих исследователей. Она начинается с формулирования научных гипотез на основе области исследования, которую она должна исследовать. Затем искусственный интеллект проектирует эксперименты для проверки этих гипотез, пишет необходимый код для проведения экспериментов и выполняет их автоматически.

Особенно впечатляет использование системы методологии агентного дерева поиска. Этот подход позволяет искусственному интеллекту исследовать несколько направлений исследований одновременно, подобно тому, как человеческие исследователи могут рассматривать различные подходы к решению проблемы. Это включает в себя проведение экспериментов с помощью агентного дерева поиска, анализ результатов и создание черновика работы. Специальный менеджер экспериментов координирует весь этот процесс, чтобы обеспечить сосредоточенность и продуктивность исследования.

Система также включает в себя улучшенный модуль рецензента, использующий модели языка и зрения для предоставления обратной связи о содержании и визуальной презентации результатов исследования. Это создает итеративный процесс совершенствования, где искусственный интеллект может улучшать свою собственную работу на основе обратной связи, подобно тому, как человеческие исследователи совершенствуют свои рукописи на основе замечаний коллег.

Что сделало эту исследовательскую работу особенной

Принятая работа была посвящена сложной проблеме в машинном обучении, называемой композиционной обобщаемостью. Это относится к способности нейронных сетей понимать и применять выученные концепции в новых комбинациях, которых они никогда не видели раньше. AI Scientist-v2 исследовала новые методы регуляризации, которые могли бы улучшить эту способность.

Интересно, что работа также сообщила о негативных результатах. Искусственный интеллект обнаружил, что некоторые подходы, которые он предполагал для улучшения производительности нейронных сетей, на самом деле создавали неожиданные препятствия. В науке негативные результаты ценны, поскольку они предотвращают, что другие исследователи будут преследовать бесполезные направления и вносят вклад в наше понимание того, что не работает.

Исследование следовало строгим научным стандартам на протяжении всего процесса. AI Scientist-v2 провела несколько экспериментальных запусков, чтобы обеспечить статистическую достоверность, создала ясные визуализации своих результатов и правильно процитировала соответствующую предыдущую работу. Она отформатировала всю рукопись в соответствии с академическими стандартами и написала всесторонние обсуждения своей методологии и результатов.

Человеческие исследователи, которые курировали проект, провели тщательный обзор всех трех сгенерированных работ. Они обнаружили, что хотя принятая работа была на уровне семинара, она содержала некоторые технические проблемы, которые бы помешали ее принятию на основной трек конференции. Этот честный анализ демонстрирует текущие ограничения, признавая при этом значительный прогресс, достигнутый.

Технические возможности и улучшения

AI Scientist-v2 демонстрирует несколько замечательных технических возможностей, которые отличают ее от предыдущих автоматизированных систем исследований. Система может работать в различных областях машинного обучения без необходимости предварительно написанных шаблонов кода. Эта гибкость означает, что она может адаптироваться к новым областям исследований и генерировать оригинальные экспериментальные подходы, а не следовать предопределенным шаблонам.

Методология дерева поиска является значительным нововведением в автоматизации исследований. Вместо того, чтобы преследовать одно направление исследований, система может поддерживать несколько гипотез одновременно и распределять вычислительные ресурсы на основе обещаний, которые показывает каждое направление. Этот подход отражает то, как опытные человеческие исследователи часто поддерживают несколько нитей исследований, сосредотачиваясь на самых перспективных направлениях.

Другим важным улучшением является интеграция моделей языка и зрения для рецензирования и совершенствования визуальных элементов исследовательских работ. Научные фигуры и визуализации имеют решающее значение для эффективной коммуникации результатов исследований. Искусственный интеллект теперь может оценить и улучшать свои собственные визуализации итеративно.

Система также демонстрирует понимание научных конвенций письма. Она правильно структурирует работы с соответствующими разделами, поддерживает последовательную терминологию на протяжении всей рукописи и создает логический поток между различными частями исследовательской истории. Искусственный интеллект показывает осведомленность о том, как представить методологию, обсудить ограничения и контекстуализировать результаты в существующей литературе.

Текущие ограничения и проблемы

Несмотря на это историческое достижение, несколько важных ограничений ограничивают текущие возможности искусственного интеллекта, генерирующего исследования. Компания заявила, что ни одна из ее искусственно сгенерированных работ не прошла внутренний бар для стандартов публикации на треке конференции ICLR. Это указывает на то, что хотя искусственный интеллект может производить работы на уровне семинара, достижение высших уровней научной публикации остается сложной задачей.

Коэффициенты принятия предоставляют важный контекст для оценки этого достижения. Работа была принята на семинаре, который обычно имеет менее строгие стандарты, чем основная конференция (60-70% коэффициент принятия против 20-30% коэффициентов принятия, типичных для основных треков конференций). Хотя это не уменьшает значение достижения, оно предполагает, что производство действительно новаторских исследований остается за пределами текущих возможностей искусственного интеллекта.

AI Scientist-v2 также продемонстрировала некоторые слабости, которые человеческие исследователи определили во время процесса рецензирования. Система иногда совершала ошибки цитирования, приписывая результаты исследований неправильным авторам или публикациям. Она также испытывала трудности с некоторыми аспектами экспериментального дизайна, которые человеческие эксперты бы подходили к этому по-другому.

Возможно, самое главное, что искусственно сгенерированные исследования были сосредоточены на инкрементальных улучшениях, а не на парадигмальных открытиях. Система, кажется, более способна проводить тщательные расследования в рамках установленных рамок исследований, чем предлагать совершенно новые способы мышления о научных проблемах.

Путь вперед

Успешное рецензирование искусственно сгенерированных исследований является началом новой эры в научных исследованиях. По мере того, как основные модели продолжают совершенствоваться, мы можем ожидать, что AI Scientist и подобные системы будут производить все более сложные исследования, которые приближаются и потенциально превосходят человеческие возможности во многих областях.

Исследовательская группа ожидает, что будущие версии будут способны производить работы, достойные принятия на ведущих конференциях и в журналах. Логичный прогресс предполагает, что системы искусственного интеллекта могут в конечном итоге внести вклад в новаторские открытия в областях, варьирующихся от медицины до физики и химии.

Это развитие также вызывает важные вопросы об этике исследований и стандартах публикаций. Научное сообщество должно разработать новые нормы для обработки искусственно сгенерированных исследований, включая, когда и как раскрывать участие искусственного интеллекта и как оценивать такую работу наряду с исследованиями, сгенерированными человеком.

Прозрачность, продемонстрированная исследовательской группой в этом эксперименте, предоставляет ценную модель для будущей оценки исследований искусственного интеллекта. Работая открыто с организаторами конференции и подвергая свою искусственно сгенерированную работу тем же стандартам, что и человеческие исследования, они установили важные прецеденты для ответственного развития автоматизированных исследовательских возможностей.

Основной вывод

Принятие работы, написанной искусственным интеллектом, на ведущем семинаре по машинному обучению является значительным шагом вперед в возможностях искусственного интеллекта. Хотя работа еще не достигла уровня лучших конференций, она демонстрирует четкую траекторию к тому, что системы искусственного интеллекта станут серьезными вкладчиками в научные открытия. Вызов теперь заключается не только в развитии технологий, но и в формировании этических и академических рамок, которые будут регулировать эту новую границу исследований.