ИИ как исследователь: Первая рецензируемая исследовательская работа, написанная без участия человека

Искусственный интеллект перешел еще одну значительную границу, которая бросает вызов нашему пониманию того, что машины могут достичь самостоятельно. Впервые в научной истории система ИИ написала полную исследовательскую работу, которая прошла рецензирование на академической конференции без какого-либо участия человека в процессе написания. Этот прорыв может стать фундаментальным сдвигом в том, как научные исследования могут проводиться в будущем.

Историческое достижение

Работа, созданная системой AI Scientist-v2, прошла процесс рецензирования на семинаре в одной из ведущих международных конференций по ИИ. Исследование было представлено на семинаре ICLR 2025, который является одним из наиболее престижных площадок в области машинного обучения. Работа была сгенерирована улучшенной версией исходной системы AI Scientist, называемой AI Scientist-v2.

Принятая работа, озаглавленная “Композиционная регуляризация: Неожиданные препятствия в улучшении обобщения нейронных сетей“, получила впечатляющие оценки от человеческих рецензентов. Из трех представленных работ одна получила оценки, которые поставили ее выше порога принятия. Этот прорыв является значительным достижением, поскольку ИИ теперь может участвовать в фундаментальном процессе научного открытия, который на протяжении веков был исключительно человеческим.

Исследовательская группа из Sakana AI, работающая с коллегами из Университета Британской Колумбии и Оксфордского университета, провела этот эксперимент. Они получили одобрение этического комитета и работали напрямую с организаторами конференции ICLR, чтобы обеспечить соблюдение научных протоколов.

Как работает AI Scientist-v2

AI Scientist-v2 достиг этого успеха благодаря нескольким значительным улучшениям по сравнению с предыдущей версией. В отличие от предыдущей версии, AI Scientist-v2 исключает необходимость в шаблонах кода, написанных человеком, может работать в различных областях машинного обучения и использует методологию дерева поиска для одновременного исследования нескольких исследовательских направлений.

Система работает через процесс от начала до конца, который отражает то, как работают человеческие исследователи. Она начинается с формулирования научных гипотез на основе области исследования, которой она назначена. Затем ИИ проектирует эксперименты для проверки этих гипотез, пишет необходимый код для проведения экспериментов и выполняет их автоматически.

Что делает эту систему особенно продвинутой, так это ее использование методологии дерева поиска. Этот подход позволяет ИИ исследовать несколько исследовательских направлений одновременно, подобно тому, как человеческие исследователи могут рассматривать различные подходы к решению проблемы. Это включает в себя проведение экспериментов через дерево поиска, анализ результатов и генерацию черновика работы. Специальный менеджер экспериментов координирует весь этот процесс, чтобы обеспечить сосредоточенность и продуктивность исследования.

Система также включает в себя улучшенный компонент рецензента ИИ, который использует модели языка и зрения для предоставления обратной связи о содержании и визуальном представлении исследовательских результатов. Это создает итеративный процесс совершенствования, где ИИ может улучшать свою собственную работу на основе обратной связи, подобно тому, как человеческие исследователи совершенствуют свои рукописи на основе мнения коллег.

Что сделало эту исследовательскую работу особенной

Принятая работа была посвящена сложной проблеме в машинном обучении, называемой композиционной обобщением. Это относится к способности нейронных сетей понимать и применять выученные концепции в новых комбинациях, которые они никогда не видели раньше. AI Scientist-v2 исследовала новые методы регуляризации, которые могли бы улучшить эту способность.

Интересно, что работа также сообщила о негативных результатах. ИИ обнаружила, что некоторые подходы, которые она предполагала для улучшения производительности нейронных сетей, на самом деле создали неожиданные препятствия. В науке негативные результаты ценны, поскольку они предотвращают, что другие исследователи будут преследовать непродуктивные пути и вносят вклад в наше понимание того, что не работает.

Исследование следовало строгим научным стандартам на протяжении всего процесса. AI Scientist-v2 провела несколько экспериментальных запусков, чтобы обеспечить статистическую достоверность, создала четкие визуализации своих результатов и правильно процитировала соответствующую предыдущую работу. Она отформатировала всю рукопись в соответствии с академическими стандартами и написала всесторонние обсуждения своей методологии и результатов.

Человеческие исследователи, которые курировали проект, провели свою собственную тщательную проверку всех трех сгенерированных работ. Они обнаружили, что хотя принятая работа была на уровне семинара, она содержала некоторые технические проблемы, которые бы помешали ее принятию на основной трек конференции. Этот честный анализ демонстрирует текущие ограничения, признавая при этом значительный прогресс, достигнутый.

Технические возможности и улучшения

AI Scientist-v2 демонстрирует несколько замечательных технических возможностей, которые отличают ее от предыдущих автоматизированных систем исследования. Система может работать в различных областях машинного обучения без необходимости предварительно написанных шаблонов кода. Эта гибкость означает, что она может адаптироваться к новым областям исследования и генерировать оригинальные экспериментальные подходы, а не следовать предопределенным шаблонам.

Методология дерева поиска является значительным нововведением в автоматизации исследований ИИ. Вместо того, чтобы преследовать одно исследовательское направление, система может поддерживать несколько гипотез одновременно и распределять вычислительные ресурсы на основе обещаний, которые показывает каждое направление. Этот подход отражает то, как опытные человеческие исследователи часто поддерживают несколько исследовательских нитей, сосредотачиваясь на наиболее перспективных направлениях.

Другим важным улучшением является интеграция моделей языка и зрения для рецензирования и совершенствования визуальных элементов исследовательских работ. Научные фигуры и визуализации имеют решающее значение для эффективной коммуникации исследовательских результатов. ИИ теперь может оценить и улучшить свои собственные визуализации данных итеративно.

Система также демонстрирует понимание научных конвенций письма. Она правильно структурирует работы с соответствующими разделами, поддерживает последовательную терминологию на протяжении всей рукописи и создает логический поток между различными частями исследовательской истории. ИИ показывает осведомленность о том, как представить методологию, обсудить ограничения и контекстуализировать результаты в существующей литературе.

Текущие ограничения и проблемы

Несмотря на это историческое достижение, несколько важных ограничений ограничивают текущие возможности исследований, сгенерированных ИИ. Компания заявила, что ни одна из ее исследовательских работ, сгенерированных ИИ, не прошла внутренний бар для стандартов публикации на треке конференции ICLR. Это указывает на то, что хотя ИИ может производить работы на уровне семинара, достижение высших уровней научной публикации остается сложной задачей.

Коэффициенты принятия предоставляют важный контекст для оценки этого достижения. Работа была принята на семинаре, который обычно имеет менее строгие стандарты, чем основная конференция (60-70% коэффициент принятия против 20-30% коэффициентов принятия, типичных для основных треков конференций. Хотя это не уменьшает значение достижения, оно предполагает, что производство真正 революционных исследований остается за пределами текущих возможностей ИИ.

AI Scientist-v2 также продемонстрировала некоторые слабости, которые человеческие исследователи определили во время процесса рецензирования. Система иногда совершала ошибки цитирования, приписывая результаты исследования неправильным авторам или публикациям. Она также испытывала трудности с некоторыми аспектами экспериментального дизайна, которые человеческие эксперты бы подходили иначе.

Возможно, самое важное – ИИ-генерируемые исследования были сосредоточены на инкрементных улучшениях, а не на парадигмальных открытиях. Система, кажется, более способна проводить тщательные исследования в рамках установленных исследовательских рамок, чем предлагать совершенно новые способы мышления о научных проблемах.

Дорога впереди

Успешное рецензирование исследований, сгенерированных ИИ, является началом новой эры в научных исследованиях. По мере того, как основные модели продолжают улучшаться, мы можем ожидать, что AI Scientist и подобные системы будут производить все более совершенные исследования, которые подходят и потенциально превышают человеческие возможности в многих областях.

Исследовательская группа ожидает, что будущие версии будут способны производить работы, достойные принятия на ведущих конференциях и в журналах. Логическое развитие предполагает, что системы ИИ могут в конечном итоге внести вклад в прорывные открытия в областях, от медицины до физики и химии.

Это развитие также вызывает важные вопросы об этике исследований и стандартах публикации. Научное сообщество должно разработать новые нормы для работы с исследованиями, сгенерированными ИИ, включая, когда и как раскрывать участие ИИ и как оценивать такую работу наряду с исследованиями, сгенерированными человеком.

Прозрачность, продемонстрированная исследовательской группой в этом эксперименте, предоставляет ценную модель для будущей оценки исследований ИИ. Работая открыто с организаторами конференции и подвергая свою работу, сгенерированную ИИ, тем же стандартам, что и человеческие исследования, они установили важные прецеденты для ответственного развития автоматизированных исследовательских возможностей.

Основная мысль

Принятие работы, написанной ИИ, на ведущем семинаре по машинному обучению является значительным достижением в возможностях ИИ. Хотя работа еще не достигла уровня основной конференции, она демонстрирует четкую траекторию к тому, что системы ИИ станут серьезными участниками научного открытия. Вызов теперь заключается не только в совершенствовании технологии, но и в формировании этических и академических рамок, которые будут регулировать эту новую границу исследований.