Искусственный интеллект может помочь исследователям определить, какие статьи можно воспроизвести, nhằm решить кризис воспроизводимости

В последние годы все больше внимания уделяется тому, что ученые и исследователи называют кризисом воспроизводимости. Многие исследования просто не дают одинаковых значимых результатов, когда пытаются воспроизвести исследование, и в результате научное сообщество обеспокоено тем, что результаты часто преувеличиваются. Эта проблема затрагивает области, такие как психология и искусственный интеллект. Когда речь идет об области ИИ, многие непроверенные статьи публикуются с впечатляющими результатами, которые другие исследователи не могут воспроизвести. Чтобы решить эту проблему и сократить количество невоспроизводимых исследований, исследователи разработали модель ИИ, целью которой является определение, какие статьи можно воспроизвести.

По сообщению Fortune, новая статья, опубликованная командой исследователей из школы менеджмента Келлога и Института сложных систем Северо-Западного университета, представляет модель глубокого обучения, которая потенциально может определить, какие исследования, вероятно, будут воспроизводимыми, а какие нет. Если система ИИ сможет надежно различать воспроизводимые и невоспроизводимые исследования, она может помочь университетам, исследовательским институтам, компаниям и другим организациям отфильтровать тысячи исследовательских статей, чтобы определить, какие статьи наиболее вероятно будут полезными и надежными.

Система ИИ, разработанная командой Северо-Западного университета, не использует тип эмпирических/статистических данных, которые исследователи обычно используют для определения достоверности исследований. Модель фактически использует методы обработки естественного языка, чтобы попытаться количественно оценить надежность статьи. Система извлекает закономерности в языке, используемом авторами статьи, обнаруживая, что некоторые закономерности слов указывают на большую надежность, чем другие.

Исследовательская команда опиралась на психологические исследования, начиная с 1960-х годов, которые показали, что люди часто передают уровень уверенности в своих идеях через слова, которые они используют. Исходя из этой идеи, исследователи предположили, что авторы статей могут бессознательно сигнализировать о своей уверенности в своих исследовательских результатах при написании статей. Исследователи провели два раунда обучения, используя разные наборы данных. Первоначально модель была обучена на примерно двух миллионах аннотаций научных статей, а во второй раз модель была обучена на полных статьях из проекта, направленного на определение, какие психологические статьи можно воспроизвести – Проект воспроизводимости: Психология.

После тестирования исследователи применили модель к коллекции сотен других статей, взятых из различных областей, таких как психология и экономика. Исследователи обнаружили, что их модель дала более надежный прогноз относительно воспроизводимости статьи, чем статистические методы, обычно используемые для определения того, можно ли воспроизвести результаты статьи.

Исследователь и профессор школы менеджмента Келлога Брайан Уззи объяснил Fortune, что, хотя он надеется, что модель ИИ может когда-нибудь быть использована для помощи исследователям в определении того, насколько вероятно, что результаты будут воспроизведены, исследовательская команда не уверена в закономерностях и деталях, которые их модель выучила. Тот факт, что модели машинного обучения часто являются черными ящиками, является общей проблемой в исследованиях ИИ, но этот факт может сделать других ученых неохотными использовать модель.

Уззи объяснил, что исследовательская команда надеется, что модель потенциально может быть использована для решения кризиса коронавируса, помогающая ученым быстрее понять вирус и определить, какие результаты исследований являются перспективными. Как сказал Уззи Fortune:

«Мы хотим начать применять это к проблеме COVID – проблеме, которая сейчас очень актуальна, и нам нужно построить на очень сильной основе предыдущей работы. Неясно, какая предыдущая работа будет воспроизведена или нет, и у нас нет времени для репликаций».

Уззи и другие исследователи надеются улучшить модель, используя дополнительные методы обработки естественного языка, включая методы, которые команда создала для анализа транскриптов звонков о корпоративных прибылях. Исследовательская команда уже построила базу данных из примерно 30 000 транскриптов звонков, которые они будут анализировать на предмет подсказок. Если команда сможет построить успешную модель, они, возможно, смогут убедить аналитиков и инвесторов использовать инструмент, который мог бы проложить путь для других инновационных применений модели и ее методов.