Штучна інтелектуальна система може допомогти дослідникам визначити, які статті можна повторити, спрямована на вирішення кризи репродукції

Останні роки все більше уваги приділяється тому, що вчені та дослідники називають кризою реплікації/репродукції. Багато досліджень просто не дають тих самих суттєвих результатів, коли проводиться повторення дослідження, і внаслідок цього наукове співтовариство стурбоване тим, що результати часто перебільшуються. Проблема торкається таких різних галузей, як психологія та штучний інтелект. Що стосується галузі штучного інтелекту, то багато не рецензованих статей публікуються з привабливими результатами, які інші дослідники не можуть повторити. Для вирішення цієї проблеми та зменшення кількості нере프로дукованих досліджень дослідники створили модель штучного інтелекту, яка має на меті визначити, які статті можна повторити.

За повідомленням Fortune, нова стаття, опублікована командою дослідників з школи менеджменту Келлога та Інституту складних систем Північно-Західного університету, представляє модель глибокого навчання, яка потенційно може визначити, які дослідження найімовірніше будуть репродукованими, а які ні. Якщо система штучного інтелекту зможе надійно розрізняти репродуковані та нере프로дуковані дослідження, вона може допомогти університетам, дослідницьким інститутам, компаніям та іншим організаціям відфільтрувати тисячі дослідницьких статей, щоб визначити, які статті найімовірніше будуть корисними та надійними.

Система штучного інтелекту, розроблена командою Північно-Західного університету, не використовує типові емпіричні/статистичні дані, які дослідники зазвичай використовують для визначення валідності досліджень. Модель фактично використовує техніки обробки природної мови, щоб спробувати кількісно оцінити надійність статті. Система витягує закономірності мови, яку використовують автори статті, і виявила, що деякі словесні закономірності вказують на більшу надійність, ніж інші.

Дослідницька команда спирається на психологічні дослідження, які датуються 1960-ми роками, і які виявили, що люди часто передають рівень впевненості в своїх ідеях через слова, які вони використовують. Розробляючи цю ідею, дослідники подумали, що автори статей можуть невідомо сигналізувати свою впевненість у своїх результатах під час написання статей. Дослідники провели два раунди навчання, використовуючи різні набори даних. Спочатку модель була навчена на приблизно двох мільйонах анотацій наукових статей, а потім модель була навчена на повних статтях з проекту, спрямованого на визначення того, які статті з психології можна повторити – Проект репродукції: Психологія.

Після тестування дослідники застосували модель до колекції сотень інших статей, взятих з різних галузей, таких як психологія та економіка. Дослідники виявили, що їхня модель давала більш надійні прогнози щодо репродуктивності статті, ніж статистичні техніки, які зазвичай використовуються для визначення того, чи можна повторити результати статті.

Дослідник і професор школи менеджменту Келлога Браян Уззі пояснив Fortune, що хоча він сподівається, що модель штучного інтелекту колись буде використана для допомоги дослідникам у визначенні рівня імовірності повторення результатів, дослідницька команда не знає закономірностей і деталей, які їхня модель вивчила. Те, що моделі машинного навчання часто є чорними скриньками, є загальною проблемою в дослідженнях штучного інтелекту, але це може зробити інші вчені неохочими використовувати модель.

Уззі пояснив, що дослідницька команда сподівається, що модель потенційно може бути використана для вирішення кризи коронавірусу, допоможіть вченим швидше зрозуміти вірус і визначити, які результати досліджень є перспективними. Як сказав Уззі Fortune:

“Ми хочемо почати застосовувати це до проблеми COVID – питання, яке зараз дуже актуальне, і нам потрібно будувати на дуже сильній основі попередньої роботи. Нам не відомо, яка попередня робота буде повторена чи ні, і в нас немає часу для повторень.”

Уззі та інші дослідники сподіваються покращити модель, використовуючи додаткові техніки обробки природної мови, включаючи техніки, які команда створила для аналізу транскриптів дзвінків щодо корпоративних прибутків. Дослідницька команда вже побудувала базу даних приблизно 30 000 транскриптів дзвінків, які вони проаналізують для отримання підказок. Якщо команда зможе створити успішну модель, вони можуть переконати аналітиків та інвесторів використовувати інструмент, який може відкрити шлях для інших інноваційних застосувань моделі та її технік.