Sztuczna inteligencja może pomóc badaczom określić, które prace mogą być powtarzalne, ma na celu rozwiązanie kryzysu reprodukcji

Coraz więcej uwagi poświęca się w ostatnich latach temu, co uczeni i badacze określają jako kryzys replikacji / odtwarzalności. Wiele badań po prostu nie daje tych samych istotnych wyników, gdy próbuje się powtórzyć badanie, w wyniku czego społeczność naukowa obawia się, że wyniki są często przeceniane. Problem dotyka dziedzin tak różnych jak psychologia i sztuczna inteligencja. Jeśli chodzi o dziedzinę sztucznej inteligencji, wiele nierecenzowanych prac jest publikowanych z imponującymi wynikami, których inni badacze nie mogą odtworzyć. W celu rozwiązania problemu i zmniejszenia liczby badań nieodtwarzalnych, badacze opracowali model sztucznej inteligencji, który ma na celu określenie, które prace mogą być powtarzalne.

Jak donosi Fortune, nowy artykuł opublikowany przez zespół badaczy ze Szkoły Zarządzania Kellog i Instytutu Złożonych Systemów na Northwestern University przedstawia model głębokiego uczenia, który potencjalnie może określić, które badania są prawdopodobnie odtwarzalne, a które nie. Jeśli system sztucznej inteligencji może niezawodnie odróżniać badania odtwarzalne i nieodtwarzalne, może pomóc uniwersytetom, instytutom badawczym, firmom i innym podmiotom przefiltrować tysiące prac badawczych, aby określić, które prace są najbardziej prawdopodobne, aby być użyteczne i niezawodne.

Systemy sztucznej inteligencji opracowane przez zespół Northwestern nie wykorzystują typu empirycznego / statystycznego dowodu, którym zwykle używają badacze, aby ustalić ważność badań. Model ten wykorzystuje techniki przetwarzania języka naturalnego, aby spróbować określić niezawodność pracy. System wyodrębnia wzorce w języku używanym przez autorów pracy, stwierdzając, że niektóre wzorce słów wskazują na większą niezawodność niż inne.

Zespół badawczy wykorzystał badania psychologiczne sięgające lat 60., które wykazały, że ludzie często komunikują poziom ufności, jaki mają w swoich pomysłach, poprzez słowa, których używają. Biorąc pod uwagę tę ideę, badacze sądzą, że autorzy prac mogą nieświadomie sygnalizować swoją ufność w swoich wynikach badawczych, pisząc swoje prace. Badacze przeprowadzili dwa rundy szkolenia, wykorzystując różne zestawy danych. Początkowo model został przeszkolony na około dwóch milionach streszczeń z prac naukowych, podczas gdy drugi raz model został przeszkolony na pełnych pracach, aby wziąć udział w projekcie mającym na celu określenie, które prace psychologiczne mogą być odtwarzane – Projekt Odtwarzalności: Psychologia.

Po przetestowaniu modelu, badacze wdrożyli go w kolekcji setek innych prac, pobranych z różnych dziedzin, takich jak psychologia i ekonomia. Badacze stwierdzili, że ich model dał bardziej niezawodną prognozę dotyczącą odtwarzalności pracy niż techniki statystyczne zwykle używane do ustalenia, czy wyniki pracy mogą być powtórzone.

Badacz i profesor Szkoły Zarządzania Kellog, Brian Uzzi, wyjaśnił Fortune, że choć jest pełen nadziei, że model sztucznej inteligencji może kiedyś być użyty, aby pomóc badaczom ustalić, jak prawdopodobne jest to, że wyniki będą odtwarzane, zespół badawczy nie jest pewien wzorców i szczegółów, które model nauczył się. Fakt, że modele uczenia maszynowego są często czarnymi skrzynkami, jest powszechnym problemem w badaniach sztucznej inteligencji, ale ten fakt może sprawić, że inni naukowcy będą wahali się, czy używać modelu.

Uzzi wyjaśnił, że zespół badawczy ma nadzieję, że model może być użyty do rozwiązania kryzysu koronawirusa, pomagając naukowcom lepiej zrozumieć wirusa i określić, które wyniki badań są obiecujące. Jak powiedział Uzzi do Fortune:

“Chcemy zacząć stosować to w sprawie COVID – sprawie, w której wiele rzeczy staje się luźne, a my musimy budować na bardzo silnej podstawie poprzedniej pracy. Nie jest jasne, jaka poprzednia praca będzie powtarzalna czy nie, i nie mamy czasu na powtórzenia”.

Uzzi i inni badacze mają nadzieję, że ulepszą model, wykorzystując dalsze techniki przetwarzania języka naturalnego, w tym techniki, które zespół stworzył do analizy transkryptów połączeń dotyczących zarobków korporacyjnych. Zespół badawczy już zbudował bazę danych około 30 000 transkryptów połączeń, które będą analizować w poszukiwaniu wskazówek. Jeśli zespół może zbudować udany model, mogą przekonać analityków i inwestorów do użycia narzędzia, co może otworzyć drogę do innych innowacyjnych zastosowań modelu i jego technik.