Sztuczna inteligencja może pomóc badaczom w określeniu, które prace mogą być powtarzalne, ma na celu rozwiązanie kryzysu reprodukcji

Coraz więcej uwagi poświęca się w ostatnich latach temu, co uczeni i badacze nazywają kryzysem replikacji. Wiele badań po prostu nie daje tych samych istotnych wyników, gdy próbuje się je powtórzyć, w wyniku czego społeczność naukowa jest zaniepokojona, że wyniki są często przeceniane. Problem dotyka dziedzin tak różnych jak psychologia i sztuczna inteligencja. Jeśli chodzi o dziedzinę sztucznej inteligencji, wiele nierecenzowanych prac jest publikowanych z imponującymi wynikami, których inni badacze nie mogą powtórzyć. Aby rozwiązać problem i zmniejszyć liczbę niepowtarzalnych badań, badacze zaprojektowali model sztucznej inteligencji, który ma na celu określenie, które prace mogą być powtarzalne.

Jak donosi Fortune, nowy artykuł opublikowany przez zespół badaczy ze Szkoły Zarządzania Kellog i Instytutu Złożonych Systemów na Uniwersytecie Northwestern przedstawia model głębokiego uczenia, który potencjalnie może określać, które badania są prawdopodobnie powtarzalne, a które nie. Jeśli system sztucznej inteligencji może niezawodnie rozróżniać powtarzalne i niepowtarzalne badania, może pomóc uniwersytetom, instytutom badawczym, firmom i innym podmiotom w przefiltrowaniu tysięcy prac badawczych, aby określić, które prace są najbardziej użyteczne i niezawodne.

Systemy sztucznej inteligencji opracowane przez zespół Northwestern nie wykorzystują rodzaju empirycznych i statystycznych dowodów, których zwykle używają badacze, aby ustalić ważność badań. Model ten zamiast tego wykorzystuje techniki przetwarzania języka naturalnego, aby próbować określać niezawodność pracy. System wyodrębnia wzorce w języku używanym przez autorów pracy, stwierdzając, że niektóre wzorce słów wskazują na większą niezawodność niż inne.

Zespół badawczy wykorzystał badania psychologiczne sięgające lat 60., które wykazały, że ludzie często komunikują poziom ufności, jaki mają w swoich pomysłach, za pomocą słów, których używają. Biorąc pod uwagę tę ideę, badacze sądzili, że autorzy prac mogą nieświadomie sygnalizować swoją ufność w swoich wynikach badań, pisząc swoje prace. Badacze przeprowadzili dwa etapy szkolenia, wykorzystując różne zestawy danych. Początkowo model został wyszkolony na około dwóch milionach streszczeń z prac naukowych, podczas gdy podczas drugiego szkolenia model został wyszkolony na pełnych pracach, aby wziąć udział w projekcie mającym na celu określenie, które prace psychologiczne mogą być powtarzalne – Projekt Reprodukcji: Psychologia.

Po przetestowaniu modelu na kolekcji setek innych prac, pochodzących z różnych dziedzin, takich jak psychologia i ekonomia, badacze stwierdzili, że ich model daje bardziej niezawodną prognozę dotyczącą powtarzalności pracy niż techniki statystyczne zwykle używane do ustalenia, czy wyniki pracy mogą być powtórzone.

Badacz i profesor Szkoły Zarządzania Kellog, Brian Uzzi, wyjaśnił Fortune, że choć jest optymistycznie nastawiony do tego, że model sztucznej inteligencji może kiedyś być użyty, aby pomóc badaczom określać, jak prawdopodobne jest to, że wyniki będą powtarzalne, zespół badawczy nie jest pewien wzorców i szczegółów, które model nauczył się. Fakt, że modele uczenia maszynowego są często “czarne skrzynki” jest powszechnym problemem w badaniach sztucznej inteligencji, ale ten fakt może sprawić, że inni naukowcy będą niechętni do korzystania z modelu.

Uzzi wyjaśnił, że zespół badawczy liczy na to, że model może być użyty do rozwiązania kryzysu koronawirusa, pomagając naukowcom lepiej zrozumieć wirusa i określić, które wyniki badań są obiecujące. Jak Uzzi powiedział do Fortune:

„Chcemy zacząć stosować to do problemu COVID – problemu, w którym wiele rzeczy staje się luźne, a my musimy budować na bardzo silnej podstawie wcześniejszych prac. Nie jest jasne, które wcześniejsze prace będą powtarzalne, a które nie, i nie mamy czasu na powtórzenia.”

Uzzi i inni badacze mają nadzieję, że uda im się udoskonalić model, wykorzystując dalsze techniki przetwarzania języka naturalnego, w tym techniki, które zespół stworzył do analizy transkryptów rozmów dotyczących wyników finansowych firm. Zespół badawczy już zbudował bazę danych około 30 000 transkryptów rozmów, które będą analizowane w poszukiwaniu wskazówek. Jeśli zespół może zbudować udany model, mogą być w stanie przekonać analityków i inwestorów do korzystania z narzędzia, co mogłoby otworzyć drogę do innowacyjnych zastosowań modelu i jego technik.