AI kan hjelpe forskere med å bestemme hvilke studier som kan replikeres, har som mål å løse reproduksjonskrisen

Mer og mer oppmerksomhet har blitt rettet mot det som forskere og akademikere kaller reproduksjonskrisen. Mange studier lykkes ikke å gi samme signifikante resultater når studiet blir replisert, og som følge av dette er det vitenskapelige samfunnet bekymret for at funn ofte overaksentueres. Problemet rammer fag som psykologi og kunstig intelligens. Når det gjelder kunstig intelligens, publiseres det mange ikke-fagfellevurderte artikler som hevder imponerende resultater som andre forskere ikke kan replikere. For å løse problemet og redusere antallet ikke-repliserbare studier, har forskere designet en AI-modell som har som mål å bestemme hvilke studier som kan repliseres.

Ifølge Fortune, presenterer en ny artikkel publisert av et team av forskere fra Kellog School of Management og Institute of Complex Systems ved Northwestern University en dyptlæringmodell som potensielt kan bestemme hvilke studier som sannsynligvis er repliserbare, og hvilke studier som ikke er det. Hvis AI-systemet kan pålitelig skille mellom repliserbare og ikke-repliserbare studier, kan det hjelpe universiteter, forskningsinstitutter, selskaper og andre enheter med å filtrere gjennom tusenvis av forskningsartikler for å bestemme hvilke artikler som er mest sannsynlig å være nyttige og pålitelige.

AI-systemet utviklet av Northwestern-teamet bruker ikke den type empirisk/statistiske bevis som forskere vanligvis bruker for å fastslå studiers gyldighet. Modellen bruker i stedet tekniker for naturlig språkbehandling for å forsøke å kvantifisere en artikels pålitelighet. Systemet trekker mønster i språket brukt av artiklenes forfattere, og finner at noen ordmønster indikerer større pålitelighet enn andre.

Forskerne tok utgangspunkt i psykologisk forskning så langt tilbake som 1960-årene, som viste at mennesker ofte kommuniserer nivået av tillit de har til sine ideer gjennom ordene de bruker. Forskerne tok utgangspunkt i denne ideen og mente at artiklenes forfattere måtte ukontrollert signalisere tilliten de har til sine forskningsfunn når de skriver artiklene sine. Forskerne gjennomførte to runder med trening, med ulike datasett. Først ble modellen trent på omtrent to millioner abstracts fra vitenskapelige artikler, mens modellen ble trent på fullstendige artikler fra et prosjekt som hadde som mål å fastslå hvilke psykologiske studier som kan repliseres – Reproducibility Project: Psychology.

Etter testing, deployerte forskerne modellen på en samling av hundrevis av andre artikler, tatt fra ulike fag som psykologi og økonomi. Forskerne fant at deres modell ga en mer pålitelig prediksjon om en artikels repliserbarhet enn de statistiske teknikkene som vanligvis brukes for å fastslå om en artikels resultater kan repliseres.

Forsker og Kellog School of Management-professor Brian Uzzi, forklarte til Fortune at selv om han er håpefull om at AI-modellen kan bli brukt til å hjelpe forskere med å fastslå hvor sannsynlig det er at resultater kan repliseres, er forskerteamet usikre på mønster og detaljer modellen har lært. Det faktum at maskinlæringsmodeller ofte er svarte bokser er et vanlig problem innen AI-forskning, men dette kan gjøre andre forskere nølende til å bruke modellen.

Uzzi forklarte at forskerteamet håper at modellen kan bli brukt til å løse koronakrisen, og hjelpe forskere med å forstå viruset raskere og fastslå hvilke studieresultater som er lovende. Som Uzzi sa til Fortune:

“Vi ønsker å begynne å bruke dette til COVID-problemet – et problem hvor mange ting blir slappe, og vi må bygge på en svært sterk grunn av tidligere arbeid. Det er uklart hva tidligere arbeid som vil bli replisert eller ikke, og vi har ikke tid til replikasjoner.”

Uzzi og de andre forskerne håper å forbedre modellen ved å bruke ytterligere tekniker for naturlig språkbehandling, inkludert tekniker som teamet har utviklet for å analysere samtaletranskripter om bedriftsresultater. Forskerteamet har allerede bygget en database med omtrent 30 000 samtaletranskripter som de vil analysere for å finne mønster. Hvis teamet kan bygge en suksessfull modell, kan de kanskje overtale analytikere og investorer til å bruke verktøyet, som kan åpne veien for andre innovative bruksområder for modellen og dens tekniker.