AI kunne hjælpe forskere med at bestemme, hvilke papirer der kan replikeres, sigter mod at løse reproduktionskrise

Mere og mere opmærksomhed bliver i de senere år rettet mod, hvad forskere og forskere kalder replikations-/reproducerbarhedskrisen. Mange undersøgelser formår simpelthen ikke at give de samme signifikante resultater, når replikering af undersøgelsen forsøges, og som følge heraf er det videnskabelige samfund bekymret over, at resultaterne ofte bliver overbetonet. Problemet påvirker områder så forskellige som psykologi og kunstig intelligens. Når det kommer til AI-feltet, udgives mange ikke-peer-reviewede artikler, der påstår imponerende resultater, som andre forskere ikke kan gengive. For at tackle problemet og reducere antallet af ikke-reproducerbare undersøgelser har forskere designet en AI-model, der har til formål at bestemme, hvilke papirer der kan replikeres.

Som rapporteret af Fortune, En ny papir udgivet af et team af forskere fra Kellog School of Management og Institute of Complex Systems ved Northwestern University præsenterer en dyb læringsmodel, der potentielt kan bestemme, hvilke undersøgelser der sandsynligvis er reproducerbare, og hvilke undersøgelser der ikke er. Hvis AI-systemet pålideligt kan skelne mellem reproducerbare og ikke-reproducerbare undersøgelser, kan det hjælpe universiteter, forskningsinstitutter, virksomheder og andre enheder med at filtrere gennem tusindvis af forskningsartikler for at afgøre, hvilke artikler der er mest sandsynlige, der er nyttige og pålidelige.

AI-systemerne udviklet af Northwestern-teamet bruger ikke den type empiriske/statistiske beviser, som forskere typisk bruger til at fastslå validiteten af ​​undersøgelser. Modellen anvender faktisk naturlige sprogbehandlingsteknikker til at prøve at kvantificere et papirs pålidelighed. Systemet udtrækker mønstre i det sprog, der bruges af forfatterne til et papir, og finder ud af, at nogle ordmønstre indikerer større pålidelighed end andre.

Forskerholdet trak på psykologisk forskning så gammel som 1960'erne, som fandt ud af, at folk ofte kommunikerer niveauet af tillid, de har til deres ideer, gennem de ord, de bruger. Med denne idé troede forskerne, at papirforfattere ubevidst kunne signalere deres tillid til deres forskningsresultater, når de skrev deres artikler. Forskerne gennemførte to træningsrunder ved at bruge forskellige datasæt. Oprindeligt blev modellen trænet på cirka to millioner abstracts fra videnskabelige artikler, mens modellen anden gang blev trænet på hele papirer til at tage fra et projekt, der skulle afgøre, hvilke psykologiartikler der kan reproduceres - Reproducerbarhedsprojektet: Psykologi.

Efter afprøvning implementerede forskerne modellen på en samling af hundredvis af andre artikler, taget fra forskellige områder som psykologi og økonomi. Forskerne fandt ud af, at deres model gav en mere pålidelig forudsigelse vedrørende et papirs reproducerbarhed end de statistiske teknikker, der typisk bruges til at fastslå, om et papirs resultater kan replikeres eller ej.

Forsker og professor ved Kellog School of Management, Brian Uzzi, forklarede til Fortune, at selvom han er håb om, at AI-modellen en dag kan bruges til at hjælpe forskere med at fastslå, hvor sandsynligt resultaterne vil blive reproduceret, er forskerholdet usikker på mønstrene og detaljerne deres model. lærte. Det faktum, at maskinlæringsmodeller ofte er sorte bokse, er et almindeligt problem inden for AI-forskning, men dette faktum kan få andre forskere til at tøve med at bruge modellen.

Uzzi forklarede, at forskerholdet håber, at modellen potentielt kan bruges til at tackle coronavirus-krisen og hjælpe videnskabsmænd mere hurtigt forstå virussen og afgøre, hvilke undersøgelsesresultater der er lovende. Som Uzzi sagde til Fortune:

"Vi vil begynde at anvende dette på COVID-spørgsmålet - et problem lige nu, hvor mange ting bliver slappe, og vi skal bygge på et meget stærkt fundament af tidligere arbejde. Det er uklart, hvilket tidligere arbejde der skal replikeres eller ej, og vi har ikke tid til replikationer."

Uzzi og de andre forskere håber at kunne forbedre modellen ved at gøre brug af yderligere naturlige sprogbehandlingsteknikker, herunder teknikker, som teamet har skabt til at analysere opkaldsudskrifter vedrørende virksomhedens indtjening. Forskerholdet har allerede bygget en database med cirka 30,000 opkaldsudskrifter, som de vil analysere for spor. Hvis teamet kan bygge en succesfuld model, kan de måske overbevise analytikere og investorer om at bruge værktøjet, hvilket kan bane vejen for andre innovative anvendelser af modellen og dens teknikker.