AI kan hjælpe forskere med at bestemme, hvilke artikler der kan replikeres, sigter mod at løse reproduktionskrisen

Der er blevet lagt mere og mere opmærksomhed på, hvad lærde og forskere kalder reproduktionskrisen i de senere år. Mange studier giver ikke de samme betydningsfulde resultater, når studiet gentages, og som følge heraf er det videnskabelige samfund bekymret for, at resultaterne ofte overdrives. Problemet rammer fag som psykologi og kunstig intelligens. Når det kommer til kunstig intelligens, offentliggøres mange ikke-peer-reviewede artikler, der påstår imponerende resultater, som andre forskere ikke kan reproducere. For at tackle problemet og reducere antallet af ikke-reproducerbare studier har forskere designet en AI-model, der sigter mod at bestemme, hvilke artikler der kan replikeres.

Som rapporteret af Fortune, præsenterer en ny artikel offentliggjort af et hold af forskere fra Kellog School of Management og Institute of Complex Systems ved Northwestern University en dyb læringmodel, der potentielt kan bestemme, hvilke studier der er sandsynlige at være reproducerbare, og hvilke studier der ikke er. Hvis AI-systemet kan pålideligt skelne mellem reproducerbare og ikke-reproducerbare studier, kan det hjælpe universiteter, forskningsinstitutter, virksomheder og andre enheder med at filtrere gennem tusinder af forskningsartikler for at bestemme, hvilke artikler der er mest sandsynlige at være nyttige og pålidelige.

AI-systemet udviklet af Northwestern-holdet anvender ikke den type empirisk/statistisk bevis, som forskere typisk bruger til at fastslå studiers gyldighed. Modellen anvender i stedet teknikker til naturlig sprogbehandling for at forsøge at kvantificere artiklens pålidelighed. Systemet udtrækker mønstre i sproget brugt af artiklens forfattere og finder, at visse ordmønstre indikerer en højere pålidelighed end andre.

Forskerholdet byggede på psykologisk forskning så gammel som fra 1960’erne, som fandt, at mennesker ofte kommunikerer niveauet for tillid til deres ideer gennem de ord, de bruger. Forskerne mente, at artiklens forfattere måske ukendt signalerer deres tillid til deres forskningsresultater, når de skriver deres artikler. Forskerholdet gennemførte to runder af træning, hvor de anvendte forskellige datasæt. Først blev modellen trænet på omkring to millioner abstracts fra videnskabelige artikler, mens modellen blev trænet på fulde artikler fra et projekt, der havde til formål at bestemme, hvilke psykologiske artikler der kan reproduceres – Reproducibility Project: Psychology.

Efter testen deployerede forskerne modellen på en samling af hundredvis af andre artikler fra forskellige fag som psykologi og økonomi. Forskerne fandt, at deres model gav en mere pålidelig forudsigelse om en artikels reproducerbarhed end de statistiske teknikker, der typisk bruges til at fastslå, om en artikels resultater kan reproduceres.

Forsker og Kellog School of Management Professor Brian Uzzi forklarede til Fortune, at selv om han er håbefuldt om, at AI-modellen kan anvendes til at hjælpe forskere med at fastslå, hvor sandsynligt det er, at resultater kan reproduceres, er forskerholdet usikre på, hvilke mønstre og detaljer modellen har lært. Det faktum, at maskinlæringsmodeller ofte er sorte kasser, er et almindeligt problem inden for AI-forskning, men dette faktum kan gøre andre videnskabsmænd tøvende med at anvende modellen.

Uzzi forklarede, at forskerholdet håber, at modellen kan anvendes til at tackle coronaviruskrisen, hvilket kan hjælpe videnskabsmænd med at hurtigere forstå virus og bestemme, hvilke studieresultater der er lovende. Som Uzzi sagde til Fortune:

“Vi ønsker at begynde at anvende dette til COVID-problemet – et problem, hvor mange ting bliver løse, og vi har brug for at bygge på en stærk grundlag af tidligere arbejde. Det er uklart, hvilket tidligere arbejde der vil blive reproduceret eller ej, og vi har ikke tid til reproduktioner.”

Uzzi og de andre forskere håber at forbedre modellen ved at anvende yderligere teknikker til naturlig sprogbehandling, herunder teknikker, som holdet har opfundet til at analysere telefonsamtaler om virksomhedens indtjening. Forskerholdet har allerede opbygget en database på omkring 30.000 telefonsamtaler, som de vil analysere for ledetråde. Hvis holdet kan opbygge en succesfuld model, kan de måske overbevise analytikere og investorer om at anvende værktøjet, hvilket kan banke vejen for andre innovative anvendelser af modellen og dens teknikker.