AI kan hjælpe forskere med at bestemme, hvilke artikler der kan replikeres, med mål om at løse reproduktionskrisen

Der er blevet lagt mere og mere opmærksomhed på, hvad forskere og lærde kalder reproduktions-/replikationskrisen i de senere år. Mange studier giver ikke de samme betydningsfulde resultater, når studiet gentages, og som følge heraf er det videnskabelige samfund bekymret over, at resultaterne ofte overvurderes. Problemet rammer fag som psykologi og kunstig intelligens. Når det kommer til kunstig intelligens, offentliggøres mange ikke-peer-reviewede artikler med imponerende resultater, som andre forskere ikke kan reproducere. For at løse problemet og reducere antallet af ikke-reproducible studier har forskere designet en AI-model, der har til formål at bestemme, hvilke artikler der kan replikeres.

Ifølge Fortune præsenterer en ny artikel, offentliggjort af et hold af forskere fra Kellog School of Management og Institute of Complex Systems ved Northwestern University, en dyb læring-model, der potentielt kan bestemme, hvilke studier der er sandsynlige at være reproducerbare, og hvilke studier der ikke er. Hvis AI-systemet kan pålideligt skelne mellem reproducerbare og ikke-reproducerbare studier, kan det hjælpe universiteter, forskningsinstitutter, virksomheder og andre enheder med at filtrere gennem tusindvis af forskningsartikler for at bestemme, hvilke artikler der er mest sandsynlige at være nyttige og pålidelige.

AI-systemet, der er udviklet af Northwestern-holdet, bruger ikke den type empirisk/statistiske beviser, som forskere typisk bruger til at fastslå studiers validitet. Modellen anvender i stedet naturlig sprogbehandlingsteknikker til at forsøge at kvantificere en artikels pålidelighed. Systemet extractor mønstre i sproget, som forfatterne af en artikel bruger, og finder, at visse ordmønstre indikerer større pålidelighed end andre.

Forskerholdet havde udgangspunkt i psykologisk forskning fra 1960’erne, som fandt, at mennesker ofte kommunikerer niveauet for tillid, de har til deres ideer, gennem de ord, de bruger. Forskerne gik videre med denne idé og tænkte, at forfattere af artikler måske uvidende signalerer deres tillid til deres forskningsresultater, når de skriver deres artikler. Forskerne gennemførte to runder af træning, hvor de brugte forskellige datasæt. Først blev modellen trænet på omkring to millioner abstracts fra videnskabelige artikler, og andengangen blev modellen trænet på fulde artikler fra et projekt, der havde til formål at bestemme, hvilke psykologiske artikler der kan reproduceres – Reproducibility Project: Psychology.

Efter testningen deployerede forskerne modellen på en samling af hundredvis af andre artikler fra forskellige fag som psykologi og økonomi. Forskerne fandt, at deres model gav en mere pålidelig forudsigelse om en artikels reproducerbarhed end de statistiske teknikker, der typisk bruges til at fastslå, om en artikels resultater kan reproduceres.

Forsker og Kellog School of Management-professor Brian Uzzi forklarede til Fortune, at selv om han er håbefuld om, at AI-modellen kan bruges til at hjælpe forskere med at bestemme, hvor sandsynligt det er, at resultater kan reproduceres, er forskerholdet usikre på, hvilke mønstre og detaljer modellen har lært. Det faktum, at maskinlæringsmodeller ofte er sorte kasser, er et almindeligt problem inden for AI-forskning, men dette faktum kan gøre andre videnskabsmænd tøvende over for at bruge modellen.

Uzzi forklarede, at forskerholdet håber, at modellen kan bruges til at løse coronaviruskrisen, og hjælpe videnskabsmænd med at forstå virusset hurtigere og bestemme, hvilke studieresultater der er lovende. Som Uzzi sagde til Fortune:

“Vi ønsker at begynde at anvende dette til COVID-problemet – et problem, hvor mange ting bliver løse, og vi har brug for at bygge på en stærk grundlag af tidligere arbejde. Det er uklart, hvilket tidligere arbejde der vil blive reproduceret eller ej, og vi har ikke tid til reproduktioner.”

Uzzi og de andre forskere håber at forbedre modellen ved at bruge yderligere naturlige sprogbehandlingsteknikker, herunder teknikker, som holdet har udviklet til at analysere opkaldstransskriptioner om virksomhedens indtjening. Forskerholdet har allerede bygget en database på omkring 30.000 opkaldstransskriptioner, som de vil analysere for ledetråde. Hvis holdet kan bygge en succesfuld model, kan de måske overbevise analytikere og investorer om at bruge værktøjet, hvilket kan bana vejen for andre innovative anvendelser af modellen og dens teknikker.