AI kan hjälpa forskare att avgöra vilka studier som kan replikeras, syftar till att hantera reproduktionskrisen

Alltmer uppmärksamhet har ägnats åt det som forskare och forskningspersoner kallar reproduktions-/replikationskrisen under de senaste åren. Många studier misslyckas med att ge samma signifikanta resultat när studien replikeras, och som ett resultat är den vetenskapliga gemenskapen orolig för att resultaten ofta överdrivs. Problemet påverkar områden så olika som psykologi och artificiell intelligens. När det gäller AI-området publiceras många icke-granskade artiklar som påstår imponerande resultat som andra forskare inte kan replikera. För att tackla problemet och minska antalet icke-reproducerbara studier har forskare utformat en AI-modell som syftar till att avgöra vilka studier som kan replikeras.

Enligt Fortune presenterar en ny artikel publicerad av ett team av forskare från Kellog School of Management och Institute of Complex Systems vid Northwestern University en djupinlärningsmodell som potentiellt kan avgöra vilka studier som sannolikt är reproducerbara och vilka som inte är det. Om AI-systemet kan tillförlitligt skilja mellan reproducerbara och icke-reproducerbara studier kan det hjälpa universitet, forskningsinstitut, företag och andra organisationer att filtrera genom tusentals forskningsartiklar för att avgöra vilka artiklar som sannolikt är användbara och tillförlitliga.

AI-systemet som utvecklats av Northwestern-teamet använder inte den typen av empirisk/statistisk bevis som forskare vanligtvis använder för att fastställa giltigheten hos studier. Modellen använder istället tekniker för naturlig språkbehandling för att försöka kvantifiera tillförlitligheten hos en artikel. Systemet extraherar mönster i språket som används av artikelförfattarna och finner att vissa ordmönster indikerar större tillförlitlighet än andra.

Forskningsgruppen drog nytta av psykologisk forskning så gammal som 1960-talet, som fann att människor ofta kommunicerar den tillförlitlighet de har i sina idéer genom de ord de använder. Forskarna utgick från denna idé och tänkte att artikelförfattare omedvetet kan signalera sin tillförlitlighet i sina forskningsresultat när de skriver sina artiklar. Forskarna genomförde två omgångar av utbildning, med hjälp av olika datamängder. Inledningsvis tränades modellen på cirka två miljoner sammanfattningar från vetenskapliga artiklar, medan modellen tränades på fullständiga artiklar under den andra omgången, från ett projekt som syftade till att fastställa vilka psykologiska artiklar som kan replikeras – Reproducibility Project: Psychology.

Efter testning tillämpade forskarna modellen på en samling av hundratals andra artiklar, hämtade från olika områden som psykologi och ekonomi. Forskarna fann att deras modell gav en mer tillförlitlig förutsägelse om en artikels reproducerbarhet än de statistiska tekniker som vanligtvis används för att fastställa om en artikels resultat kan replikeras.

Forskare och professor vid Kellog School of Management, Brian Uzzi, förklarade för Fortune att han är hoppfull om att AI-modellen kan användas för att hjälpa forskare att fastställa hur sannolikt det är att resultaten kan replikeras, men forskargruppen är osäker på de mönster och detaljer som modellen har lärt sig. Det faktum att maskinlärningsmodeller ofta är svarta lådor är ett vanligt problem inom AI-forskning, men detta faktum kan göra andra forskare tveksamma till att använda modellen.

Uzzi förklarade att forskargruppen hoppas att modellen kan användas för att hantera coronaviruskrisen, och hjälpa forskare att snabbare förstå viruset och fastställa vilka studieresultat som är lovande. Som Uzzi sa till Fortune:

“Vi vill börja tillämpa detta på COVID-frågan – en fråga där många saker blir lätta, och vi behöver bygga på en mycket stark grund av tidigare arbete. Det är oklart vilket tidigare arbete som kommer att replikeras eller inte, och vi har inte tid för replikationer.”

Uzzi och de andra forskarna hoppas att förbättra modellen genom att använda ytterligare tekniker för naturlig språkbehandling, inklusive tekniker som gruppen skapade för att analysera telefonsamtal om företagsvinster. Forskargruppen har redan byggt en databas med cirka 30 000 telefonsamtal som de kommer att analysera för ledtrådar. Om gruppen kan bygga en framgångsrik modell kan de kanske övertyga analytiker och investerare att använda verktyget, vilket kan bana väg för andra innovativa användningar av modellen och dess tekniker.