AI kan hjälpa forskare att avgöra vilka artiklar som kan replikeras, syftar till att åtgärda reproduktionskrisen

Alltmer uppmärksamhet har ägnats åt det som forskare och forskare kallar replikations-/reproducerbarhetskrisen under de senaste åren. Många studier lyckas inte ge samma betydande resultat när en replikation av studien försöks, och som ett resultat är den vetenskapliga gemenskapen orolig för att resultaten ofta överbetonas. Problemet påverkar områden så olika som psykologi och artificiell intelligens. När det gäller området artificiell intelligens publiceras många icke-granskade artiklar som påstår imponerande resultat som andra forskare inte kan reproducera. För att tackla problemet och minska antalet icke-reproducerbara studier har forskare utformat en AI-modell som syftar till att avgöra vilka artiklar som kan replikeras.

Som rapporterats av Fortune, presenterar en ny artikel publicerad av ett team av forskare från Kellog School of Management och Institute of Complex Systems vid Northwestern University en deep learning-modell som potentiellt kan avgöra vilka studier som sannolikt är reproducerbara och vilka studier som inte är det. Om AI-systemet kan tillförlitligt skilja mellan reproducerbara och icke-reproducerbara studier, kan det hjälpa universitet, forskningsinstitut, företag och andra enheter att filtrera genom tusentals forskningsartiklar för att avgöra vilka artiklar som sannolikt är användbara och tillförlitliga.

AI-systemet som utvecklats av Northwestern-teamet använder inte den typen av empirisk/statistisk bevisning som forskare vanligtvis använder för att fastställa giltigheten av studier. Modellen använder istället tekniker för naturlig språkbehandling för att försöka kvantifiera tillförlitligheten av en artikel. Systemet extraherar mönster i språket som används av artikelförfattarna och finner att vissa ordmönster indikerar större tillförlitlighet än andra.

Forskningsgruppen drog nytta av psykologisk forskning så gammal som 1960-talet, som fann att människor ofta kommunicerar den nivå av förtroende de har för sina idéer genom de ord de använder. Forskarna utgick från denna idé och tänkte att artikelförfattare omedvetet kan signalera sitt förtroende för sina forskningsresultat när de skriver sina artiklar. Forskarna genomförde två omgångar av träning, med användning av olika datamängder. Initialt tränades modellen på cirka två miljoner sammanfattningar från vetenskapliga artiklar, medan modellen tränades på fullständiga artiklar från ett projekt som syftade till att fastställa vilka psykologiska artiklar som kan reproduceras – Reproducibility Project: Psychology.

Efter testning deployerade forskarna modellen på en samling av hundratals andra artiklar, tagna från olika områden som psykologi och ekonomi. Forskarna fann att deras modell gav en mer tillförlitlig förutsägelse om en artikels reproducerbarhet än de statistiska tekniker som vanligtvis används för att fastställa om en artikels resultat kan reproduceras.

Forskare och Kellog School of Management-professorn Brian Uzzi förklarade för Fortune att medan han är hoppfull om att AI-modellen kan användas för att hjälpa forskare att avgöra hur sannolikt resultaten är att reproduceras, är forskargruppen osäker på de mönster och detaljer som modellen har lärt sig. Det faktum att maskinlärningsmodeller ofta är svarta lådor är ett vanligt problem inom AI-forskning, men detta faktum kan göra andra forskare tveksamma till att använda modellen.

Uzzi förklarade att forskargruppen hoppas att modellen kan användas för att tackla coronaviruskrisen, hjälpa forskare att snabbare förstå viruset och avgöra vilka studieresultat som är lovande. Som Uzzi sa till Fortune:

“Vi vill börja tillämpa detta på COVID-frågan – en fråga just nu där många saker blir lätta, och vi behöver bygga på en mycket stark grund av tidigare arbete. Det är oklart vilket tidigare arbete som kommer att reproduceras eller inte och vi har inte tid för replikationer.”

Uzzi och de andra forskarna hoppas på att förbättra modellen genom att använda ytterligare tekniker för naturlig språkbehandling, inklusive tekniker som teamet skapade för att analysera telefonsamtal om företagsvinster. Forskargruppen har redan byggt en databas med cirka 30 000 telefonsamtal som de kommer att analysera för ledtrådar. Om teamet kan bygga en framgångsrik modell, kan de kanske övertyga analytiker och investerare att använda verktyget, vilket kan bana väg för andra innovativa användningar av modellen och dess tekniker.