AI kan hjelpe forskere med å finne ut hvilke papirer som kan replikeres, tar sikte på å adressere reproduksjonskrise

Mer og mer oppmerksomhet rettes de siste årene til hva forskere og forskere kaller replikasjons-/reproduserbarhetskrisen. Mange studier klarer rett og slett ikke å gi de samme signifikante resultatene når replikering av studien er forsøkt, og som et resultat er det vitenskapelige miljøet bekymret for at funnene ofte vektlegges for mye. Problemet rammer så forskjellige felt som psykologi og kunstig intelligens. Når det kommer til AI-feltet, publiseres mange ikke-fagfellevurderte artikler som påstår imponerende resultater som andre forskere ikke kan reprodusere. For å takle problemet og redusere antallet ikke-reproduserbare studier, har forskere designet en AI-modell som tar sikte på å bestemme hvilke papirer som kan replikeres.

Som rapportert av Fortune, En ny papir publisert av et team av forskere fra Kellog School of Management og Institute of Complex Systems ved Northwestern University presenterer en dyp læringsmodell som potensielt kan bestemme hvilke studier som sannsynligvis vil være reproduserbare, og hvilke studier som ikke er det. Hvis AI-systemet pålitelig kan skille mellom reproduserbare og ikke-reproduserbare studier, kan det hjelpe universiteter, forskningsinstitutter, selskaper og andre enheter med å filtrere gjennom tusenvis av forskningsartikler for å finne ut hvilke artikler som mest sannsynlig vil være nyttige og pålitelige.

AI-systemene utviklet av Northwestern-teamet bruker ikke den typen empiriske/statistiske bevis som forskere vanligvis bruker for å fastslå gyldigheten av studier. Modellen bruker faktisk naturlige språkbehandlingsteknikker for å prøve å kvantifisere påliteligheten til et papir. Systemet trekker ut mønstre på språket som brukes av forfatterne av en artikkel, og finner ut at noen ordmønstre indikerer større pålitelighet enn andre.

Forskerteamet tok utgangspunkt i psykologisk forskning så gammel som 1960-tallet, som fant at folk ofte kommuniserer graden av tillit de har til ideene sine gjennom ordene de bruker. I tråd med denne ideen trodde forskerne at papirforfattere ubevisst kunne signalisere at de stoler på forskningsfunnene deres når de skriver papirene sine. Forskerne gjennomførte to runder med opplæring, ved å bruke forskjellige datasett. Opprinnelig ble modellen trent på omtrent to millioner sammendrag fra vitenskapelige artikler, mens den andre gangen ble modellen trent på fulle artikler for å hente fra et prosjekt som hadde til hensikt å bestemme hvilke psykologiartikler som kan reproduseres - Reproducibility Project: Psychology.

Etter testing distribuerte forskerne modellen på en samling av hundrevis av andre artikler, hentet fra ulike felt som psykologi og økonomi. Forskerne fant ut at modellen deres ga en mer pålitelig prediksjon angående et papirs reproduserbarhet enn de statistiske teknikkene som vanligvis brukes for å finne ut om resultatene av et papir kan replikeres eller ikke.

Forsker og professor ved Kellog School of Management Brian Uzzi, forklarte til Fortune at selv om han er håpefull om at AI-modellen en dag kan brukes til å hjelpe forskere med å finne ut hvor sannsynlig at resultater vil bli reprodusert, er forskerteamet usikker på mønstrene og detaljer om modellen deres. lært. Det faktum at maskinlæringsmodeller ofte er svarte bokser er et vanlig problem innen AI-forskning, men dette faktum kan få andre forskere til å nøle med å bruke modellen.

Uzzi forklarte at forskerteamet håper at modellen potensielt kan brukes til å takle koronaviruskrisen, og hjelpe forskere mer raskt forstå viruset og finne ut hvilke studieresultater som er lovende. Som Uzzi sa til Fortune:

"Vi ønsker å begynne å bruke dette på COVID-spørsmålet - et problem akkurat nå der mange ting blir slappe, og vi må bygge på et veldig sterkt grunnlag av tidligere arbeid. Det er uklart hvilket tidligere arbeid som skal replikeres eller ikke, og vi har ikke tid til replikasjoner.»

Uzzi og de andre forskerne håper å forbedre modellen ved å bruke ytterligere naturlige språkbehandlingsteknikker, inkludert teknikker som teamet opprettet for å analysere samtaleutskrifter angående bedriftens inntekter. Forskerteamet har allerede bygget en database med omtrent 30,000 XNUMX samtaleutskrifter som de skal analysere for ledetråder. Hvis teamet kan bygge en vellykket modell, kan de kanskje overbevise analytikere og investorer om å bruke verktøyet, noe som kan bane vei for andre innovative bruksområder for modellen og dens teknikker.