Tekoäly Voisi Auttaa Tutkijoita Määrittämään, Mitkä Tutkimukset Voivat Olla Toistettavissa, Tavoitteena On Ratkaista Toistettavuuskriisi

Viime vuosina tutkijat ja asiantuntijat ovat kiinnittäneet yhä enemmän huomiota siihen, mitä he kutsuvat toistettavuuden/toistettavuuskriisiksi. Monet tutkimukset eivät yksinkertaisesti anna samoja merkittäviä tuloksia, kun tutkimusta yritetään toistaa, ja tämän seurauksena tieteellinen yhteisö on huolissaan, että tulokset usein korostetaan liikaa. Ongelma vaikuttaa moniin eri aloihin, kuten psykologiaan ja tekoälyyn. Kun on kyse tekoälystä, monia tieteellisiä artikkeleita julkaistaan, jotka väittävät vaikuttavista tuloksista, joita muut tutkijat eivät voi toistaa. Ratkaisemaan ongelmaa ja vähentämään epätoistettavien tutkimusten määrää, tutkijat ovat suunnitelleet tekoälymallin, jonka tavoitteena on määrittää, mitkä tutkimukset voidaan toistaa.

Fortunen mukaan uusi tutkimus julkaistiin Northwestern Universityn Kellog School of Managementin ja Institute of Complex Systemsin tutkijaryhmän toimesta, ja se esittää syväoppimismallin, joka voi mahdollisesti määrittää, mitkä tutkimukset ovat todennäköisesti toistettavissa ja mitkä eivät. Jos tekoälyjärjestelmä voi luotettavasti erottaa toistettavat ja epätoistettavat tutkimukset, se voi auttaa yliopistoja, tutkimuslaitoksia, yrityksiä ja muita organisaatioita suodattamaan tuhansia tutkimusartikkeleita ja määrittämään, mitkä artikkelit ovat todennäköisesti käyttökelpoisia ja luotettavia.

Northwesternin tiimin kehittämä tekoälyjärjestelmä ei käytä sellaista empiiristä/tilastollista näyttöä, jota tutkijat yleensä käyttävät tutkimusten validiteetin arvioimiseen. Sen sijaan malli käyttää luonnollisen kielen prosessointitekniikoita yrittääkseen määrittää artikkeleiden luotettavuuden. Järjestelmä poimii artikkeleiden kirjoittajien käyttämistä kielen malleista, ja havaitsee, että jotkut sanamallit osoittavat suurempaa luotettavuutta kuin toiset.

Tutkimusryhmä hyödynsi psykologisia tutkimuksia, jotka ovat peräisin 1960-luvulta, ja joissa havaittiin, että ihmiset usein viestivät luottamuksensa tasoa ideoihinsa käyttämällä tiettyjä sanoja. Ryhmä ajatteli, että tutkimuksen tekijät saattavat tahattomasti signaaloida luottamuksensa tutkimustuloksiin kirjoittaessaan artikkeleitaan. Tutkijat suorittivat kaksi koulutuskuorta eri tietojoukoilla. Aluksi malli koulutettiin noin kahden miljoonan tieteellisen artikkelin tiivistelmillä, ja toisella kerralla malli koulutettiin kokonaisilla artikkeleilla Psykologian toistettavuushankkeesta.

Testauksen jälkeen tutkijat ottivat mallin käyttöön sadoissa muissa artikkeleissa, jotka olivat peräisin eri aloilta, kuten psykologiasta ja taloustieteestä. Tutkijat totesivat, että heidän mallinsa antoi luotettavamman ennusteen artikkeleiden toistettavuudesta verrattuna tilastollisiin menetelmiin, joita yleensä käytetään arvioimaan, voidaanko artikkeleiden tuloksia toistaa.

Tutkija ja Kellog School of Managementin professori Brian Uzzi kertoi Fortunelle, että vaikka hän toivoo, että tekoälymalli voisi joskus auttaa tutkijoita arvioimaan, kuinka todennäköisesti tulokset voidaan toistaa, tutkimusryhmä ei ole varma siitä, mitä malleja ja yksityiskohtia heidän mallinsa on oppinut. Se, että koneoppimismallit ovat usein mustia laatikoita, on yleinen ongelma tekoälytutkimuksessa, mutta tämä voi tehdä muille tutkijoille epämukavaksi käyttää mallia.

Uzzi kertoi, että tutkimusryhmä toivoo, että malli voisi mahdollisesti käyttää koronakriisin ratkaisemiseen, auttaen tutkijoita ymmärtämään virusta nopeammin ja määrittämään, mitkä tutkimustulokset ovat lupaavia. Kuten Uzzi sanoi Fortunelle:

“Haluaisimme alkaa soveltaa tätä COVID-ongelmaan – ongelmaan, jossa monia asioita on jo kevennetty, ja meidän on rakennettava vahva perusta aikaisemmalle työlle. On epäselvää, mitkä aikaisemmat työt voidaan toistaa tai eivät, ja meillä ei ole aikaa toistoja varten.”

Uzzi ja muut tutkijat toivovat parantavansa mallia käyttämällä lisää luonnollisen kielen prosessointitekniikoita, mukaan lukien menetelmiä, joita tiimi on kehittänyt analysoimaan yritysten tulospuheluita. Tutkimusryhmä on jo rakentanut tietokannan, joka sisältää noin 30 000 tulospuhelun transkriptiota, joita he analysoivat vihjeiden löytämiseksi. Jos tiimi pystyy kehittämään onnistuneen mallin, he saattavat pystyä vakuuttamaan analyytikot ja sijoittajat käyttämään työkalua, mikä voisi availla tien mallin ja sen tekniikoiden muiden innovatiivisten käyttökohteiden kehittämiseen.