Tekoäly voisi auttaa tutkijoita määrittämään, mitkä tutkimukset voidaan toistaa, pyrkii ratkaisemaan toistettavuuskriisin

Viime vuosina tutkijat ja tutkimusyhteisö ovat kiinnittäneet yhä enemmän huomiota siihen, mitä he kutsuvat toistettavuus/toteutettavuuskriisiksi. Monet tutkimukset eivät pysty saavuttamaan samoja merkittäviä tuloksia, kun tutkimusta yritetään toistaa, ja tämän seurauksena tutkimusyhteisö on huolissaan, että tulokset usein korostetaan liikaa. Ongelma vaikuttaa moniin aloihin, kuten psykologiaan ja tekoälyyn. Tekoälyalalla julkaistaan usein tieteellisiä artikkeleita, jotka väittävät vaikuttavista tuloksista, mutta joita muut tutkijat eivät pysty toistamaan. Ratkaisuksi ongelmaan tutkijat ovat suunnitelleet tekoälymallin, jonka tavoitteena on määrittää, mitkä tutkimukset voidaan toistaa.

Fortune-uutisen mukaan Northwestern-yliopiston Kellog School of Managementin ja Institute of Complex Systemsin tutkijaryhmä on julkaissut uuden tutkimuksen, jossa esitetään syväoppimismalli, joka voi mahdollisesti määrittää, mitkä tutkimukset ovat todennäköisesti toistettavissa ja mitkä eivät. Jos tekoälyjärjestelmä pystyy luotettavasti erottamaan toistettavat ja toistamattomat tutkimukset, se voi auttaa yliopistoja, tutkimuslaitoksia, yrityksiä ja muita organisaatioita suodattamaan tuhansia tutkimuksia ja määrittämään, mitkä tutkimukset ovat todennäköisesti käyttökelpoisia ja luotettavia.

Northwestern-tiimin kehittämä tekoälyjärjestelmä ei käytä tutkijoiden yleensä käyttämää empiiristä/tilastollista näyttöä tutkimusten validiteetin arvioimiseen. Sen sijaan malli käyttää luonnollisen kielen prosessointitekniikoita tutkimuksen luotettavuuden määrittämiseen. Järjestelmä etsii kirjoittajien käyttämien sanojen ja lauseiden malleja, ja havaitsee, että jotkut sanamallit viittaavat suurempaan luotettavuuteen kuin toiset.

Tutkijaryhmä perusti tutkimuksensa psykologisiin tutkimuksiin, jotka ovat peräisin 1960-luvulta, ja joissa havaittiin, että ihmiset usein viestivät luottamustasoaan ideoitaan kohtaan käyttämällä tiettyjä sanoja. Tutkijat ajattelivat, että tutkimuksen tekijät saattavat välittämättä viestiä tutkimuksensa luotettavuudesta kirjoittaessaan tutkimuksiaan. Tutkijat suorittivat kaksi koulutusjaksoa eri aineistojen kanssa. Aluksi malli koulutettiin noin kahden miljoonan tieteellisen artikkelin tiivistelmällä, ja toisella kerralla malli koulutettiin kokonaisilla artikkeleilla osana Reproducibility Project: Psychology -hanketta.

Tutkijat testasivat malliaan useiden satojen artikkeleiden kokoelmalla eri aloilta, kuten psykologiasta ja taloustieteestä. He havaitsivat, että malli antoi luotettavamman ennusteen artikkelin toistettavuudesta kuin tilastolliset menetelmät, joita yleensä käytetään arvioimaan tuloksien toistettavuutta.

Tutkija ja Kellog School of Managementin professori Brian Uzzi kertoi Fortune-lehdelle, että vaikka hän toivoo, että tekoälymalli voisi joskus auttaa tutkijoita arvioimaan tuloksien toistettavuutta, tutkijaryhmä ei ole varma siitä, mitä malli on oppinut. Se, että tekoälymallit ovat usein “mustia laatikoita”, on yleinen ongelma tekoälytutkimuksessa, ja se saattaa tehdä muille tutkijoille epäilyttäväksi mallin käytön.

Uzzi kertoi, että tutkijaryhmä toivoo, että malli voisi auttaa koronakriisin ratkaisemisessa, ja nopeuttaa tutkijoiden ymmärrystä viruksesta ja sen tutkimustuloksista. Uzzi sanoi Fortune-lehdelle:

“Haluumme soveltaa tätä koronakriisiin – ongelmaan, jossa kaikki on nyt hyvin epävarmaa, ja meidän on rakennettava vahva perusta aiemmalle työlle. On epäselvää, mitkä aiemmat tutkimukset voidaan toistaa ja mitkä eivät, ja meillä ei ole aikaa toistaa niitä.”

Uzzi ja muut tutkijat toivovat, että he voivat parantaa malliaan käyttämällä lisää luonnollisen kielen prosessointitekniikoita, mukaan lukien menetelmiä, joita he ovat kehittäneet analysoimaan yritysten tuloksia koskevia puheluiden transkripteja. Tutkijaryhmä on jo kerännyt noin 30 000 puhelun transkriptin tietokannan, jota he analysoivat vihjeiden löytämiseksi. Jos tiimi onnistuu kehittämään onnistuneen mallin, he saattavat pystyä vakuuttamaan analyytikot ja sijoittajat käyttämään työkalua, mikä voisi availla tietä muille innovatiivisille sovelluksille mallille ja sen tekniikoille. Tutkijaryhmä on jo rakentanut tietokannan noin 30 000 puhelun transkriptistä, joita he analysoivat vihjeiden löytämiseksi. Jos tiimi onnistuu kehittämään onnistuneen mallin, he saattavat pystyä vakuuttamaan analyytikot ja sijoittajat käyttämään työkalua, mikä voisi availla tietä muille innovatiivisille sovelluksille mallille ja sen tekniikoille.