AI kan onderzoekers helpen bij het bepalen van welke papers gerepliceerd kunnen worden, heeft als doel de reproductiecrisis aan te pakken

Er wordt de afgelopen jaren steeds meer aandacht besteed aan wat onderzoekers en geleerden de replicatie-/reproductiecrisis noemen. Veel studies falen er simpelweg in om significante resultaten te behalen wanneer een studie wordt gerepliceerd, en als gevolg daarvan maakt de wetenschappelijke gemeenschap zich zorgen dat de resultaten vaak worden overbelicht. Het probleem treft gebieden als divers als psychologie en kunstmatige intelligentie. Wanneer het gaat om het gebied van kunstmatige intelligentie, worden veel niet-gepubliceerde papers gepubliceerd met indrukwekkende resultaten die andere onderzoekers niet kunnen reproduceren. Om het probleem aan te pakken en het aantal niet-reproduceerbare studies te verminderen, hebben onderzoekers een AI-model ontwikkeld dat tot doel heeft te bepalen welke papers gerepliceerd kunnen worden.

Volgens Fortune, presenteert een nieuw paper van een team van onderzoekers van de Kellog School of Management en het Institute of Complex Systems van de Northwestern University een diep lerend model dat potentieel kan bepalen welke studies waarschijnlijk reproduceerbaar zijn en welke niet. Als het AI-systeem betrouwbaar kan onderscheiden tussen reproduceerbare en niet-reproduceerbare studies, kan het universiteiten, onderzoeksinstellingen, bedrijven en andere entiteiten helpen om door duizenden onderzoeksartikelen te filteren en te bepalen welke papers het meest waarschijnlijk nuttig en betrouwbaar zijn.

De AI-systemen die door het team van Northwestern zijn ontwikkeld, maken geen gebruik van het type empirisch/statistisch bewijs dat onderzoekers typisch gebruiken om de geldigheid van studies te bepalen. Het model maakt daarentegen gebruik van technieken voor natuurlijke taalverwerking om te proberen de betrouwbaarheid van een paper te kwantificeren. Het systeem haalt patronen uit de taal die door de auteurs van een paper wordt gebruikt en vindt dat sommige woordpatronen een grotere betrouwbaarheid aangeven dan andere.

Het onderzoeksteam baseerde zich op psychologisch onderzoek uit de jaren 60, dat ontdekte dat mensen vaak het niveau van vertrouwen dat ze in hun ideeën hebben, communiceren via de woorden die ze gebruiken. Het team werkte met dit idee en dacht dat auteur van papers onbewust hun vertrouwen in hun onderzoeksresultaten kunnen signaleren wanneer ze hun papers schrijven. Het team voerde twee ronden van training uit met behulp van verschillende datasets. Aanvankelijk werd het model getraind op ongeveer twee miljoen abstracts van wetenschappelijke papers, terwijl het model de tweede keer werd getraind op volledige papers uit een project dat was bedoeld om te bepalen welke psychologische papers gerepliceerd kunnen worden – het Reproducibility Project: Psychology.

Na het testen, heeft het team het model toegepast op een collectie van honderden andere papers, afkomstig uit verschillende gebieden als psychologie en economie. Het team vond dat hun model een betrouwbaardere voorspelling gaf over de reproduceerbaarheid van een paper dan de statistische technieken die typisch worden gebruikt om te bepalen of de resultaten van een paper gerepliceerd kunnen worden.

Onderzoeker en professor aan de Kellog School of Management, Brian Uzzi, legde aan Fortune uit dat hij hoopvol is dat het AI-model op een dag kan worden gebruikt om onderzoekers te helpen bij het bepalen van de waarschijnlijkheid dat resultaten gerepliceerd kunnen worden, maar het onderzoeksteam is onzeker over de patronen en details die hun model heeft geleerd. Het feit dat machine learning-modellen vaak zwarte dozen zijn, is een algemeen probleem binnen AI-onderzoek, maar dit feit kan andere wetenschappers aarzelen om het model te gebruiken.

Uzzi legde uit dat het onderzoeksteam hoopt dat het model kan worden gebruikt om de coronacrisis aan te pakken, door wetenschappers te helpen om het virus sneller te begrijpen en te bepalen welke studieresultaten veelbelovend zijn. Zoals Uzzi tegen Fortune zei:

“We willen beginnen met het toepassen van deze techniek op het COVID-probleem – een probleem waarbij veel dingen losser worden en we een sterke basis van eerder werk nodig hebben. Het is onduidelijk welk eerder werk gerepliceerd kan worden of niet en we hebben geen tijd voor replicaties.”

Uzzi en de andere onderzoekers hopen het model te verbeteren door verder te gaan met natuurlijke taalverwerkingstechnieken, waaronder technieken die het team heeft ontwikkeld om call-transcripties over corporate-inkomsten te analyseren. Het onderzoeksteam heeft al een database van ongeveer 30.000 call-transcripties gebouwd die ze zullen analyseren op aanwijzingen. Als het team een succesvol model kan bouwen, kunnen ze mogelijk analisten en beleggers overtuigen om het instrument te gebruiken, wat de weg kan vrijmaken voor andere innovatieve toepassingen van het model en zijn technieken.