Umělá inteligence by mohla pomoci výzkumníkům určit, které studie lze replikovat, cílem je řešit krizi reprodukovatelnosti

V posledních letech se stále více pozornosti věnuje tomu, co vědci a výzkumníci nazývají krizí replikace/reprodukovatelnosti. Mnoho studií jednoduše nesplňuje stejné významné výsledky, když se pokusí replikovat, a v důsledku toho je vědecká komunita znepokojena tím, že výsledky jsou často přeháněny. Problém se týká oblastí, jako je psychologie a umělá inteligence. V oblasti umělé inteligence je mnoho ne-recenzovaných článků publikováno s tvrzeními o působivých výsledcích, které ostatní výzkumníci nemohou replikovat. Aby se tento problém řešil a snížil počet nereplikovatelných studií, výzkumníci navrhli model umělé inteligence, který má za cíl určit, které studie lze replikovat.

Jak uvádí Fortune, nová studie publikovaná týmem výzkumníků z Kellog School of Management a Institute of Complex Systems na Northwestern University představuje model hlubokého učení, který může potenciálně určit, které studie jsou pravděpodobně replikovatelné a které ne. Pokud systém umělé inteligence může spolehlivě rozlišovat mezi replikovatelnými a nereplikovatelnými studiemi, může pomoci univerzitám, výzkumným ústavům, společnostem a jiným subjektům filtrovat tisíce výzkumných článků a určit, které studie jsou nejpravděpodobněji užitečné a spolehlivé.

Systém umělé inteligence vyvinutý týmem Northwestern neutilizuje typ empirických/statistických důkazů, které výzkumníci obvykle používají k ověření platnosti studií. Model místo toho využívá techniky zpracování přirozeného jazyka, aby se pokusil kvantifikovat spolehlivost článku. Systém extrahuje vzory v jazyce, který používají autoři článku, a zjistil, že některé slovní vzory indikují větší spolehlivost než jiné.

Výzkumníci využili psychologický výzkum z 60. let, který zjistil, že lidé často komunikují úroveň své důvěry v své nápady prostřednictvím slov, která používají. S touto myšlenkou výzkumníci předpokládali, že autoři článků mohou nevědomky signalizovat svou důvěru ve své výzkumné výsledky, když píší své články. Výzkumníci provedli dvě kola školení, využívající různé datové sady. Zpočátku byl model školen na přibližně dvou milionech abstraktů z vědeckých článků, zatímco podruhé byl model školen na plné články z projektu určeného k určení, které psychologické studie lze replikovat – Reproducibility Project: Psychology.

Po testování výzkumníci nasadili model na sbírku stovek dalších článků, pocházejících z různých oblastí, jako je psychologie a ekonomie. Výzkumníci zjistili, že jejich model poskytl spolehlivější předpověď týkající se replikovatelnosti článku než statistické techniky, které se obvykle používají k určení, zda výsledky článku lze replikovat.

Výzkumník a profesor Kellog School of Management Brian Uzzi vysvětlil Fortune, že zatímco doufá, že model umělé inteligence by mohl být jednoho dne použit k pomoci výzkumníkům určit, jak pravděpodobně jsou výsledky replikovatelné, výzkumný tým není jistý, které vzory a detaily model naučil. Skutečnost, že modely strojového učení jsou často černé skříňky, je běžný problém ve výzkumu umělé inteligence, ale tato skutečnost by mohla způsobit, že jiní vědci budou váhat utiliser model.

Uzzi vysvětlil, že výzkumný tým doufá, že model by mohl být použit k řešení krize koronaviru, aby pomohl vědcům rychleji porozumět viru a určit, které výsledky studií jsou slibné. Jak Uzzi řekl Fortune:

„Chceme začít aplikovat to na problém COVID – problém, který je nyní velmi naléhavý a vyžaduje silný základ předchozích prací. Není jasné, které předchozí práce budou replikovány nebo ne, a nemáme čas na replikace.“

Uzzi a ostatní výzkumníci doufají, že model lze vylepšit pomocí dalších technik zpracování přirozeného jazyka, včetně technik, které tým vytvořil pro analýzu přepisů firemních zisků. Výzkumný tým již vytvořil databázi přibližně 30 000 přepisů, které budou analyzovány pro hledání stop. Pokud tým dokáže vytvořit úspěšný model, mohli by přesvědčit analytiky a investory, aby používali nástroj, který by mohl otevřít cestu pro další inovativní využití modelu a jeho technik.