Umelá inteligencia by mohla pomôcť výskumníkom určiť, ktoré dokumenty možno replikovať, jej cieľom je riešiť krízu reprodukcie

Čoraz viac pozornosti sa v posledných rokoch venuje tomu, čo vedci a výskumníci nazývajú krízou replikácie/reprodukovateľnosti. Mnohé štúdie jednoducho neposkytujú rovnaké významné výsledky, keď sa pokúšame o replikáciu štúdie, a preto sa vedecká komunita obáva, že zistenia sú často príliš zdôrazňované. Problém sa týka takých oblastí ako psychológia a umelá inteligencia. Pokiaľ ide o oblasť AI, uverejňuje sa veľa nerecenzovaných prác, ktoré uvádzajú pôsobivé výsledky, ktoré iní výskumníci nedokážu reprodukovať. S cieľom vyriešiť tento problém a znížiť počet nereprodukovateľných štúdií výskumníci navrhli model AI, ktorého cieľom je určiť, ktoré dokumenty možno replikovať.

Ako informovala Fortune, Nový papier publikované tímom výskumníkov z Kellog School of Management a Institute of Complex Systems na Northwestern University predstavuje model hlbokého učenia, ktorý môže potenciálne určiť, ktoré štúdie budú pravdepodobne reprodukovateľné a ktoré nie. Ak systém AI dokáže spoľahlivo rozlišovať medzi reprodukovateľné a nereprodukovateľné štúdie, mohlo by to pomôcť univerzitám, výskumným ústavom, spoločnostiam a iným subjektom prefiltrovať tisíce výskumných prác a určiť, ktoré práce sú s najväčšou pravdepodobnosťou užitočné a spoľahlivé.

Systémy AI vyvinuté tímom Northwestern nevyužívajú typ empirických/štatistických dôkazov, ktoré výskumníci zvyčajne používajú na overenie platnosti štúdií. Model v skutočnosti využíva techniky spracovania prirodzeného jazyka, aby sa pokúsila kvantifikovať spoľahlivosť papiera. Systém extrahuje vzory v jazyku, ktorý používajú autori článku, pričom zistil, že niektoré slovné vzory naznačujú väčšiu spoľahlivosť ako iné.

Výskumný tím vychádzal z psychologického výskumu zo 1960. rokov XNUMX. storočia, ktorý zistil, že ľudia často komunikujú mieru dôvery vo svoje myšlienky prostredníctvom slov, ktoré používajú. S touto myšlienkou si výskumníci mysleli, že autori papiera môžu pri písaní svojich prác nevedomky signalizovať svoju dôveru vo výsledky výskumu. Výskumníci uskutočnili dve kolá školenia s využitím rôznych súborov údajov. Spočiatku bol model trénovaný na približne dvoch miliónoch abstraktov z vedeckých prác, zatiaľ čo druhýkrát bol model trénovaný na úplných dokumentoch, aby prevzal z projektu určeného na určenie, ktoré psychologické dokumenty možno reprodukovať – Projekt reprodukovateľnosti: Psychológia.

Po testovaní výskumníci nasadili model na zbierku stoviek ďalších dokumentov, prevzatých z rôznych oblastí, ako je psychológia a ekonómia. Výskumníci zistili, že ich model poskytuje spoľahlivejšiu predpoveď týkajúcu sa reprodukovateľnosti papiera ako štatistické techniky, ktoré sa zvyčajne používajú na zistenie, či je možné výsledky papiera replikovať alebo nie.

Výskumník a profesor Kellog School of Management Brian Uzzi pre Fortune vysvetlil, že hoci dúfa, že model AI by mohol byť niekedy použitý na pomoc výskumníkom pri zisťovaní pravdepodobnosti reprodukovania výsledkov, výskumný tím si nie je istý vzormi a podrobnosťami o ich modeli. Učil sa. Skutočnosť, že modely strojového učenia sú často čiernymi skrinkami, je bežným problémom vo výskume AI, ale táto skutočnosť by mohla spôsobiť, že iní vedci váhajú s využitím modelu.

Uzzi vysvetlil, že výskumný tím dúfa, že model by mohol byť potenciálne použitý na riešenie koronavírusovej krízy, čo by vedcom pomohlo viac. rýchlo pochopiť vírus a určiť, ktoré výsledky štúdie sú sľubné. Ako Uzzi povedal Fortune:

„Chceme to začať aplikovať na problém COVID – problém, v ktorom sa veľa vecí stáva laxným a musíme stavať na veľmi silnom základe predchádzajúcej práce. Nie je jasné, aká predchádzajúca práca sa bude alebo nebude replikovať a na replikácie nemáme čas.“

Uzzi a ďalší výskumníci dúfajú, že vylepšia model využitím ďalších techník spracovania prirodzeného jazyka vrátane techník, ktoré tím vytvoril na analýzu prepisov hovorov týkajúcich sa firemných príjmov. Výskumný tím už vybudoval databázu približne 30,000 XNUMX prepisov hovorov, ktoré budú analyzovať, aby našli stopy. Ak tím dokáže vybudovať úspešný model, možno bude schopný presvedčiť analytikov a investorov, aby použili tento nástroj, čo by mohlo pripraviť cestu pre ďalšie inovatívne využitie modelu a jeho techník.