AI galėtų padėti tyrėjams nustatyti, kuriuos dokumentus galima pakartoti, siekiant išspręsti dauginimosi krizę

Pastaraisiais metais vis daugiau dėmesio skiriama tam, ką mokslininkai vadina replikacijos / atkuriamumo krize. Daugelis tyrimų tiesiog nesuteikia tų pačių reikšmingų rezultatų, kai bandoma pakartoti tyrimą, ir dėl to mokslo bendruomenė yra susirūpinusi, kad išvados dažnai yra per daug sureikšmintos. Problema paliečia tokias įvairias sritis kaip psichologija ir dirbtinis intelektas. Kalbant apie dirbtinio intelekto sritį, paskelbta daug nerecenzuotų straipsnių, kuriuose pateikiami įspūdingi rezultatai, kurių kiti tyrėjai negali atkurti. Siekdami išspręsti problemą ir sumažinti neatkuriamų tyrimų skaičių, mokslininkai sukūrė AI modelį, kuriuo siekiama nustatyti, kuriuos dokumentus galima pakartoti.

Kaip pranešė „Fortune“., Naujas popierius Kellog vadybos mokyklos ir Šiaurės vakarų universiteto Sudėtingų sistemų instituto mokslininkų komandos paskelbtas gilaus mokymosi modelis, galintis nustatyti, kurie tyrimai gali būti atkuriami, o kurie – ne. Jei AI sistema gali patikimai atskirti atkuriami ir neatkuriami tyrimai, tai galėtų padėti universitetams, mokslinių tyrimų institutams, įmonėms ir kitiems subjektams išfiltruoti tūkstančius mokslinių straipsnių, kad nustatytų, kurie straipsniai greičiausiai bus naudingi ir patikimi.

Šiaurės vakarų komandos sukurtose AI sistemose nenaudojami empiriniai / statistiniai įrodymai, kuriuos tyrėjai paprastai naudoja siekdami nustatyti tyrimų pagrįstumą. Modelis iš tikrųjų naudoja natūralios kalbos apdorojimo metodus, kad bandytų kiekybiškai įvertinti popieriaus patikimumą. Sistema išskiria raštus iš straipsnio autorių vartojamos kalbos ir nustato, kad kai kurie žodžių modeliai rodo didesnį patikimumą nei kiti.

Tyrimo grupė rėmėsi septintojo dešimtmečio psichologiniais tyrimais, kurie parodė, kad žmonės dažnai perteikia savo vartojamų žodžių pasitikėjimą savo idėjomis. Vykdydami šią idėją, mokslininkai manė, kad straipsnių autoriai gali nesąmoningai parodyti savo pasitikėjimą savo tyrimų išvadomis, kai rašo savo darbus. Tyrėjai atliko du mokymo etapus, naudodami skirtingus duomenų rinkinius. Iš pradžių modelis buvo apmokytas remiantis maždaug dviem milijonais mokslinių straipsnių santraukų, o antrą kartą modelis buvo apmokytas išsamiais dokumentais, kad būtų galima paimti iš projekto, skirto nustatyti, kuriuos psichologijos straipsnius galima atgaminti – Atkuriamumo projektas: psichologija.

Po bandymų mokslininkai panaudojo modelį šimtų kitų straipsnių, paimtų iš įvairių sričių, pavyzdžiui, psichologijos ir ekonomikos, kolekcijoje. Tyrėjai nustatė, kad jų modelis suteikė patikimesnes prognozes dėl popieriaus atkuriamumo nei statistiniai metodai, paprastai naudojami siekiant nustatyti, ar popieriaus rezultatus galima pakartoti.

Tyrėjas ir Kellog vadybos mokyklos profesorius Brianas Uzzi paaiškino Fortune, kad nors jis tikisi, kad AI modelis kada nors galėtų būti panaudotas siekiant padėti tyrėjams išsiaiškinti, kaip tikėtina, kad rezultatai bus atkuriami, tyrėjų komanda nėra tikra dėl modelių ir detalizuoja savo modelį. išmoko. Tai, kad mašininio mokymosi modeliai dažnai yra juodosios dėžės, yra dažna AI tyrimų problema, tačiau dėl to kiti mokslininkai gali dvejoti, ar naudoti šį modelį.

Uzzi paaiškino, kad tyrimų grupė tikisi, kad modelis gali būti panaudotas kovojant su koronaviruso krize, padedant mokslininkams daugiau greitai suprasti virusą ir nustatyti, kurie tyrimo rezultatai yra perspektyvūs. Kaip Uzzi pasakė Fortūnai:

„Mes norime pradėti tai taikyti COVID problemai – šiai problemai šiuo metu, kai daugelis dalykų darosi atsainiai, todėl turime remtis labai tvirtu ankstesnio darbo pagrindu. Neaišku, koks ankstesnis darbas bus pakartotas ar ne, ir mes neturime laiko replikuotis.

Uzzi ir kiti tyrėjai tikisi patobulinti modelį, naudodami kitus natūralios kalbos apdorojimo metodus, įskaitant metodus, kuriuos komanda sukūrė analizuoti skambučių nuorašus, susijusius su įmonės pajamomis. Tyrimo grupė jau sukūrė maždaug 30,000 XNUMX skambučių nuorašų duomenų bazę, kurią jie analizuos, kad gautų užuominų. Jei komanda gali sukurti sėkmingą modelį, jie gali įtikinti analitikus ir investuotojus naudoti šį įrankį, o tai galėtų atverti kelią kitiems novatoriškiems modelio ir jo metodų panaudojimams.