Mesterséges Intelligencia
A mesterséges intelligencia segíthet a kutatóknak meghatározni, mely dokumentumok reprodukálhatók, és célja a reprodukciós válság kezelése
Az utóbbi években egyre nagyobb figyelmet szentelnek annak, amit a tudósok és kutatók replikációs/reprodukálhatósági válságnak neveznek. Sok tanulmány egyszerűen nem adja ugyanazokat a jelentős eredményeket, amikor megpróbálják megismételni a vizsgálatot, és ennek eredményeként a tudományos közösség aggódik amiatt, hogy az eredményeket gyakran túlhangsúlyozzák. A probléma olyan változatos területeket érint, mint a pszichológia és a mesterséges intelligencia. Ami az AI területét illeti, sok, nem szakértői értékelésű tanulmány jelent meg lenyűgöző eredményekről, amelyeket más kutatók nem tudnak reprodukálni. A probléma megoldása és a nem reprodukálható tanulmányok számának csökkentése érdekében a kutatók mesterséges intelligencia-modellt készítettek, amelynek célja annak meghatározása, hogy mely dokumentumok reprodukálhatók.
Amint arról a Fortune is beszámolt, egy új papír A Kellog School of Management és a Northwestern University Complex Systems Institute of Complex Systems kutatócsoportja által közzétett tanulmány egy mély tanulási modellt mutat be, amely potenciálisan meghatározhatja, mely tanulmányok reprodukálhatók, és melyek nem. Ha az AI-rendszer megbízhatóan képes megkülönböztetni reprodukálható és nem reprodukálható vizsgálatok, segíthet az egyetemeknek, kutatóintézeteknek, vállalatoknak és más szervezeteknek kutatási dokumentumok ezrei között szűrni, hogy meghatározzák, mely dokumentumok a legvalószínűbb, hogy hasznosak és megbízhatóak.
A Northwestern csapata által kifejlesztett mesterséges intelligencia rendszerek nem használnak olyan empirikus/statisztikai bizonyítékokat, amelyeket a kutatók általában a tanulmányok érvényességének megállapítására használnak. A modell valójában természetes nyelvi feldolgozási technikákat alkalmaz a papír megbízhatóságának számszerűsítésére. A rendszer kivonja a mintákat a cikk szerzői által használt nyelven, és azt találja, hogy egyes szóminták nagyobb megbízhatóságot jeleznek, mint mások.
A kutatócsoport az 1960-as évekig tartó pszichológiai kutatásokra támaszkodott, amelyek azt találták, hogy az emberek gyakran az általuk használt szavakon keresztül kommunikálják az elképzeléseikbe vetett bizalom szintjét. Ezzel az ötlettel a kutatók úgy gondolták, hogy a szerzők tudtukon kívül is jelezhetik, hogy bíznak kutatási eredményeikben, amikor dolgozatukat írják. A kutatók két képzési kört végeztek, különböző adatkészletek felhasználásával. Kezdetben a modellt hozzávetőleg kétmillió tudományos közlemény absztraktjára képezték ki, míg a második alkalommal a modellt egy olyan projektből vették át, amelynek célja annak meghatározása volt, hogy mely pszichológiai dokumentumok reprodukálhatók – a Reprodukálhatósági Projekt: Pszichológia.
A tesztelést követően a kutatók a modellt több száz egyéb dokumentum gyűjteményén alkalmazták, amelyek különböző területekről, például pszichológiából és közgazdaságtanból származnak. A kutatók azt találták, hogy modelljük megbízhatóbb előrejelzést adott a papír reprodukálhatóságára vonatkozóan, mint a statisztikai technikák, amelyeket általában annak megállapítására használnak, hogy a papír eredményei megismételhetők-e vagy sem.
A kutató és a Kellog School of Management professzora, Brian Uzzi elmagyarázta a Fortune-nak, hogy bár reménykedik abban, hogy az AI-modellt egyszer majd felhasználhatják majd a kutatók annak megállapítására, hogy milyen valószínűséggel reprodukálják az eredményeket, a kutatócsoport nem biztos a mintákban, és részletezi modelljüket. tanult. Az a tény, hogy a gépi tanulási modellek gyakran fekete dobozok, gyakori probléma az AI-kutatásban, de ez a tény tétovázásra késztethet más tudósokat a modell felhasználása mellett.
Uzzi kifejtette, hogy a kutatócsoport reméli, hogy a modell potenciálisan felhasználható lesz a koronavírus-válság leküzdésére, és még többet segíthet a tudósoknak gyorsan megérti a vírust és meghatározza, hogy mely tanulmányi eredmények ígéretesek. Ahogy Uzzi mondta Fortune-nak:
„Szeretnénk elkezdeni alkalmazni ezt a COVID-problémára – egy olyan kérdésre, ahol sok minden lazul, és a korábbi munka nagyon erős alapjaira kell építkeznünk. Nem világos, hogy milyen korábbi munkát kívánnak megismételni vagy sem, és nincs időnk a replikációkra.”
Uzzi és a többi kutató azt reméli, hogy további természetes nyelvi feldolgozási technikák felhasználásával javíthatják a modellt, beleértve azokat a technikákat is, amelyeket a csapat a vállalati bevételekre vonatkozó hívás-átiratok elemzésére hozott létre. A kutatócsoport már felépített egy körülbelül 30,000 XNUMX hívás-átiratot tartalmazó adatbázist, amelyeket nyomok után kutatnak. Ha a csapat sikeres modellt tud felépíteni, akkor meg tudja győzni az elemzőket és a befektetőket az eszköz használatáról, ami utat nyithat a modell és technikáinak más innovatív felhasználási területeihez.
