Inteligența artificială ar putea ajuta cercetătorii să determine ce lucrări pot fi replicate și urmărește să abordeze criza reproducerii

În ultimii ani se acordă din ce în ce mai multă atenție ceea ce savanții și cercetătorii numesc criza de replicare/reproducție. Multe studii pur și simplu nu reușesc să ofere aceleași rezultate semnificative atunci când se încearcă replicarea studiului și, ca urmare, comunitatea științifică este îngrijorată de faptul că descoperirile sunt adesea supraaccentuate. Problema afectează domenii la fel de diverse precum psihologia și inteligența artificială. Când vine vorba de domeniul AI, sunt publicate multe lucrări care nu sunt evaluate de colegi care pretind rezultate impresionante pe care alți cercetători nu le pot reproduce. Pentru a aborda problema și a reduce numărul de studii nereproductibile, cercetătorii au conceput un model AI care își propune să determine ce lucrări pot fi replicate.

După cum a raportat Fortune, un nou hârtie publicat de o echipă de cercetători de la Școala de Management Kellog și de la Institutul de Sisteme Complexe de la Universitatea Northwestern prezintă un model de învățare profundă care poate determina care studii sunt susceptibile de a fi reproductibile și care studii nu sunt. Dacă sistemul AI poate discrimina în mod fiabil între studii reproductibile și nereproductibile, ar putea ajuta universitățile, institutele de cercetare, companiile și alte entități să filtreze prin mii de lucrări de cercetare pentru a determina care lucrări sunt cele mai utile și de încredere.

Sistemele AI dezvoltate de echipa Northwestern nu utilizează tipul de dovezi empirice/statistice pe care cercetătorii le folosesc de obicei pentru a stabili validitatea studiilor. Modelul folosește de fapt tehnici de procesare a limbajului natural pentru a încerca și a cuantifica fiabilitatea unei lucrări. Sistemul extrage modele în limbajul folosit de autorii unei lucrări, constatând că unele modele de cuvinte indică o fiabilitate mai mare decât altele.

Echipa de cercetare s-a bazat pe cercetări psihologice vechi ca din anii 1960, care au descoperit că oamenii comunică adesea nivelul de încredere pe care îl au în ideile lor prin cuvintele pe care le folosesc. Folosind această idee, cercetătorii au crezut că autorii lucrărilor și-ar putea semnala, fără să știe, încrederea în rezultatele cercetării lor atunci când își scriu lucrările. Cercetătorii au efectuat două runde de instruire, utilizând seturi de date diferite. Inițial, modelul a fost instruit pe aproximativ două milioane de rezumate din lucrări științifice, în timp ce a doua oară modelul a fost antrenat pe lucrări complete pentru a lua dintr-un proiect menit să determine ce lucrări de psihologie pot fi reproduse - Proiectul de reproductibilitate: psihologie.

După testare, cercetătorii au implementat modelul pe o colecție de sute de alte lucrări, preluate din diverse domenii precum psihologie și economie. Cercetătorii au descoperit că modelul lor a oferit o predicție mai fiabilă cu privire la reproductibilitatea unei lucrări decât tehnicile statistice utilizate în mod obișnuit pentru a stabili dacă rezultatele unei lucrări pot fi sau nu replicate.

Cercetătorul și profesorul de management al Școlii Kellog, Brian Uzzi, a explicat lui Fortune că, deși speră că modelul AI ar putea fi folosit într-o zi pentru a ajuta cercetătorii să stabilească cât de probabil vor fi reproduse rezultatele, echipa de cercetare nu este sigură de modele și detaliază modelul lor. învățat. Faptul că modelele de învățare automată sunt adesea cutii negre este o problemă comună în cercetarea AI, dar acest fapt ar putea face pe alți oameni de știință să ezite să folosească modelul.

Uzzi a explicat că echipa de cercetare speră că modelul ar putea fi utilizat pentru a aborda criza coronavirusului, ajutând mai mult oamenii de știință. înțelege rapid virusul și să determine care rezultate ale studiului sunt promițătoare. După cum i-a spus Uzzi lui Fortune:

„Vrem să începem să aplicăm acest lucru la problema COVID – o problemă în acest moment în care multe lucruri devin laxe și trebuie să ne construim pe o bază foarte solidă a muncii anterioare. Nu este clar ce lucrare anterioară va fi replicată sau nu și nu avem timp pentru replici.”

Uzzi și ceilalți cercetători speră să îmbunătățească modelul utilizând tehnici suplimentare de procesare a limbajului natural, inclusiv tehnici pe care echipa le-a creat pentru a analiza transcrierile apelurilor cu privire la câștigurile corporative. Echipa de cercetare a construit deja o bază de date cu aproximativ 30,000 de transcriere a apelurilor pe care le va analiza pentru indicii. Dacă echipa poate construi un model de succes, ar putea convinge analiștii și investitorii să folosească instrumentul, ceea ce ar putea deschide calea pentru alte utilizări inovatoare pentru model și tehnicile acestuia.