Inteligența artificială ar putea ajuta cercetătorii să determine care studii pot fi reproduse, scopul fiind de a aborda criza reproducerii

În ultimii ani, tot mai multă atenție este acordată ceea ce cercetătorii și oamenii de știință numesc criza reproducerii/reproducibilității. Multe studii nu reușesc să ofere aceleași rezultate semnificative atunci când se încearcă reproducerea studiului, și, ca urmare, comunitatea științifică este îngrijorată că rezultatele sunt adesea exagerate. Problema afectează domenii atât de diverse precum psihologia și inteligența artificială. În ceea ce privește domeniul inteligenței artificiale, multe articole nepeer review sunt publicate, pretinzând rezultate impresionante pe care alți cercetători nu le pot reproduce. Pentru a aborda problema și a reduce numărul de studii nereproducibile, cercetătorii au proiectat un model de inteligență artificială care are ca scop determinarea cărui articole pot fi reproduse.

După cum a raportat Fortune, un nou articol publicat de o echipă de cercetători de la Școala de Management Kellog și Institutul de Sisteme Complexe de la Universitatea Northwestern prezintă un model de învățare profundă care poate potențial determina care studii sunt probabil reproducibile și care nu. Dacă sistemul de inteligență artificială poate discrimina în mod fiabil între studii reproducibile și nereproducibile, poate ajuta universități, institute de cercetare, companii și alte entități să filtreze prin mii de articole de cercetare pentru a determina care articole sunt cel mai probabil utile și de încredere.

Sistemul de inteligență artificială dezvoltat de echipa de la Northwestern nu utilizează tipul de dovezi empirice/statistice pe care cercetătorii le folosesc de obicei pentru a verifica valabilitatea studiilor. Modelul utilizează de fapt tehnici de procesare a limbajului natural pentru a încerca să cuantifice fiabilitatea unui articol. Sistemul extrage modele în limbajul utilizat de autori, constatând că anumite modele de cuvinte indică o fiabilitate mai mare decât altele.

Echipa de cercetare a folosit cercetări psihologice vechi de până în anii 1960, care au arătat că oamenii comunică adesea nivelul de încredere pe care îl au în ideile lor prin cuvintele pe care le folosesc. Pornind de la această idee, cercetătorii au considerat că autorii articolelor pot semnala involuntar încrederea în rezultatele cercetării atunci când scriu articolele. Cercetătorii au efectuat două runde de antrenament, utilizând seturi de date diferite. Inițial, modelul a fost antrenat pe aproximativ două milioane de rezumate din articole științifice, în timp ce a doua oară modelul a fost antrenat pe articole complete pentru a lua de la un proiect destinat să determine care articole de psihologie pot fi reproduse – Proiectul de Reproducere: Psihologie.

După testare, cercetătorii au implementat modelul pe o colecție de sute de alte articole, luate din diverse domenii precum psihologia și economia. Cercetătorii au constatat că modelul lor a oferit o predicție mai fiabilă cu privire la reproducerea unui articol decât tehnicile statistice utilizate în mod normal pentru a determina dacă rezultatele unui articol pot fi reproduse.

Cercetătorul și profesorul Școlii de Management Kellog, Brian Uzzi, a explicat pentru Fortune că, deși este speranțos că modelul de inteligență artificială ar putea fi utilizat într-o zi pentru a ajuta cercetătorii să determine cât de probabil sunt rezultatele să fie reproduse, echipa de cercetare nu este sigură de modelele și detaliile pe care le-a învățat modelul. Faptul că modelele de învățare a mașinilor sunt adesea cutii negre este o problemă comună în cercetarea inteligenței artificiale, dar acest fapt ar putea face ca alți oameni de știință să fie reticenți să utilizeze modelul.

Uzzi a explicat că echipa de cercetare speră că modelul ar putea fi utilizat pentru a aborda criza coronavirusului, ajutând oamenii de știință să înțeleagă mai rapid virusul și să determine care rezultate ale studiilor sunt promițătoare. După cum a spus Uzzi pentru Fortune:

„Vrem să începem să aplicăm acest lucru la problema COVID – o problemă în acest moment în care multe lucruri devin laxe și avem nevoie de a construi pe o fundație puternică a lucrărilor anterioare. Nu este clar ce lucrări anterioare vor fi reproduse sau nu și nu avem timp pentru reproduceri.”

Uzzi și ceilalți cercetători speră să îmbunătățească modelul prin utilizarea unor tehnici suplimentare de procesare a limbajului natural, inclusiv tehnici pe care echipa le-a creat pentru a analiza transcrierile apelurilor referitoare la câștigurile corporațiilor. Echipa de cercetare a construit deja o bază de date cu aproximativ 30.000 de transcrieri de apeluri pe care le vor analiza pentru a găsi indicii. Dacă echipa poate construi un model de succes, ar putea convinge analiștii și investitorii să utilizeze instrumentul, ceea ce ar putea deschide calea pentru alte utilizări inovatoare ale modelului și tehnicilor sale.