Inteligența artificială ar putea ajuta cercetătorii să determine care studii pot fi reproduse, scopul fiind de a aborda criza reproducerii

În ultimii ani, tot mai multă atenție este acordată ceea ce cercetătorii și oamenii de știință numesc criza reproducerii/reproducibilității. Multe studii nu reușesc să obțină aceleași rezultate semnificative atunci când se încearcă reproducerea studiului, și ca urmare, comunitatea științifică este îngrijorată că rezultatele sunt adesea exagerate. Problema afectează domenii atât de diverse precum psihologia și inteligența artificială. În ceea ce privește domeniul inteligenței artificiale, multe articole non-revizuite sunt publicate, pretinzând rezultate impresionante pe care alți cercetători nu le pot reproduce. Pentru a aborda problema și a reduce numărul de studii nereturnabile, cercetătorii au proiectat un model de inteligență artificială care are ca scop determinarea cărui studii pot fi reproduse.

Conform raportului Fortune, un nou articol publicat de o echipă de cercetători de la Școala de Management Kellog și Institutul de Sisteme Complex de la Universitatea Northwestern prezintă un model de învățare profundă care poate determina potențial care studii sunt probabil reproduse și care nu. Dacă sistemul de inteligență artificială poate distinge în mod fiabil între studii reproduse și nereproduse, poate ajuta universități, institute de cercetare, companii și alte entități să filtreze mii de articole de cercetare pentru a determina care articole sunt cel mai probabil utile și de încredere.

Sistemul de inteligență artificială dezvoltat de echipa de la Northwestern nu utilizează tipul de dovezi empirice/statistice pe care cercetătorii le folosesc de obicei pentru a stabili valabilitatea studiilor. Modelul utilizează tehnici de procesare a limbajului natural pentru a încerca să cuantifice fiabilitatea unui articol. Sistemul extrage modele în limbajul utilizat de autori, constatând că anumite modele de cuvinte indică o fiabilitate mai mare decât altele.

Echipa de cercetare s-a inspirat din cercetarea psihologică din anii 1960, care a descoperit că oamenii comunică adesea nivelul de încredere pe care îl au în ideile lor prin cuvintele pe care le folosesc. Pornind de la această idee, cercetătorii au considerat că autorii articolelor pot semnala involuntar încrederea în rezultatele lor de cercetare atunci când scriu articolele. Cercetătorii au efectuat două runde de instruire, utilizând seturi de date diferite. Inițial, modelul a fost instruit pe aproximativ două milioane de rezumate din articole științifice, în timp ce a doua oară modelul a fost instruit pe articole complete dintr-un proiect destinat să determine care articole de psihologie pot fi reproduse – Proiectul Reproducibilitate: Psihologie.

După testare, cercetătorii au utilizat modelul pe o colecție de sute de articole, luate din diverse domenii precum psihologia și economia. Cercetătorii au constatat că modelul lor a oferit o predicție mai fiabilă cu privire la reproducerea unui articol decât tehnicile statistice utilizate de obicei pentru a stabili dacă rezultatele unui articol pot fi reproduse.

Cercetătorul și profesorul Școlii de Management Kellog, Brian Uzzi, a explicat pentru Fortune că, deși este speranțos că modelul de inteligență artificială ar putea fi utilizat într-o zi pentru a ajuta cercetătorii să determine cât de probabil este ca rezultatele să fie reproduse, echipa de cercetare nu este sigură de modelele și detaliile pe care le-a învățat modelul. Faptul că modelele de învățare automată sunt adesea cutii negre este o problemă comună în cercetarea inteligenței artificiale, dar acest fapt ar putea face ca alți oameni de știință să fie reticenți în a utiliza modelul.

Uzzi a explicat că echipa de cercetare speră că modelul ar putea fi utilizat pentru a aborda criza coronavirusului, ajutând oamenii de știință să înțeleagă mai repede virusul și să determine care rezultate ale studiilor sunt promițătoare. Așa cum a spus Uzzi pentru Fortune:

“Vrem să începem să aplicăm acest lucru la problema COVID – o problemă în acest moment în care multe lucruri devin laxe și avem nevoie să construim pe o fundație puternică a lucrărilor anterioare. Nu este clar ce lucrări anterioare vor fi reproduse sau nu și nu avem timp pentru reproduceri.”

Uzzi și ceilalți cercetători speră să îmbunătățească modelul prin utilizarea unor tehnici suplimentare de procesare a limbajului natural, inclusiv tehnici pe care echipa le-a creat pentru a analiza transcrierile apelurilor referitoare la veniturile corporațiilor. Echipa de cercetare a construit deja o bază de date cu aproximativ 30.000 de transcrieri de apeluri pe care le vor analiza pentru a găsi indicii. Dacă echipa poate construi un model de succes, ar putea convinge analiștii și investitorii să utilizeze instrumentul, ceea ce ar putea deschide calea pentru alte utilizări inovatoare ale modelului și tehnicilor sale.