L’IA potrebbe aiutare i ricercatori a determinare quali articoli possono essere riprodotti, con l’obiettivo di affrontare la crisi di riproduzione

Negli ultimi anni, sempre più attenzione è stata rivolta a ciò che gli studiosi e i ricercatori definiscono la crisi di riproduzione/riproducibilità. Molti studi semplicemente non forniscono gli stessi risultati significativi quando si tenta di riprodurre lo studio e, di conseguenza, la comunità scientifica è preoccupata che i risultati siano spesso esagerati. Il problema colpisce campi diversi come la psicologia e l’intelligenza artificiale. Quando si tratta del campo dell’IA, molti articoli non peer-reviewed vengono pubblicati affermando risultati impressionanti che altri ricercatori non possono riprodurre. Al fine di affrontare il problema e ridurre il numero di studi non riproducibili, i ricercatori hanno progettato un modello di IA che mira a determinare quali articoli possono essere riprodotti.

Come riportato da Fortune, un nuovo articolo pubblicato da un team di ricercatori della Kellog School of Management e dell’Istituto di sistemi complessi della Northwestern University presenta un modello di apprendimento profondo che potrebbe potenzialmente determinare quali studi sono probabilmente riproducibili e quali no. Se il sistema di IA può discriminare in modo affidabile tra studi riproducibili e non riproducibili, potrebbe aiutare le università, gli istituti di ricerca, le aziende e altre entità a filtrare tra migliaia di articoli di ricerca per determinare quali articoli sono più probabilmente utili e affidabili.

Il sistema di IA sviluppato dal team della Northwestern non utilizza il tipo di evidenza empirica/statistica che i ricercatori utilizzano normalmente per accertare la validità degli studi. Il modello utilizza invece tecniche di elaborazione del linguaggio naturale per tentare di quantificare l’affidabilità di un articolo. Il sistema estrae modelli nel linguaggio utilizzato dagli autori di un articolo, scoprendo che alcuni modelli di parole indicano una maggiore affidabilità di altri.

Il team di ricerca ha attinto a ricerche psicologiche vecchie di oltre 60 anni, che hanno scoperto che le persone spesso comunicano il livello di fiducia che hanno nelle loro idee attraverso le parole che utilizzano. Partendo da questo concetto, i ricercatori hanno pensato che gli autori di un articolo potrebbero inconsapevolmente segnalare la loro fiducia nei risultati della ricerca quando scrivono i loro articoli. I ricercatori hanno condotto due round di addestramento, utilizzando dataset diversi. Inizialmente, il modello è stato addestrato su circa due milioni di abstract di articoli scientifici, mentre la seconda volta il modello è stato addestrato su articoli completi presi da un progetto volto a determinare quali articoli di psicologia possono essere riprodotti – il Progetto di riproducibilità: psicologia.

Dopo il test, i ricercatori hanno distribuito il modello su una raccolta di centinaia di altri articoli, presi da vari campi come la psicologia e l’economia. I ricercatori hanno scoperto che il loro modello ha fornito una previsione più affidabile riguardo alla riproducibilità di un articolo rispetto alle tecniche statistiche normalmente utilizzate per accertare se i risultati di un articolo possono essere riprodotti.

Il ricercatore e professore della Kellog School of Management Brian Uzzi ha spiegato a Fortune che, sebbene sia speranzoso che il modello di IA possa un giorno essere utilizzato per aiutare i ricercatori a determinare quanto sono probabili i risultati, il team di ricerca non è sicuro dei modelli e dei dettagli che il loro modello ha appreso. Il fatto che i modelli di apprendimento automatico siano spesso scatole nere è un problema comune all’interno della ricerca sull’IA, ma questo fatto potrebbe rendere altri scienziati esitanti nell’utilizzare il modello.

Uzzi ha spiegato che il team di ricerca spera che il modello possa potenzialmente essere utilizzato per affrontare la crisi del coronavirus, aiutando gli scienziati a comprendere più velocemente il virus e determinare quali risultati degli studi sono promettenti. Come ha detto Uzzi a Fortune:

“Vogliamo iniziare ad applicare questo alla questione del COVID – una questione attuale in cui molte cose stanno diventando lasche e dobbiamo costruire su una solida base di lavoro precedente. Non è chiaro quale lavoro precedente sarà riprodotto o no e non abbiamo tempo per le riproduzioni.”

Uzzi e gli altri ricercatori sperano di migliorare il modello utilizzando ulteriori tecniche di elaborazione del linguaggio naturale, comprese le tecniche che il team ha creato per analizzare le trascrizioni delle chiamate relative ai guadagni aziendali. Il team di ricerca ha già costruito un database di circa 30.000 trascrizioni di chiamate che analizzeranno per trovare indizi. Se il team può costruire un modello di successo, potrebbero convincere gli analisti e gli investitori a utilizzare lo strumento, il che potrebbe aprire la strada ad altri usi innovativi per il modello e le sue tecniche.