Gli scienziati internazionali chiedono più trasparenza nella ricerca sull’IA

Un gruppo di scienziati internazionali provenienti da varie istituzioni, tra cui il Princess Margaret Cancer Centre, l’Università di Toronto, la Stanford University, la Johns Hopkins, la Harvard School of Public Health e il Massachusetts Institute of Technology, chiedono più trasparenza nella ricerca sull’intelligenza artificiale (IA). La principale forza dietro questa richiesta è quella di liberare importanti scoperte che potrebbero aiutare ad accelerare il trattamento del cancro basato sulla ricerca.

L’articolo in cui gli scienziati hanno chiesto alle riviste scientifiche di aumentare gli standard di trasparenza tra i ricercatori computazionali è stato pubblicato su Nature il 14 ottobre 2020. Il gruppo ha anche sostenuto che i loro colleghi dovrebbero rilasciare il codice, il modello e gli ambienti computazionali nelle pubblicazioni.

L’articolo si intitolava “Trasparenza e riproducibilità nell’intelligenza artificiale“.

Pubblicazione dei dettagli dello studio sull’IA

Il dottor Benjamin Haibe-Kains è uno scienziato senior al Princess Margaret Cancer Centre e autore principale della pubblicazione.

“I progressi scientifici dipendono dalla capacità dei ricercatori di esaminare i risultati di uno studio e riprodurre i principali risultati per imparare”, afferma il dottor Haibe-Kains. “Ma nella ricerca computazionale, non è ancora un criterio diffuso che i dettagli di uno studio sull’IA siano completamente accessibili. Ciò è dannoso per i nostri progressi”.

Le preoccupazioni sono sorte dopo uno studio di Google (GOOGL ) Health pubblicato da McKinney et al. su una rivista scientifica importante nel 2020, in cui si affermava che un sistema di IA poteva superare i radiologi umani in robustezza e velocità nel screening del cancro al seno. Lo studio ha ricevuto molta attenzione da parte dei media su varie pubblicazioni importanti.

Impossibilità di riprodurre i modelli

Una delle principali preoccupazioni sorte dopo lo studio è stata che non descriveva adeguatamente i metodi utilizzati, nonché il codice e i modelli. Questa mancanza di trasparenza ha significato che i ricercatori non potevano capire come funzionava il modello, risultando nel fatto che il modello non poteva essere utilizzato da altre istituzioni.

“Sulla carta e in teoria, lo studio di McKinney et al. è bellissimo”, afferma il dottor Haibe-Kains. “Ma se non possiamo imparare da esso, allora ha poco o nessun valore scientifico”.

Il dottor Haibe-Kains è stato nominato professore associato di biofisica medica all’Università di Toronto. È anche un affiliato dell’Istituto Vector per l’intelligenza artificiale.

“I ricercatori sono più incentivati a pubblicare i loro risultati piuttosto che spendere tempo e risorse per assicurarsi che il loro studio possa essere riprodotto”, continua il dottor Haibe-Kains. “Le riviste sono vulnerabili all’iperalimentazione dell’IA e possono abbassare gli standard per accettare articoli che non includono tutti i materiali necessari per rendere lo studio riproducibile – spesso in contraddizione con le loro stesse linee guida”.

Questo ambiente significa che i modelli di IA potrebbero impiegare più tempo per raggiungere gli ambienti clinici e i modelli non possono essere riprodotti o appresi dai ricercatori.

Il gruppo di ricercatori ha proposto vari framework e piattaforme per risolvere questo problema e consentire di condividere i metodi.

“Abbiamo grandi speranze per l’utilità dell’IA per i nostri pazienti con cancro”, afferma il dottor Haibe-Kains. “Condividere e costruire sui nostri risultati – questo è il vero impatto scientifico”.