Des scientifiques internationaux appellent à plus de transparence dans la recherche sur l'IA

Un groupe de scientifiques internationaux provenant de diverses institutions, dont le Princess Margaret Cancer Centre, l'Université de Toronto, l'Université de Stanford, Johns Hopkins, la Harvard School of Public Health et le Massachusetts Institute of Technology, appellent à plus de transparence dans la recherche sur l'intelligence artificielle (IA). La principale force derrière cet appel est de libérer des découvertes importantes qui pourraient aider à accélérer le traitement du cancer basé sur la recherche. 

L'article dans lequel les scientifiques appellent les revues scientifiques à élever leurs standards en matière de transparence parmi les chercheurs en informatique a été publié dans Nature le 14 octobre 2020. Le groupe a également préconisé que leurs collègues publient des environnements de code, de modèle et de calcul dans les publications. 

Le papier était intitulé "Transparence et reproductibilité en intelligence artificielle. » 

Publication des détails de l'étude sur l'IA

Le Dr Benjamin Haibe-Kains est chercheur principal au Princess Margaret Cancer Center et premier auteur de la publication. 

"Le progrès scientifique dépend de la capacité des chercheurs à examiner les résultats d'une étude et à reproduire la principale découverte pour en tirer des enseignements", déclare le Dr Haibe-Kains. "Mais dans la recherche informatique, ce n'est pas encore un critère répandu pour que les détails d'une étude sur l'IA soient entièrement accessibles. Cela nuit à notre progression. » 

Les inquiétudes sont apparues à la suite d'une étude de Google Health publiée par McKinney et al. dans une revue scientifique majeure en 2020, dans laquelle il a été affirmé qu'un système d'IA pourrait surpasser les radiologues humains en termes de robustesse et de rapidité en matière de dépistage du cancer du sein. L'étude a reçu beaucoup d'attention des médias dans diverses publications de premier plan. 

Incapacité à reproduire des modèles

L'une des principales préoccupations qui a surgi à la suite de l'étude était qu'elle ne décrivait pas en détail les méthodes utilisées, ainsi que le code et les modèles. Ce manque de transparence signifiait que les chercheurs ne pouvaient pas apprendre comment le modèle fonctionnait, ce qui faisait que le modèle ne pouvait pas être utilisé par d'autres institutions. 

« Sur papier et en théorie, l'étude de McKinney et al. l'étude est magnifique », déclare le Dr Haibe-Kains. "Mais si nous ne pouvons pas en tirer des leçons, cela n'a que peu ou pas de valeur scientifique."

Le Dr Haibe-Kains a été conjointement nommé professeur agrégé en biophysique médicale à l'Université de Toronto. Il est également affilié au Vector Institute for Artificial Intelligence. 

"Les chercheurs sont plus incités à publier leurs découvertes plutôt que de consacrer du temps et des ressources à s'assurer que leur étude peut être reproduite", poursuit le Dr Haibe-Kains. "Les revues sont vulnérables au" battage médiatique "de l'IA et peuvent abaisser les normes d'acceptation des articles qui n'incluent pas tous les matériaux nécessaires pour rendre l'étude reproductible - souvent en contradiction avec leurs propres directives."

Cet environnement signifie que les modèles d'IA pourraient prendre plus de temps pour atteindre les paramètres cliniques, et les modèles ne peuvent pas être reproduits ou appris par les chercheurs. 

Le groupe de chercheurs a proposé différents cadres et plateformes pour remédier à ce problème et permettre le partage des méthodes. 

"Nous fondons de grands espoirs sur l'utilité de l'IA pour nos patients atteints de cancer", déclare le Dr Haibe-Kains. "Partager et s'appuyer sur nos découvertes - c'est un véritable impact scientifique."