Les scientifiques internationaux demandent plus de transparence dans la recherche en IA

Un groupe de scientifiques internationaux provenant de diverses institutions, notamment le Princess Margaret Cancer Centre, l’Université de Toronto, l’Université Stanford, Johns Hopkins, la Harvard School of Public Health et le Massachusetts Institute of Technology, demandent plus de transparence dans la recherche en intelligence artificielle (IA). La principale force derrière cet appel est de libérer des résultats importants qui pourraient aider à accélérer le traitement du cancer sur la base de la recherche. 

L’article dans lequel les scientifiques ont appelé les revues scientifiques à élever leurs normes en matière de transparence parmi les chercheurs en informatique a été publié dans Nature le 14 octobre 2020. Le groupe a également plaidé pour que leurs collègues publient le code, le modèle et les environnements de calcul dans les publications. 

L’article était intitulé « Transparence et reproductibilité en intelligence artificielle. 

Publication des détails de l’étude en IA

Le Dr Benjamin Haibe-Kains est un scientifique principal au Princess Margaret Cancer Centre et auteur principal de la publication. 

« Les progrès scientifiques dépendent de la capacité des chercheurs à examiner les résultats d’une étude et à reproduire les principales conclusions pour en tirer des leçons », déclare le Dr Haibe-Kains. « Mais dans la recherche informatique, il n’est pas encore courant que les détails d’une étude en IA soient entièrement accessibles. Cela est préjudiciable à nos progrès. » 

Les préoccupations sont nées à la suite d’une étude de Google Health publiée par McKinney et al. dans une revue scientifique majeure en 2020, dans laquelle il était affirmé qu’un système d’IA pouvait surpasser les radiologues humains en robustesse et en rapidité pour le dépistage du cancer du sein. L’étude a reçu une grande attention médiatique dans diverses publications de premier plan. 

Incapacité à reproduire les modèles

L’une des principales préoccupations qui ont émergé à la suite de l’étude est qu’elle n’a pas décrit de manière approfondie les méthodes utilisées, ainsi que le code et les modèles. Ce manque de transparence a signifié que les chercheurs ne pouvaient pas apprendre à quel point le modèle fonctionne, ce qui a abouti à ce que le modèle ne puisse pas être utilisé par d’autres institutions. 

« Sur le papier et en théorie, l’étude de McKinney et al. est belle », déclare le Dr Haibe-Kains. « Mais si nous ne pouvons pas en tirer des leçons, alors elle a peu ou pas de valeur scientifique. »

Le Dr Haibe-Kains a été nommé professeur agrégé de biophysique médicale à l’Université de Toronto. Il est également affilié à l’Institut Vector pour l’intelligence artificielle. 

« Les chercheurs sont plus incités à publier leurs résultats plutôt que de consacrer du temps et des ressources à garantir que leur étude peut être reproduite », poursuit le Dr Haibe-Kains. « Les revues sont vulnérables à l’« effet de mode » de l’IA et peuvent abaisser les normes pour accepter des articles qui ne comprennent pas tous les matériaux nécessaires pour rendre l’étude reproductible — souvent en contradiction avec leurs propres lignes directrices. »

Cet environnement signifie que les modèles d’IA pourraient mettre plus de temps à atteindre les milieux cliniques, et les modèles ne peuvent pas être reproduits ou appris par les chercheurs. 

Le groupe de chercheurs a proposé divers cadres et plateformes pour remédier à ce problème et permettre de partager les méthodes. 

« Nous avons de grands espoirs pour l’utilité de l’IA pour nos patients atteints de cancer », déclare le Dr Haibe-Kains. « Partager et construire sur nos découvertes — c’est un véritable impact scientifique. »