Défi d’intelligence artificielle crowdsourcé pour améliorer l’analyse des mammographies prend fin

Les mammographies sont importantes pour la santé des femmes et pour détecter les premiers indicateurs du cancer du sein. Cependant, les mammographies nécessitent des spécialistes humains pour les interpréter, et même les spécialistes très formés font des erreurs. On estime que le taux de faux positifs des mammographies est d’environ 10 % aux États-Unis. Afin de créer des systèmes qui donnent des lectures plus précises des mammographies, le défi Digital Mammography (DM) Dream Challenge a récemment créé une entreprise crowdsourcée pour développer de nouveaux algorithmes de lecture de mammographies

Selon PhysicsWorld, les techniques de vision par ordinateur et les algorithmes d’apprentissage profond sont devenus plus sophistiqués au cours des dernières années, les chercheurs et les ingénieurs se tournent vers l’utilisation de l’IA pour interpréter les mammographies, dans le but d’augmenter la précision. Le défi Digital Mammography (DM) Dream Challenge a lancé un concours pour étudier l’utilisation des algorithmes d’IA pour reconnaître les signes possibles de cancer du sein.

Le défi DM Dream est la plus grande étude à ce jour sur les algorithmes d’apprentissage profond concernant l’interprétation des mammographies. Justin Guinney, le président des défis DREAM, a expliqué que la raison de ces défis est qu’ils permettent une évaluation structurée de dizaines de modèles d’apprentissage profond sur deux bases de données différentes. Les participants au défi devaient concevoir des algorithmes qui pouvaient être formés sur des données de mammographie et produire un score de probabilité qu’un patient serait diagnostiqué avec un cancer du sein dans l’année. Il y avait également une condition de défi secondaire. Dans la deuxième tâche, les algorithmes étaient autorisés à être formés sur des informations supplémentaires telles que des données démographiques sur les risques, des données cliniques et des images collectées lors d’examen de dépistage précédents.

Deux jeux de données ont été utilisés pour former les modèles. Le premier jeu de données était le jeu de données Kaiser Permanente Washington (KPW), assemblé par des chercheurs américains. Pendant ce temps, un deuxième jeu de données a été assemblé par des chercheurs suédois de l’Institut Karolinska (KI).

Plus de 1100 participants ont rejoint le défi, divisés en 126 équipes différentes et composés de personnes du monde entier. Lors de la première partie du défi, les modèles ont été formés à l’aide du jeu de données KPW, qui comprenait des images de plus de 140 000 examens de dépistage. Lorsque les résultats de la deuxième partie du défi ont été comparés, il a été constaté que l’accès à davantage de fonctionnalités telles que des données cliniques n’a pas amélioré de manière significative le pouvoir discriminant des algorithmes. Cependant, l’équipe DM Dream a suggéré que le développement futur d’algorithmes devrait inclure l’analyse d’images antérieures pour les patients, en supposant que les participants n’ont peut-être pas pleinement utilisé les données.

Selon Health IT Analytics, l’équipe DR Dream souhaite que les huit équipes les mieux performantes collaborent et conçoivent un modèle de classification d’ensemble, pour voir si ce modèle pourrait potentiellement surpasser les modèles individuels. Les coordinateurs du défi ont ensuite utilisé une agrégation pondérée des prédictions des différents algorithmes, créant ainsi le Challenge Ensemble Model (CEM). Les prédictions probabilistes du modèle CEM ont été comparées aux interprétations des radiologues, évaluées en utilisant la spécificité. Les radiologues ont obtenu une spécificité de 90,5 %, tandis que le modèle CEM n’a obtenu qu’une spécificité de 76,1 %. Même si les résultats semblent décevants, lorsque les suppositions d’un modèle CEM et d’une interprétation radiologique ont été agrégées dans un autre modèle (CEM+R), la spécificité a été améliorée à 92 %.

Des résultats comparables ont été obtenus sur le jeu de données de test KI, utilisé exclusivement pour valider les modèles, qui contenait des images de plus de 166 000 examens, le modèle CEM étant légèrement inférieur aux radiologues (92,5 % de spécificité par rapport à 96,7 % de spécificité), mais CEM+R obtenant de meilleurs résultats (98,5 % de spécificité).

Aucun des modèles individuels n’a pu surpasser les spécialistes humains, mais le modèle CEM+R a présenté un léger avantage par rapport à l’interprétation des radiologues seuls. Il est possible que la combinaison de l’intuition humaine avec un assistant d’IA puisse améliorer la précision.