Les modèles d’IA formés sur des données biaisées en fonction du sexe ont de moins bonnes performances pour diagnostiquer les maladies

Récemment, une étude publiée dans la revue PNAS et menée par des chercheurs d’Argentine, a laissé entendre que la présence de données d’entraînement biaisées en fonction du sexe conduit à de moins bonnes performances des modèles lors du diagnostic de maladies et d’autres problèmes médicaux. Selon Statnews, l’équipe de chercheurs a expérimenté avec des modèles formés sur des données où les patientes femmes étaient nettement sous-représentées ou exclues complètement, et a constaté que l’algorithme performait de manière substantiellement moins bonne lors du diagnostic de ces patientes. La même chose s’est avérée vraie pour les cas où les patients masculins étaient exclus ou sous-représentés.

Au cours de la dernière demi-décennie, à mesure que les modèles d’IA et l’apprentissage automatique sont devenus plus omniprésents, plus d’attention a été portée aux problèmes des jeux de données biaisés et des modèles d’apprentissage automatique biaisés qui en résultent. Les biais de données dans l’apprentissage automatique peuvent conduire à des applications d’IA gauches, socialement préjudiciables et exclusives, mais lorsqu’il s’agit d’applications médicales, des vies peuvent être en jeu. Cependant, malgré la connaissance du problème, peu d’études ont tenté de quantifier à quel point les jeux de données biaisés peuvent être préjudiciables. L’étude menée par l’équipe de recherche a constaté que les biais de données pourraient avoir des effets plus extrêmes que ce que de nombreux experts avaient précédemment estimé.

L’une des utilisations les plus populaires de l’IA dans les contextes médicaux au cours des dernières années a été l’utilisation de modèles d’IA pour diagnostiquer les patients sur la base d’images médicales. L’équipe de recherche a analysé des modèles utilisés pour détecter la présence de diverses affections médicales, telles que la pneumonie, la cardiomegalie ou les hernies, à partir de radiographies. Les équipes de recherche ont étudié trois architectures de modèles open source : Inception-v3, ResNet et DenseNet-121. Les modèles ont été formés sur des radiographies thoraciques issues de deux jeux de données open source provenant de l’Université de Stanford et des National Institutes of Health. Bien que les jeux de données eux-mêmes soient assez équilibrés en termes de représentation sexuelle, les chercheurs ont artificiellement biaisé les données en les divisant en sous-ensembles où il y avait un déséquilibre sexuel.

L’équipe de recherche a créé cinq différents jeux de données d’entraînement, chacun composé de ratios différents de scans de patients masculins et féminins. Les cinq jeux de formation ont été répartis comme suit :

• Toutes les images étaient de patients masculins
• Toutes les images étaient de patients féminins
• 25 % de patients masculins et 75 % de patients féminins
• 75 % de patients féminins et 25 % de patients masculins
• La moitié des patients étaient masculins et l’autre moitié féminins

Après que le modèle ait été formé sur l’un des sous-ensembles, il a été testé sur une collection de scans de patients masculins et féminins. Il y avait une tendance notable qui était présente dans les différentes affections médicales, l’exactitude des modèles était nettement moins bonne lorsque les données d’entraînement étaient fortement biaisées en fonction du sexe. Une chose intéressante à noter est que si un sexe était surreprésenté dans les données d’entraînement, ce sexe ne semblait pas bénéficier de cette surreprésentation. Quelle que soit la façon dont le modèle a été formé sur des données biaisées pour un sexe ou l’autre, il n’a pas performé mieux sur ce sexe par rapport à lorsqu’il a été formé sur un jeu de données inclusif.

L’auteur principal de l’étude, Enzo Ferrante, a été cité par Statnews comme expliquant que l’étude souligne l’importance de données d’entraînement diverses et représentatives pour toutes les populations que vous prévoyez de tester le modèle.

Il n’est pas tout à fait clair pourquoi les modèles formés sur un sexe tendent à performer moins bien lorsqu’ils sont mis en œuvre sur l’autre sexe. Certaines des discordances pourraient être dues à des différences physiologiques, mais divers facteurs sociaux et culturels pourraient également expliquer certaines des différences. Par exemple, les femmes peuvent tendre à subir des radiographies à un stade différent de progression de leur maladie par rapport aux hommes. Si cela était vrai, cela pourrait avoir un impact sur les caractéristiques (et donc les modèles appris par le modèle) trouvées dans les images d’entraînement. Si tel est le cas, cela rend beaucoup plus difficile pour les chercheurs de débaiser leurs jeux de données, car le biais serait intégré dans le jeu de données via les mécanismes de collecte de données.

Même les chercheurs qui prêtent une attention particulière à la diversité des données n’ont parfois pas d’autre choix que de travailler avec des données biaisées ou déséquilibrées. Les situations où une disparité existe dans la façon dont les affections médicales sont diagnostiquées entraîneront souvent des données déséquilibrées. Par exemple, les données sur les patientes atteintes de cancer du sein sont presque entièrement collectées auprès de femmes. De même, l’autisme se manifeste différemment entre les femmes et les hommes, et en conséquence, la condition est diagnostiquée à un taux nettement plus élevé chez les garçons que les filles.

Cependant, il est extrêmement important pour les chercheurs de contrôler les données biaisées et les biais de données de toutes les manières possibles. À cette fin, les études futures aideront les chercheurs à quantifier l’impact des données biaisées.