Les veines rétiniennes révèlent la race, élargissant la portée des préjugés de race de l’IA

Inspirés par les révélations récentes que l’imagerie médicale par intelligence artificielle peut divulguer la race, un consortium de recherche aux États-Unis et au Royaume-Uni a mené une étude pour déterminer si les modèles de veines rétiniennes sont indicatifs de la race, et a conclu que c’est effectivement le cas, avec l’IA capable de prédire la race parentale rapportée chez les bébés à partir d’images rétiniennes – des images qui ne révéleraient pas l’identité raciale à un médecin humain les étudiant, et qui étaient précédemment considérées comme ne contenant aucune information susceptible de divulguer la race.

Le groupe a exprimé sa préoccupation que ce vecteur supplémentaire de stratification raciale dans l’imagerie médicale ouvre la possibilité d’un biais accru dans l’utilisation des systèmes d’intelligence artificielle dans les soins de santé.

Images rétiniennes d’un sujet noir et d’un sujet blanc. Au-dessus, une image rétinienne en couleurs complète de chaque race comporte déjà des caractéristiques distinctives de la race liées à la disposition des couleurs. En dessous, les cartes des vaisseaux rétiniens dérivées de ces images, qui sont censées ‘niveler’ ces repères raciaux, contiennent en fait des caractéristiques d’identification de la race, selon le nouveau rapport. Source: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Les auteurs notent en outre la possibilité que U-Net, le cadre d’apprentissage automatique qui a défini ce secteur des soins de santé basés sur l’IA, et qui a été formé sur des sujets principalement blancs*, puisse avoir une influence sur ce phénomène observé. Cependant, les auteurs affirment qu’ils sont ‘jusqu’à présent incapables d’expliquer entièrement ces résultats sur la base de l’hypothèse U-Net seule’.

En commentant les résultats sur le référentiel GitHub associé au projet GitHub repository, les auteurs déclarent :

‘L’IA peut détecter la race à partir de cartes de vaisseaux rétiniens en niveaux de gris [Cartes de vaisseaux rétiniens] qui n’étaient pas censées contenir d’informations raciales. Deux explications possibles pour ces résultats sont que : les vaisseaux rétiniens diffèrent physiologiquement entre les bébés noirs et les bébés blancs, ou que U-Net segmente la vasculature rétinienne différemment pour les différentes pigmentations du fond d’œil.

‘…Quoi qu’il en soit, les implications restent les mêmes : les algorithmes d’IA ont le potentiel de démontrer des préjugés raciaux dans la pratique, même lorsque les tentatives préliminaires pour supprimer ces informations des images sous-jacentes semblent être réussies.’

Le document est intitulé Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations, et est une collaboration égale entre des médecins et des chercheurs de cinq institutions et départements de recherche aux États-Unis, et un au Royaume-Uni.

Les médecins participant à la recherche incluent R.V. Paul Chan, MD, MSc, FACS, certifié en ophtalmologie, et fellow de l’American College of Surgeons ; Michael F. Chiang, M.D., directeur du National Eye Institute au National Institutes of Health à Bethesda, Maryland ; et J. Peter Campbell M.D., M.P.H., professeur agrégé d’ophtalmologie à la School of Medicine de l’Université de la santé et des sciences de l’Oregon à Portland.

Les yeux ont cela

Le document note le potentiel déjà prouvé de biais d’origine humaine pour se propager dans les systèmes médicaux d’IA, notamment dans l’étude des yeux*. Les images rétiniennes en couleurs complète (RFI, voir comparaison d’images ci-dessus), utilisées pour évaluer les maladies oculaires, sont des images en couleurs complète qui contiennent suffisamment d’informations de pigmentation pour identifier la race.

Les cartes de vaisseaux rétiniens en niveaux de gris (RVM) éliminent la plupart de ces informations pour extraire le motif sous-jacent de capillaires qui sont susceptibles de définir de nombreuses conditions de maladie. On a toujours supposé, à ce niveau de distillation, que les caractéristiques raciales ne restaient pas dans de telles images médicales réductrices.

Les auteurs ont testé cette hypothèse en utilisant un ensemble de données de RFI (images rétiniennes en couleurs complète) obtenues à partir de nourrissons dépistés pour une maladie potentiellement aveugle. Le dépistage de ces images, notent les auteurs, est de plus en plus présent en dehors des consultations personnelles, dans la télémédecine et d’autres contextes de diagnostic à distance, et est de plus en plus soumis à l’analyse par apprentissage automatique.

La nouvelle étude examine si les différentes versions réductrices des images en couleurs complète qui identifient la race, telles que rapportées par les parents des bébés, contiennent des informations raciales, et a constaté que même les distillations les plus destructrices d’informations des RFI (seuil, squelettisées et binarisées) permettent un certain niveau d’identification raciale.

Données et méthodologie

Les données de 245 nourrissons, collectées entre janvier 2012 et juillet 2020 dans le cadre d’une étude de cohorte i-ROP multicentrique, ont été divisées en ensembles de formation, de validation et de test sur une base de 50/20/30, respectivement, avec une distribution naturelle des races préservée autant que possible.

Les RFI en couleurs complète ont été réduites aux trois styles réducteurs d’imagerie mentionnés ci-dessus, de sorte que les ‘marqueurs raciaux’ évidents aient été techniquement supprimés des données.

Plusieurs réseaux de neurones convolutionnels (CNN) ont été formés pour atteindre une classification binaire (‘noir’/’blanc’, sur la base de la race rapportée par les parents) en utilisant PyTorch. Les CNN ont exécuté les données sur toutes les versions des images, des RFI aux versions squelettisées, en appliquant les flips et les rotations aléatoires habituels, avec des images dérivées d’une résolution de 224×244 pixels.

Les modèles ont été formés avec une descente de gradient stochastique pendant jusqu’à dix époques avec un taux d’apprentissage constant de 0,001, et une interruption anticipée a été mise en œuvre et la formation a cessé lorsque la convergence perçue a été identifiée après cinq époques (c’est-à-dire que le modèle ne serait pas devenu plus précis avec une formation supplémentaire).

Puisqu’il y avait un déséquilibre démographique naturel entre les sujets blancs et noirs, une compensation a été appliquée pour s’assurer que les sources minoritaires n’étaient pas systématiquement déclassées en tant que valeurs aberrantes, et les résultats ont été vérifiés pour vérifier qu’aucune fuite de données n’a eu lieu au cours des expériences.

Échantillons de cartes de vaisseaux rétiniens de l’étude à différents niveaux de tolérance de seuil.

Résultats

Les RVM, qui extraient les veines et les capillaires des images RFI en couleurs complète, ne devraient pas théoriquement être discernables par un CNN, selon les auteurs. Cependant, les résultats ont montré qu’un plus grand nombre d’artères principales sont segmentées par U-Net pour les yeux blancs que pour les yeux noirs.

Dans les remarques de conclusion, les chercheurs observent ‘Nous avons constaté que l’IA était facilement capable de prédire la race des bébés à partir de segmentations de vaisseaux rétiniens qui ne contiennent aucune information visible concernant la pigmentation‘, et que ‘même les images qui semblaient dépourvues d’informations à l’œil nu conservaient des informations prédictives de la race du bébé d’origine’. Les chercheurs offrent également la possibilité que les vaisseaux rétiniens des bébés noirs et blancs diffèrent ‘d’une certaine manière que l’IA peut apprécier, mais que les humains ne peuvent pas’.

Préjugés antérieurs ?

Les auteurs suggèrent également que la discrimination pourrait être une fonction des données majoritairement blanches sur lesquelles U-Net a été formé à l’origine. Même s’ils décrivent cela comme leur ‘théorie principale’, ils admettent également que les capacités des capteurs de capture pourraient être un facteur dans le phénomène, si cela devait s’avérer que le biais découvert est un corollaire des aspects techniques des pratiques d’imagerie rétinienne, ou d’un biais de données dans U-Net qui se perpétue au fil des ans. En abordant ces possibilités, le document reconnaît :

‘Cependant, U-Net a été formé sur des RFI qui ont été converties en images en niveaux de gris et soumises à un ajustement de contraste — spécifiquement, l’égalisation d’histogramme à contraste limité (CLAHE) — et n’a donc jamais été réellement formé sur des RFI en couleurs complète. Ainsi, nous sommes jusqu’à présent incapables d’expliquer entièrement ces résultats sur la base de l’hypothèse U-Net seule.’

Cependant, les auteurs affirment que la cause est moins alarmante que l’effet, déclarant que la capacité des modèles d’IA à discerner la race implique un ‘risque de biais dans les algorithmes d’IA médicale qui les utilisent comme entrée’.

Les auteurs soulignent la nature à contraste élevé des races étudiées et postulent que les ‘groupes raciaux intermédiaires’ pourraient être plus difficiles à identifier par des moyens similaires, et que c’est un aspect qu’ils ont l’intention d’étudier dans des travaux en cours et connexes.

* Tous les liens de support fournis par le document qui sont inclus dans cet article ont été convertis à partir de liens PaperPile à accès limité en versions en ligne publiques, lorsque cela était possible.