Les veines rétiniennes révèlent la race, élargissant la portée des préjugés de l’IA

Inspirés par les récentes révélations selon lesquelles l’imagerie médicale par IA peut révéler la race, un consortium de recherche aux États-Unis et au Royaume-Uni a mené une étude pour déterminer si les modèles de veines rétiniennes sont indicatifs de la race, et a conclu que c’est effectivement le cas, avec l’IA capable de prédire la race auto-déclarée des parents de bébés à partir d’images rétiniennes – des images qui ne révéleraient pas l’identité raciale à un médecin humain les étudiant, et qui étaient considérées comme ne contenant aucune information potentielle de divulgation raciale.

Le groupe a exprimé sa préoccupation que ce vecteur supplémentaire de stratification raciale dans l’imagerie médicale ouvre la possibilité d’un biais accru dans l’utilisation des systèmes d’intelligence artificielle dans les soins de santé.

Images rétiniennes d’un sujet noir et d’un sujet blanc. Au-dessus, une image rétinienne à pleine couleur de chaque race a déjà des caractéristiques distinguables liées à la disposition de la couleur. En dessous, les cartes de vaisseaux rétiniens dérivées de ces images, qui sont censées ‘niveler’ ces repères raciaux, contiennent en fait des caractéristiques identifiant la race, selon le nouveau rapport. Source: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Les auteurs notent également la possibilité que U-Net, le cadre d’apprentissage automatique qui a défini ce secteur des soins de santé basés sur l’IA, et qui a été formé sur des sujets principalement blancs*, puisse avoir une influence sur ce phénomène observé. Cependant, les auteurs affirment qu’ils sont ‘pour l’instant incapables d’expliquer pleinement ces résultats sur la base de l’hypothèse U-Net seule’.

En commentant les résultats sur le référentiel GitHub associé au projet, les auteurs déclarent:

‘L’IA peut détecter la race à partir de cartes de vaisseaux rétiniens en niveaux de gris [Cartes de vaisseaux rétiniens] qui ne contiennent pas d’informations raciales. Deux explications possibles pour ces résultats sont que: les vaisseaux rétiniens diffèrent physiologiquement entre les bébés noirs et les bébés blancs ou que U-Net segmente les vaisseaux rétiniens différemment pour les différentes pigments de fond.

‘…Quoi qu’il en soit, les implications restent les mêmes: les algorithmes d’IA ont le potentiel de démontrer des préjugés raciaux dans la pratique, même lorsque les tentatives préliminaires pour supprimer ces informations des images sous-jacentes semblent avoir réussi.’

Le document est intitulé Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations, et est une collaboration égale entre des médecins et des chercheurs de cinq institutions et départements de recherche aux États-Unis, et un au Royaume-Uni.

Les médecins participant à la recherche incluent R.V. Paul Chan, MD, MSc, FACS, certifié en ophtalmologie, et membre de l’American College of Surgeons; Michael F. Chiang, M.D., directeur du National Eye Institute au National Institutes of Health à Bethesda, Maryland; et J. Peter Campbell M.D., M.P.H., professeur associé d’ophtalmologie à la School of Medicine de l’Université de l’Oregon Health & Science à Portland.

Les yeux ont tout

Le document note le potentiel déjà prouvé de biais d’origine humaine pour se propager dans les systèmes médicaux d’IA, notamment dans l’étude des yeux*. Les images rétiniennes à pleine couleur (RFI, voir la comparaison d’images ci-dessus), utilisées pour évaluer les maladies oculaires, sont des images à pleine couleur qui contiennent suffisamment d’informations de pigmentation pour identifier la race.

Les cartes de vaisseaux rétiniens en niveaux de gris (RVM) éliminent la plupart de ces informations pour extraire le modèle sous-jacent de capillaires qui sont susceptibles de définir de nombreuses conditions de maladie. On a toujours supposé, à ce niveau de distillation, que les caractéristiques raciales ne restent pas dans de telles images médicales réductives.

Les auteurs ont testé cette hypothèse en utilisant un ensemble de données d’images rétiniennes à pleine couleur (RFI) obtenues à partir de nourrissons dépistés pour une maladie potentiellement aveugle. Le dépistage de ces images, notent les auteurs, est de plus en plus présent en dehors des consultations personnelles, dans la télémédecine et d’autres contextes de diagnostic à distance, et est de plus en plus l’objet d’une analyse par apprentissage automatique.

La nouvelle étude examine si les différentes versions réductives des images à pleine couleur identifiant la race conservent des informations raciales, telles que rapportées par les parents des bébés, et a constaté que même les distillations les plus destructrices d’informations des RFI (seuil, squelettisées et binarisées) permettent un certain niveau d’identification raciale.

Données et méthodologie

Les données de 245 nourrissons, recueillies entre janvier 2012 et juillet 2020 dans le cadre d’une étude de cohorte multicentrique i-ROP, ont été divisées en ensembles de formation, de validation et de test sur une base de 50/20/30, respectivement, avec une distribution naturelle des races préservée autant que possible.

Les images rétiniennes à pleine couleur ont été réduites à trois styles réductifs d’imagerie, de sorte que les ‘marqueurs raciaux évidents’ aient été supprimés des données.

Plusieurs réseaux de neurones convolutifs (CNN) ont été formés pour réaliser une classification binaire (‘noir’/’blanc’, en fonction de la race auto-déclarée par les parents) en utilisant PyTorch. Les CNN ont traité les données sur toutes les versions des images, des RFI aux versions squelettisées, en appliquant les flips et rotations aléatoires habituels, avec des images dérivées ayant une résolution de 224×244 pixels.

Les modèles ont été formés avec une descente de gradient stochastique pendant jusqu’à dix époques avec un taux d’apprentissage constant de 0,001, et l’arrêt précoce a été mis en œuvre et la formation a cessé lorsque la convergence perçue a été identifiée après cinq époques (c’est-à-dire que le modèle n’allait pas devenir plus précis avec une formation supplémentaire).

Comme il y avait un déséquilibre démographique naturel entre les sujets blancs et noirs, une compensation a été appliquée pour s’assurer que les sources minoritaires n’étaient pas systématiquement déclassées en tant que valeurs aberrantes, et les résultats ont été vérifiés pour vérifier qu’aucune fuite de données n’a eu lieu entre les expériences.

Exemples de cartes de vaisseaux rétiniens de l’étude à différents niveaux de tolérance de seuil.

Résultats

Les cartes de vaisseaux rétiniens (RVM), qui extraient les veines et les capillaires des images rétiniennes à pleine couleur, ne devraient pas théoriquement être discernables par un CNN, selon les auteurs. Cependant, les résultats ont montré qu’un plus grand nombre d’artères principales sont segmentées par U-Net pour les yeux blancs que pour les yeux noirs.

Dans les remarques de conclusion, les chercheurs observent ‘Nous avons constaté que l’IA était facilement capable de prédire la race des bébés à partir de segmentations de vaisseaux rétiniens qui ne contiennent aucune information visible concernant la pigmentation‘, et que ‘même les images qui semblaient dépourvues d’informations pour l’œil nu conservaient des informations prédictives de la race du bébé d’origine’. Les chercheurs offrent également la possibilité que les vaisseaux rétiniens des bébés noirs et blancs diffèrent ‘d’une manière que l’IA peut apprécier, mais que les humains ne peuvent pas’.

Priorité de biais?

Les auteurs suggèrent également que la discrimination pourrait être une fonction des données prédominantes blanches sur lesquelles U-Net a été formé à l’origine. Bien qu’ils décrivent cela comme leur ‘théorie principale’, ils admettent également que les capacités des capteurs de capture pourraient être un facteur dans le phénomène, si cela devait s’avérer que le biais découvert est un corollaire des aspects techniques des pratiques d’imagerie rétinienne, ou du biais des données dans U-Net qui se perpétue au fil des ans. En abordant ces possibilités, le document reconnaît:

‘Cependant, U-Net a été formé sur des RFI qui ont été converties en images en niveaux de gris et soumises à un ajustement de contraste — spécifiquement, une égalisation d’histogramme à contraste limité (CLAHE) — et n’a donc jamais été réellement formé sur des RFI en couleur. Ainsi, nous sommes pour l’instant incapables d’expliquer pleinement ces résultats sur la base de l’hypothèse U-Net seule.’

Cependant, les auteurs affirment que la cause est moins alarmante que l’effet, déclarant que la capacité des modèles d’IA à discerner la race implique un ‘risque de biais dans les algorithmes d’IA médicaux qui les utilisent comme entrée’.

Les auteurs soulignent la nature à contraste élevé des races étudiées et postulent que les ‘groupes raciaux intermédiaires’ pourraient être plus difficiles à identifier par des moyens similaires, et que c’est un aspect qu’ils ont l’intention d’étudier dans des travaux en cours et connexes.

* Tous les liens de support fournis par le document qui sont inclus dans cet article ont été convertis à partir de liens PaperPile à accès limité en versions en ligne publiques, lorsque cela est possible.