Données synthétiques : changer la race dans les images faciales pour lutter contre les biais dans les jeux de données médicaux

Les chercheurs de l’UCLA ont développé une méthode pour changer l’apparence raciale des visages dans les jeux de données utilisés pour former les systèmes d’apprentissage automatique médicaux, dans le but de remédier aux biais raciaux dont souffrent de nombreux jeux de données courants.

La nouvelle technique est capable de produire des vidéos synthétiques photoréalistes et physiologiquement précises à un taux moyen de 0,005 seconde par image, et est destinée à aider le développement de nouveaux systèmes de diagnostic et de surveillance à distance pour les soins de santé à distance – un domaine qui s’est considérablement élargi sous les restrictions de la COVID. Le système est destiné à améliorer l’applicabilité de la photopléthysmographie à distance (rPPG), une technique de vision par ordinateur qui évalue le contenu vidéo facial pour détecter les changements de volume sanguin de manière non invasive.

Source: https://arxiv.org/pdf/2106.06007.pdf. Cliquez pour agrandir.

Bien que le travail, qui utilise des réseaux de neurones convolutifs (CNN), incorpore des codes de recherche précédents publiés par l’Université de Durham au Royaume-Uni en 2020, la nouvelle application est destinée à préserver les signaux pulsés dans les données d’essai originales, plutôt que de simplement changer visuellement l’apparence raciale des données, comme le fait la recherche de 2020.

CNN pour la transformation raciale

La première partie du système encodeur-décodeur utilise le modèle de transfert de race de Durham, pré-entraîné sur VGGFace2, pour générer des cadres cibles proxy avec le composant caucasien-africain précédent de la recherche de Durham. Cela produit un transfert plat de caractéristiques raciales, mais ne contient pas les variations de couleur et de ton qui représentent les indicateurs visuels physiologiques de l’état de flux sanguin du patient.

Le pipeline de transformation de la recherche de 2020 de l’Université de Durham, dont une partie est intégrée dans la nouvelle recherche de l’UCLA. Source: https://arxiv.org/pdf/2004.08945.pdf. Cliquez pour agrandir.

Un deuxième réseau, appelé PhysResNet (PRN), fournit le composant rPPG. PhysResNet est entraîné pour apprendre à la fois l’apparence visuelle et les variations de couleur qui définissent les mouvements de volume sanguin sous-cutané.

En bas à gauche, les résultats obtenus par la recherche de 2020 de Durham, sans informations PPG. Au milieu à gauche, les informations PPG incorporées dans la transformation raciale. Cliquez pour agrandir.

L’architecture que propose le projet UCLA surpasse les techniques rPPG concurrentes, même en l’absence d’augmentation de la couleur de la peau, ce qui représente une amélioration de 31 % par rapport aux techniques similaires optimisées avec MAE et RMSE.

Le réseau UCLA préserve avec succès les informations de volume et de distribution sanguine. Cliquez pour agrandir.

Les chercheurs de l’UCLA espèrent que les travaux futurs entreprendront des défis plus importants pour remédier aux biais raciaux dans ce secteur de l’imagerie médicale, et espèrent également que les schémas ultérieurs produiront des vidéos à plus haute résolution, car le système en question est limité à une résolution de 80×80 pixels – convenablement adaptée aux limitations de la télésanté, mais pas idéale.

Manque de jeux de données ethniquement divers

Les circonstances économiques et pratiques qui conduisent à des jeux de données racialement diversifiés ont été un obstacle à la recherche médicale pendant plusieurs années. Les données tendent à être générées de manière paroissiale, avec de nombreux facteurs contribuant à une homogénéité fréquente des données centrées sur les Caucasiens. Cela inclut la composition des démographies minoritaires dans les villes où se déroule la recherche, ainsi que d’autres facteurs socio-économiques qui peuvent influencer la mesure dans laquelle les sujets non blancs apparaissent dans les jeux de données occidentaux que les chercheurs souhaiteraient avoir une applicabilité plus globale.

Dans les pays having une proportion plus élevée de sujets à peau foncée, les équipements et les ressources nécessaires pour collecter les données font souvent défaut.

Une carte mondiale des tons de peau pour les peuples autochtones, de l’American Journal of Physical Anthropology.

Actuellement, les sujets à peau foncée sont nettement sous-représentés dans les jeux de données rPPG, représentant 0 %, 5 % et 10 % du contenu des trois bases de données principales utilisées à cette fin.

Données caucasiennes homogènes

En 2019, une nouvelle recherche publiée dans Science a constaté qu’un algorithme largement diffusé dans les soins hospitaliers aux États-Unis était fortement biaisé en faveur des sujets caucasiens. L’étude a constaté que les personnes noires étaient moins susceptibles d’être orientées vers des soins spécialisés en triage et à des niveaux plus profonds d’admission à l’hôpital.

D’autres recherches menées la même année par des chercheurs de Malaisie et d’Australie ont établi le problème général de « biais de race propre » pour la génération de jeux de données dans de nombreuses régions du monde, y compris l’Asie.

Limitations potentielles d’échelle et d’architecture

Certaines des limitations qui ont conduit à des jeux de données à ethnicité limitée sont de nature pragmatique plutôt qu’éthique. Plus la pluralité des données contributives est large, mieux elles se généralisent sur les sujets présentés dans ces données, mais moins la routine d’entraînement est susceptible d’intuire des modèles au sein d’une caractéristique particulière des données, y compris la race, car une plus petite proportion du temps d’entraînement, de l’attention et des ressources est disponible pour chaque sous-ensemble identifiable des données.

Cela peut conduire à des modèles qui sont largement applicables mais obtiennent des résultats moins spécifiques, en raison des contraintes de taille des données, de l’économie de la taille des lots et des limitations pratiques de l’espace latent en fonction des ressources matérielles limitées.

À l’autre extrême, bien que des résultats efficaces et granulaires puissent être obtenus en limitant les données d’entrée à un ensemble de caractéristiques plus limité, y compris l’ethnicité, les résultats sont susceptibles d’être « surajustés » aux données limitées et ne sont pas largement applicables, peut-être même aux sujets non vus dans la même zone géographique à partir de laquelle les sujets du jeu de données d’origine ont été obtenus.

Avatars synthétiques pour la simulation PPG

L’article de l’UCLA note également les travaux antérieurs de la recherche de Microsoft en 2020 sur l’utilisation d’avatars synthétiques adaptables en termes de race, qui utilise la synthèse d’images 3D pour créer des vidéos de visages riches en informations PPG.

Des avatars synthétiques créés par la recherche de Microsoft, avec des images traçées par rayons qui contiennent des données PPG. Source: https://arxiv.org/pdf/2010.12949.pdf. Cliquez pour agrandir.