Données synthétiques : Changer la race dans les images faciales pour résoudre les biais dans les jeux de données médicaux

Les chercheurs de l’UCLA ont développé une méthode pour changer l’apparente race des visages dans les jeux de données utilisés pour former les systèmes d’apprentissage automatique médicaux, dans une tentative pour réparer les biais raciaux dont souffrent de nombreux jeux de données courants.

La nouvelle technique est capable de produire des vidéos synthétiques photoréalistes et physiologiquement précises à un taux moyen de 0,005 seconde par image, et est espérée pour aider le développement de nouveaux systèmes de diagnostic pour le diagnostic et la surveillance de la santé à distance – un domaine qui s’est considérablement étendu sous les restrictions de COVID. Le système est destiné à améliorer l’applicabilité de la photopléthysmographie à distance (rPPG), une technique de vision par ordinateur qui évalue le contenu vidéo facial pour détecter les changements de volume sanguin de manière non invasive.

Source : https://arxiv.org/pdf/2106.06007.pdf. Cliquez pour agrandir.

Bien que le travail, qui utilise des réseaux de neurones convolutifs (CNN), incorpore le code de recherche précédent publié par l’Université de Durham au Royaume-Uni en 2020, la nouvelle application est destinée à préserver les signaux pulsés dans les données de test originales, plutôt que de simplement changer visuellement l’apparente race des données, comme le fait la recherche de 2020.

CNN pour la transformation raciale

La première partie du système encodeur-décodeur utilise le modèle de transfert de race de Durham, pré-entraîné sur VGGFace2, pour générer des images cibles proxy avec la composante caucasienne-africaine de la recherche de Durham. Cela produit un transfert plat de caractéristiques raciales, mais ne contient pas les variations de couleur et de ton qui représentent les indicateurs physiologiques visuels de l’état de flux sanguin du patient.

Le pipeline de transformation de la recherche de 2020 de l’Université de Durham, dont une partie est incorporée dans la nouvelle recherche de l’UCLA. Source : https://arxiv.org/pdf/2004.08945.pdf. Cliquez pour agrandir.

Un deuxième réseau, appelé PhysResNet (PRN), fournit la composante rPPG. PhysResNet est entraîné pour apprendre à la fois l’apparence visuelle et les variations de couleur qui définissent les mouvements de volume sanguin sous-cutané.

En bas à gauche, les résultats obtenus par la recherche de 2020 de Durham, sans information PPG. Au milieu à gauche, les informations PPG incorporées dans la transformation raciale. Cliquez pour agrandir.

L’architecture que propose le projet UCLA surpasse les techniques rPPG concurrentes, même en l’absence d’augmentation de la couleur de la peau, ce qui représente une amélioration de 31 % par rapport aux techniques similaires optimisées avec MAE et RMSE.

Le réseau UCLA préserve avec succès les informations de volume et de distribution sanguine. Cliquez pour agrandir.

Les chercheurs de l’UCLA espèrent que les travaux futurs entreprendront des défis plus importants pour résoudre les biais raciaux dans ce secteur de l’imagerie médicale, et espèrent également que les schémas ultérieurs produiront des vidéos à plus haute résolution, puisque le système en question est limité à une résolution de 80×80 pixels – convenablement adaptée aux limitations de la télé-santé, mais pas idéale.

Manque de jeux de données ethniquement diversifiés

Les circonstances économiques et pratiques qui conduisent à des jeux de données racialement diversifiés ont été un obstacle à la recherche médicale depuis plusieurs années. Les données tendent à être générées de manière paroissiale, avec de nombreux facteurs contribuant à une homogénéité fréquente caucasienne des sujets de données. Cela inclut la composition des minorités démographiques dans les villes où se déroule la recherche, et d’autres facteurs socio-économiques qui peuvent influencer l’étendue à laquelle les sujets non blancs apparaissent dans les jeux de données occidentaux que les chercheurs souhaiteraient avoir une applicabilité plus globale.

Dans les pays avec une proportion plus élevée de sujets à peau foncée, les équipements et les ressources nécessaires pour collecter les données font souvent défaut.

Une carte mondiale des tons de peau pour les peuples autochtones, de l’American Journal of Physical Anthropology.

Actuellement, les sujets à peau foncée sont nettement sous-représentés dans les jeux de données rPPG, représentant 0 %, 5 % et 10 % du contenu des trois principales bases de données utilisées à cette fin.

Données caucasiennes homogènes

En 2019, de nouvelles recherches publiées dans Science ont découvert qu’un algorithme largement diffusé dans les soins hospitaliers aux États-Unis était fortement biaisé en faveur des sujets caucasiens. L’étude a constaté que les personnes noires étaient moins susceptibles d’être orientées vers des soins spécialisés en triage et à des niveaux plus profonds d’admission à l’hôpital.

D’autres recherches menées la même année par des chercheurs de Malaisie et d’Australie ont établi le problème général de « biais de race propre » pour la génération de jeux de données dans de nombreuses régions du monde, y compris l’Asie.

Limitations potentielles d’échelle et d’architecture

Certaines des limitations qui ont conduit à des jeux de données à ethnicité limitée sont de nature pragmatique plutôt que éthique. Plus la pluralité des données contributives est large, mieux elles se généralisent sur les sujets présentés dans ces données, mais moins la routine d’entraînement est susceptible d’intuire des modèles au sein de n’importe quelle caractéristique de données, y compris la race, car un pourcentage plus petit de temps d’entraînement, d’attention et de ressources est disponible pour chaque sous-ensemble identifiable de données.

Cela peut conduire à des modèles qui sont largement applicables mais obtiennent des résultats moins spécifiques, en raison des contraintes de taille de données, de l’économie de la taille de lot et des limitations pratiques de l’espace latent en fonction des ressources matérielles limitées.

À l’autre extrême, bien que des résultats efficaces et granulaires puissent être obtenus en limitant les données d’entrée à un ensemble plus limité de caractéristiques, y compris l’ethnicité, les résultats sont susceptibles d’être « sur-ajustés » aux données limitées et ne sont pas largement applicables, peut-être même aux sujets non vus dans la même zone géographique à partir de laquelle les sujets de données originaux ont été obtenus.

Avatars synthétiques pour la simulation PPG

L’article de l’UCLA note également les travaux antérieurs de Microsoft Research en 2020 sur l’utilisation d’avatars synthétiques adaptables racialement, qui utilise la synthèse d’images 3D pour créer des vidéos de visages riches en informations PPG.

Des avatars synthétiques créés par la recherche de Microsoft, avec des images traçées par rayon qui contiennent des données PPG. Source : https://arxiv.org/pdf/2010.12949.pdf. Cliquez pour agrandir.