Synthetische gegevens: ras veranderen in gezichtsbeelden om vooroordelen in medische datasets aan te pakken

Onderzoekers van de UCLA hebben een methode ontwikkeld om de zichtbare ras van gezichten in datasets te veranderen die worden gebruikt om medische machine learning-systemen te trainen, in een poging om de raciale vooroordelen die veel voorkomende datasets vertonen, te verhelpen.

De nieuwe techniek is in staat om fotorealistische en fysiologisch nauwkeurige synthetische video te produceren met een gemiddelde snelheid van 0,005 seconden per frame, en wordt gehoopt te helpen bij de ontwikkeling van nieuwe diagnostische systemen voor remote healthcare-diagnose en -monitoring – een veld dat sterk is uitgebreid onder COVID-beperkingen. Het systeem is bedoeld om de toepasbaarheid van remote photoplethysmography (rPPG) te verbeteren, een computer vision-techniek die faciale video-inhoud evalueert om volumetrische veranderingen in bloedtoevoer op een niet-invasieve manier te detecteren.

Bron: https://arxiv.org/pdf/2106.06007.pdf. Klik om te vergroten.

Hoewel het werk, dat convolutional neural networks (CNN’s) gebruikt, voortbouwt op eerder onderzoek van de Universiteit van Durham uit 2020, is de nieuwe toepassing bedoeld om pulsatie-signalen in de oorspronkelijke testgegevens te behouden, in plaats van alleen de zichtbare ras van de gegevens te veranderen, zoals het onderzoek uit 2020 doet.

CNN’s voor raciale transformatie

Het eerste deel van het encoder-decoder-systeem gebruikt het ras-overdrachtsmodel van Durham, vooraf getraind op VGGFace2, om proxy-doelframes te genereren met de eerdere Caucasisch-Afrikaanse component van het Durham-onderzoek. Dit produceert een platte overdracht van raciale kenmerken, maar bevat niet de variaties in kleur en toon die visuele fysiologische indicatoren van de bloedstroom van de patiënt vertegenwoordigen.

De transformatiepijplijn van het onderzoek uit 2020 van de Universiteit van Durham, waarvan een deel is opgenomen in het nieuwe UCLA-onderzoek. Bron: https://arxiv.org/pdf/2004.08945.pdf. Klik om te vergroten.

Een tweede netwerk, genaamd PhysResNet (PRN), biedt de rPPG-component. PhysResNet is getraind om zowel de visuele verschijning als de kleurvariaties te leren die de subcutane bloedvolumebewegingen definiëren.

Onderaan links, de resultaten van het onderzoek uit 2020 van de Universiteit van Durham, zonder PPG-informatie. Midden links, de PPG-informatie die is opgenomen in de raciale transformatie. Klik om te vergroten.

De architectuur die het UCLA-project voorstelt, overtreft concurrerende rPPG-technieken zelfs in de afwezigheid van huidskleurverandering, wat een verbetering van 31% vertegenwoordigt ten opzichte van vergelijkbare technieken die zijn geoptimaliseerd met MAE en RMSE.

Het UCLA-netwerk behoudt met succes de bloedvolume- en -distributie-informatie. Klik om te vergroten.

De onderzoekers van de UCLA hopen dat toekomstig onderzoek meer uitgebreide uitdagingen zal aangaan om raciale vooroordelen in deze sector van medische beeldvorming aan te pakken, en hopen ook dat latere schema’s hogeresolutie-video zullen produceren, aangezien het systeem in kwestie beperkt is tot een resolutie van 80×80 pixels – redelijk geschikt voor de beperkingen van telehealth, maar niet ideaal.

Geen etnisch diverse datasets

De economische en praktische omstandigheden die leiden tot raciaal diverse datasets zijn al enige tijd een obstakel voor medisch onderzoek geweest. Gegevens worden meestal lokaal gegenereerd, met veel factoren die bijdragen aan een frequente homogeniteit van Caucasisch-centrische gegevensonderwerpen. Deze omvatten de samenstelling van minderheden in steden waar onderzoek plaatsvindt, en andere socio-economische factoren die de mate waarin niet-blanke onderwerpen in westerse datasets voorkomen, kunnen beïnvloeden.

In landen met een hoger percentage donkere huidskleur, ontbreekt het vaak aan de benodigde apparatuur en middelen om de gegevens te verzamelen.

Een huidskleurwereldkaart voor inheemse volken, uit het American Journal of Physical Anthropology.

Momenteel zijn donkere huidskleuronderwerpen aanzienlijk ondervertegenwoordigd in rPPG-datasets, en vertegenwoordigen 0%, 5% en 10% van de inhoud van de drie primaire databases die voor dit doel worden gebruikt.

Homogene Caucasisch gegevens

In 2019 publiceerde nieuw onderzoek in Science dat een algoritme dat wijdverspreid werd gebruikt in de Amerikaanse ziekenhuiszorg, sterk bevooroordeeld was ten gunste van Caucasisch onderwerpen. De studie vond dat zwarte mensen minder vaak werden doorverwezen naar gespecialiseerde zorg bij triage en diepere niveaus van ziekenhuisopname.

Verder onderzoek in dat jaar door onderzoekers in Maleisië en Australië stelde het algemene probleem van ‘eigen rasvooroordeel’ voor datasetgeneratie vast in veel regio’s van de wereld, waaronder Azië.

Mogelijke beperkingen van schaal en architectuur

Sommige van de beperkingen die hebben geleid tot datasets met beperkte etniciteit zijn pragmatisch van aard in plaats van ethisch. Hoe breder de pluraliteit van de bijdrage aan de gegevens, hoe beter deze generaliseert over de onderwerpen die in die gegevens worden weergegeven, maar des te minder waarschijnlijk het is dat de trainingsroutine patronen binnen een enkel kenmerk van de gegevens, waaronder ras, zal intuïter, omdat een kleiner percentage van de trainingsduur, aandacht en middelen beschikbaar is voor elk identificeerbaar subset van de gegevens.

Dit kan leiden tot modellen die breed toepasbaar zijn, maar minder specifieke resultaten opleveren, vanwege de beperkingen van de gegevensgrootte, de economie van batchgrootte en de praktische beperkingen van de latent space als functie van beperkte hardwarebronnen.

Aan de andere kant, hoewel effectieve en gedetailleerde resultaten kunnen worden behaald door de invoergegevens te beperken tot een meer beperkt aantal kenmerken, waaronder etniciteit, zullen de resultaten waarschijnlijk ‘overfit’ zijn voor de beperkte gegevens en niet breed toepasbaar zijn, zelfs niet voor ongezien onderwerpen in dezelfde geografische regio waaruit de oorspronkelijke datasetonderwerpen zijn afgeleid.

Synthetische avatars voor PPG-simulatie

Het UCLA-rapport vermeldt ook eerder onderzoek van Microsoft Research uit 2020 naar het gebruik van raciaal flexibele synthetische avatars, dat 3D-beeldsynthese gebruikt om gezichtsvideo’s te creëren die rijk zijn aan PPG-informatie.

Synthetische avatars gemaakt door Microsoft Research, met ray-getraceerde beelden die PPG-gegevens bevatten. Bron: https://arxiv.org/pdf/2010.12949.pdf. Klik om te vergroten.