Syntetiske data: Ændring af racen i ansigtsbilleder for at adresse fordomme i medicinske datasets

UCLA-forskere har udviklet en metode til at ændre den åbenlyse race af ansigter i datasets, der bruges til at træne medicinske maskinlæringsystemer, i et forsøg på at rette op på den raciale fordom, som mange almindelige datasets lider af.

Den nye teknik er i stand til at producere fotorealistiske og fysiologisk nøjagtige syntetiske videoer med en gennemsnitlig rate på 0,005 sekunder per frame, og det håbes, at det vil hjælpe med udviklingen af nye diagnostiske systemer til fjernhelbredsdgnose og -overvågning – et felt, der er vokset betydeligt under COVID-restriktionerne. Systemet er tænkt til at forbedre anvendeligheden af fjernphotoplethysmografi (rPPG), en computer vision-teknik, der vurderer ansigtsvideoindhold for at registrere volumetrisk ændringer i blodforsyning på en ikke-invasiv måde.

Kilde: https://arxiv.org/pdf/2106.06007.pdf. Klik for at forstørre.

Selv om arbejdet, der anvender convolutionelle neurale netværk (CNN), inkorporerer tidligere forskningskode offentliggjort af Storbritanniens Durham University i 2020, er den nye anvendelse tænkt til at bevare pulserende signaler i den oprindelige testdata, snarere end blot at ændre den åbenlyse race af data, som 2020-forskningen gør.

CNN for raciale transformationer

Den første del af encoder-decoder-systemet anvender Durham-racetransfermodellen, der er forudtrænet på VGGFace2, til at generere proxy-mål-frames med den tidligere caucasian-til-afrikanske komponent af Durham-forskningen. Dette producerer en flad overførsel af raciale karakteristika, men indeholder ikke variationer i farve og tone, der repræsenterer visuelle fysiologiske indikatorer for patientens blodflowtilstand.

Transformationspipeline fra 2020-forskningen af Durham University, som er en del af den nye UCLA-forskning. Kilde: https://arxiv.org/pdf/2004.08945.pdf. Klik for at forstørre.

Et andet netværk, kaldet PhysResNet (PRN), leverer rPPG-komponenten. PhysResNet er trænet til at lære både den visuelle fremtoning og også farvevariationer, der definerer subkutane blodvolumbevægelser.

Nederst til venstre, resultaterne fra 2020-forskningen af Durham, som mangler PPG-information. Midt til venstre, PPG-informationen, der er inkorporeret i den raciale transformation. Klik for at forstørre.

Arkitekturen, som UCLA-projektet foreslår, overgår konkurrerende rPPG-teknikker, selv i fravær af hudfarveforstærkning, og repræsenterer en 31% forbedring af lignende teknikker, der er optimeret med MAE og RMSE.

UCLA-netværket bevarede blodvolumen og distributionsinformation. Klik for at forstørre.

UCLA-forskerne håber, at fremtidigt arbejde vil påtage sig mere omfattende udfordringer for at rette op på den raciale fordom i dette sektor af medicinsk billedbehandling, og håber også, at senere skemaer vil give højere opløsninger video, da systemet i spørgsmål er begrænset til en 80×80 pixel opløsning – tilstrækkeligt godt til begrænsningerne af telehealth, men ikke ideelt.

Mangel på etnisk diversificerede datasets

De økonomiske og praktiske omstændigheder, der fører til racemæssigt diverse datasets, har været en hindring for medicinsk forskning i nogle år. Data tenderer til at blive genereret lokalt, med mange faktorer, der bidrager til en hyppig caucasian-centrisk homogenitet af datasubjekter. Disse inkluderer sammensætningen af minoritetsdemografier i byerne, hvor forskningen finder sted, og andre socioøkonomiske faktorer, der kan påvirke, i hvilken udstrækning ikke-hvide subjekter optræder i vestlige datasets, som forskerne ønsker kunne have en mere global anvendelighed.

I lande med en højere proportion af mørkhudede subjekter er det nødvendige udstyr og ressourcer til at indsamle data ofte mangelfulde.

En hudfarvekort over indfødte folk, fra American Journal of Physical Anthropology.

For tiden er mørkhudede subjekter bemærkelsesværdigt underrepræsenterede i rPPG-datasets, og repræsenterer 0%, 5% og 10% af indholdet af de tre primære databaser, der er i almindelig brug til dette formål.

Homogen caucasian data

I 2019 offentliggjorde nye forskninger i Science fundet, at en algoritme, der var vidt udbredt i US-hospitalsvæsen, var stærkt fordomsfuld til fordel for caucasian-subjekter. Studiet fandt, at sorte mennesker var mindre sandsynlige for at blive henviset til specialiseret pleje i triage og dybere niveauer af hospitalsindlæggelse.

Yderligere forskning i det år fra forskere i Malaysia og Australien etablerede det generelle problem med ‘Egen-race-forudomme’ for dataset-generation over mange regioner i verden, herunder Asien.

Potentiale begrænsninger af skala og arkitektur

Nogle af begrænsningerne, der har ført til begrænsede-etniske datasets, er pragmatiske snarere end etiske af natur. Jo bredere pluraliteten af bidragende data, jo bedre generaliserer det over subjekterne i data, men jo mindre sandsynligt er det, at træningsrutinen vil intuitivt mønstre inden for en enkelt karakteristik af data, herunder race, fordi en mindre procentdel af træningstid, opmærksomhed og ressourcer er tilgængelige for hver identificerbar undermængde af data.

Dette kan føre til modeller, der er bredt anvendelige, men opnår mindre specifikke resultater på grund af begrænsningerne af datas størrelse, økonomien af batch-størrelse og praktiske begrænsninger af den latente rum som en funktion af begrænsede hardware-ressourcer.

I den anden yderlighed, selv om effektive og granulerede resultater kan opnås ved at begrænse inputdata til en mere begrænsende mængde af karakteristika, herunder etnicitet, er resultaterne sandsynligvis ‘overfit’ til den begrænsede data, og ikke bredt anvendelige, måske endda ikke over usete subjekter i samme geografiske område, som de oprindelige dataset-subjekter blev erhvervet fra.

Syntetiske avatars til PPG-simulation

UCLA-papiret nævner også tidligere arbejde fra Microsoft Research i 2020 om brugen af racemæssigt fleksible syntetiske avatars, som udnytter 3D-billedsynthese til at skabe ansigtsvideoer, der er rige på PPG-information.

Syntetiske avatars skabt af Microsoft Research, med ray-traced billeder, der indeholder PPG-data. Kilde: https://arxiv.org/pdf/2010.12949.pdf. Klik for at forstørre.