Syntetiske data: Ændring af racen i ansigtsbilleder for at adresse bias i medicinske datasets

Forskere fra UCLA har udviklet en metode til at ændre den synlige race af ansigter i datasets, der bruges til at træne medicinske maskinlæringsystemer, i et forsøg på at rette op på den raciale bias, som mange almindelige datasets lider af.

Den nye teknik er i stand til at producere fotorealistiske og fysiologisk nøjagtige syntetiske videoer med en gennemsnitlig rate på 0,005 sekunder per frame, og det håbes, at det vil bidrage til udviklingen af nye diagnostiske systemer til fjernhelbredelse og overvågning – et felt, der er vokset betydeligt under COVID-restriktionerne. Systemet er designet til at forbedre anvendeligheden af fjernphotoplethysmografi (rPPG), en computer vision-teknik, der vurderer ansigtsvideoindhold for at detektere volumetrisk ændringer i blodforsyning på en ikke-invasiv måde.

Kilde: https://arxiv.org/pdf/2106.06007.pdf. Klik for at forstørre.

Selvom arbejdet, der anvender convolutionelle neurale netværk (CNN), inkorporerer tidligere forskningskode offentliggjort af Durham University i 2020, er den nye anvendelse designet til at bevare pulserende signaler i de oprindelige testdata, snarere end blot at ændre den synlige race af dataene, som 2020-forskningen gør.

CNN til raciale transformationer

Den første del af encoder-decoder-systemet anvender Durham-racetransfer-modellen, der er forudtrænet på VGGFace2, for at generere proxy-mål-frames med den tidligere caucasian-til-afrikanske komponent af Durham-forskningen. Dette producerer en flad overførsel af raciale karakteristika, men indeholder ikke variationer i farve og tone, der repræsenterer visuelle fysiologiske indikatorer for patientens blodflow-tilstand.

Transformationssystemet fra 2020-forskningen af Durham University, en del af hvilket er inkorporeret i den nye UCLA-forskning. Kilde: https://arxiv.org/pdf/2004.08945.pdf. Klik for at forstørre.

Et andet netværk, kaldet PhysResNet (PRN), leverer rPPG-komponenten. PhysResNet er trænet til at lære både den visuelle fremtoning og også farvevariationer, der definerer subkutane blodvolumbevægelser.

Nederst til venstre, resultaterne fra 2020-forskningen af Durham University, der mangler PPG-information. Midt til venstre, PPG-informationen, der er inkorporeret i den raciale transformation. Klik for at forstørre.

Arkitekturen, som UCLA-projektet foreslår, overgår konkurrerende rPPG-teknikker, selv i fravær af hudfarveforstærkning, og repræsenterer en 31% forbedring af lignende teknikker, der er optimeret med MAE og RMSE.

UCLA-netværket bevarede blodvolumen og distributionsinformation. Klik for at forstørre.

UCLA-forskerne håber, at fremtidig arbejde vil påtage sig mere omfattende udfordringer for at rette op på den raciale bias i dette område af medicinsk billedanalyse, og håber også, at senere schemer vil producere højere opløsninger af video, da systemet i spørgsmålet er begrænset til en 80×80-pixel opløsning – som er rimeligt godt tilpasset begrænsningerne af telehelbredelse, men ikke ideelt.

Mangel på etnisk diversitet i datasets

De økonomiske og praktiske omstændigheder, der fører til racemæssigt diverse datasets, har været et hinder for medicinsk forskning i nogle år. Data tenderer til at blive genereret lokalt, med mange faktorer, der bidrager til en hyppig caucasian-centrisk homogenitet af datasubjekter. Disse inkluderer sammensætningen af minoritetsdemografier i byer, hvor forskning foretages, og andre socioøkonomiske faktorer, der kan påvirke, hvor meget ikke-hvide subjekter optræder i vestlige datasets, som forskerne ønsker kunne have en mere global anvendelighed.

I lande med en højere proportion af mørkhudede subjekter er de nødvendige udstyr og ressourcer til at indsamle data ofte mangelfulde.

En hudfarvekort over verden for indfødte folk, fra American Journal of Physical Anthropology.

For tiden er mørkhudede subjekter bemærkelsesværdigt underrepræsenterede i rPPG-datasets, og repræsenterer 0%, 5% og 10% af indholdet af de tre primære databases, der er i almindelig brug til dette formål.

Homogen caucasian data

I 2019 offentliggjorde nye forskningsresultater i Science, at en algoritme, der var bredt anvendt i US-hospitalvæsen, var kraftigt forvrænget til fordel for caucasian-subjekter. Studiet fandt, at sorte mennesker var mindre sandsynlige for at blive henviset til specialiseret pleje i triage og dybere niveauer af hospitalindlæggelse.

Yderligere forskning i det år fra forskere i Malaysia og Australien etablerede det generelle problem med ‘eget raciale bias’ for dataset-generation over mange regioner i verden, herunder Asien.

Potentiale begrænsninger af skala og arkitektur

Nogle af begrænsningerne, der har ført til begrænsede-etniske datasets, er pragmatiske snarere end etiske. Jo bredere pluraliteten af de bidragende data er, jo bedre generaliserer det over subjekterne i dataene, men jo mindre sandsynligt er det, at træningsrutinen vil fornemme mønstre inden for en enkelt karakteristik af data, herunder race, fordi en mindre procentdel af træningstid, opmærksomhed og ressourcer er tilgængelige for hver identificerbar undergruppe af dataene.

Dette kan føre til modeller, der er bredt anvendelige, men opnår mindre specifikke resultater, på grund af begrænsningerne af datas størrelse, økonomien af batch-størrelse og praktiske begrænsninger af den latente rum som en funktion af begrænsede hardware-ressourcer.

I den anden yderlighed, selvom effektive og granulerede resultater kan opnås ved at begrænse inputdataene til en mere begrænset sæt af karakteristika, herunder etnicitet, er resultaterne sandsynligvis ‘overfit’ til de begrænsede data og ikke bredt anvendelige, måske endda ikke over hele usete subjekter i samme geografiske område, som de oprindelige dataset-subjekter blev erhvervet fra.

Syntetiske avatars til PPG-simulation

UCLA-papiret nævner også tidligere arbejde fra Microsoft Research i 2020 om brugen af racemæssigt fleksible syntetiske avatars, der udnytter 3D-billedsynthese til at skabe ansigtsvideoer, der er rige på PPG-information.

Syntetiske avatars skabt af Microsoft-forskning, med ray-traced billeder, der indeholder PPG-data. Kilde: https://arxiv.org/pdf/2010.12949.pdf. Klik for at forstørre.