Syntetisk data: Endring av hudfarge i ansiktsbilder for å adresse bias i medisinske datasett

Forskere ved UCLA har utviklet en metode for å endre den åpenbare hudfargen på ansikter i datasett som brukes til å trene medisinske maskinlæringsystemer, i et forsøk på å rette opp den rasiale biasen som mange vanlige datasett lider av.

Den nye teknikken er i stand til å produsere fotorealistiske og fysiologisk nøyaktige syntetiske videoer med en gjennomsnittlig rate på 0,005 sekunder per ramme, og håpes å bidra til utviklingen av nye diagnostiske systemer for fjernhelse-diagnose og overvåking – et felt som har utvidet seg betydelig under COVID-begrensninger. Systemet er ment å forbedre anvendeligheten av fjern fotoplethysmografi (rPPG), en datateknikk som vurderer ansiktsvideoinnhold for å detektere volumetrisk endringer i blodtilførsel på en ikke-invasiv måte.

Kilde: https://arxiv.org/pdf/2106.06007.pdf. Klikk for å forstørre.

Til tross for at arbeidet, som utnytter konvolusjonsneurale nettverk (CNNs), inkorporerer tidligere forskningskode publisert av Durham University i 2020, er den nye anvendelsen ment å bevare pulserende signaler i de originale testdataene, snarere enn bare å visuelt endre den åpenbare hudfargen på dataene, som 2020-forskningen gjør.

CNNs For Racial Transformation

Den første delen av encoder-decoder-systemet bruker Durham-ras-overføringsmodellen, forhåndstreinet på VGGFace2, for å generere proxy-mål-rammer med den tidligere caucasian-til-afrikanske komponenten av Durham-forskningen. Dette produserer en flat overføring av rasiske karakteristika, men inneholder ikke variasjoner i farge og tone som representerer visuelle fysiologiske indikatorer for pasientens blodtilførselstilstand.

Transformasjons-pipeline fra 2020-forskningen ved Durham University, en del av som er inkorporert i den nye UCLA-forskningen. Kilde: https://arxiv.org/pdf/2004.08945.pdf. Klikk for å forstørre.

Et annet nettverk, kalt PhysResNet (PRN), gir rPPG-komponenten. PhysResNet er trent for å lære både det visuelle utseendet og også fargevariasjonene som definerer subkutane blodvolumbevegelser.

Nederst til venstre, resultater fra 2020-forskningen ved Durham, som mangler PPG-informasjon. Midt til venstre, PPG-informasjon inkorporert i ras-overføringen. Klikk for å forstørre.

Arkitekturen som UCLA-prosjektet foreslår, overgår konkurranse- rPPG-teknikker selv i fravær av hudfarge-augmentering, og representerer en 31% forbedring på lignende teknikker optimalisert med MAE og RMSE.

UCLA-nettverket bevare blodvolum og distribusjonsinformasjon. Klikk for å forstørre.

UCLA-forskerne håper at fremtidige arbeider vil ta på seg mer omfattende utfordringer for å rette opp rasiale bias i dette sektoren av medisinsk bildebehandling, og håper også at senere skjemaer vil produsere høyere oppløsning videoer, siden systemet i spørsmålet er begrenset til en 80×80 piksel oppløsning – godt egnet for fjernhelse, men ikke ideelt.

Mangel på etnisk mangfoldige datasett

De økonomiske og praktiske omstendighetene som fører til rasiske mangfoldige datasett har vært et hinder for medisinsk forskning i noen år. Data tenderer til å bli generert lokalt, med mange faktorer som bidrar til en hyppig caucasian-sentrert homogenitet av datasubjekter Disse inkluderer sammensetningen av minoritetsdemografi i byer hvor forskning skjer, og andre sosioøkonomiske faktorer som kan påvirke omfanget av ikke-hvite subjekter som dukker opp i vestlige datasett som forskerne ønsker kunne ha en mer global anvendelighet.

I land med en høyere andel mørkhudede subjekter, er de nødvendige utstyret og ressursene for å samle inn data ofte mangelfulle.

En hudtone-verdenskart for urfolk, fra American Journal of Physical Anthropology.

For tiden er mørkhudede subjekter betydelig underrepresentert i rPPG-datasett, og utgjør 0%, 5% og 10% av innholdet av de tre primære databaseene som vanligvis brukes til dette formålet.

Homogen caucasian data

I 2019 ble det publisert en ny forskning i Science som fant at en algoritme som er vidt distribuert i amerikanske sykehus var tungt biasert i favør av caucasian-subjekter. Studien fant at svarte mennesker var mindre sannsynlig å bli henvist til spesialisert omsorg i triage og dypere nivåer av sykehusopptak.

Ytterligere forskning i samme år fra forskere i Malaysia og Australia etablerte det generelle problemet med ‘Egen-ras-bias’ for datasett-generering over mange regioner i verden, inkludert Asia.

Potensielle begrensninger av skala og arkitektur

Noen av begrensningene som har ført til begrensede-etniske datasett er pragmatiske snarere enn etiske i naturen. Jo bredere pluraliteten av bidragende data, jo bedre generaliserer det over subjektene som er presentert i dataene, men jo mindre er treningsrutinen sannsynlig å intuit mønster innenfor en enkelt karakteristikk av data, inkludert rase, fordi en mindre prosent av trenings tid, oppmerksomhet og ressurser er tilgjengelig for hver identifiserbar undergruppe av dataene.

Dette kan føre til modeller som er vidt anvendelige, men oppnår mindre spesifikke resultater, på grunn av begrensningene av datas størrelse, økonomien av batch-størrelse og praktiske begrensninger av den latente rommet som en funksjon av begrensede hardware-ressurser.

På den andre siden, selv om effektive og granulerte resultater kan oppnås ved å begrense inndata til en mer begrenset sett av karakteristika, inkludert etnisitet, er resultater sannsynlig å være ‘overfit’ til de begrensede dataene, og ikke bredt anvendelige, kanskje ikke engang over usette subjekter i samme geografiske område som de originale datasett-subjektene ble hentet fra.

Syntetiske avatarer for PPG-simulering

UCLA-papiret noterer også tidligere arbeid fra Microsoft Research i 2020 om bruk av rasiske syntetiske avatarer, som utnytter 3D-bilde-syntese for å skape ansiktsvideoer rike på PPG-informasjon.

Syntetiske avatarer skapt av Microsoft Research, med ray-traced bilder som inneholder PPG-data. Kilde: https://arxiv.org/pdf/2010.12949.pdf. Klikk for å forstørre.