Synteettinen data: Rotumuutokset kasvojen kuvissa puutteellisten lääketieteellisten tietojoukkojen korjaamiseksi

UCLA:n tutkijat ovat kehittäneet menetelmän, jolla voidaan muuttaa kasvojen näkyvää rotua tietojoukoissa, joita käytetään lääketieteellisten koneoppimisjärjestelmien kouluttamiseen. Tämä on tehty pyrkimyksenä oikaista rotupuolueellisuus, josta useat yleiset tietojoukot kärsivät.

Uusi tekniikka pystyy tuottamaan fotorealistisia ja fysiologisesti tarkkoja synteettisiä videoita keskimäärin 0,005 sekunnin tahdissa per ruutu, ja toivotaan auttavan uusien diagnostiikkajärjestelmien kehittämistä etäterveydenhuollon diagnostiikkaan ja seurantaan – alalla, joka on laajentunut merkittävästi COVID-rajoitusten aikana. Järjestelmän tarkoituksena on parantaa etävalokuvauksen (rPPG) soveltamista, joka on tietokoneen näkötekniikka, joka arvioi kasvokuvamateriaalia verenvolyymien muutosten havaitsemiseksi ei-invasiivisesti.

Lähde: https://arxiv.org/pdf/2106.06007.pdf. Klikkaa suurennusta varten.

Vaikka työ, joka hyödyntää konvoluutio-neuroverkkoja (CNN), sisältää aiemman Durhamin yliopiston julkaiseman tutkimuksen koodin vuodelta 2020, uusi sovellus on tarkoitettu säilyttämään pulsaattiset signaalit alkuperäisessä testidatassa, eikä ainoastaan muuta näkyvää rotua, kuten vuoden 2020 tutkimus tekee.

CNN:t rotumuutokselle

Koodarin ensimmäinen osa käyttää Durhamin rotusiirtomallia, joka on esikoulutettu VGGFace2:lla, luomaan välitöntä kohdemuotoa, joka sisältää aiemman caucasialais-afrikkalaisen komponentin Durhamin tutkimuksesta. Tämä tuottaa tasaisen rotujen siirron, mutta ei sisällä värien ja sävyjen vaihtelua, jotka edustavat visuaalisia fysiologisia osoittimia potilaan verenvolyymien tilasta.

Muodonmuutosputki vuoden 2020 tutkimuksesta Durhamin yliopistosta, jota osittain sisällytetään uuteen UCLA-tutkimukseen. Lähde: https://arxiv.org/pdf/2004.08945.pdf. Klikkaa suurennusta varten.

Toinen verkko, PhysResNet (PRN), tarjoaa rPPG-komponentin. PhysResNet on koulutettu oppimaan sekä visuaalisen ulkonäön että värien vaihtelun, jotka määrittävät ihon alle olevan verenvolyymien liikkeet.

Alhaalla vasemmalla, vuoden 2020 Durhamin tutkimuksen tulokset, joissa ei ole PPG-tietoja. Keskellä vasemmalla, PPG-tiedot sisällytetty rotumuutokseen. Klikkaa suurennusta varten.

UCLA-projektin ehdottama arkkitehtuuri ylittää kilpailevat rPPG-tekniikat jopa silloin, kun ihoväriä ei ole muutettu, edustaa 31 %:n parannusta verrattuna vastaaviin tekniikoihin, jotka on optimoitu MAE- ja RMSE-metrien avulla.

UCLA-verkko säilyttää onnistuneesti verenvolyymien ja -jakautumisen tiedot. Klikkaa suurennusta varten.

UCLA-tutkijat toivovat, että tulevaisuuden työ ottaa enemmän haasteita vastaan rotupuolueellisuuden korjaamiseksi tässä lääketieteellisen kuvantamisen alalla, ja toivovat myös, että myöhemmät suunnitelmat tuottavat korkeampiresoluutioisia videoita, koska kyseinen järjestelmä on rajoitettu 80×80 pikselin resoluutioon – joka sopii kohtuullisesti etäterveydenhuollon rajoituksiin, mutta ei ole ihanteellinen.

Etnisesti monimuotoinen tietojoukkojen puute

Taloudelliset ja käytännön olosuhteet, jotka johtavat etnisesti monimuotoisiin tietojoukkoihin, ovat olleet esteenä lääketieteelliselle tutkimukselle jo useita vuosia. Dataa tuotetaan usein paikallisesti, ja useat tekijät vaikuttavat siihen, että tietojoukkojen kohteet ovat usein valkoisia. Nämä tekijät sisältävät vähemmistöjen demografian koostumuksen kaupungeissa, joissa tutkimus tapahtuu, ja muita sosioekonomisia tekijöitä, jotka voivat vaikuttaa siihen, missä määrin ei-valkoiset kohteet ovat länsimaisissa tietojoukoissa, joilla tutkijat toivovat olisi maailmanlaajuista soveltamista.

Maissa, joissa on suurempi osuus tummaihoisia kohteita, tarvittavat laitteet ja resurssit tietojen keräämiseksi ovat usein puutteellisia.

Ihonvärisävyjen maailmankartta alkuperäiskansoille, American Journal of Physical Anthropology -lehdestä.

Tällä hetkellä tummaihoiset kohteet ovat selvästi aliedustettuina rPPG-tietojoukoissa, edustaen 0%, 5% ja 10% kolmen pääasiallisen tietojoukon sisällöstä, joita käytetään tähän tarkoitukseen.

Homogeeninen valkoinen data

Vuonna 2019 julkaistussa tutkimuksessa, joka julkaistiin Science-lehdessä, havaittiin, että laajasti käytetty algoritmi Yhdysvaltain sairaaloiden hoidossa oli voimakkaasti puolueellinen valkoisten potilaiden suhteen. Tutkimus osoitti, että mustat ihmiset olivat vähemmän todennäköisiä pääsevänsä erikoishoitoon ja syvemmälle sairaalahoitoon.

Myöhemmin samana vuonna Malesian ja Australian tutkijoiden tutkimus osoitti yleisen ongelman “Oman rodun puolueellisuudesta” tietojoukkojen luomisessa useissa maailman osissa, mukaan lukien Aasia.

Mitä rajoituksia skaalan ja arkkitehtuurin suhteen on?

Jotkut tietojoukkojen rajoitukset, jotka johtavat etnisesti rajoitettuihin tietojoukkoihin, ovat käytännön luonteisia eivätkä eettisiä. Mitä laajempi tietojoukon monimuotoisuus on, sitä paremmin se yleistyy kohteisiin, jotka sisältyvät tietojoukkoon, mutta sitä vähemmän koulutusohjelma on todennäköisesti havaitsevaan malleja tietyn ominaisuuden, kuten rodun, sisällä, koska pienempi osa koulutusajasta, huomion ja resursseista on käytettävissä jokaiselle tunnistettavalle tietojoukon alajoukolle.

Tämä voi johtaa malleihin, jotka ovat laajasti sovellettavissa, mutta joilla on vähemmän spesifejä tuloksia johtuen tietojen koon rajoituksista, erän koon taloudellisista rajoituksista ja käytännön rajoituksista latentin avaruuden suhteen rajoitettujen laitteiden resurssien vuoksi.

Toisaalta, vaikka tehokkaita ja yksityiskohtaisia tuloksia voidaan saavuttaa rajoittamalla syötedataa tietyn ominaisuuden, kuten etnisyyden, osalle, tulokset ovat todennäköisesti “ylisovitetut” rajoitettuun dataan eivätkä ole laajasti sovellettavissa, mahdollisesti jopa näkymättömiin kohteisiin samasta maantieteellisestä alueesta, josta alkuperäinen tietojoukko on peräisin.

Synteettiset avataarit PPG-simulaatiota varten

UCLA:n tutkimus mainitsee myös aiemman Microsoft Researchin työn vuodelta 2020, jossa kehitettiin rotua muuttavia synteettisiä avataareja, jotka hyödyntävät 3D-kuvausynteesiä luomaan kasvokuvia, jotka sisältävät PPG-tietoja.

Microsoftin tutkimuksessa luodut synteettiset avataarit, jotka sisältävät PPG-tietoja. Lähde: https://arxiv.org/pdf/2010.12949.pdf. Klikkaa suurennusta varten.