Syntetická data: změna rasy ve tvářích pro řešení předpojatosti v medicínských datech

Výzkumníci z UCLA vyvinuli metodu, která mění zdánlivou rasu tváří v datech používaných pro trénování medicínských systémů strojového učení, aby snížili rasovou předpojatost, kterou mnohé běžné datové sady trpí.

Nová technika je schopná produkovat fotorealistické a fyziologicky přesné syntetické video v průměrném tempu 0,005 sekund na snímek a má pomoci při vývoji nových diagnostických systémů pro vzdálenou zdravotní péči a monitoring – oblast, která se výrazně rozšířila během omezení COVID. Systém je určen k zlepšení aplikovatelnosti vzdálené fotoplethysmografie (rPPG), počítačové techniky, která vyhodnocuje obsah videa tváří pro detekci objemových změn v krevním zásobení neinvazivním způsobem.

Zdroj: https://arxiv.org/pdf/2106.06007.pdf. Kliknutím zvětšíte.

Ačkoli práce, která využívá konvoluční neuronové sítě (CNN), zahrnuje předchozí výzkumný kód publikovaný univerzitou v Durhamu v roce 2020, nová aplikace je určena k zachování pulzních signálů v původních testovacích datech, spíše než pouze ke změně zdánlivé rasy dat, jak to dělá výzkum z roku 2020.

CNN pro rasovou transformaci

První část systému encoder-decoder používá model přenosu rasy z Durhamu, který byl předtrénován na VGGFace2, pro generování proxy cílových snímků se složkou Caucasian-to-African z výzkumu z Durhamu. To produkuje plochou transformaci rasových charakteristik, ale neobsahuje variace barev a tónů, které reprezentují vizuální fyziologické indikátory stavu krevního zásobení pacienta.

Tranzformační pipeline z výzkumu z roku 2020 univerzity v Durhamu, část kterého je začleněna do nového výzkumu UCLA. Zdroj: https://arxiv.org/pdf/2004.08945.pdf. Kliknutím zvětšíte.

Druhá síť, nazvaná PhysResNet (PRN), poskytuje komponent rPPG. PhysResNet je trénován tak, aby se naučil jak vzhled, tak i variace barev, které definují pohyby subkutánního krevního objemu.

Dole vlevo, výsledky získané výzkumem z roku 2020 univerzity v Durhamu, chybí informace o PPG. Uprostřed vlevo, informace o PPG začleněné do rasové transformace. Kliknutím zvětšíte.

Architektura, kterou projekt UCLA navrhuje, překonává konkurenční techniky rPPG i v případě, že chybí augmentace barvy kůže, což představuje 31% zlepšení oproti podobným technikám optimalizovaným pomocí MAE a RMSE.

Síť UCLA úspěšně zachovává informace o objemu a distribuci krve. Kliknutím zvětšíte.

Výzkumníci z UCLA doufají, že budoucí práce se budou snažit řešit širší výzvy spojené s rasovou předpojatostí v tomto sektoru medicínského zobrazování a doufají, že pozdější schéma bude produkovat video s vyšší rozlišením, protože systém je omezen na rozlišení 80×80 pixelů – což je poměrně vhodné pro omezení telehealth, ale ne ideální.

Chybějící etnicky rozmanité datové sady

Ekonomické a praktické okolnosti, které vedou k rasově rozmanitým datovým sadám, byly překážkou pro medicínský výzkum po několik let. Data jsou obvykle generována lokálně, s mnoha faktory, které přispívají k časté homogenitě datových subjektů s převahou bělochů. Tyto faktory zahrnují složení menšinových demografických skupin ve městech, kde se výzkum provádí, a další socioekonomické faktory, které mohou ovlivnit rozsah, v jakém se ne-bělošské subjekty objevují v západních datových sadách, které výzkumníci doufají, že by mohly mít širší globální aplikovatelnost.

V zemích s vyšším podílem tmavých pletenců chybí často potřebné vybavení a zdroje pro sběr dat.

Mapa tónů pleti pro původní obyvatele, z American Journal of Physical Anthropology.

V současné době jsou tmavší pletenci výrazně underrepresented v datových sadách rPPG, představující 0%, 5% a 10% obsahu tří primárních databází, které se běžně používají pro tento účel.

Homogenní kaukazská data

V roce 2019 byl publikován nový výzkum v Science, který zjistil, že algoritmus široce používaný v americké nemocniční péči byl silně předpojatý ve prospěch bělochů. Studie zjistila, že černí lidé byli méně pravděpodobně odkázáni na specializovanou péči v triážích a hlubších úrovních nemocničního přijetí.

Další výzkum z roku 2019 od výzkumníků v Malajsii a Austrálii zjistil obecný problém ‘vlastní rasové předpojatosti’ pro generování datových sad v mnoha regionech světa, včetně Asie.

Potenciální omezení rozsahu a architektury

Některá omezení, která vedla k omezeným etnickým datovým sadám, jsou pragmatická spíše než etická. Čím širší je pluralita přispívajících dat, tím lépe se generalizuje přes subjekty zobrazené v těchto datech, ale méně je pravděpodobné, že trénovací rutina bude intuitivní vzory uvnitř libovolné charakteristiky dat, včetně rasy, protože menší procento trénovacího času, pozornosti a zdrojů je k dispozici pro každou identifikovatelnou podmnožinu dat.

To může vést k modelům, které jsou široce aplikovatelné, ale získávají méně specifické výsledky, kvůli omezením velikosti dat, ekonomice velikosti dávek a praktickým omezením latentního prostoru jako funkce omezených hardwarových zdrojů.

Na druhé straně, i když efektivní a granulární výsledky lze získat omezením vstupních dat na více omezenou sadu charakteristik, včetně etnicity, výsledky jsou pravděpodobně ‘přeceněné’ pro omezená data a nejsou široce aplikovatelné, možná ani přes neviditelné subjekty ve stejné geografické oblasti, ze které byly původní datové subjekty získány.

Syntetické avatary pro simulaci PPG

Článek UCLA také zmiňuje předchozí práci výzkumníků z Microsoftu z roku 2020 o používání rasově pružných syntetických avatarů, které využívají 3D syntézu obrazu pro vytváření videí tváří bohatých na informace o PPG.

Syntetické avatary vytvořené výzkumníky z Microsoftu, s ray-traced obrázky, které obsahují data PPG. Zdroj: https://arxiv.org/pdf/2010.12949.pdf. Kliknutím zvětšíte.