Date sintetice: schimbarea rasei în imagini faciale pentru a aborda prejudecățile în seturile de date medicale

Cercetătorii de la UCLA au dezvoltat o metodă pentru a schimba rasa aparentă a fețelor în seturile de date utilizate pentru a antrena sistemele de învățare automată medicale, în încercarea de a remedia prejudecățile rasiale pe care multe seturi de date comune le suferă.

Noua tehnică este capabilă să producă videouri sintetice fotorealistice și fiziologic precise la o rată medie de 0,005 secunde pe cadru și se speră că va ajuta la dezvoltarea de noi sisteme de diagnosticare și monitorizare a sănătății la distanță – un domeniu care s-a extins considerabil sub restricțiile COVID. Sistemul este destinat să îmbunătățească aplicabilitatea fotoplethysmografiei la distanță (rPPG), o tehnică de vedere computerizată care evaluează conținutul video facial pentru a detecta modificările volumetrice ale aportului de sânge într-un mod neinvaziv.

Sursă: https://arxiv.org/pdf/2106.06007.pdf. Faceți clic pentru a mări.

Deși lucrarea, care utilizează rețele neuronale convolutive (CNN), incorporează codul de cercetare anterior publicat de Universitatea Durham din Regatul Unit în 2020, noua aplicație este destinată să preserveze semnalele pulsatile în datele de test originale, și nu doar să schimbe vizual rasa aparentă a datelor, așa cum face cercetarea din 2020.

CNN pentru transformarea rasială

Prima parte a sistemului encoder-decoder utilizează modelul de transfer rasial Durham, preantrenat pe VGGFace2, pentru a genera cadre țintă proxy cu componenta caucaziană-africană anterioară a cercetării Durham. Acest lucru produce o transferare plată a caracteristicilor rasiale, dar nu conține variațiile de culoare și ton care reprezintă indicatori fiziologici vizuali ai stării de flux sanguin a pacientului.

Pipeline-ul de transformare din cercetarea din 2020 a Universității Durham, parte a căruia este incorporată în noua cercetare UCLA. Sursă: https://arxiv.org/pdf/2004.08945.pdf. Faceți clic pentru a mări.

O a doua rețea, numită PhysResNet (PRN), oferă componenta rPPG. PhysResNet este antrenat pentru a învăța atât aspectul vizual, cât și variațiile de culoare care definesc mișcările volumetrice subcutanate ale sângelui.

Jos-stânga, rezultatele obținute de cercetarea din 2020 a Universității Durham, lipsite de informații PPG. Mijloc-stânga, informațiile PPG incorporate în transformarea rasială. Faceți clic pentru a mări.

Arhitectura propusă de proiectul UCLA depășește tehnicile rPPG concurente, chiar și în absența augmentării culorii pielii, reprezentând o îmbunătățire de 31% față de tehnici similare optimizate cu MAE și RMSE.

Rețeaua UCLA prezervează cu succes informațiile despre volumul și distribuția sângelui. Faceți clic pentru a mări.

Cercetătorii de la UCLA speră că lucrările viitoare vor aborda provocări mai extinse pentru a remedia prejudecățile rasiale în acest sector al imaginilor medicale și speră, de asemenea, că schemele ulterioare vor furniza videouri cu rezoluție mai mare, deoarece sistemul în cauză este limitat la o rezoluție de 80×80 de pixeli – adecvată în mod rezonabil pentru limitările teleasistenței, dar nu ideală.

Lipsa seturilor de date etnic diversificate

Circumstanțele economice și practice care duc la seturi de date rasial diversificate au fost un obstacol pentru cercetarea medicală de mai mulți ani. Datele tind să fie generate parohial, cu multe factori care contribuie la o frecventă omogenitate caucaziană a subiecților datelor. Acestea includ compoziția demografică a minorităților în orașele în care are loc cercetarea și alte factori socio-economici care pot influența extinderea subiecților non-albi în seturile de date occidentale pe care cercetătorii le-ar dori să aibă o aplicabilitate mai globală.

În țările cu o proporție mai mare de subiecți cu pielea întunecată, echipamentul și resursele necesare pentru a colecta datele sunt adesea lipsă.

O hartă a tonului pielii pentru popoarele indigene, din Journal of Physical Anthropology.

În prezent, subiecții cu pielea întunecată sunt subreprezentați în seturile de date rPPG, reprezentând 0%, 5% și 10% din conținutul celor trei baze de date principale utilizate în acest scop.

Date omogene caucaziene

În 2019, o nouă cercetare publicată în Science a descoperit că un algoritm larg răspândit în îngrijirea spitalicească din SUA era puternic polarizat în favoarea subiecților caucazieni. Studiul a constatat că persoanele de culoare erau mai puțin probabil să fie trimise la îngrijire specializată în triaj și niveluri mai profunde de admitere în spital.

O altă cercetare din acel an, realizată de cercetători din Malaysia și Australia a stabilit problema generală a “prejudecății rasiale” pentru generarea seturilor de date în multe regiuni ale lumii, inclusiv Asia.

Limitări potențiale de scară și arhitectură

Unele dintre limitările care au condus la seturi de date cu etnie limitată sunt de natură pragmatică, mai degrabă decât etică. Cu cât pluralitatea datelor contribuitoare este mai mare, cu atât mai bine se generalizează pe subiecții prezentați în aceste date, dar cu atât mai puțin timpul de antrenare, atenția și resursele sunt disponibile pentru fiecare subset identificabil de date, inclusiv rasa.

Acest lucru poate duce la modele care sunt larg aplicabile, dar obțin rezultate mai puțin specifice, din cauza limitărilor dimensiunii datelor, economiei dimensiunii lotului și limitărilor practice ale spațiului latent ca funcție a resurselor hardware limitate.

La extremă opusă, deși rezultate eficiente și granulare pot fi obținute prin limitarea datelor de intrare la un set mai limitat de caracteristici, inclusiv etnia, rezultatele sunt probabil să fie “supraantrenate” pe datele limitate și nu vor fi aplicabile în mod larg, poate chiar și pe subiecți nevizibili din aceeași zonă geografică din care au fost obținute subiecții setului de date original.

Avatare sintetice pentru simularea PPG

Articolul UCLA menționează, de asemenea, lucrări anterioare ale Microsoft Research din 2020 privind utilizarea avatarelor sintetice flexibile rasial, care utilizează sinteza de imagini 3D pentru a crea videouri faciale bogate în informații PPG.

Avatare sintetice create de cercetarea Microsoft, cu imagini ray-traced care conțin date PPG. Sursă: https://arxiv.org/pdf/2010.12949.pdf. Faceți clic pentru a mări.