Date Synthetice: Schimbarea Rasei În Imagini Faciale Pentru A Aborda Prejudecățile În Seturile De Date Medicale

Cercetătorii de la UCLA au dezvoltat o metodă pentru a schimba rasa aparentă a fețelor în seturile de date utilizate pentru a antrena sistemele de învățare automată medicale, în încercarea de a remedia prejudecățile rasiale pe care multe seturi de date comune le suferă.

Technica nouă este capabilă să producă videoclipuri sintetice fotorealiste și fiziologic precise la o rată medie de 0,005 secunde pe cadru și se speră că va ajuta la dezvoltarea de noi sisteme de diagnosticare și monitorizare a sănătății la distanță – un domeniu care s-a extins considerabil sub restricțiile COVID. Sistemul este destinat să îmbunătățească aplicabilitatea fotopletismografiei la distanță (rPPG), o tehnică de vizualizare computerizată care evaluează conținutul video facial pentru a detecta modificări volumetrice în aportul de sânge în mod neinvaziv.

Sursă: https://arxiv.org/pdf/2106.06007.pdf. Faceți clic pentru a mări.

Deși lucrarea, care utilizează rețele neuronale convolutive (CNN), incorporează codul de cercetare anterior publicat de Universitatea Durham în 2020, noua aplicație este destinată să păstreze semnalele pulsatile în datele de test originale, și nu doar să schimbe aparent rasa datelor, așa cum face cercetarea din 2020.

CNN-urile Pentru Transformarea Rasei

Prima parte a sistemului encoder-decoder utilizează modelul de transfer al rasei de la Durham, pre-antrenat pe VGGFace2, pentru a genera cadre țintă proxy cu componenta caucaziană-africană anterioară a cercetării de la Durham. Acest lucru produce o transferare plană a caracteristicilor rasei, dar nu conține variațiile de culoare și ton care reprezintă indicatori fiziologici vizuali ai stării fluxului sanguin al pacientului.

Pipeline-ul de transformare din cercetarea din 2020 a Universității Durham, parte a căruia este incorporată în noua cercetare UCLA. Sursă: https://arxiv.org/pdf/2004.08945.pdf. Faceți clic pentru a mări.

O a doua rețea, numită PhysResNet (PRN), oferă componenta rPPG. PhysResNet este antrenat pentru a învăța atât aspectul vizual, cât și variațiile de culoare care definesc mișcările volumului sanguin subcutanat.

jos-stânga, rezultatele obținute de cercetarea din 2020 a Universității Durham, lipsite de informații PPG. Stânga-mijloc, informațiile PPG incorporate în transformarea rasei. Faceți clic pentru a mări.

Arhitectura propusă de proiectul UCLA depășește tehniciile rPPG concurente, chiar și în absența augmentării culorii pielii, reprezentând o îmbunătățire de 31% față de tehnici similare optimizate cu MAE și RMSE.

Rețeaua UCLA păstrează cu succes informațiile despre volumul și distribuția sanguină. Faceți clic pentru a mări.

Cercetătorii de la UCLA speră că lucrările viitoare vor întreprinde provocări mai extinse pentru a remedia prejudecățile rasiale în acest sector al imaginilor medicale și speră, de asemenea, că schemele ulterioare vor produce videoclipuri de înaltă rezoluție, deoarece sistemul în cauză este limitat la o rezoluție de 80×80 de pixeli – adecvată în mod rezonabil pentru limitările telemedicinei, dar nu ideală.

Lipsa Seturilor De Date Etnic Diverse

Circumstanțele economice și practice care duc la seturi de date rasial diverse au fost un obstacol pentru cercetarea medicală de mai mulți ani. Datele tind să fie generate în mod parohial, cu mulți factori care contribuie la o frecventă omogenitate caucaziană a subiecților datelor. Acești factori includ compoziția demografică a minorităților în orașele în care are loc cercetarea și alți factori socio-economici care pot influența măsura în care subiecții non-albi apar în seturile de date occidentale pe care cercetătorii ar dori să le aibă o aplicabilitate mai globală.

În țările cu o proporție mai mare de subiecți cu piele întunecată, echipamentul și resursele necesare pentru a colecta datele sunt adesea lipsă.

O hartă a tonului pielii pentru popoarele indigene, din Journal of Physical Anthropology.

În prezent, subiecții cu piele întunecată sunt subreprezentați în mod semnificativ în seturile de date rPPG, reprezentând 0%, 5% și 10% din conținutul celor trei baze de date principale utilizate în acest scop.

Date Omogene Caucaziene

În 2019, o nouă cercetare publicată în Science a descoperit că un algoritm larg răspândit în îngrijirea spitalicească din SUA era puternic polarizat în favoarea subiecților caucazieni. Studiul a constatat că persoanele de culoare erau mai puțin probabil să fie trimise la îngrijire specializată în triaj și niveluri mai profunde de admitere în spital.

O altă cercetare din acel an, efectuată de cercetători din Malaysia și Australia a stabilit problema generală a “prejudecății proprii rase” pentru generarea seturilor de date în multe regiuni ale lumii, inclusiv Asia.

Limitări Potențiale De Scară Și Arhitectură

Unele dintre limitările care au dus la seturi de date cu etnie limitată sunt de natură pragmatică, mai degrabă decât etică. Cu cât pluralitatea datelor contribuitoare este mai mare, cu atât mai bine se generalizează pe subiecții prezentați în aceste date, dar cu atât mai puțin este probabil ca rutina de antrenare să intuiască modele în cadrul oricărui caracteristică a datelor, inclusiv rasa, deoarece o proporție mai mică a timpului de antrenare, atenției și resurselor este disponibilă pentru fiecare subset identificabil de date.

Acest lucru poate duce la modele care sunt larg aplicabile, dar obțin rezultate mai puțin specifice, datorită limitărilor dimensiunii datelor, economiei dimensiunii batch-ului și limitărilor practice ale spațiului latent ca funcție a resurselor hardware limitate.

La cealaltă extremă, deși rezultate eficiente și granulare pot fi obținute prin constrângerea datelor de intrare la un set mai limitat de caracteristici, inclusiv etnia, rezultatele sunt probabil să fie “supra-ajustate” la datele limitate și nu vor fi larg aplicabile, poate chiar și pe subiecți nevizibili din aceeași zonă geografică din care au fost obținute subiecții setului de date original.

Avatare Sintetice Pentru Simularea PPG

Articolul UCLA menționează, de asemenea, lucrările anterioare ale cercetătorilor de la Microsoft din 2020 privind utilizarea avatarelor sintetice flexibile din punct de vedere rasial, care folosesc sinteza de imagini 3D pentru a crea videoclipuri cu fețe bogate în informații PPG.

Avatare sintetice create de cercetătorii de la Microsoft, cu imagini cu raze trase care conțin date PPG. Sursă: https://arxiv.org/pdf/2010.12949.pdf. Faceți clic pentru a mări.