Syntetyczne dane: Zmiana rasy w obrazach twarzy w celu rozwiązania problemu skłonności w zbiorach danych medycznych

Badacze z UCLA opracowali metodę zmiany wyraźnej rasy twarzy w zbiorach danych wykorzystywanych do szkolenia systemów medycznych opartych na maszynach, w celu rozwiązania problemu skłonności rasowej, który dotyka wiele powszechnych zbiorów danych.

Nowa technika umożliwia tworzenie fotorealistycznych i fizjologicznie dokładnych syntetycznych filmów wideo ze średnią szybkością 0,005 sekund na klatkę, i ma na celu wspomóc rozwój nowych systemów diagnostyki i monitorowania zdalnego, co jest szczególnie ważne w czasie ograniczeń związanych z COVID. System ma na celu poprawę stosowalności zdalnej fotoplethysmografii (rPPG), techniki wizji komputerowej, która ocenia zawartość filmu twarzy w celu wykrycia zmian objętości krwi w sposób nieinwazyjny.

Źródło: https://arxiv.org/pdf/2106.06007.pdf. Kliknij, aby powiększyć.

Chociaż praca, która wykorzystuje sieci neuronowe współdziałające (CNN), wykorzystuje poprzedni kod badawczy opublikowany przez Uniwersytet Durham w 2020 roku, nowe zastosowanie ma na celu zachowanie sygnałów pulsacyjnych w oryginalnych danych testowych, a nie tylko wizualną zmianę wyraźnej rasy danych, jak to robi badanie z 2020 roku.

CNN dla transformacji rasowej

Pierwsza część systemu kodera-dekodera wykorzystuje model transferu rasy Durham, wstępnie wyszkolony na VGGFace2, w celu wygenerowania proxy ramki docelowej z wcześniejszym składnikiem kaukasko-afrykańskim badań Durham. To powoduje płaską transformację cech rasowych, ale nie zawiera zmian koloru i odcienia, które reprezentują wizualne wskaźniki fizjologiczne stanu krwi pacjenta.

Potok transformacji z badań z 2020 roku przez Uniwersytet Durham, część którego została zintegrowana z nowymi badaniami UCLA. Źródło: https://arxiv.org/pdf/2004.08945.pdf. Kliknij, aby powiększyć.

Druga sieć, nazwana PhysResNet (PRN), zapewnia składnik rPPG. PhysResNet jest szkolony, aby nauczyć się zarówno wyglądu wizualnego, jak i zmian koloru, które definiują ruchy objętości krwi podskórnej.

Dolny lewy, wyniki uzyskane przez badania z 2020 roku, brak informacji PPG. Środkowy lewy, informacje PPG uwzględnione w transformacji rasowej. Kliknij, aby powiększyć.

Architektura proponowana przez projekt UCLA przewyższa techniki rPPG nawet w przypadku braku augmentacji koloru skóry, co stanowi 31% poprawę w porównaniu z podobnymi technikami zoptymalizowanymi za pomocą MAE i RMSE.

Sieć UCLA pomyślnie zachowuje informacje o objętości i dystrybucji krwi. Kliknij, aby powiększyć.

Badacze z UCLA mają nadzieję, że przyszłe prace podejmą bardziej obszerne wyzwania w celu rozwiązania problemu skłonności rasowej w tej dziedzinie obrazowania medycznego, i mają nadzieję, że późniejsze schematy wyprodukują filmy wideo o wyższej rozdzielczości, ponieważ system w question jest ograniczony do rozdzielczości 80×80 pikseli – co jest wystarczająco dobrze dostosowane do ograniczeń telezdrowia, ale nie idealne.

Brak zbiorów danych etnicznie zróżnicowanych

Okoliczności ekonomiczne i praktyczne, które prowadzą do zbiorów danych rasowo zróżnicowanych, były przeszkodą w badaniach medycznych przez wiele lat. Dane są generowane lokalnie, z wieloma czynnikami, które przyczyniają się do częstej homogeniczności danych pod względem rasy, w tym składu demografii mniejszości w miastach, w których prowadzone są badania, oraz innych czynników społeczno-ekonomicznych, które mogą wpływać na stopień, w jakim podmioty nie-białe pojawiają się w zachodnich zbiorach danych, które badacze chcieliby, aby miały bardziej globalne zastosowanie.

W krajach o wyższym odsetku osób o ciemnej skórze, niezbędne urządzenia i zasoby do gromadzenia danych są często niedostępne.

Mapa tonów skóry dla ludów rdzennych, z American Journal of Physical Anthropology.

Obecnie osoby o ciemnej skórze są zauważalnie niedoreprezentowane w zbiorach danych rPPG, stanowiąc 0%, 5% i 10% zawartości trzech głównych baz danych używanych do tego celu.

Dane homogeniczne kaukaskie

W 2019 roku nowe badanie opublikowane w Science wykazało, że algorytm szeroko rozpowszechniony w opiece zdrowotnej w USA był silnie spolaryzowany na korzyść osób rasy kaukaskiej. Badanie wykazało, że osoby czarne były mniej prawdopodobne, aby zostać skierowane do specjalistycznej opieki w triażu i głębszych poziomach przyjęcia do szpitala.

Dalsze badania w tym samym roku przeprowadzone przez badaczy z Malezji i Australii ustaliły ogólny problem ‘własnej skłonności rasowej’ dla generowania zbiorów danych w wielu regionach świata, w tym w Azji.

Potencjalne ograniczenia skali i architektury

Niektóre z ograniczeń, które doprowadziły do zbiorów danych o ograniczonej etniczności, są natury praktycznej, a nie etycznej. Im bardziej zróżnicowane są dane, tym lepiej generalizują one na podmioty przedstawione w tych danych, ale tym mniej rutyna szkoleniowa jest w stanie intuicyjnie rozpoznać wzorce w ramach pojedynczej cechy danych, w tym rasy, ponieważ mniejszy procent czasu szkolenia, uwagi i zasobów jest dostępny dla każdego podzbioru danych.

To może prowadzić do modeli, które są szeroko stosowalne, ale uzyskują mniej specyficzne wyniki, ze względu na ograniczenia rozmiaru danych, ekonomiki rozmiaru partii i praktyczne ograniczenia przestrzeni latentnej jako funkcji ograniczonych zasobów sprzętowych.

Z drugiej strony, chociaż skuteczne i szczegółowe wyniki mogą być uzyskane przez ograniczenie danych wejściowych do bardziej ograniczonego zestawu cech, w tym etniczności, wyniki są prawdopodobnie ‘przeuczane’ do ograniczonych danych i nie są szeroko stosowalne, nawet w przypadku niewidocznych podmiotów w tej samej okolicy geograficznej, z której pochodzą oryginalne dane.

Syntetyczne awatary dla symulacji PPG

Artykuł UCLA zauważa również wcześniejsze badania przeprowadzone przez Microsoft Research w 2020 roku na temat użycia syntetycznych awatarów o elastycznej rasie, które wykorzystują syntezę obrazu 3D do tworzenia filmów wideo twarzy bogatych w informacje PPG.

Syntetyczne awatary stworzone przez badania Microsoft, z obrazami śledzonymi, które zawierają dane PPG. Źródło: https://arxiv.org/pdf/2010.12949.pdf. Kliknij, aby powiększyć.