Dane syntetyczne: zmiana rasy na obrazach twarzy w celu wyeliminowania stronniczości w medycznych zbiorach danych

Naukowcy z UCLA opracowali metodę zmiany pozornej rasy twarzy w zbiorach danych używanych do szkolenia medycznych systemów uczenia maszynowego, próbując zaradzić uprzedzeniu rasowemu, na które cierpi wiele powszechnych zbiorów danych.

Połączenia nowa technika jest w stanie wygenerować fotorealistyczny i fizjologicznie dokładny syntetyczny obraz wideo ze średnią szybkością 0.005 sekundy na klatkę i ma pomóc w opracowaniu nowych systemów diagnostycznych do zdalnej diagnostyki i monitorowania opieki zdrowotnej – dziedziny, która znacznie się rozwinęła pod wpływem ograniczeń związanych z pandemią COVID. System ma na celu poprawę możliwości zastosowania zdalnej fotopletyzmografii (rPPG), technika widzenia komputerowego, która ocenia zawartość wideo twarzy w celu nieinwazyjnego wykrywania zmian objętościowych w dopływie krwi.

Źródło: https://arxiv.org/pdf/2106.06007.pdf. Kliknij, aby powiększyć.

Chociaż praca, w której wykorzystuje się splotowe sieci neuronowe (CNN), uwzględnia wcześniejszy kod badawczy opublikowany przez brytyjski Uniwersytet w Durham w 2020 r. nowa aplikacja ma na celu zachowanie sygnałów pulsacyjnych w oryginalnych danych testowych, a nie tylko wizualną zmianę pozornego wyścigu danych, jak ma to miejsce w badaniu z 2020 r.

CNN na rzecz transformacji rasowej

Pierwsza część systemu koder-dekoder wykorzystuje model transferu rasy Durham, na którym jest wstępnie przeszkolony VGGFace2, w celu wygenerowania zastępczych ramek docelowych z wcześniejszym komponentem kaukasko-afrykańskim z badań w Durham. Daje to płaskie przeniesienie cech rasowych, ale nie zawiera różnic w kolorze i odcieniu, które reprezentują wizualne, fizjologiczne wskaźniki stanu przepływu krwi pacjenta.

Plan transformacji z badania przeprowadzonego w Durham University w 2020 r., którego część została uwzględniona w nowym badaniu UCLA. Źródło: https://arxiv.org/pdf/2004.08945.pdf. Kliknij, aby powiększyć.

Druga sieć, zwana PhysResNet (PRN), zapewnia komponent rPPG. PhysResNet jest przeszkolony w zakresie uczenia się zarówno wyglądu, jak i zmian kolorów, które definiują ruchy objętości krwi podskórnej.

Na dole po lewej stronie wyniki uzyskane w ramach badania w Durham w 2020 r., bez informacji o PPG. Po środku po lewej stronie, informacje PPG uwzględnione w transformacji rasowej. Kliknij aby powiększyć.

Architektura zaproponowana w ramach projektu UCLA przewyższa konkurencyjne techniki rPPG nawet przy braku wzmocnienia koloru skóry, co stanowi poprawę o 31% w porównaniu z podobnymi technikami zoptymalizowanymi przy użyciu MAE i RMSE.

Sieć UCLA skutecznie przechowuje informacje o objętości i dystrybucji krwi. Kliknij aby powiększyć.

Badacze z UCLA mają nadzieję, że w przyszłych pracach podjęte zostaną bardziej zakrojone na szeroką skalę wyzwania mające na celu naprawienie uprzedzeń rasowych w tym sektorze obrazowania medycznego, a także mają nadzieję, że późniejsze projekty umożliwią uzyskanie obrazu wideo o wyższej rozdzielczości, ponieważ przedmiotowy system jest ograniczony do rozdzielczości 80 × 80 pikseli – dość dobrze dostosowane do ograniczeń telezdrowia, ale nie idealne.

Brak zróżnicowanych etnicznie zbiorów danych

Okoliczności ekonomiczne i praktyczne, które prowadzą do powstania zróżnicowanych rasowo zbiorów danych, od kilku lat stanowią przeszkodę w badaniach medycznych. Dane są zwykle generowane zaściankowo, a wiele czynników przyczynia się do częstej homogeniczności osób, których dotyczą dane, rasy kaukaskiej. Należą do nich skład demograficzny mniejszości w miastach, w których przeprowadzane są badania, oraz inne czynniki społeczno-ekonomiczne, które mogą mieć wpływ na stopień pojawiania się osób innych niż biała w zachodnich zbiorach danych, które według badaczy mogłyby mieć bardziej globalne zastosowanie.

W krajach o większym odsetku osób ciemnoskórych często brakuje sprzętu i zasobów niezbędnych do gromadzenia danych.

Mapa świata w odcieniu skóry dla rdzennej ludności, z American Journal of Physical Anthropology.

Obecnie osoby ciemnoskóre są szczególnie niedostatecznie reprezentowane w zbiorach danych rPPG i stanowią 0%, 5% i 10% zawartości trzech głównych baz danych powszechnie używanych do tego celu.

Jednorodne dane kaukaskie

W 2019 r. nowe badania opublikowany in nauka odkryli, że algorytm szeroko rozpowszechniony w amerykańskiej opiece szpitalnej był silnie stronniczy na korzyść pacjentów rasy kaukaskiej. Badanie wykazało, że osoby rasy czarnej rzadziej kierowano do opieki specjalistycznej w ramach segregacji pacjentów i głębszych hospitalizacji.

Dalsze badania w tym roku prowadzone przez badaczy z Malezji i Australii ustanowiony ogólny problem „stronniczości związanej z rasą własną” przy generowaniu zbiorów danych w wielu regionach świata, w tym w Azji.

Potencjalne ograniczenia skali i architektury

Niektóre ograniczenia, które doprowadziły do ​​powstania zbiorów danych o ograniczonym pochodzeniu etnicznym, mają raczej charakter pragmatyczny niż etyczny. Im większa jest mnogość danych składowych, tym lepiej uogólnia się je na podmioty uwzględnione w tych danych, ale tym mniej prawdopodobne jest, że program treningowy wykryje wzorce w ramach jakiejkolwiek pojedynczej cechy danych, w tym rasy, ponieważ mniejszy procent czasu treningu uwaga i zasoby są dostępne dla każdego możliwego do zidentyfikowania podzbioru danych.

Może to prowadzić do modeli, które mają szerokie zastosowanie, ale dają mniej szczegółowe wyniki ze względu na ograniczenia rozmiaru danych, ekonomikę wielkości partii i praktyczne ograniczenia ukrytej przestrzeni w funkcji ograniczonych zasobów sprzętowych.

Z drugiej strony, chociaż skuteczne i szczegółowe wyniki można uzyskać, ograniczając dane wejściowe do bardziej ograniczonego zestawu cech, w tym pochodzenia etnicznego, wyniki prawdopodobnie będą „nadmiernie dopasowane” do ograniczonych danych i nie będą miały szerokiego zastosowania, być może nawet wśród niewidzianych pacjentów na tym samym obszarze geograficznym, z którego uzyskano pierwotny zbiór danych.

Syntetyczne awatary do symulacji PPG

W artykule z Uniwersytetu Kalifornijskiego w Los Angeles odnotowano również wcześniejsze prace działu badawczego Microsoft z 2020 r. dotyczące wykorzystania syntetycznych awatarów podatnych na rasę, które wykorzystują syntezę obrazu 3D do tworzenia filmów zawierających twarze bogatych w informacje PPG.

Syntetyczne awatary stworzone w ramach badań firmy Microsoft, z obrazami wykorzystującymi śledzenie promieni i zawierającymi dane PPG. Źródło: https://arxiv.org/pdf/2010.12949.pdf. Kliknij, aby powiększyć.