Tętnice siatkówkowe ujawniają rasę, rozszerzając zakres możliwości sztucznej inteligencji w zakresie uprzedzeń rasowych

Zainspirowani niedawnymi rewelacjami, że sztuczna inteligencja w medycynie może ujawniać rasę poprzez analizę zdjęć rentgenowskich, konsorcjum badawcze w Stanach Zjednoczonych i Wielkiej Brytanii przeprowadziło badanie, czy wzory tętnic siatkówkowych są wskazujące na rasę, i doszło do wniosku, że tak jest w istocie, a sztuczna inteligencja może przewidzieć rasę niemowląt na podstawie zdjęć siatkówki – zdjęć, które nie ujawniają tożsamości rasowej dla lekarza, i które wcześniej uważano za pozbawione potencjału ujawniania informacji o rasy.

Grupa wyraziła obawy, że ten dodatkowy wektor stratyfikacji rasowej w obrazowaniu medycznym otwiera możliwość zwiększonego uprzedzenia w stosowaniu systemów sztucznej inteligencji w opiece zdrowotnej.

Zdjęcia siatkówki od osoby czarnej i białej. Powyżej, pełnokolorowe zdjęcie siatkówki od każdej rasy już ma cechy rozróżniające rasę ze względu na dyspozycję koloru. Poniżej, mapy naczyń siatkówkowych pochodzące z tych zdjęć, które mają ‘wyrównywać’ te kotwice rasowe, tak naprawdę zawierają cechy identyfikujące rasę, zgodnie z nowym raportem. Źródło: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Autorzy zwracają uwagę na możliwość, że U-Net, ramy sztucznej inteligencji, które zdefiniowały ten sektor opieki zdrowotnej, i które zostały wytrenowane na przeważnie białych osobach*, mogą mieć wpływ na to zjawisko. Jednak autorzy twierdzą, że nie są w stanie w pełni wyjaśnić tych wyników na podstawie hipotezy U-Net.

Komentując wyniki w powiązanym repozytorium GitHub, autorzy stwierdzają:

Sztuczna inteligencja może wykryć rasę z map naczyń siatkówkowych w odcieniach szarości , które nie były uważane za zawierające informacje rasowe. Dwie możliwe wyjaśnienia tych wyników są takie, że: naczynia siatkówkowe różnią się fizjologicznie między czarnymi a białymi niemowlętami lub U-Net segmentuje naczynia siatkówkowe inaczej dla różnych pigmentacji siatkówki.

W każdym razie, implikacje pozostają takie same: algorytmy sztucznej inteligencji mają potencjał wykazywać uprzedzenia rasowe w praktyce, nawet gdy początkowe próby usunięcia takich informacji z podstawowych obrazów wydają się udane.

Artykuł jest zatytułowany Nie jesteśmy ślepi na kolor: sztuczna inteligencja przewiduje tożsamość rasową z czarno-białych segmentacji naczyń siatkówkowych, i jest równym współautorem lekarzy i badaczy z pięciu instytucji i departamentów badawczych w Stanach Zjednoczonych i jednej w Wielkiej Brytanii.

Lekarze biorący udział w konsorcjum badawczym to R.V. Paul Chan, MD, MSc, FACS, certyfikowany w okulistyce, i fellow Amerykańskiego Kolegium Chirurgów; Michael F. Chiang, M.D., Dyrektor Narodowego Instytutu Okulistyki w Narodowych Instytutach Zdrowia w Bethesda, Maryland; i J. Peter Campbell M.D., M.P.H., Associate Professor Okulistyki w Szkole Medycyny na Oregon Health & Science University w Portland.

Oczy mają to

Artykuł zwraca uwagę na wcześniej udowodniony potencjał uprzedzeń ludzkich do propagowania się w systemach medycznych sztucznej inteligencji, nie tylko w badaniach oczu*. Zdjęcia siatkówki (RFI, patrz porównanie powyżej), używane w ocenie chorób oczu, są pełnokolorowymi obrazami, które zawierają wystarczająco dużo informacji o pigmentacji, aby zidentyfikować rasę.

Mapy naczyń siatkówkowych w odcieniach szarości (RVM) odrzucają większość tych informacji, aby wyodrębnić podstawowy wzór naczyń krwionośnych, które mogą określać wiele stanów chorobowych. Zawsze zakładano, że na tym poziomie destylacji nie pozostają żadne cechy rasowe w takich redukcyjnych obrazach medycznych.

Autorzy przetestowali to założenie za pomocą zestawu danych RFI (pełnokolorowych zdjęć siatkówki) uzyskanych od niemowląt przebadanych pod kątem potencjalnie ślepnącej choroby. Przebadanie takich obrazów, autorzy zwracają uwagę, jest coraz częściej stosowane poza konsultacjami osobistymi, w telemedycynie i innych kontekstach diagnozy na odległość, i staje się coraz bardziej przedmiotem analizy sztucznej inteligencji.

Nowe badanie sprawdza, czy różne typy redukcyjnych wersji pełnokolorowych obrazów zawierają informacje o rasy, zgłoszone przez rodziców niemowląt, i stwierdziło, że nawet najbardziej destrukcyjne destylacje RFI (progowe, szkieletowe i binarne) umożliwiają pewien poziom identyfikacji rasowej.

Dane i metody

Dane z 245 niemowląt, zebrane między styczniem 2012 a lipcem 2020 jako część wieloцентrycznego badania i-ROP, zostały podzielone na zestawy szkoleniowe, walidacyjne i testowe w proporcji 50/20/30, odpowiednio, z naturalnym rozkładem ras zachowanym tak dobrze, jak to możliwe.

Pełnokolorowe RFI zostały zredukowane do trzech wymienionych wyżej redukcyjnych stylów obrazowania, tak aby ‘oczywiste’ markery rasowe zostały technicznie usunięte z danych.

Wielokrotne sieci neuronowe (CNN) zostały wytrenowane do klasyfikacji binarnej (‘czarny’/’biały’, na podstawie zgłoszonej rasy przez rodziców) za pomocą PyTorch. CNN przetworzyły dane we wszystkich wersjach obrazów, od RFI do wersji szkieletowych, stosując losowe odwrócenia i obrótki, z pochodnymi obrazami o rozdzielczości 224×244 pikseli.

Modele zostały wytrenowane z gradientem stochastycznym przez maksymalnie dziesięć epok z stałą szybkością uczenia się 0,001, i wczesne zatrzymanie zostało zaimplementowane i trening został zatrzymany, gdy zaobserwowano zbieżność po pięciu epokach (tj. model nie mógł być już bardziej dokładny).

Ponieważ istniał naturalny dysbalans demograficzny między białymi a czarnymi osobami, zastosowano rekompensatę, aby zapewnić, że źródła mniejszościowe nie były systematycznie dyskwalifikowane jako outliers, i wyniki zostały sprawdzone, aby potwierdzić, że nie wystąpiło przeciekanie danych w trakcie eksperymentów.

Przykłady map naczyń siatkówkowych z badania przy różnych poziomach tolerancji progowej.

Wyniki

Mapy naczyń siatkówkowych (RVM), które wyodrębniają naczynia krwionośne z pełnokolorowych obrazów RFI, nie powinny teoretycznie być rozróżnialne przez CNN, zgodnie z autorami. Jednak wyniki pokazały, że większa liczba głównych tętnic jest segmentowana przez U-Net dla oczu białych niż dla oczu czarnych.

W uwagach końcowych badacze zauważają ‘Stwierdziliśmy, że sztuczna inteligencja była w stanie przewidzieć rasę niemowląt z segmentacji naczyń siatkówkowych, które nie zawierały widocznych informacji o pigmentacji‘, i że ‘nawet obrazy, które wydawały się pozbawione informacji dla nieuzbrojonego oka, zawierały predykcyjne informacje o rasy niemowląt’. Badacze proponują również możliwość, że naczynia siatkówkowe czarnych i białych niemowląt różnią się ‘w jakiś sposób, który sztuczna inteligencja może docenić, ale ludzie nie’.

Czy uprzedzenie wcześniejsze?

Autorzy sugerują również, że dyskryminacja może być funkcją danych, na których U-Net został pierwotnie wytrenowany. Chociaż opisują to jako swoją ‘wiodącą teorię’, przyznają również, że możliwe, że zdolności czujników mogą być czynnikiem w tym zjawisku, jeśli okaże się, że odkryte uprzedzenie jest konsekwencją aspektów technicznych praktyk obrazowania siatkówki, lub że U-Net jest propagowany przez uprzedzenia w danych przez lata. Uwzględniając te możliwości, artykuł stwierdza:

Jednak U-Net został wytrenowany na RFI, które zostały najpierw przekonwertowane na obrazy w odcieniach szarości i poddane korekcji kontrastu — konkretnie, kontrastowi ograniczonemu przez histogram równy (CLAHE) — i nigdy nie był wytrenowany na pełnokolorowych RFI. Nie jesteśmy więc w stanie w pełni wyjaśnić tych wyników na podstawie hipotezy U-Net.

Jednak autorzy twierdzą, że przyczyna jest mniej niepokojąca niż efekt, stwierdzając, że zdolność modeli sztucznej inteligencji do rozróżniania rasy wiąże się z możliwym ‘ryzykiem uprzedzeń w algorytmach medycznych sztucznej inteligencji, które je wykorzystują jako dane wejściowe’.

Autorzy zwracają uwagę na wysoki kontrast między badanymi rasami i postulują, że ‘pośrednie’ grupy rasowe mogą być trudniejsze do identyfikacji w podobny sposób, i że jest to aspekt, który zamierzają zbadać w kolejnych i powiązanych pracach.

* Wszystkie podane przez artykuł linki, które są zawarte w tym artykule, zostały przekonwertowane z ograniczonych linków PaperPile na publicznie dostępne wersje online, gdzie to możliwe.