Modele AI Wytrenowane Na Zasobach Z Uwzględnieniem Płci Wykonują Gorzej Przy Diagnozowaniu Chorób

Ostatnio opublikowano badanie w czasopiśmie PNAS, przeprowadzone przez badaczy z Argentyny, które sugeruje, że obecność danych szkoleniowych z uwzględnieniem płci prowadzi do gorszego działania modelu przy diagnozowaniu chorób i innych problemów medycznych. Jak donosi Statsnews, zespół badaczy przeprowadził eksperymenty z trenowaniem modeli, w których pacjentki płci żeńskiej były znacznie niedoreprezentowane lub całkowicie wykluczone, i stwierdzono, że algorytm działał znacznie gorzej przy diagnozowaniu ich. To samo dotyczyło przypadków, w których pacjenci płci męskiej byli wykluczeni lub niedoreprezentowani.

W ciągu ostatnich pięciu lat, gdy modele AI i uczenie maszynowe stały się bardziej powszechne, zwrócono większą uwagę na problemy związane z danych danych i wynikającymi z nich tendencyjnymi modelami uczenia maszynowego. Tendencyjność danych w uczeniu maszynowym może prowadzić do niezręcznych, szkodliwych społecznie i wykluczających aplikacji AI, ale w przypadku aplikacji medycznych życie może być na granicy. Jednakże, pomimo świadomości problemu, niewiele badań próbowało zmierzyć, jak szkodliwe mogą być tendencyjne zestawy danych. Badanie przeprowadzone przez zespół badawczy wykazało, że tendencyjność danych może mieć bardziej ekstremalne skutki niż wcześniej szacowali eksperci.

Jednym z najpopularniejszych zastosowań AI w ostatnich latach w kontekście medycznym było stosowanie modeli AI do diagnozowania pacjentów na podstawie obrazów medycznych. Zespół badawczy analizował modele stosowane do wykrywania obecności różnych chorób, takich jak zapalenie płuc, kardiomegalia lub przepukliny, na zdjęciach rentgenowskich. Zespół badawczy badał trzy architektury modeli open-source: Inception-v3, ResNet i DenseNet-121. Modele te były trenowane na zdjęciach rentgenowskich z dwóch zestawów danych open-source pochodzących z Uniwersytetu Stanforda i Narodowych Instytutów Zdrowia. Chociaż same zestawy danych są dość zbalansowane pod względem reprezentacji płci, badacze sztucznie zmienili dane, dzieląc je na podzbiory, w których występowała nierównowaga płciowa.

Zespół badawczy utworzył pięć różnych zestawów danych szkoleniowych, każdy składający się z różnych proporcji skanów pacjentów płci męskiej i żeńskiej. Pięć zestawów szkoleniowych zostało podzielonych w następujący sposób:

• Wszystkie obrazy były pacjentów płci męskiej
• Wszystkie obrazy były pacjentów płci żeńskiej
• 25% pacjentów płci męskiej i 75% pacjentów płci żeńskiej
• 75% pacjentów płci żeńskiej i 25% pacjentów płci męskiej
• Połowa pacjentów płci męskiej i połowa pacjentów płci żeńskiej

Po przeszkoleniu modelu na jednym z podzbiorów, został on przetestowany na kolekcji skanów od pacjentów obu płci. Był widoczny wyraźny trend, który był obecny w różnych chorobach, dokładność modeli była znacznie gorsza, gdy dane szkoleniowe były znacznie związane z płcią. Interesującą rzeczą do zauważenia jest to, że jeśli jeden z płci był nadreprezentowany w danych szkoleniowych, nie wydawał się korzystać z nadreprezentacji. Niezależnie od tego, czy model został przeszkolony na danych związanych z jedną płcią czy z drugą, nie działał lepiej na tej płci w porównaniu z sytuacją, w której został przeszkolony na inkluzjonistycznym zestawie danych.

Starszy autor badania, Enzo Ferrante, był cytowany przez Statnews jako wyjaśniający, że badanie podkreśla, jak ważne jest, aby dane szkoleniowe były różnorodne i reprezentatywne dla wszystkich populacji, które mają być testowane w modelu.

Nie jest całkowicie jasne, dlaczego modele trenowane na jednej płci wykonują gorzej, gdy są wdrażane na innej płci. Niektóre z niezgodności mogą wynikać z różnic fizjologicznych, ale różne czynniki społeczne i kulturowe mogą również powodować część z tych różnic. Na przykład kobiety mogą otrzymywać zdjęcia rentgenowskie na innym etapie postępu choroby w porównaniu z mężczyznami. Jeśli tak jest, może to wpłynąć na cechy (i tym samym wzorce nauczone przez model) znalezione w obrazach szkoleniowych. Jeśli tak jest, utrudnia to badaczom usunięcie tendencyjności z ich zestawów danych, ponieważ tendencyjność jest wbudowana w zestaw danych za pomocą mechanizmów zbierania danych.

Nawet badacze, którzy zwracają uwagę na różnorodność danych, czasami nie mają wyboru i muszą pracować z danymi, które są skrzywione lub tendencyjne. Sytuacje, w których występuje dysproporcja w diagnozowaniu chorób, często prowadzą do nierównowagi danych. Na przykład dane na temat pacjentów z rakiem piersi są prawie całkowicie zbierane od kobiet. Podobnie, autyzm manifestuje się inaczej u kobiet i mężczyzn, w wyniku czego stan jest diagnozowany znacznie częściej u chłopców niż u dziewcząt.

Pomimo to jest niezwykle ważne, aby badacze kontrolowali skrzywione dane i tendencyjność danych w każdy możliwy sposób. W tym celu przyszłe badania pomogą badaczom zmierzyć wpływ tendencyjnych danych.