Kąt Andersona
Dane medyczne anonimowe sprzed dziesięcioleci mogą teraz powodować błędne diagnozy AI
Dodaj Unite.AI do preferowanych źródeł w Google
Według nowej współpracy badawczej między Niemcami a Wielką Brytanią, anonimowe rekordy pacjentów, które zostały uwzględnione w zestawach danych medycznych jeszcze dekady temu, mogą spowodować, że systemy AI szkolone na nich rozpoznają prawdziwego pacjenta lata później – i potraktują pacjenta w 2026 roku tak, jakby był w 2012 (lub w którymkolwiek roku, w którym ich anonimowe dane pacjenta po raz pierwszy znalazły się w zestawie danych).
To może oznaczać na przykład, że pacjent, u którego 20 lat temu odnotowano leczenie nowotworowe, a który później przeszedł długotrwałą remisję, może teraz być traktowany przez system AI w kontekście jego starszej, zmagającej się z rakiem wersji – co logicznie może zwiększyć ryzyko fałszywej diagnozy nawrotu.
Natomiast, jeśli wersja danych tego pacjenta z 2012 roku odzwierciedlała doskonałe zdrowie w rutynowych badaniach, taki optymistyczny punkt widzenia mógłby potencjalnie zostać nałożony na starszą, aktualną wersję pacjenta, maskując wykrycie nowych schorzeń lub problemów, które mogą wymagać leczenia.
Z nowego artykułu, ilustracja tego, jak uprzedzenie zapamiętywania może wpływać na powracającego pacjenta. Model wytrenowany na wcześniejszych zdrowych EKG Alicji przyznaje jedynie 15 % prawdopodobieństwa jej późniejszego zawału serca, w porównaniu z 73 % dla modelu, który nigdy nie widział jej historycznych zapisów. Źródło
Ograniczanie ‘Data Immigration’
Scenariusz ten staje się bardziej prawdopodobny ze względu na różne krajowe i regionalne dyrektywy zalecające, aby dane pacjentów do takich celów pochodziły idealnie z kraju, w którym mają być wykorzystywane systemy z nich wywodzące się, co „lokalizuje” pulę pacjentów w zestawach danych i znacząco zwiększa ryzyko tego rodzaju niewykrytego zdarzenia dezanonimizacji.
Z wnioskowania wynika, że ograniczenie dostępnej ilości danych wyłącznie do krajowego zestawu zwiększa ryzyko zapamiętywania – możliwości, że model zobaczy te same dane tak wielokrotnie podczas treningu, że stanie się „zafiksowany” na tych nadmiernie wyuczonych wzorcach. Natomiast im większy i bardziej zróżnicowany jest zestaw danych, tym bardziej prawdopodobne jest, że będzie uogólniać na nieznane dane po treningu, zamiast zapamiętywać konkretne punkty danych lub konfiguracje.
Jednak dodanie „zagranicznych” danych medycznych niesie ryzyko wprowadzenia dowodów na krajowe trendy zdrowotne i idiosynkrazje, które nie miałby zastosowanie w kraju, w którym wdrażany jest wytrenowany model; w tym kontekście, jak przyznaje nowy artykuł, pewien stopień zapamiętywania jest odpowiedni i użyteczny, ponieważ pomaga modelowi działać w ramach najprawdopodobniej ogólnych cech medycznych konkretnej populacji.
Artykuł stwierdza*:
‘[When] modele są wdrażane prospektywnie, zapamiętywanie tworzy specyficzne i niedoceniane ryzyko. Ponieważ rekordy pacjenta są wysoce samopodobne w czasie, przyszły rekord może działać jako częściowy sygnał dla zapamiętanego historycznego rekordu, przesuwając prognozy modelu w kierunku wcześniejszego stanu zdrowia pacjenta.
To nie jest hipotetyczny scenariusz. Modele AI w medycynie są rutynowo wdrażane na tej samej populacji, z której pochodziły ich dane treningowe.
‘Na przykład, niemiecki krajowy program przesiewowy w kierunku raka piersi program używa modelu AI wytrenowanego na 1,2 miliona mammografii pochodzących z tej samej populacji przesiewowej, którą teraz obsługuje.
‘Porównywalne wdrożenie jest prowadzone w innych miejscach, w tym w krajowych programach przesiewowych w kierunku raka piersi w Wielkiej Brytanii i Szwecji.
‘Regulacyjne wytyczne aktywnie zachęcają do tego, z EU AI Act wymagającym, aby dane treningowe odzwierciedlały geograficzne i kontekstowe otoczenie zamierzonego zastosowania (Art. 10(4)), oraz podobne międzynarodowe wytyczne dla rozwoju medycznej AI, które domagają się, aby docelowa populacja pacjentów była wystarczająco reprezentowana w zestawie danych treningowych modelu.’
Utrzymująca się historyczna katastrofa..?
Choć artykuł nie porusza tej kwestii, wydaje się statystycznie logiczne, że pacjenci, którzy nie regularnie uczęszczali na badania kontrolne przez całe życie, a ich anonimowe rekordy okresowo trafiały do strumienia danych AI, prawdopodobnie pojawiają się w anonimowych danych pacjentów prawie wyłącznie w momentach, gdy potrzebowali leczenia – co zwiększa szansę „projekcji” dawno wyleczonego schorzenia na tego samego pacjenta teraz, ponieważ rekordy nie mają „zdrowego” kontrapunktu.
Potwierdzają to wcześniejsze badania dotyczące ‘informed presence bias’ w elektronicznych rekordach zdrowotnych, wykazujące, że zestawy danych medycznych nieproporcjonalnie reprezentują okresy, gdy pacjenci są chorzy i korzystają z usług opieki zdrowotnej.
W 2022 roku około 76% dorosłych w USA zadeklarowało, że przeszło rutynową kontrolę w ciągu ostatniego roku, zdefiniowaną przez CDC jako ogólne badanie fizykalne, a nie leczenie konkretnego schorzenia; natomiast w Europie, wielonarodowa ankieta z 2023 roku ustaliła, że 58% uczestników przeszło przynajmniej niektóre badania profilaktyczne, lecz tylko 15% wzięło udział we wszystkich wizytach profilaktycznych uznawanych za istotne.
Zakres efektu
Badanie przetestowało efekt na czterech dużych zestawach danych medycznych, obejmujących zapisy EKG, zdjęcia rentgenowskie klatki piersiowej oraz elektroniczne rekordy zdrowotne; mianowicie MIMIC-CXR chest X-ray database i MIMIC-IV-ED rekordy opieki ratunkowej, obok MIMIC-ECG oraz znacznie większej kolekcji EKG HEEDB. Zbiory danych obejmowały od dziesiątek tysięcy pacjentów do ponad 1,8 miliona osób.
Autorzy zauważają, że obliczony efekt różni się znacznie, przy czym zmiany przewidywanego prawdopodobieństwa przekraczają 70 punktów procentowych w niektórych przypadkach:
Wyniki pokazujące, jak historyczne dane pacjenta zmieniają późniejsze prognozy. Górne panele porównują częstotliwość i wielkość tych zmian w czterech zestawach danych; dolne panele pokazują, jak efekt zmienia się w czasie od ostatniego rekordu treningowego pacjenta. Znaczące efekty stają się rzadziej występujące z upływem czasu, ale pozostają wykrywalne nawet po dziesięcioleciach.
Jako kontrolę badacze losowo podzielili modele na grupy i powtórzyli porównanie, choć nie spowodowało to istotnych zmian w przyszłych prognozach.
Efekt, jak zauważa artykuł, może również utrzymywać się przez dziesięciolecia. Choć zazwyczaj stawał się słabszy i rzadszy w miarę zwiększania się odstępu między rekordami, zestaw danych HEEDB, zawierający EKG zebrane od lat 80. XX wieku do 2025 roku, wykazał znaczące zmiany w prognozach ponad 25 lat po najnowszym rekordzie treningowym pacjenta.
Szkody diagnostyczne
Badacze nowego artykułu – zatytułowanego Memorisation bias in medical AI – następnie symulowali, jak pamięciowość może wpływać na dokładność diagnostyczną, gdy pacjenci później spotykają model wytrenowany na ich wcześniejszych rekordach.
Przypadki przyszłe podzielono według tego, czy pacjent rozwinął nowe schorzenie; brakowało go w ich historycznych danych treningowych; lub czy powrócił praktycznie w tym samym stanie zdrowia.
Dla nowych schorzeń efekt okazał się konsekwentnie negatywny, ponieważ modele, które wcześniej widziały historyczne rekordy pacjenta, wykazywały niższą czułość w szerokim zakresie diagnoz reprezentowanych w czterech zestawach danych. Obejmuje to zawały i inne nieprawidłowości EKG; choroby płuc; oraz szersze wyniki krytyczne.
W praktyce modele generowały więcej wyników fałszywie negatywnych, gdy stan zdrowia pacjenta uległ zmianie; ale gdy stan zdrowia pacjenta nie uległ zmianie, pamięć modelu o ich wcześniejszych rekordach zwiększała prawdopodobieństwo postawienia prawidłowej diagnozy. Zarówno czułość, jak i swoistość wzrosły, ponieważ aktualny stan pacjenta przypominał stan już reprezentowany w danych treningowych.
Autorzy zauważają, że może to utrudniać dokładną ocenę takich systemów: jeśli większość powracających pacjentów nadal ma te same schorzenia, model będzie w ich przypadku lepiej działał, co może ukrywać jego niższą czułość wobec pacjentów, u których rozwinęły się nowe schorzenia.
Środki zaradcze
Jako możliwy środek ochronny badacze przetestowali prywatność różnicową (która ogranicza, jak wiele informacji o dowolnym pojedynczym przykładzie treningowym może być zachowane przez model) podczas treningu.
Chociaż ochrona indywidualnych rekordów zmniejszyła efekt pamięciowy, nie wyeliminowała go, nawet przy najsilniejszym testowanym ustawieniu. Zastosowanie ochrony na poziomie pacjenta, obejmującej wszystkie rekordy należące do tej samej osoby, było znacznie skuteczniejsze i prawie wyeliminowało efekt.
Należy jednak zauważyć, że jeśli zestaw danych został nieodwracalnie zanonimizowany, danych pacjenta nie można odizolować w sposób umożliwiający stosowanie takich metod; oraz, jak zauważają badacze, jeśli zestaw danych nie jest trenowany z włączoną ochroną differential privacy, ataki inferencji członkostwa stają się ryzykiem; jeśli jest, zasoby niezbędne do treningu znacznie rosną.
Wnioski
Autorzy kończą, zauważając, że choć niepokojące incydenty obecnie występują w stosunkowo niskim wskaźniku, może to ulec zmianie w przyszłości*:
‘Istnieje powód, by oczekiwać, że liczba pominiętych diagnoz wynikających z uprzedzenia pamięciowego wzrośnie w przyszłości, choć nie testujemy tego bezpośrednio. Wcześniejsze badania wykazały, że odsetek danych treningowych, które model zapamiętuje, rośnie wraz ze zdolnością modelu [6, 7, 9, 10, 40].’
‘To budzi niepokój, biorąc pod uwagę, że obecny rozwój modeli AI jest kierowany „prawami skalowania” [41], które napędzają szybki wzrost zarówno rozmiarów modeli, jak i zestawów danych w dążeniu do lepszej wydajności.’
‘W miarę jak większe modele AI są trenowane na danych historycznych pochodzących z coraz większych populacji pacjentów, absolutna liczba osób dotkniętych uprzedzeniem pamięciowym prawdopodobnie wzrośnie drastycznie, nasilając ryzyka, które tutaj identyfikujemy.’
* Moja konwersja cytowań w tekście autorów na hiperłącza, z pewną interpretacją tam, gdzie dokładne odtworzenie nie jest możliwe lub przydatne.
Po raz pierwszy opublikowano w piątek, 18 września 2026
