Dziesięciolecia stare zanonimizowane dane medyczne mogą teraz powodować błędne diagnozy AI

Według nowej współpracy badawczej między Niemcami a Wielką Brytanią, zanonimizowane rekordy pacjentów, które zostały uwzględnione w zestawach danych medycznych jeszcze dekady temu, mogą spowodować, że systemy AI wytrenowane na nich rozpoznają prawdziwego pacjenta lata później – i potraktują pacjenta w 2026 roku tak, jakby był w 2012 (lub w którymkolwiek roku, w którym ich zanonimizowane dane pacjenta po raz pierwszy znalazły się w zestawie danych).

Może to oznaczać na przykład, że pacjent, u którego 20 lat temu odnotowano leczenie nowotworu i który później przeszedł długotrwałą remisję, może teraz być traktowany przez system AI w kontekście ich starszej, dotkniętej rakiem wersji – co logicznie zwiększa szanse na fałszywą diagnozę nawrotu.

Odwrócona sytuacja: jeśli wersja danych tego pacjenta z 2012 roku odzwierciedlała doskonałe zdrowie w rutynowych badaniach, ten optymistyczny punkt widzenia mógłby zostać nałożony na starszą, aktualną wersję pacjenta, maskując wykrycie nowych schorzeń lub problemów, które mogą wymagać leczenia.

Z nowego artykułu, ilustracja tego, jak uprzedzenie pamięciowe może wpływać na powracającego pacjenta. Model wytrenowany na wcześniejszych zdrowych EKG Alicji przypisuje jedynie 15 % prawdopodobieństwa jej późniejszego zawału serca, w porównaniu z 73 % dla modelu, który nigdy nie widział jej historycznych zapisów. Źródło

Ograniczanie „imigracji danych”

Scenariusz ten staje się bardziej prawdopodobny ze względu na różne krajowe i regionalne dyrektywy zalecające, aby dane pacjentów do takich celów pochodziły idealnie z kraju, w którym mają być używane systemy z nich wywodzące się, co „lokalizuje” pulę pacjentów w zestawach danych i znacząco zwiększa ryzyko takiego nie wykrytego zdarzenia dezanonimizacji.

W konsekwencji ograniczenie dostępnej ilości danych wyłącznie do krajowego zestawu zwiększa ryzyko pamięci – możliwości, że model zobaczy te same dane tak wiele razy podczas treningu, że stanie się „zafiksowany” na tych nadmiernie wyuczonych wzorcach. Natomiast im większy i bardziej zróżnicowany jest zestaw danych, tym bardziej prawdopodobne jest, że będzie on generalizować na niewidziane dane po treningu, zamiast zapamiętywać konkretne punkty danych lub konfiguracje.

Jednak dodanie „zagranicznych” danych medycznych niesie ryzyko wprowadzenia dowodów na krajowe trendy zdrowotne i idiosynkrazje, które nie miałby zastosowanie w kraju, w którym wdrażany jest wytrenowany model; w tym kontekście, jak przyznaje nowy artykuł, pewna ilość pamięci jest odpowiednia i przydatna, ponieważ pomaga modelowi działać w ramach najprawdopodobniej ogólnych cech medycznych określonej populacji.

Artykuł stwierdza*:

Modele ‘[When]’ są wdrażane prospektywnie, pamięciowość tworzy specyficzne i niedoceniane ryzyko. Ponieważ rekordy pacjenta są wysoce samopodobne w czasie, przyszły rekord może działać jako częściowy sygnał dla zapamiętanego historycznego rekordu, przesuwając prognozy modelu w kierunku wcześniejszego stanu zdrowia pacjenta.

To nie jest scenariusz hipotetyczny. Modele AI w medycynie są rutynowo wdrażane na tej samej populacji, z której pochodziły ich dane treningowe.

‘Na przykład krajowy program badań przesiewowych raka piersi w Niemczech program używa modelu AI wytrenowanego na 1,2 miliona mammografii pochodzących z tej samej populacji przesiewowej, którą teraz obsługuje.

‘Podobne wdrożenie jest w toku w innych miejscach, w tym krajowe programy przesiewowe raka piersi in the United Kingdom i Sweden.

‘Wytyczne regulacyjne aktywnie zachęcają do tego, wraz z EU AI Act wymagającym, aby dane treningowe odzwierciedlały geograficzne i kontekstowe otoczenie zamierzonego użycia (art. 10(4)), oraz podobne międzynarodowe wytyczne dla rozwoju medycznej AI, które wzywają do wystarczającej reprezentacji docelowej populacji pacjentów w zestawie danych treningowych modelu.’

Utrzymująca się historyczna katastrofa..?

Choć artykuł nie porusza tej kwestii, statystycznie logiczne wydaje się, że pacjenci, którzy nie regularnie uczestniczyli w badaniach kontrolnych przez całe życie, a ich zanonimizowane rekordy okresowo trafiały do strumienia danych AI, prawdopodobnie pojawiają się w zanonimizowanych danych pacjentów prawie wyłącznie w momentach, gdy potrzebowali leczenia – co zwiększa ryzyko „przeniesienia” dawno wyleczonego schorzenia na tego samego pacjenta teraz, ponieważ rekordy nie mają przeciwbalansu w postaci „dobrego zdrowia”.

Potwierdza to wcześniejsze badania nad ‘uprzedzeniem świadomej obecności’ w elektronicznych kartach zdrowia, wykazujące, że zestawy danych medycznych nieproporcjonalnie reprezentują okresy, gdy pacjenci są chorzy i korzystają z usług opieki zdrowotnej.

Jedno badanie wykazało, że pacjenci ciężko chorzy mieli 5.05 razy więcej dni z danymi laboratoryjnymi i 6.85 razy więcej dni z zamówieniami leków niż najzdrowsi pacjenci.

W 2022 roku około 76% dorosłych w USA zgłosiło, że przeszło rutynową kontrolę w ciągu ostatniego roku, zdefiniowaną przez CDC jako ogólne badanie fizykalne, a nie leczenie konkretnego schorzenia; a w Europie, wielonarodowa ankieta z 2023 roku stwierdziła, że 58% uczestników przeszło przynajmniej część badań profilaktycznych; jednak tylko 15% wzięło udział we wszystkich wizytach profilaktycznych uznanych za istotne dla nich.

Zasięg efektu

Badanie przetestowało efekt na czterech dużych zestawach danych medycznych, obejmujących zapisy EKG, zdjęcia klatki piersiowej oraz elektroniczne rekordy zdrowotne; mianowicie, bazę zdjęć klatki piersiowej MIMIC-CXR chest X-ray database oraz rekordy opieki ratunkowej MIMIC-IV-ED, wraz z MIMIC-ECG i znacznie większą kolekcją EKG HEEDB. Zbiory danych miały rozmiary od dziesiątek tysięcy pacjentów do ponad 1.8 miliona osób.

Autorzy zauważają, że obliczony efekt znacznie się różni, przy czym zmiany w przewidywanym prawdopodobieństwie przekraczają 70 punktów procentowych w niektórych przypadkach:

Wyniki pokazujące, jak historyczne dane pacjenta zmieniają późniejsze prognozy. Górne panele porównują częstotliwość i wielkość tych zmian w czterech zestawach danych; dolne panele pokazują, jak efekt zmienia się w zależności od czasu od ostatniego rekordu treningowego pacjenta. Znaczące efekty stają się mniej powszechne z upływem czasu, ale pozostają wykrywalne nawet po dekadach.

Jako kontrolę badacze losowo podzielili modele na grupy i powtórzyli porównanie, choć nie spowodowało to istotnych zmian w przyszłych prognozach.

Jak zauważa artykuł, efekt może również utrzymywać się przez dekady. Choć zazwyczaj stawał się słabszy i rzadszy wraz ze wzrostem odstępu między rekordami, zestaw danych HEEDB, zawierający EKG zebrane od lat 80. do 2025 roku, wykazał znaczące zmiany w prognozach ponad 25 lat po najnowszym rekordzie treningowym pacjenta.

Szkody diagnostyczne

Badacze nowego artykułu – zatytułowanego Memorisation bias in medical AI – następnie zasymulowali, jak pamięciowość może wpływać na dokładność diagnostyczną, gdy pacjenci później spotykają model wytrenowany na ich wcześniejszych rekordach.

Przyszłe przypadki podzielono według tego, czy pacjent rozwinął nową chorobę; nie było jej w ich historycznych danych treningowych; lub czy powrócił w zasadzie w tym samym stanie zdrowia.

W przypadku nowych schorzeń efekt okazał się konsekwentnie negatywny, a modele, które wcześniej widziały historyczne rekordy pacjenta, wykazywały niższą czułość w zakresie szeregu diagnoz reprezentowanych w czterech zestawach danych. Obejmowało to zawały i inne nieprawidłowości EKG; choroby płuc; oraz szersze wyniki krytyczne.

W praktyce modele generowały więcej fałszywych negatywów, gdy stan zdrowia pacjenta uległ zmianie; ale gdy stan zdrowia pacjenta nie uległ zmianie, pamięć modelu o ich wcześniejszych rekordach zwiększała prawdopodobieństwo postawienia prawidłowej diagnozy. Zarówno czułość, jak i swoistość wzrosły, ponieważ bieżący stan pacjenta przypominał stan już reprezentowany w danych treningowych.

Autorzy zauważają, że może to utrudniać dokładną ocenę takich systemów: jeśli większość powracających pacjentów nadal ma te same schorzenia, model będzie w ich przypadku lepiej działał, co może maskować jego niższą czułość wobec pacjentów, u których rozwinęły się nowe choroby.

Środki zaradcze

Jako możliwe zabezpieczenie badacze przetestowali differential privacy (która ogranicza, ile informacji o dowolnym pojedynczym przykładzie treningowym może być zachowane przez model) podczas treningu.

Chociaż ochrona pojedynczych rekordów zmniejszyła efekt pamięciowy, nie wyeliminowała go, nawet przy najsilniejszym testowanym ustawieniu. Zastosowanie ochrony na poziomie pacjenta, obejmującej wszystkie rekordy należące do tej samej osoby, było znacznie skuteczniejsze i prawie wyeliminowało efekt.

Należy jednak zauważyć, że jeśli zestaw danych został nieodwracalnie zanonimizowany, danych pacjenta nie można odizolować w sposób umożliwiający stosowanie takich metod; oraz, jak zauważają badacze, jeśli zestaw danych nie jest trenowany z włączoną differential privacy, membership inference attacks stają się ryzykiem; jeśli jest, zasoby niezbędne do treningu zwiększają się znacząco

Wnioski

Autorzy kończą, zauważając, że choć niepokojące incydenty obecnie występują w stosunkowo niskim stopniu, może to ulec zmianie w przyszłości*:

‘Istnieje powód, by oczekiwać, że liczba pominiętych diagnoz wynikających z uprzedzenia pamięciowego wzrośnie w przyszłości, choć nie testujemy tego bezpośrednio. Wcześniejsze badania wykazały, że proporcja danych treningowych, które model zapamiętuje, rośnie wraz z pojemnością modelu [6, 7, 9, 10, 40].’

‘To budzi niepokój, biorąc pod uwagę, że obecny rozwój modeli SI jest kierowany „prawami skalowania” [41], które napędzają szybki wzrost zarówno rozmiarów modeli, jak i zbiorów danych w dążeniu do lepszej wydajności.’

‘W miarę jak większe modele SI są trenowane na danych historycznych pochodzących z coraz większych populacji pacjentów, absolutna liczba osób dotkniętych uprzedzeniem pamięciowym prawdopodobnie wzrośnie drastycznie, zwiększając ryzyko, które tutaj identyfikujemy.’

* Moja konwersja cytowań w tekście autorów na hiperłącza, z pewną interpretacją tam, gdzie dokładne odtworzenie nie jest możliwe lub przydatne.

Pierwsze publikacja: piątek, 18 września 2026 r. Zmieniono o 18:17 EET w celu korekty hiperłączy.