Desetiletí stará anonymizovaná zdravotnická data mohou nyní způsobovat chybné diagnózy AI

Podle nového výzkumného spolupráce mezi Německem a Velkou Británií mohou anonymizované záznamy pacientů, které byly zahrnuty do zdravotnických datových souborů ještě před desetiletími, způsobit, že AI systémy na nich trénované rozpoznají skutečné charakteristiky pacienta o několik let později – a zacházejí s pacientem v roce 2026, jako by byl stále v roce 2012 (nebo v jakémkoli roce, kdy byly jejich anonymizované údaje poprvé zahrnuty do datových souborů).

To by mohlo například znamenat, že pacient, u kterého byl zaznamenán nádorový zákrok před 20 lety a který následně vstoupil do dlouhodobé remise, by nyní mohl být AI systémem posuzován v kontextu jeho starší, rakovinou postižené podoby – což logicky zvyšuje pravděpodobnost chybných diagnóz recidivy.

Naopak, pokud verze údajů tohoto pacienta z roku 2012 odrážela dokonalé zdraví při rutinních kontrolách, mohl by tento optimistický pohled být potenciálně přenesen na starší, současnou verzi pacienta, čímž by se zakryl výskyt nových onemocnění či problémů, které by mohly vyžadovat léčbu.

Z nového článku, ilustrace toho, jak může zkreslení memorování ovlivnit vracejícího se pacienta. Model trénovaný na dřívějších zdravých EKG Alice přiřazuje pouze 15 % pravděpodobnost jejího pozdějšího srdečního infarktu, ve srovnání se 73 % pro model, který nikdy neviděl její historické záznamy. Zdroj

Omezování „imigrace dat“

Scénář je pravděpodobnější díky různým národním a regionálním směrnicím, které doporučují, aby údaje o pacientech pro takové účely měly být ideálně čerpány ze země, ve které mají být systémy odvozené z nich používány, což „lokalizuje“ pacientskou skupinu v datových souborech a podstatně zvyšuje pravděpodobnost takové neodhalené de-anonymizační události.

Z toho vyplývá, že omezení množství dostupných dat pouze na národní datový soubor zvyšuje pravděpodobnost memorování – možnosti, že model během tréninku uvidí stejná data tolikrát, že se na tyto přeučené vzory „zafixuje“. Naopak, čím je datový soubor větší a rozmanitější, tím pravděpodobněji zobecní na neviděná data po tréninku, místo aby si pamatoval konkrétní datové body nebo konfigurace.

Nicméně přidání „cizích“ zdravotnických dat může představovat riziko zavedení důkazů o národních zdravotních trendech a specifikách, které by neplatily v zemi, kde je trénovaný model nasazen; v tomto ohledu, jak nový článek přiznává, je určitá míra memorování vhodná a užitečná, protože pomáhá modelu pracovat v rámci nejpravděpodobnějších obecných zdravotních charakteristik konkrétní populace.

Článek uvádí*:

‘[When] modely jsou nasazovány prospektivně, memorování vytváří specifické a podceněné riziko. Protože záznamy pacienta jsou v průběhu času vysoce podobné, budoucí záznam může fungovat jako částečná nápověda pro zapamatovaný historický záznam, čímž posouvá predikce modelu směrem k předchozímu zdravotnímu stavu pacienta.

Toto není hypotetický scénář. Modely medicínské AI jsou běžně nasazovány na stejné populaci, ze které byly získány jejich tréninková data.

‘Například národní program screeningu rakoviny prsu v Německu program používá AI model trénovaný na 1,2 milionu mamografií získaných ze stejné screeningové populace, kterou nyní obsluhuje.

‘Srovnatelná implementace probíhá i jinde, včetně národních programů screeningu rakoviny prsu ve Spojeném království a Švédsku.

‘Regulační směrnice tuto praxi aktivně podporují, přičemž EU AI Act vyžaduje, aby tréninková data odrážela geografické a kontextuální podmínky zamýšleného použití (čl. 10 odst. 4), a podobné mezinárodní směrnice pro vývoj medicínské AI požadují, aby zamýšlená pacientská populace byla dostatečně zastoupena v tréninkovém datovém souboru modelu.

Perzistentní historická katastrofa..?

Ačkoliv článek tuto problematiku neřeší, zdá se statisticky logické, že pacienti, kteří během svého života pravidelně nenavštěvovali lékařské kontroly (nebo je navštěvovali jen sporadicky) a jejichž anonymizované záznamy se periodicky objevovaly v AI datovém proudu, se pravděpodobně objeví v anonymizovaných údajích pacientů téměř výhradně v okamžicích, kdy potřebovali léčbu – což by zvýšilo pravděpodobnost „projekce“ dlouho vyléčeného onemocnění na stejného pacienta nyní, protože záznamy nemají protiklad „dobrého zdraví“.

To potvrzuje předchozí výzkum do ‘informovaného přítomnostního biasu’ v elektronických zdravotních záznamech, který zjistil, že zdravotnické datové soubory nepřiměřeně zastupují období, kdy jsou pacienti nemocní a komunikují se zdravotnickými službami.

Jedna studie zjistila, že těžce nemocní pacienti měli 5,05‑krát více dní s laboratorními údaji a 6,85‑krát více dní s předpisy léků než nejzdravější pacienti.

V roce 2022 přibližně 76 % dospělých v USA uvádělo, že podstoupili rutinní prohlídku během minulého roku, kterou CDC definuje jako obecné fyzické vyšetření, spíše než léčbu konkrétního onemocnění; a v Evropě průzkum v několika zemích z roku 2023 zjistil, že 58 % absolvovalo alespoň některé preventivní prohlídky, ale pouze 15 % se zúčastnilo všech preventivních schůzek, jež považovali za relevantní.

Rozsah účinku

Studie testovala účinek na čtyřech velkých medicínských souborech dat, zahrnujících záznamy EKG, rentgenové snímky hrudníku a elektronické zdravotní záznamy; konkrétně databázi rentgenových snímků hrudníku MIMIC-CXR a záznamy pohotovostní péče MIMIC-IV-ED, spolu s MIMIC-ECG a mnohem rozsáhlejší sbírkou EKG HEEDB. Velikost souborů se pohybovala od desítek tisíc pacientů až po více než 1,8 milionu lidí.

Autoři upozorňují, že vypočtený účinek se značně liší, přičemž změny předpovězené pravděpodobnosti přesahují v některých případech 70 procentních bodů:

Výsledky ukazující, jak historická data pacienta mění pozdější předpovědi. Horní panely porovnávají četnost a velikost těchto změn napříč čtyřmi soubory dat; dolní panely ukazují, jak se účinek mění v čase od posledního tréninkového záznamu pacienta. Významné účinky se v průběhu času stávají méně častými, ale zůstávají detekovatelné i po desetiletích.

Jako kontrolu výzkumníci náhodně rozdělili modely do skupin a opakovali srovnání, ačkoli to nezpůsobilo žádné významné změny v budoucích předpovědích.

Účinek, jak uvádí článek, může také přetrvávat po desetiletí. Ačkoliv se obecně oslaboval a stal se méně častým s rostoucím intervalem mezi záznamy, soubor HEEDB, který obsahuje EKG zaznamenaná od 80. let 20. století do roku 2025, ukázal významné změny v předpovědích více než 25 let po posledním tréninkovém záznamu pacienta.

Diagnostické poškození

Výzkumníci nového článku – nazvaného Memorisation bias in medical AI – následně simulovali, jak by zapamatování mohlo ovlivnit diagnostickou přesnost, když pacienti později narazí na model vytrénovaný na jejich dřívějších záznamech.

Budoucí případy byly rozděleny podle toho, zda pacient vyvinul novou nemoc; chyběla v jeho historických tréninkových datech; nebo se vracel se v podstatě stejným zdravotním stavem.

U nových onemocnění se účinek ukázal jako soustavně negativní, přičemž modely, které předtím viděly historické záznamy pacienta, vykazovaly nižší citlivost napříč řadou diagnóz zastoupených ve čtyřech souborech dat. To zahrnovalo infarkty a další abnormality EKG; plicní onemocnění; a širší kritické výsledky.

V praktickém smyslu modely generovaly více falešně negativních případů, když se zdravotní stav pacienta změnil; ale když se zdravotní stav pacienta ne změnil, paměť modelu na jejich dřívější záznamy zvýšila pravděpodobnost správné diagnózy. Citlivost i specificita vzrostly, protože aktuální stav pacienta se podobal stavu již zastoupenému v tréninkových datech.

Autoři upozorňují, že to může učinit takové systémy obtížně přesně hodnotitelné: pokud většina vracejících se pacientů stále trpí stejnými onemocněními, model na nich bude fungovat lépe, což může skrývat jeho nižší citlivost vůči pacientům, kteří vyvinuli nové onemocnění.

Řešení

Jako možnou ochranu výzkumníci během tréninku testovali diferenciální soukromí (které omezuje, kolik informací o jakémkoli jednotlivém tréninkovém příkladu může model uchovat).

Ačkoliv ochrana jednotlivých záznamů snížila efekt zapamatování, neodstranila jej ani při nejvyšším testovaném nastavení. Aplikace ochrany na úrovni pacienta, zahrnující všechny záznamy patřící jedné osobě, byla mnohem účinnější a téměř eliminovala tento efekt.

Je však třeba poznamenat, že pokud byl soubor dat nevratně anonymizován, data pacienta nelze ohraničit tak, aby umožnila tyto metody; a výzkumníci upozorňují, že pokud není soubor dat trénován s povoleným diferenciálním soukromím, útoky na odhalení členství se stávají rizikem; pokud je, potřebné prostředky pro trénink se výrazně zvyšují.

Závěr

Autoři uzavírají poznámkou, že ačkoliv se znepokojující incidenty v současnosti vyskytují relativně zřídka, v budoucnu se to může změnit*:

‘Existuje důvod očekávat, že počet chybějících diagnóz přičitatelných paměťovému biasu se v budoucnu zvýší, i když to přímo nezkoumáváme. Předchozí výzkumy ukázaly, že podíl tréninkových dat, která model zapamatuje, roste s kapacitou modelu [6, 7, 9, 10, 40].

‘Je to znepokojující, vzhledem k tomu, že současný vývoj AI modelů je řízen „zákony škálování“ [41], které podněcují rychlý růst jak velikosti modelů, tak datových souborů v honbě za lepším výkonem.

‘Jak jsou větší AI modely trénovány na historických datech získávaných z stále větších populací pacientů, absolutní počet jedinců postižených paměťovým biasem pravděpodobně dramaticky vzroste, což zhoršuje rizika, která zde identifikujeme.’

* Můj převod autorových inline citací na hypertextové odkazy, s určitým výkladem tam, kde přesná replikace není možná nebo užitečná.

Poprvé publikováno pátek 18. září 2026. Opraveno 18:17 EET kvůli opravě hypertextových odkazů.