Desetiletí stará anonymizovaná lékařská data mohou nyní způsobovat chybné diagnózy AI

Podle nové výzkumné spolupráce mezi Německem a Velkou Británií mohou anonymizované záznamy pacientů, které byly zahrnuty do lékařských datových souborů ještě před desetiletími, způsobit, že AI systémy na nich trénované rozpoznají skutečné charakteristiky pacienta o několik let později – a zacházejí s pacientem v roce 2026, jako by byl stále v roce 2012 (nebo v jakémkoli roce, kdy byly jejich anonymizované údaje poprvé zahrnuty do datové sady).

To by mohlo například znamenat, že pacient, u kterého byl zaznamenán nádorový léčebný zásah před 20 lety a který následně vstoupil do dlouhodobé remise, může být nyní AI systémem v kontextu jejich starší, rakovinou postižené podoby – což logicky může zvýšit pravděpodobnost chybné diagnózy recidivy.

Naopak, pokud verze údajů tohoto pacienta z roku 2012 odrážela dokonalé zdraví při rutinních kontrolách, mohl by tento optimistický pohled být potenciálně přenesen na starší, současnou verzi pacienta, čímž by se zakryl výskyt nových stavů či problémů, které mohou vyžadovat léčbu.

Z nového článku, ilustrace toho, jak může bias zapamatování ovlivnit vracejícího se pacienta. Model trénovaný na dřívějších zdravých EKG Alice přiřadí jen 15 % pravděpodobnost jejího pozdějšího srdečního záchvatu, ve srovnání s 73 % pro model, který její historické záznamy nikdy neviděl. Zdroj

Omezení „Data Immigration“

Scénář je pravděpodobnější díky různým národním a regionálním směrnicím, které doporučují, aby údaje o pacientech pro takové účely měly být ideálně čerpány ze země, ve které mají být systémy odvozené z nich používány, což „lokalizuje“ pacientskou skupinu v datových souborech a podstatně zvyšuje pravděpodobnost takové neodhalené de-anonymizační události.

Z inferenčního hlediska omezení množství dostupných dat na pouze národní datovou sadu zvyšuje pravděpodobnost memorování – možnosti, že model během tréninku uvidí stejná data tolikrát, že se na nich „zafixuje“. Naopak, čím větší a rozmanitější je datová sada, tím pravděpodobněji zobecní na neviděná data po tréninku, místo aby si zapamatoval konkrétní datové body nebo konfigurace.

Nicméně přidání „cizích“ lékařských dat může představovat riziko zavedení důkazů o národních zdravotních trendech a specifikách, které by v zemi, kde je trénovaný model nasazen, neplatily; v tomto ohledu, jak uznává nový článek, je určitá míra memorování vhodná a užitečná, protože pomáhá modelu pracovat v rámci nejpravděpodobnějších obecných zdravotních charakteristik konkrétní populace.

Článek uvádí*:

‘[When] modely jsou nasazovány prospektivně, memorování vytváří specifické a podceněné riziko. Protože záznamy pacienta jsou v průběhu času vysoce podobné, budoucí záznam může fungovat jako částečná nápověda pro zapamatovaný historický záznam, což posouvá predikce modelu směrem k předchozímu zdravotnímu stavu pacienta.’

Toto není hypotetický scénář. Lékařské AI modely jsou běžně nasazovány na stejnou populaci, ze které byly získány jejich tréninková data.

‘Například národní program screeningu rakoviny prsu v Německu program používá AI model trénovaný na 1,2 milionu mamografií získaných ze stejné screeningové populace, kterou nyní obsluhuje.

‘Srovnatelné nasazení probíhá jinde, včetně národních programů screeningu rakoviny prsu ve Spojeném království a Švédsku.

‘Regulační směrnice tuto praxi aktivně podporují, přičemž EU AI Act vyžaduje, aby tréninková data odrážela geografické a kontextové prostředí zamýšleného použití (Art. 10(4)), a podobné mezinárodní směrnice pro vývoj lékařské AI požadují, aby zamýšlená pacientská populace byla dostatečně zastoupena v tréninkové datové sadě modelu.’

Trvalá historická kalamita..?

Ačkoliv se článek tímto tématem nezabývá, zdá se statisticky logické, že pacienti, kteří během svého života pravidelně (nebo dříve) nechodili na lékařské prohlídky a jejichž anonymizované záznamy se periodicky objevily v AI datovém proudu, se pravděpodobně objeví v anonymizovaných datech pacientů téměř výhradně v okamžicích, kdy potřebovali léčbu – což by mělo tendenci zvyšovat pravděpodobnost „projekce“ dlouhodobě vyléčeného stavu na stejného pacienta nyní, protože záznamy nemají protiklad „dobrého zdraví“.

To potvrzuje předchozí výzkum do ‘bias informované přítomnosti’ v elektronických zdravotních záznamech, který zjistil, že lékařské datové sady nepřiměřeně reprezentují období, kdy jsou pacienti nemocní a komunikují se zdravotnickými službami.

Jedna studie zjistila, že těžce nemocní pacienti měli 5,05‑krát více dní s laboratorními údaji a 6,85‑krát více dní s předpisy léků než nejzdravější pacienti.

V roce 2022 přibližně 76 % dospělých v USA uvádělo, že podstoupilo rutinní kontrolu během předchozího roku, kterou CDC definuje jako obecné fyzické vyšetření, nikoli léčbu konkrétního onemocnění; a v Evropě průzkum provedený v roce 2023 ve více zemích zjistil, že 58 % absolvovalo alespoň některé preventivní kontroly, ale pouze 15 % se zúčastnilo všech preventivních vyšetření, jež považovali za relevantní.

Rozsah účinku

Studie testovala účinek na čtyřech rozsáhlých medicínských souborech dat, zahrnujících záznamy EKG, rentgenové snímky hrudníku a elektronické zdravotní záznamy; konkrétně databázi rentgenových snímků hrudníku MIMIC-CXR a záznamy pohotovostní péče MIMIC-IV-ED, spolu s MIMIC-ECG a mnohem větší sbírkou EKG HEEDB. Velikost datasetů se pohybovala od desítek tisíc pacientů až po více než 1,8 milionu lidí.

Autoři upozorňují, že vypočtený účinek se značně liší, přičemž změny předpovězené pravděpodobnosti v některých případech překračují 70 procentních bodů:

Výsledky ukazující, jak historická data pacienta mění pozdější předpovědi. Horní panely porovnávají četnost a velikost těchto změn napříč čtyřmi datasety; dolní panely ukazují, jak se účinek mění v čase od posledního tréninkového záznamu pacienta. Významné účinky se v průběhu času stávají méně častými, ale i po desetiletích jsou stále detekovatelné.

Jako kontrolu výzkumníci náhodně rozdělili modely do skupin a opakovali srovnání, ačkoli to nepřineslo žádné významné změny v budoucích předpovědích.

Účinek, uvádí studie, může také přetrvávat po desetiletí. Ačkoliv se obecně oslaboval a stal se méně častým s rostoucím intervalem mezi záznamy, dataset HEEDB, který obsahuje EKG zaznamenaná od 80. let 20. století do roku 2025, ukázal významné změny v předpovědích více než 25 let po posledním tréninkovém záznamu pacienta.

Diagnostické poškození

Výzkumníci nového článku – nazvaného Memorisation bias in medical AI – následně simulovali, jak by zapamatování mohlo ovlivnit diagnostickou přesnost, když pacienti později narazí na model vyškolený na jejich dřívějších záznamech.

Budoucí případy byly rozděleny podle toho, zda pacient vyvinul novou nemoc, která chyběla v jeho historických tréninkových datech, nebo zda se vracel se v podstatě stejným zdravotním stavem.

U nových onemocnění se účinek prokazoval konzistentně negativně, přičemž modely, které předtím viděly historické záznamy pacienta, vykazovaly nižší citlivost napříč řadou diagnóz obsažených ve čtyřech datasetech. To zahrnovalo infarkty a další abnormality EKG, plicní onemocnění i širší kritické výsledky.

V praktickém smyslu modely generovaly více falešně negativních výsledků, když se zdravotní stav pacienta změnil; ale když se zdravotní stav pacienta nezměnil, paměť modelu na jeho dřívější záznamy zvýšila pravděpodobnost správné diagnózy. Citlivost i specificita vzrostly, protože současný stav pacienta se podobal stavu již zastoupenému v tréninkových datech.

Autoři upozorňují, že to může učinit takové systémy obtížně přesně vyhodnotitelné: pokud většina vracejících se pacientů stále trpí stejnými onemocněními, model na nich bude fungovat lépe, což může skrývat jeho nižší citlivost u pacientů, kteří vyvinuli nové onemocnění.

Opatření

Jako možnou ochranu výzkumníci během tréninku testovali diferenciální soukromí (které omezuje, kolik informací o jakémkoli jednotlivém tréninkovém příkladu může model uchovat).

Ačkoliv ochrana individuálních záznamů snížila efekt zapamatování, neodstranila jej, ani při nejvyšším testovaném nastavení. Aplikace ochrany na úrovni pacienta, zahrnující všechny záznamy patřící jedné osobě, byla mnohem účinnější a téměř eliminovala tento efekt.

Je však třeba poznamenat, že pokud byl dataset nevratně anonymizován, data pacienta nelze ohraničit tak, aby umožnila tyto metody; a výzkumníci dále uvádějí, že pokud dataset není trénován s povoleným diferenciálním soukromím, útoky na odvození příslušnosti se stávají rizikem; pokud je, potřebné zdroje pro trénink se výrazně zvyšují.

Závěr

Autoři uzavírají poznámkou, že ačkoliv se znepokojující incidenty v současnosti vyskytují relativně zřídka, v budoucnu se to může změnit*:

‘Existuje důvod očekávat, že počet neodhalených diagnóz způsobených biasem zapamatování se v budoucnu zvýší, i když to přímo nezkoušíme. Předchozí výzkumy ukázaly, že podíl tréninkových dat, která model zapamatuje, roste s kapacitou modelu [6, 7, 9, 10, 40].’

‘To je znepokojující, vzhledem k tomu, že současný vývoj AI modelů je řízen „škálovacími zákony“ [41], které podporují rychlý růst jak velikosti modelů, tak datových sad v honbě za lepším výkonem.’

‘Jak jsou větší AI modely trénovány na historických datech získaných z stále větších populací pacientů, absolutní počet jedinců postižených biasem zapamatování pravděpodobně dramaticky vzroste, což zhorší rizika, která zde identifikujeme.’

* Můj převod autorových vnitřních citací na hypertextové odkazy, s určitým výkladem tam, kde není možné nebo užitečné přesně replikovat.

Poprvé publikováno pátek 18. září 2026