Årtiers Gamle Anonymiserede Medicindata Kan Nu Forårsage AI-fejldiagnoser

Ifølge et nyt forskningssamarbejde mellem Tyskland og Storbritannien kan anonymiserede patientjournaler, som allerede for årtier siden blev inkluderet i medicindatasæt, få AI-systemer, der er trænet på dem, til at genkende den rigtige patients karakteristika år senere – og behandle en patient i 2026, som om det stadig var 2012 (eller hvilket år deres anonymiserede patientdata først blev inkluderet i datasættet/datasættene).

Dette kan for eksempel betyde, at en patient, som for 20 år siden blev registreret som under kræftbehandling, og som efterfølgende gik i langvarig remission, nu kan blive behandlet af AI-systemet i konteksten af deres ældre, kræftramte selv – hvilket logisk set også øger sandsynligheden for en falsk diagnose af tilbagefald.

Omvendt, hvis 2012-versionen af den pågældende patients data afspejlede perfekt sundhed ved rutinetjek, kunne dette optimistiske synspunkt potentielt blive pålagt den ældre, nuværende version af patienten, hvilket skjuler opdagelsen af nye tilstande eller problemer, der måtte kræve behandling.

Fra den nye artikel, en illustration af, hvordan hukommelsesbias kan påvirke en tilbagevendende patient. En model trænet på Alices tidligere sunde EKG’er tildeler kun 15 % sandsynlighed for hendes senere hjerteanfald, sammenlignet med 73 % for en model, der aldrig har set hendes historiske journaler. Kilde

Bekæmpelse af ‘Dataimmigration’

Scenariet bliver mere sandsynligt gennem forskellige nationale og regionale direktiver, som anbefaler, at patientdata til sådanne formål ideelt set bør hentes fra det land, hvor systemer afledt af dem er beregnet til at blive brugt, hvilket ‘lokaliserer’ patientpopulationen i datasættene og markant øger sandsynligheden for denne form for uopdaget de-anonymiseringshændelse.

Ved inferens øger begrænsning af mængden af tilgængelige data til kun et nationalt datasæt chancen for memorering – muligheden for, at modellen ser de samme data så mange gange under træning, at den bliver ‘fastlåst’ på disse overindlærte mønstre. Omvendt, jo større og mere diversificeret et datasæt er, desto mere sandsynligt er det, at det vil generalisere til usete data efter træning, i stedet for at memorere specifikke datapunkter eller konfigurationer.

Dog medfører tilføjelse af ‘udenlandsk’ medicindata risikoen for at introducere beviser på nationale sundhedstendenser og idiosynkrasier, som ikke ville gælde i det land, hvor den trænede model implementeres; i denne henseende indrømmer den nye artikel, at en vis mængde memorering er passende og nyttig, da den hjælper modellen med at arbejde inden for de mest sandsynlige generelle medicinske karakteristika for en bestemt befolkning.

Papiret siger*:

‘[When] modeller implementeres prospektivt, memorisering skaber en specifik og undervurderet risiko. Da en patients journaler er meget selv‑lignende over tid, kan en fremtidig journal fungere som et delvist signal for en memoriseret historisk journal, hvilket flytter modellens forudsigelser mod patientens tidligere helbredstilstand.

Dette er ikke et hypotetisk scenarie. Medicinske AI-modeller implementeres rutinemæssigt på den samme befolkning, som deres træningsdata stammer fra.

‘For eksempel Tysklands nationale brystkræftscreeningsprogram bruger en AI-model trænet på 1,2 millioner mammogrammer hentet fra den samme screeningspopulation, den nu betjener.

‘Lignende implementering er i gang andre steder, herunder nationale brystkræftscreeningsprogrammer i Storbritannien og Sverige.

‘Regulatorisk vejledning opfordrer aktivt til dette, med EU AI Act der kræver, at træningsdata afspejler den geografiske og kontekstuelle ramme for den tilsigtede brug (Art. 10(4)), og lignende internationale retningslinjer for medicinsk AI-udvikling, der kræver, at den tilsigtede patientpopulation er tilstrækkeligt repræsenteret i modellens træningsdatasæt.’

Vedvarende Historisk Katastrofe..?

Selvom artiklen ikke behandler emnet, synes det statistisk logisk, at patienter, som (eller som) ikke regelmæssigt deltager i medicinske check‑ups gennem deres liv, og hvis anonymiserede journaler periodisk kom ind i AI‑datastreamen, sandsynligvis kun dukker op i anonymiserede patientdata næsten udelukkende på tidspunkter, hvor de havde brug for behandling – hvilket ville øge sandsynligheden for at ‘projicere’ en længe helbredt tilstand på den samme patient nu, da journalerne mangler en ‘god sundhed’ modvægt.

Dette understøttes af tidligere forskning i ‘informeret tilstedeværelsesbias’ i elektroniske sundhedsregistre, som viser, at medicindatasæt uforholdsmæssigt repræsenterer perioder, hvor patienter er syge og interagerer med sundhedstjenester.

En undersøgelse konkluderede, at alvorligt syge patienter havde 5.05 gange så mange dage med laboratoriedata og 6.85 gange så mange med medicinordrer som de sundeste patienter.

I 2022, omkring 76% af de amerikanske voksne rapporterede, at de havde haft en rutinemæssig kontrol inden for det foregående år, defineret af CDC som en generel fysisk undersøgelse snarere end behandling for en specifik tilstand; og i Europa viste en tværnational undersøgelse fra 2023 fandt at 58% deltog i mindst nogle forebyggende kontroller; men kun 15% deltog i alle forebyggende aftaler, der anses for relevante for dem.

Omfanget af effekten

Undersøgelsen testede effekten på tværs af fire store medicinske datasæt, der dækker ECG‑optagelser, bryst‑røntgenbilleder og elektroniske patientjournaler; nemlig MIMIC-CXR chest X-ray database og MIMIC-IV-ED akutplejejournaler, sammen med MIMIC-ECG og det meget større HEEDB-samling af ECG‑optagelser. Datasættene varierede i størrelse fra titusinder af patienter til over 1.8 million personer.

Forfatterne bemærker, at den beregnede effekt varierer betydeligt, med ændringer i den forudsagte sandsynlighed, der i nogle tilfælde overstiger 70 procentpoint:

Resultater, der viser, hvordan historiske patientdata ændrer senere forudsigelser. Øverste paneler sammenligner hyppigheden og størrelsen af disse ændringer på tværs af de fire datasæt; de nederste paneler viser, hvordan effekten ændrer sig med tiden siden patientens seneste træningsrecord. Signifikante effekter bliver mindre almindelige over tid, men forbliver påviselige årtier senere.

Som kontrol delte forskerne tilfældigt modellerne i grupper og gentog sammenligningen, selvom dette ikke medførte signifikante ændringer i fremtidige forudsigelser.

Effekten, bemærker artiklen, kan også vedvare i årtier. Selvom den generelt blev svagere og mindre almindelig, efterhånden som intervallet mellem posterne øgedes, viste HEEDB‑datasættet, som indeholder ECG‑optagelser indsamlet fra 1980’erne til 2025, signifikante ændringer i forudsigelser mere end 25 år efter patientens seneste træningsrecord.

Diagnostisk skade

Forskerne bag den nye artikel – med titlen Memorisation bias in medical AI – simulerede derefter, hvordan memorisering kunne påvirke diagnostisk nøjagtighed, når patienter senere møder en model, der er trænet på deres tidligere journaler.

Fremtidige tilfælde blev opdelt efter om patienten havde udviklet en ny tilstand; fraværende i deres historiske træningsdata; eller om de vendte tilbage med stort set samme helbredstilstand.

For nye tilstande viste effekten sig konsekvent negativ, idet modeller, der tidligere havde set patientens historiske journaler, udviste lavere sensitivitet på tværs af en række diagnoser repræsenteret i de fire datasæt. Dette omfattede infarkter og andre ECG‑abnormiteter; lungesygdomme; samt bredere kritiske udfald.

I praksis producerede modellerne flere falske negativer, når patientens helbred havde ændret sig; men når patientens helbred ikke havde ændret sig, gjorde modellens hukommelse om deres tidligere journaler det mere sandsynligt at give den korrekte diagnose. Både sensitivitet og specificitet steg, fordi patientens nuværende tilstand svarede til den tilstand, der allerede var repræsenteret i træningsdataene.

Forfatterne bemærker, at dette kan gøre sådanne systemer vanskelige at vurdere præcist: hvis de fleste tilbagevendende patienter stadig har de samme tilstande, vil modellen præstere bedre på dem, hvilket potentielt skjuler dens lavere sensitivitet over for patienter, der har udviklet nye tilstande.

Løsninger

Som en mulig sikkerhedsforanstaltning testede forskerne differential privacy (som begrænser, hvor meget information om et individuelt træningseksempel der kan bevares af en model) under træning.

Selvom beskyttelse af individuelle journaler reducerede memoriseringseffekten, eliminerede den den ikke, selv ved den stærkeste testede indstilling. Anvendelse af beskyttelsen på patientniveau, som dækker alle journaler tilhørende den samme person, var meget mere effektiv og næsten eliminerede effekten.

Det bør bemærkes, at hvis et datasæt er blevet irreversibelt anonymiseret, kan patientens data ikke afgrænses på en måde, der muliggør sådanne metoder; og forskerne observerer, at hvis datasættet ikke er trænet med differential privacy aktiveret, membership inference attacks bliver en risiko; hvis det er, øges de nødvendige ressourcer til træning markant.

Konklusion

Forfatterne afslutter med at bemærke, at selvom de bekymrende hændelser i øjeblikket forekommer med en relativt lav hyppighed, kan dette ændre sig i fremtiden*:

‘Der er grund til at forvente, at antallet af fejldiagnosticeringer, der kan tilskrives memoriseringsbias, vil stige i fremtiden, selvom vi ikke tester dette direkte. Tidligere forskning har vist, at andelen af træningsdata, som en model memoriserer, øges med modellens kapacitet [6, 7, 9, 10, 40].

‘Dette er bekymrende, i betragtning af at den nuværende AI-modelludvikling styres af “scaling laws” [41], som driver hurtig vækst i både model- og datasætstørrelser i jagten på forbedret ydeevne.

‘Efterhånden som større AI-modeller trænes på historiske data hentet fra stadigt større patientpopulationer, vil det absolutte antal individer, der påvirkes af memoriseringsbias, sandsynligvis stige drastisk, hvilket forværrer de risici, vi identificerer her.’

* Min konvertering af forfatternes inline-citater til hyperlinks, med noget fortolkning hvor præcis gengivelse ikke er mulig eller nyttig.

Først offentliggjort fredag den 18. september 2026