Flere årtier gamle anonymiserede medicinske data kan nu forårsage AI-misdiagnoser

Ifølge et nyt forskningssamarbejde mellem Tyskland og Storbritannien kan anonymiserede patientjournaler, der allerede for årtier siden blev inkluderet i medicinske datasæt, få AI-systemer, der er trænet på dem, til at genkende den reelle patients karakteristika år senere – og behandle en patient i 2026, som om det stadig var 2012 (eller hvilket år deres anonymiserede patientdata først blev inkluderet i datasættet/ene).

Det kunne for eksempel betyde, at en patient, som blev registreret som under kræftbehandling for 20 år siden, og som efterfølgende gik i langvarig remission, nu kunne blive behandlet af AI-systemet i konteksten af deres ældre, kræftramte selv – logisk set også øge sandsynligheden for en falsk diagnose af tilbagefald.

Omvendt, hvis 2012-versionen af den pågældende patients data afspejlede perfekt sundhed ved rutinetjek, kunne dette optimistiske synspunkt potentielt blive pålagt den ældre, aktuelle version af patienten, hvilket skjuler opdagelsen af nye tilstande eller problemer, der måtte kræve behandling.

Fra den nye artikel, en illustration af hvordan memoriseringsbias kan påvirke en tilbagevendende patient. En model trænet på Alices tidligere sunde EKG’er tildeler kun 15 % sandsynlighed for hendes senere hjerteanfald, sammenlignet med 73 % for en model, der aldrig har set hendes historiske journaler. Kilde

Bekæmpelse af ‘Dataimmigration’

Scenariet bliver mere sandsynligt på grund af forskellige nationale og regionale direktiver, der anbefaler, at patientdata til sådanne formål ideelt set bør indhentes fra det land, hvor systemerne, der er afledt af dem, skal anvendes, hvilket ‘lokaliserer’ patientpopulationen i datasættene og markant øger sandsynligheden for denne form for uopdaget de-anonymiseringshændelse.

Ved inferens øger begrænsning af mængden af tilgængelige data til kun et nationalt datasæt sandsynligheden for memorisering – muligheden for, at modellen ser de samme data så mange gange under træning, at den bliver ‘fastlåst’ på disse overindlærte mønstre. Omvendt, jo større og mere diversificeret et datasæt er, desto mere sandsynligt er det, at det vil generalisere til usete data efter træning i stedet for at memorere specifikke datapunkter eller konfigurationer.

Dog medfører tilføjelse af ‘udenlandsk’ medicindata risikoen for at indføre beviser på nationale sundhedstendenser og idiosynkrasier, som ikke ville gælde i det land, hvor den trænede model implementeres; i denne henseende indrømmer den nye artikel, at en vis grad af memorisering er passende og nyttig, da den hjælper modellen med at arbejde inden for de mest sandsynlige generelle medicinske karakteristika for en bestemt befolkning.

Papiret angiver*:

‘[When] modeller implementeres prospektivt, skaber memorisering en specifik og undervurderet risiko. Da en patients journaler er meget selv-similar over tid, kan en fremtidig journal fungere som et delvist signal for en memoriseret historisk journal, hvilket skifter modellens forudsigelser mod patientens tidligere sundhedstilstand.

Dette er ikke et hypotetisk scenarie. Medicinske AI-modeller implementeres rutinemæssigt på den samme population, som deres træningsdata stammer fra.

‘For eksempel bruger Tysklands nationale brystkræft-screenings program bruger en AI-model trænet på 1,2 millioner mammogrammer hentet fra den samme screeningspopulation, den nu betjener.

‘Sammenlignelig implementering er i gang andre steder, herunder nationale brystkræft-screeningsprogrammer i Storbritannien og Sverige.

‘Regulatorisk vejledning opfordrer aktivt til dette, med EU AI Act der kræver, at træningsdata afspejler den geografiske og kontekstuelle indstilling for den tilsigtede brug (Art. 10(4)), og lignende internationale retningslinjer for medicinsk AI-udvikling, der kræver, at den tilsigtede patientpopulation er tilstrækkeligt repræsenteret i modellens træningsdatasæt.’

Vedvarende historisk katastrofe..?

Selvom artiklen ikke behandler emnet, synes det statistisk logisk, at patienter, som (eller som) ikke regelmæssigt deltog i medicinske check-ups gennem deres liv, og hvis anonymiserede journaler periodisk kom ind i AI-datastrømmen, sandsynligvis kun vil dukke op i anonymiserede patientdata næsten udelukkende på tidspunkter, hvor de havde brug for behandling – hvilket vil øge sandsynligheden for at ‘projicere’ en længe helbredt tilstand på den samme patient nu, da journalerne mangler en ‘god sundhed’-modvægt.

Dette understøttes af tidligere forskning i ‘informeret tilstedeværelsesbias’ i elektroniske sundhedsjournaler, som viser, at medicinske datasæt uforholdsmæssigt repræsenterer perioder, hvor patienter er syge og interagerer med sundhedsydelser.

En undersøgelse fandt, at alvorligt syge patienter havde 5.05 gange så mange dage med laboratoriedata og 6.85 gange så mange med medicinordrer som de sundeste patienter.

I 2022 rapporterede omkring 76 % af de amerikanske voksne rapporterede at have haft en rutinemæssig kontrol inden for det foregående år, defineret af CDC som en generel fysisk undersøgelse snarere end behandling for en specifik tilstand; og i Europa fandt en tværnational undersøgelse fra 2023 fandt, at 58 % deltog i mindst nogle forebyggende kontroller; men kun 15 % deltog i alle forebyggende aftaler, der anses for relevante for dem.

Omfanget af effekten

Undersøgelsen testede effekten på tværs af fire store medicinske datasæt, der dækker ECG-optagelser, brystrøntgen og elektroniske patientjournaler; nemlig MIMIC-CXR chest X-ray database og MIMIC-IV-ED akutplejejournaler, sammen med MIMIC-ECG og den meget større HEEDB samling af ECG’er. Datasættene spænder i størrelse fra titusinder af patienter til mere end 1.8 millioner personer.

Forfatterne bemærker, at den beregnede effekt varierer betydeligt, med ændringer i den forudsagte sandsynlighed, der overstiger 70 procentpoint i nogle tilfælde:

Resultater, der viser, hvordan historiske patientdata ændrer senere forudsigelser. De øverste paneler sammenligner hyppigheden og størrelsen af disse ændringer på tværs af de fire datasæt; de nederste paneler viser, hvordan effekten ændrer sig med tiden siden patientens sidste træningsrecord. Signifikante effekter bliver mindre almindelige over tid, men forbliver påviselige årtier senere.

Som kontrol delte forskerne tilfældigt modellerne i grupper og gentog sammenligningen, selvom dette ikke medførte signifikante ændringer i fremtidige forudsigelser.

Effekten, bemærker artiklen, kan også vedvare i årtier. Selvom den generelt blev svagere og mindre almindelig, efterhånden som intervallet mellem journalerne øgedes, viste HEEDB-datasættet, som indeholder ECG’er indsamlet fra 1980’erne til 2025, signifikante ændringer i forudsigelser mere end 25 år efter patientens seneste træningsrecord.

Diagnostisk skade

Forskerne bag den nye artikel – med titlen Memoriseringsbias i medicinsk AI – simulerede derefter, hvordan memorisering kunne påvirke diagnostisk nøjagtighed, når patienter senere møder en model trænet på deres tidligere journaler.

Fremtidige tilfælde blev opdelt efter, om patienten havde udviklet en ny tilstand; fraværende i deres historiske træningsdata; eller om de vendte tilbage med i princippet den samme helbredstilstand.

For nye tilstande viste effekten sig konsekvent negativ, idet modeller, der tidligere havde set patientens historiske journaler, udviste lavere sensitivitet på tværs af en række diagnoser repræsenteret i de fire datasæt. Dette omfattede infarkter og andre ECG-abnormiteter; lungesygdomme; samt bredere kritiske udfald.

I praktiske termer producerede modellerne flere falske negativer, når patientens helbred havde ændret sig; men når patientens helbred ikke havde ændret sig, gjorde modellens hukommelse om deres tidligere journaler det mere sandsynligt at producere den korrekte diagnose. Både sensitivitet og specificitet steg, fordi patientens aktuelle tilstand lignede den tilstand, der allerede var repræsenteret i træningsdataene.

Forfatterne bemærker, at dette kan gøre sådanne systemer vanskelige at vurdere præcist: hvis de fleste tilbagevendende patienter stadig har de samme tilstande, vil modellen præstere bedre på dem, hvilket potentielt skjuler dens lavere sensitivitet over for patienter, der har udviklet nye tilstande.

Løsninger

Som en mulig sikkerhedsforanstaltning testede forskerne differentiel privatliv (som begrænser, hvor meget information om ethvert individuelt træningseksempel der kan bevares af en model) under træning.

Selvom beskyttelse af individuelle journaler reducerede memoriseringseffekten, eliminerede den den ikke, selv ved den stærkeste indstilling, der blev testet. Anvendelse af beskyttelsen på patientniveau, så alle journaler tilhørende den samme person blev dækket, var meget mere effektiv, og næsten eliminerede effekten.

Det bør bemærkes, at hvis et datasæt er blevet uigenkaldeligt anonymiseret, kan patientens data ikke afgrænses på en måde, der tillader sådanne metoder; og forskerne observerer, at hvis datasættet ikke er trænet med differentiel privatliv aktiveret, medlemskabsinformationsangreb bliver en risiko; hvis det er, øges de nødvendige ressourcer til træning betydeligt.

Konklusion

Forfatterne afslutter med at observere, at selvom de bekymrende hændelser i øjeblikket forekommer med en relativt lav frekvens, kan dette ændre sig i fremtiden*:

‘Der er grund til at forvente, at antallet af fejldiagnoser, der kan tilskrives memoriseringsbias, vil stige i fremtiden, selvom vi ikke tester dette direkte. Tidligere forskning har vist, at andelen af træningsdata, som en model memoriserer, stiger med modellens kapacitet [6, 7, 9, 10, 40].’

‘Dette er bekymrende, da den nuværende udvikling af AI-modeller styres af “skaleringlove” [41], som driver hurtig vækst i både model- og datasætstørrelser i jagten på forbedret ydeevne. ‘

‘Efterhånden som større AI-modeller trænes på historiske data fra stadigt større patientpopulationer, vil det absolutte antal individer, der påvirkes af memoriseringsbias, sandsynligvis stige drastisk, hvilket forværrer de risici, vi identificerer her.’

* Min konvertering af forfatternes inline-citater til hyperlinks, med noget fortolkning hvor nøjagtig gengivelse ikke er mulig eller hjælpsom.

Først offentliggjort fredag den 18. september 2026. Rettet 18:17 EET for hyperlinkkorrektion.