Flere tiår gamle anonymiserte medisinske data kan forårsake AI‑feildiagnostisering nå

Ifølge et nytt forskningssamarbeid mellom Tyskland og Storbritannia kan anonymiserte pasientjournaler som ble inkludert i medisinske datasett for flere tiår siden føre til at AI‑systemer som er trent på dem gjenkjenner den virkelige pasientens egenskaper år senere – og behandler en pasient i 2026 som om det fortsatt var 2012 (eller hvilket år deres anonymiserte pasientdata først ble inkludert i datasettet/ene).

Dette kan for eksempel bety at en pasient som ble registrert som under kreftbehandling for 20 år siden, og som deretter gikk inn i langvarig remisjon, nå kan bli behandlet av AI‑systemet i konteksten av deres eldre, kreftplagede selv – logisk sett økende sjansen for en falsk tilbakefallsdiagnose.

Omvendt, hvis 2012‑versjonen av den pasientens data viste perfekt helse ved rutinekontroller, kunne dette optimistiske synet potensielt bli pålagt den eldre, nåværende versjonen av pasienten, og skjule oppdagelsen av nye tilstander eller problemer som kan trenge behandling.

Fra den nye artikkelen, en illustrasjon av hvordan memoriseringsskjevhet kan påvirke en tilbakevendende pasient. En modell trent på Alices tidligere sunne EKG‑er gir kun 15 % sannsynlighet for hennes senere hjerteinfarkt, sammenlignet med 73 % for en modell som aldri har sett hennes historiske opptegnelser. Kilde

Begrense ‘Dataimmigrasjon’

Scenariet blir mer sannsynlig på grunn av ulike nasjonale og regionale direktiver som anbefaler at pasientdata for slike formål ideelt sett bør hentes fra landet hvor systemene som er avledet fra dem skal brukes, noe som «lokaliserer» pasientpopulasjonen i datasettene, og merkbart øker sjansen for denne typen uoppdaget de‑anonymiseringshendelse.

Ved inferens øker begrensning av tilgjengelige data til kun et nasjonalt datasett sjansen for memorering – muligheten for at modellen ser de samme dataene så mange ganger under trening at den blir «fiksert» på disse over‑lærte mønstrene. Omvendt, jo større og mer variert et datasett er, desto mer sannsynlig er det at det vil generalisere til usett data etter trening, i stedet for å memorere spesifikke datapunkter eller konfigurasjoner.

Imidlertid medfører tillegging av «utenlandske» medisinske data en risiko for å introdusere bevis på nasjonale helsetrender og idiosynkrasier som ikke ville gjelde i landet hvor den trente modellen blir tatt i bruk; i denne sammenhengen, som den nye artikkelen innrømmer, er en viss mengde memorering hensiktsmessig og nyttig, siden den hjelper modellen å operere innen de mest sannsynlige generelle medisinske egenskapene til en bestemt befolkning.

Artikkelen sier*:

‘[When]‑modeller blir distribuert prospektivt, memorering skaper en spesifikk og undervurdert risiko. Fordi en pasients journaler er svært selv‑like over tid, kan en fremtidig journal fungere som en delvis ledetråd til en memorert historisk journal, og forskyve modellens prediksjoner mot pasientens tidligere helsetilstand.

Dette er ikke et hypotetisk scenario. Medisinske AI‑modeller blir rutinemessig distribuert på samme befolkning som deres treningsdata ble hentet fra.

‘For eksempel bruker Tysklands nasjonale brystkreftscreeningsprogram bruker en AI‑modell trent på 1,2 millioner mammogram hentet fra den samme screeningspopulasjonen den nå betjener.

‘Sammenlignbar utrulling pågår andre steder, inkludert nasjonale brystkreftscreeningsprogrammer i Storbritannia og Sverige.

‘Regulatorisk veiledning oppmuntrer aktivt til dette, med EU AI Act som krever at treningsdata reflekterer den geografiske og kontekstuelle settingen for tiltenkt bruk (Art. 10(4)), og lignende internasjonale retningslinjer for medisinsk AI‑utvikling som krever at den tiltenkte pasientpopulasjonen er tilstrekkelig representert i modellens treningsdatasett.’

Vedvarende historisk katastrofe..?

Selv om artikkelen ikke tar opp saken, virker det statistisk logisk at pasienter som (eller som) ikke regelmessig deltar i medisinske kontroller gjennom livet, og hvis anonymiserte opptegnelser periodisk ble matet inn i AI‑datastreamen, sannsynligvis vises i anonymiserte pasientdata nesten utelukkende på tidspunkter da de trengte behandling – noe som vil øke sjansen for å «projisere» en lenge kurert tilstand på den samme pasienten nå, siden opptegnelsene mangler en «god helse»‑motvekt.

tidligere forskning på ‘informert tilstedeværelsesskjevhet’ i elektroniske pasientjournaler viser at medisinske datasett uforholdsmessig representerer perioder når pasienter er syke og interagerer med helsetjenester.

En studie fant at alvorlig syke pasienter hadde 5,05 ganger så mange dager med laboratoriedata og 6,85 ganger så mange med medikamentordrer som de sunneste pasientene.

I 2022 rapporterte rundt 76 % av voksne i USA at de hadde hatt en rutinemessig kontroll det siste året, definert av CDC som en generell fysisk undersøkelse, snarere enn behandling for en spesifikk tilstand; og i Europa fant en flernasjonale undersøkelse fra 2023 at 58 % deltok i minst noen forebyggende kontroller; men kun 15 % deltok i alle forebyggende avtaler som ble ansett som relevante for dem.

Omfanget av effekten

Studien testet effekten på tvers av fire store medisinske datasett som omfatter EKG‑opptak, bryst‑røntgenbilder og elektroniske pasientjournaler; nemlig MIMIC-CXR chest X-ray database og MIMIC-IV-ED akuttbehandlingsjournaler, sammen med MIMIC-ECG og den mye større HEEDB-samlingen av EKG. Datasettene varierte i størrelse fra titalls tusen pasienter til mer enn 1,8 millioner personer.

Forfatterne bemerker at den beregnede effekten varierer betydelig, med endringer i predikert sannsynlighet som overstiger 70 prosentpoeng i enkelte tilfeller:

Resultater som viser hvordan historiske pasientdata endrer senere prediksjoner. Øvre paneler sammenligner hyppigheten og størrelsen på disse endringene på tvers av de fire datasettene; de nedre panelene viser hvordan effekten endres med tiden siden pasientens siste treningsoppføring. Signifikante effekter blir mindre vanlige over tid, men forblir påvisbare flere tiår senere.

Som en kontroll delte forskerne tilfeldig modellene inn i grupper og gjentok sammenligningen, selv om dette ikke ga noen signifikante endringer i fremtidige prediksjoner.

Effekten, bemerker artikkelen, kan også vedvare i flere tiår. Selv om den generelt ble svakere og mindre vanlig etter hvert som intervallet mellom oppføringer økte, viste HEEDB‑datasettet, som inneholder EKG‑opptak samlet fra 1980‑årene til 2025, signifikante endringer i prediksjoner mer enn 25 år etter pasientens siste treningsoppføring.

Diagnostisk skade

Forskerne bak den nye artikkelen – med tittelen Memorisation bias in medical AI – simulerte deretter hvordan memorisering kunne påvirke diagnostisk nøyaktighet når pasienter senere møter en modell trent på deres tidligere oppføringer.

Fremtidige tilfeller ble delt inn etter om pasienten hadde utviklet en ny tilstand; fraværende i deres historiske treningsdata; eller om de kom tilbake med i hovedsak samme helsetilstand.

For nye tilstander viste effekten seg konsekvent negativ, med modeller som tidligere hadde sett pasientens historiske oppføringer som hadde lavere sensitivitet på tvers av et spekter av diagnoser representert i de fire datasettene. Dette inkluderte infarkter og andre EKG‑avvik; lungesykdommer; og bredere kritiske utfall.

I praktiske termer produserte modellene flere falske negativer når pasientens helse hadde endret seg; men når pasientens helse ikke hadde endret seg, gjorde modellens hukommelse om deres tidligere oppføringer det mer sannsynlig å gi riktig diagnose. Både sensitivitet og spesifisitet økte fordi pasientens nåværende tilstand lignet på tilstanden som allerede var representert i treningsdataene.

Forfatterne bemerker at dette kan gjøre slike systemer vanskelige å vurdere nøyaktig: hvis de fleste tilbakevendende pasienter fortsatt har de samme tilstandene, vil modellen prestere bedre på dem, noe som potensielt skjuler dens lavere sensitivitet for pasienter som har utviklet nye tilstander.

Løsninger

Som en mulig beskyttelse testet forskerne differential privacy (som begrenser hvor mye informasjon om et enkelt treningseksempel som kan beholdes av en modell) under trening.

Selv om beskyttelse av individuelle oppføringer reduserte memoriseringseffekten, eliminerte den den ikke, selv ved den sterkeste innstillingen som ble testet. Å anvende beskyttelsen på pasientnivå, som dekker alle oppføringer tilhørende samme person, var mye mer effektivt, og nesten eliminerte effekten.

Det bør imidlertid bemerkes at dersom et datasett er irreversibelt anonymisert, kan ikke pasientens data avgrenses på en måte som tillater slike metoder; og forskerne observerer at hvis datasettet ikke er trent med aktivert differential privacy, membership inference attacks blir en risiko; hvis det er det, øker ressursene som kreves for trening merkbart.

Konklusjon

Forfatterne avslutter med å observere at selv om de bekymringsfulle hendelsene for øyeblikket forekommer med relativt lav frekvens, kan dette endre seg i fremtiden*:

‘Det er grunn til å forvente at antallet feildiagnoser som skyldes memoriseringsbias vil øke i fremtiden, selv om vi ikke tester dette direkte. Tidligere forskning har vist at andelen av treningsdata en modell memoriserer øker med modellens kapasitet [6, 7, 9, 10, 40].’

‘Dette er bekymringsfullt, gitt at dagens utvikling av AI-modeller styres av «skaleringslover» [41], som driver rask vekst i både modell- og datasettstørrelser i jakten på bedre ytelse.’

‘Ettersom større AI-modeller trenes på historiske data hentet fra stadig større pasientpopulasjoner, vil det absolutte antallet individer som påvirkes av memoriseringsbias sannsynligvis øke kraftig, noe som forverrer risikoene vi identifiserer her.’

* Min konvertering av forfatternes inline-sitater til hyperlenker, med noe tolkning der nøyaktig gjengivelse ikke er mulig eller nyttig.

Først publisert fredag 18. september 2026