Flere tiår gamle anonymiserte medisinske data kan forårsake AI-feildiagnostisering nå

Ifølge et nytt forskningssamarbeid mellom Tyskland og Storbritannia, kan anonymiserte pasientjournaler som ble inkludert i medisinske datasett for tiår siden føre til at AI‑systemer som er trent på dem gjenkjenner den virkelige pasientens egenskaper år senere – og behandler en pasient i 2026 som om det fortsatt var 2012 (eller hvilket år deres anonymiserte pasientdata først ble inkludert i datasettet).

Dette kan for eksempel bety at en pasient som ble registrert som under kreftbehandling for 20 år siden, og som deretter gikk inn i langvarig remisjon, nå kan bli behandlet av AI‑systemet i konteksten av deres eldre, kreftplagede selv – logisk sett økende sjansen for en falsk diagnose av tilbakefall.

Omvendt, hvis 2012‑versjonen av den pasientens data viste perfekt helse ved rutinekontroller, kunne dette optimistiske synspunktet potensielt bli pålagt den eldre, nåværende versjonen av pasienten, og skjule oppdagelsen av nye tilstander eller problemer som kan trenge behandling.

Fra den nye artikkelen, en illustrasjon av hvordan memoriseringsbias kan påvirke en tilbakevendende pasient. En modell trent på Alices tidligere sunne EKG‑er gir kun 15 % sannsynlighet for hennes senere hjerteinfarkt, sammenlignet med 73 % for en modell som aldri har sett hennes historiske journaler. Kilde

Begrense ‘Dataimmigrasjon’

Scenariet blir mer sannsynlig på grunn av ulike nasjonale og regionale direktiver som anbefaler at pasientdata for slike formål ideelt sett bør hentes fra landet der systemene som er avledet fra dem er ment å brukes, noe som ‘lokaliserer’ pasientpopulasjonen i datasettene, og merkbart øker sjansen for denne typen uoppdaget de‑anonymiseringshendelse.

Ved inferens øker begrensning av tilgjengelige data til kun et nasjonalt datasett sjansen for memorering – muligheten for at modellen ser de samme dataene så mange ganger under trening at den blir ‘fiksert’ på disse over‑lærte mønstrene. Omvendt, jo større og mer variert et datasett er, desto mer sannsynlig er det at det vil generalisere til usette data etter trening, i stedet for å memorere spesifikke datapunkter eller konfigurasjoner.

Imidlertid medfører tilførsel av ‘utenlandske’ medisinske data risiko for å introdusere bevis på nasjonale helsetrender og idiosynkrasier som ikke vil gjelde i landet der den trente modellen blir tatt i bruk; i denne sammenhengen, som den nye artikkelen innrømmer, er en viss grad av memorering passende og nyttig, siden det hjelper modellen å operere innen de mest sannsynlige generelle medisinske egenskapene til en bestemt befolkning.

Artikkelen sier*:

‘[When]‑modeller distribueres prospektivt, memorering skaper en spesifikk og undervurdert risiko. Fordi en pasients journaler er svært selvliknende over tid, kan en fremtidig journal fungere som en delvis ledetråd til en memorert historisk journal, og forskyve modellens prediksjoner mot pasientens tidligere helsetilstand.

Dette er ikke et hypotetisk scenario. Medisinske AI‑modeller blir rutinemessig distribuert på samme befolkning som deres treningsdata ble hentet fra.

‘For eksempel, Tysklands nasjonale brystkreftscreenings program bruker en AI‑modell trent på 1,2 millioner mammogrammer hentet fra den samme screeningspopulasjonen den nå betjener.

‘Sammenlignbar utrulling pågår andre steder, inkludert nasjonale brystkreftscreeningsprogrammer i United Kingdom og Sweden.

‘Regulatorisk veiledning oppmuntrer aktivt til dette, med EU AI Act som krever at treningsdata reflekterer den geografiske og kontekstuelle settingen for tiltenkt bruk (Art. 10(4)), og lignende internasjonale retningslinjer for medisinsk AI‑utvikling som krever at den tiltenkte pasientpopulasjonen er tilstrekkelig representert i modellens treningsdatasett.’

Vedvarende historisk katastrofe..?

Selv om artikkelen ikke tar opp saken, virker det statistisk logisk at pasienter som (eller som) ikke regelmessig deltar i medisinske kontroller gjennom livet, og hvis anonymiserte journaler periodisk ble lagt inn i AI‑datastreamen, sannsynligvis vil dukke opp i anonymiserte pasientdata nesten utelukkende på tidspunkter da de trengte behandling – noe som vil øke sjansen for å ‘projisere’ en lenge kurert tilstand på den samme pasienten nå, siden journalene mangler en ‘god helse’-motvekt.

Dette er bekreftet av tidligere forskning på ‘informert tilstedeværelsesbias’ i elektroniske pasientjournaler, som viser at medisinske datasett overrepresenterer perioder når pasienter er syke og interagerer med helsetjenester.

En studie fant at svært syke pasienter hadde 5,05 ganger så mange dager med laboratoriedata og 6,85 ganger så mange med medikamentordrer som de sunneste pasientene.

I 2022 rapporterte rundt 76 % av voksne i USA at de hadde hatt en rutinemessig kontroll det siste året, definert av CDC som en generell fysisk undersøkelse, snarere enn behandling for en spesifikk tilstand; og i Europa fant en flernasjonale undersøkelse fra 2023 at 58 % deltok i minst noen forebyggende kontroller, men kun 15 % deltok i alle forebyggende avtaler som ble ansett som relevante for dem.

Omfanget av effekten

Studien testet effekten på tvers av fire store medisinske datasett som omfatter EKG‑opptak, bryst‑røntgenbilder og elektroniske pasientjournaler; nemlig MIMIC-CXR chest X-ray database og MIMIC-IV-ED akuttbehandlingsjournaler, sammen med MIMIC-ECG og den mye større HEEDB-samlingen av EKG‑opptak. Datasettene varierte i størrelse fra titalls tusen pasienter til over 1,8 millioner personer.

Forfatterne bemerker at den beregnede effekten varierer betydelig, med endringer i predikert sannsynlighet som overstiger 70 prosentpoeng i enkelte tilfeller:

Resultater som viser hvordan historiske pasientdata endrer senere prediksjoner. Øvre paneler sammenligner hyppigheten og omfanget av disse endringene på tvers av de fire datasettene; de nedre panelene viser hvordan effekten endres med tiden siden pasientens siste treningsoppføring. Signifikante effekter blir mindre vanlige over tid, men forblir påvisbare flere tiår senere.

Som en kontroll delte forskerne tilfeldig modellene inn i grupper og gjentok sammenligningen, selv om dette ikke ga noen signifikante endringer i fremtidige prediksjoner.

Effekten, bemerker artikkelen, kan også vedvare i flere tiår. Selv om den generelt ble svakere og mindre vanlig etter hvert som intervallet mellom oppføringer økte, viste HEEDB‑datasettet, som inneholder EKG‑opptak samlet fra 1980‑årene til 2025, signifikante endringer i prediksjoner mer enn 25 år etter pasientens siste treningsoppføring.

Diagnostisk skade

Forskerne i den nye artikkelen – med tittelen Memorisation bias in medical AI – simulerte deretter hvordan memorering kunne påvirke diagnostisk nøyaktighet når pasienter senere møter en modell trent på deres tidligere oppføringer.

Fremtidige tilfeller ble delt inn etter om pasienten hadde utviklet en ny tilstand som ikke var representert i deres historiske treningsdata; eller om de kom tilbake med i hovedsak samme helsetilstand.

Ved nye tilstander viste effekten seg konsekvent negativ, med modeller som tidligere hadde sett pasientens historiske oppføringer som hadde lavere sensitivitet på tvers av et spekter av diagnoser representert i de fire datasettene. Dette inkluderte infarkter og andre EKG‑avvik; lungesykdommer; og bredere kritiske utfall.

I praktiske termer produserte modellene flere falske negativer når pasientens helse hadde endret seg; men når pasientens helse ikke hadde endret seg, gjorde modellens hukommelse om deres tidligere oppføringer det mer sannsynlig at riktig diagnose ble gitt. Både sensitivitet og spesifisitet økte fordi pasientens nåværende tilstand lignet på tilstanden som allerede var representert i treningsdataene.

Forfatterne påpeker at dette kan gjøre slike systemer vanskelige å vurdere nøyaktig: hvis de fleste tilbakevendende pasienter fortsatt har de samme tilstandene, vil modellen prestere bedre på dem, noe som potensielt skjuler dens lavere sensitivitet for pasienter som har utviklet nye tilstander.

Løsninger

Som en mulig beskyttelse testet forskerne differensiell personvern (som begrenser hvor mye informasjon om et enkelt treningseksempel som kan beholdes av en modell) under trening.

Selv om beskyttelse av individuelle oppføringer reduserte memoreringseffekten, eliminerte den den ikke, selv ved den sterkeste innstillingen som ble testet. Å anvende beskyttelsen på pasientnivå, som dekker alle oppføringer tilhørende samme person, var mye mer effektivt, og nesten eliminerte effekten.

Det bør imidlertid bemerkes at dersom et datasett er irreversibelt anonymisert, kan ikke pasientens data avgrenses på en måte som tillater slike metoder; og forskerne observerer at hvis datasettet ikke er trent med differensiell personvern aktivert, medlemskaps‑informasjonsangrep blir en risiko; hvis det er det, øker ressursene som kreves for trening merkbart.

Konklusjon

Forfatterne avslutter med å observere at selv om de bekymringsfulle hendelsene for øyeblikket forekommer med relativt lav frekvens, kan dette endre seg i fremtiden*:

‘Det er grunn til å forvente at antallet feildiagnostiser som skyldes memoriseringsbias vil øke i fremtiden, selv om vi ikke tester dette direkte. Tidligere forskning har vist at andelen av treningsdata en modell memoriserer øker med modellens kapasitet [6, 7, 9, 10, 40].’

‘Dette er bekymringsfullt, gitt at dagens utvikling av AI-modeller styres av «skaleringslover» [41], som driver rask vekst i både modell- og datasettstørrelser i jakten på bedre ytelse.’

‘Ettersom større AI-modeller trenes på historiske data hentet fra stadig større pasientpopulasjoner, vil det absolutte antallet individer som påvirkes av memoriseringsbias sannsynligvis øke kraftig, noe som forverrer risikoene vi identifiserer her.’

* Min konvertering av forfatternes inline-sitater til hyperlenker, med noe tolkning der nøyaktig gjengivelse ikke er mulig eller nyttig.

Først publisert fredag 18. september 2026. Endret 18:17 EET for korrigering av hyperlenke.