Decennialang geanonimiseerde medische gegevens kunnen nu AI-misdiagnoses veroorzaken

Volgens een nieuw onderzoekssamenwerking tussen Duitsland en het VK kunnen geanonimiseerde patiëntendossiers die al tientallen jaren in medische datasets zijn opgenomen, AI‑systemen die ermee getraind worden, ertoe brengen de de echte patiënt kenmerken jaren later te herkennen – en een patiënt uit 2026 te behandelen alsof het nog 2012 was (of welk jaar hun geanonimiseerde patiëntgegevens ook voor het eerst in de dataset(en) werden opgenomen).

Dit zou kunnen betekenen dat een patiënt die 20 jaar geleden werd geregistreerd als ondergaand aan een kankerbehandeling, en daarna in langdurige remissie kwam, nu door het AI‑systeem in de context van hun oudere, door kanker getroffen zelf behandeld zou kunnen worden – wat logisch gezien de kans op een valse diagnose van terugkeer zelfs vergroot.

Omgekeerd, als de 2012‑versie van de gegevens van die patiënt een perfecte gezondheid bij routinematige controles weergaf, zou dit optimistische standpunt mogelijk opgelegd kunnen worden aan de oudere, huidige versie van de patiënt, waardoor de detectie van nieuwe aandoeningen of problemen die behandeling vereisen, wordt gemaskeerd.

Uit het nieuwe artikel, een illustratie van hoe memorisatiebias een terugkerende patiënt kan beïnvloeden. Een model dat getraind is op Alice’s eerdere gezonde ECG’s kent slechts een kans van 15 % op haar latere hartaanval, vergeleken met 73 % voor een model dat haar historische gegevens nooit heeft gezien. Bron

Beperken van ‘Data-immigratie’

Het scenario wordt waarschijnlijker door verschillende nationale en regionale richtlijnen die aanbevelen dat patiëntgegevens voor dergelijke doeleinden idealiter afkomstig moeten zijn uit het land waarin de daarop gebaseerde systemen bedoeld zijn te worden gebruikt, waardoor de patiëntengroep in de datasets wordt ‘gelokaliseerd’ en de kans op dit soort onopgemerkte de-anonimisering aanzienlijk toeneemt.

Bij gevolg, het beperken van de hoeveelheid beschikbare gegevens tot alleen een nationale dataset vergroot de kans op memorisatie – de mogelijkheid dat het model dezelfde gegevens zo vaak tijdens het trainen ziet dat het ‘gefixeerd’ raakt op deze overgeleerde patronen. Omgekeerd, hoe groter en diverser een dataset is, hoe waarschijnlijker het is dat deze zal generaliseren naar ongeziene data na het trainen, in plaats van specifieke datapunten of configuraties te memoriseren.

Het toevoegen van ‘buitenlandse’ medische gegevens brengt echter het risico met zich mee dat bewijzen van nationale gezondheidstrends en eigenaardigheden worden geïntroduceerd die niet van toepassing zouden zijn in het land waarin het getrainde model wordt ingezet; in dit opzicht, zoals het nieuw artikel toegeeft, is een zekere mate van memorisatie passend en nuttig, omdat het model helpt te opereren binnen de waarschijnlijke algemene medische kenmerken van een bepaalde populatie.

Het artikel stelt*:

‘[When] modellen worden prospectief ingezet, memorisatie creëert een specifiek en ondergewaardeerd risico. Omdat de dossiers van een patiënt over tijd sterk zelfgelijkend zijn, kan een toekomstig dossier dienen als een gedeeltelijke aanwijzing voor een gememoriseerd historisch dossier, waardoor de voorspellingen van het model verschuiven naar de eerdere gezondheidstoestand van de patiënt.

Dit is geen hypothetisch scenario. Medische AI-modellen worden routinematig ingezet op dezelfde populatie waaruit hun trainingsgegevens zijn verkregen.

‘Bijvoorbeeld, het nationale borstkankerscreenings programma gebruikt een AI‑model getraind op 1,2 miljoen mammogrammen afkomstig van dezelfde screeningspopulatie die het nu bedient.

‘Vergelijkbare implementaties zijn elders in gang, inclusief nationale borstkankerscreeningsprogramma’s in the United Kingdom en Sweden.

‘Regelgevende richtlijnen moedigen dit actief aan, met de EU AI Act die vereist dat trainingsgegevens de geografische en contextuele setting van het beoogde gebruik weerspiegelen (Art. 10(4)), en vergelijkbare internationale richtlijnen voor de ontwikkeling van medische AI die eisen dat de beoogde patiëntpopulatie voldoende wordt vertegenwoordigd in de trainingsdataset van een model.’

Aanhoudende Historische Calamiteit..?

Hoewel het artikel de kwestie niet behandelt, lijkt het statistisch logisch dat patiënten die (of die) gedurende hun leven niet regelmatig medische controles bijwoonden, en wier geanonimiseerde dossiers periodiek in de AI‑datastroom terechtkwamen, waarschijnlijk verschijnen in geanonimiseerde patiëntgegevens bijna uitsluitend op momenten dat zij behandeling nodig hadden – wat de kans vergroot dat een lang genezen aandoening nu op dezelfde patiënt wordt ‘geprojecteerd’, aangezien de dossiers geen tegenwicht van ‘goede gezondheid’ hebben.

Dit wordt bevestigd door eerder onderzoek naar ‘geïnformeerde aanwezigheidsbias’ in elektronische gezondheidsdossiers, waaruit blijkt dat medische datasets onevenredig vaak periodes vertegenwoordigen waarin patiënten ziek zijn en interactie hebben met zorgdiensten.

Een studie vond dat ernstig zieke patiënten 5,05 keer zoveel dagen met laboratoriumgegevens hadden en 6,85 keer zoveel dagen met medicatieorders als de gezondste patiënten.

In 2022 meldde ongeveer 76 % van de Amerikaanse volwassenen dat ze een routinecontrole hadden gehad in het voorgaande jaar, gedefinieerd door de CDC als een algemeen lichamelijk onderzoek, in plaats van een behandeling voor een specifieke aandoening; en in Europa toonde een meerlandenonderzoek uit 2023 vond dat 58 % ten minste enkele preventieve controles ondergingen; maar slechts 15 % alle preventieve afspraken bijwoonden die voor hen relevant werden geacht.

De omvang van het effect

De studie testte het effect in vier grote medische datasets, met ECG‑opnames, thorax‑röntgenfoto’s en elektronische patiëntendossiers; namelijk de MIMIC-CXR chest X-ray database en MIMIC-IV-ED noodzorgrecords, naast MIMIC-ECG en de veel grotere HEEDB collectie ECG’s. De datasets varieerden in omvang van tienduizenden patiënten tot meer dan 1,8 miljoen personen.

De auteurs merken op dat het berekende effect aanzienlijk varieert, met veranderingen in de voorspelde waarschijnlijkheid die in sommige gevallen meer dan 70 procentpunten overschrijden:

Resultaten die laten zien hoe historische patiëntgegevens latere voorspellingen wijzigen. Bovenste panelen vergelijken de frequentie en omvang van deze wijzigingen over de vier datasets; de onderste panelen tonen hoe het effect verandert naarmate de tijd sinds het laatste trainingsrecord van de patiënt toeneemt. Significante effecten worden minder vaak waargenomen na verloop van tijd, maar blijven tientallen jaren later detecteerbaar.

Als controle verdeelden de onderzoekers de modellen willekeurig in groepen en herhaalden de vergelijking, hoewel dit geen significante veranderingen in toekomstige voorspellingen opleverde.

Het effect, merkt het artikel op, kan ook tientallen jaren aanhouden. Hoewel het over het algemeen zwakker en minder vaak werd naarmate de tussenperiode tussen records groeide, toonde de HEEDB‑dataset, die ECG’s bevat verzameld van de jaren 80 tot 2025, significante veranderingen in voorspellingen meer dan 25 jaar na het meest recente trainingsrecord van de patiënt.

Diagnostische schade

De onderzoekers van het nieuwe artikel – getiteld Memorisation bias in medical AI – simuleerden vervolgens hoe memorisatie de diagnostische nauwkeurigheid zou kunnen beïnvloeden wanneer patiënten later een model tegenkomen dat getraind is op hun eerdere dossiers.

Toekomstige gevallen werden ingedeeld op basis van of de patiënt een nieuwe aandoening had ontwikkeld; afwezig in hun historische trainingsgegevens; of dat ze terugkeerden met in wezen dezelfde gezondheidstoestand.

Voor nieuwe aandoeningen bleek het effect consequent negatief, waarbij modellen die eerder de historische dossiers van de patiënt hadden gezien een lagere sensitiviteit vertoonden over een reeks diagnoses die in de vier datasets waren vertegenwoordigd. Dit omvatte infarcten en andere ECG‑afwijkingen; longaandoeningen; en bredere kritieke uitkomsten.

In praktische termen produceerden de modellen meer vals‑negatieven wanneer de gezondheid van de patiënt was veranderd; maar wanneer de gezondheid van de patiënt niet was veranderd, maakte het geheugen van het model van hun eerdere dossiers het waarschijnlijker dat de juiste diagnose werd gesteld. Zowel sensitiviteit als specificiteit namen toe omdat de huidige toestand van de patiënt gelijk leken aan de toestand die al in de trainingsgegevens was vertegenwoordigd.

De auteurs merken op dat dit dergelijke systemen moeilijk nauwkeurig te beoordelen maakt: als de meeste terugkerende patiënten nog steeds dezelfde aandoeningen hebben, zal het model beter presteren bij hen, waardoor mogelijk de lagere sensitiviteit voor patiënten die nieuwe aandoeningen hebben ontwikkeld wordt verborgen.

Remedies

Als mogelijke waarborg testten de onderzoekers differential privacy (dat beperkt hoeveel informatie over een individueel trainingsvoorbeeld door een model kan worden behouden) tijdens het trainen.

Hoewel het beschermen van individuele dossiers het memorisatie‑effect verminderde, elimineerde het niet, zelfs niet bij de sterkste geteste instelling. Het toepassen van de bescherming op patiëntniveau, waarbij alle dossiers van dezelfde persoon werden omvat, was veel effectiever en elimineerde het effect bijna volledig.

Het moet echter worden opgemerkt dat als een dataset onherroepelijk geanonimiseerd is, de gegevens van de patiënt niet op een manier kunnen worden afgeschermd die dergelijke methoden mogelijk maakt; en, merken de onderzoekers op, als de dataset niet wordt getraind met ingeschakelde differential privacy, membership inference attacks een risico vormen; als dat wel het geval is, nemen de benodigde middelen voor training aanzienlijk toe.

Conclusie

De auteurs sluiten af met de observatie dat hoewel de zorgwekkende incidenten momenteel op een relatief laag niveau voorkomen, dit in de toekomst kan veranderen*:

‘Er is reden om te verwachten dat het aantal gemiste diagnoses dat toe te schrijven is aan memorisatiebias in de toekomst zal toenemen, hoewel we dit niet direct testen. Eerder onderzoek heeft aangetoond dat het aandeel trainingsdata dat een model onthoudt toeneemt met de modelcapaciteit [6, 7, 9, 10, 40].’

‘Dit is zorgwekkend, aangezien de huidige ontwikkeling van AI-modellen wordt geleid door “scaling laws” [41], die een snelle groei van zowel model- als datasetgroottes stimuleren in de zoektocht naar betere prestaties. ‘

‘Naarmate grotere AI-modellen worden getraind op historische gegevens die afkomstig zijn van steeds grotere patiëntpopulaties, zal het absolute aantal personen dat door memorisatiebias wordt getroffen waarschijnlijk drastisch stijgen, waardoor de hier geïdentificeerde risico’s verergeren.’

* Mijn omzetting van de inline-citaties van de auteurs naar hyperlinks, met enige interpretatie waar exacte replicatie niet mogelijk of nuttig is.

Eerst gepubliceerd vrijdag 18 september 2026. Aangepast 18:17 EET voor hyperlinkcorrectie.