Decennialang geanonimiseerde medische gegevens kunnen nu AI-misdiagnoses veroorzaken

Volgens een nieuw onderzoeksproject tussen Duitsland en het Verenigd Koninkrijk kunnen geanonimiseerde patiëntendossiers die al tientallen jaren in medische datasets zijn opgenomen, AI‑systemen die erop zijn getraind ertoe brengen de kenmerken van echt patiënt jaren later te herkennen – en een patiënt uit 2026 behandelen alsof het nog 2012 is (of welk jaar de geanonimiseerde patiëntgegevens ook voor het eerst in de dataset(s) werden opgenomen).

Dit zou bijvoorbeeld kunnen betekenen dat een patiënt die 20 jaar geleden werd geregistreerd als onder behandeling voor kanker, en die daarna in langdurige remissie kwam, nu door het AI‑systeem kan worden behandeld in de context van hun oudere, door kanker getroffen zelf – wat logisch gezien zelfs de kans op een valse diagnose van terugkeer kan vergroten.

Omgekeerd, als de versie van 2012 van de gegevens van die patiënt perfecte gezondheid toonde bij routinematige controles, zou dit optimistische standpunt mogelijk kunnen worden opgelegd aan de ouder, huidige versie van de patiënt, waardoor de detectie van nieuwe aandoeningen of problemen die behandeling vereisen, wordt gemaskeerd.

Uit het nieuwe artikel, een illustratie van hoe memorisatiebias een terugkerende patiënt kan beïnvloeden. Een model dat getraind is op Alice’s eerdere gezonde ECG’s kent slechts een kans van 15 % op haar latere hartaanval, vergeleken met 73 % voor een model dat haar historische gegevens nooit heeft gezien. Bron

Beperken van ‘Data-immigratie’

Het scenario wordt waarschijnlijker gemaakt door diverse nationale en regionale richtlijnen die aanbevelen dat patiëntgegevens voor dergelijke doeleinden idealiter afkomstig moeten zijn uit het land waarin de daarop gebaseerde systemen bedoeld zijn te worden gebruikt, waardoor de patiëntenpopulatie in de datasets wordt ‘gelokaliseerd’ en de kans op dit soort onopgemerkte de-anonimisering aanzienlijk toeneemt.

Bij gevolg verhoogt het beperken van de beschikbare data tot alleen een nationale dataset de kans op memorisatie – de mogelijkheid dat het model dezelfde gegevens zo vaak tijdens het trainen ziet dat het ‘gefixeerd’ raakt op deze overgeleerde patronen. Omgekeerd, hoe groter en diverser een dataset, hoe waarschijnlijker het is dat deze zal generaliseren naar ongeziene data na het trainen, in plaats van specifieke datapunten of configuraties te memoriseren.

Echter, het toevoegen van ‘buitenlandse’ medische gegevens brengt het risico met zich mee dat bewijzen van nationale gezondheids trends en idiosyncrasieën worden geïntroduceerd die niet van toepassing zijn in het land waar het getrainde model wordt ingezet; in dit opzicht, zoals het nieuw artikel toegeeft, is een bepaalde mate van memorisatie passend en nuttig, omdat het het model helpt te opereren binnen de waarschijnlijke algemene medische kenmerken van een specifieke populatie.

Het artikel stelt*:

‘[When] modellen worden prospectief ingezet, memorisatie creëert een specifiek en ondergewaardeerd risico. Omdat de dossiers van een patiënt over tijd sterk zelfgelijkend zijn, kan een toekomstig dossier dienen als een gedeeltelijke aanwijzing voor een gememoriseerd historisch dossier, waardoor de voorspellingen van het model verschuiven naar de eerdere gezondheidstoestand van de patiënt.’

Dit is geen hypothetisch scenario. Medische AI-modellen worden routinematig ingezet op dezelfde populatie waaruit hun trainingsgegevens zijn verkregen.

‘Voorbeeld, het nationale borstkankerscreeningsprogramma gebruikt een AI‑model getraind op 1,2 miljoen mammogrammen afkomstig van dezelfde screeningspopulatie die het nu bedient.

‘Vergelijkbare inzet is elders al gaande, inclusief nationale borstkankerscreeningsprogramma’s in het Verenigd Koninkrijk en Zweden.

‘Regulerende richtlijnen moedigen dit actief aan, met de EU AI Act die vereist dat trainingsdata de geografische en contextuele setting van het beoogde gebruik weerspiegelen (Art. 10(4)), en gelijkaardige internationale richtlijnen voor de ontwikkeling van medische AI die eisen dat de beoogde patiëntenpopulatie voldoende wordt vertegenwoordigd in de trainingsdataset van een model.’

Aanhoudende Historische Calamiteit..?

Hoewel het artikel de kwestie niet behandelt, lijkt het statistisch logisch dat patiënten die gedurende hun leven niet regelmatig medische controles bijwoonden, en wiens geanonimiseerde dossiers periodiek in de AI‑datastroom terechtkwamen, waarschijnlijk verschijnen in geanonimiseerde patiëntgegevens bijna uitsluitend op momenten dat ze behandeling nodig hadden – wat de kans zou vergroten dat een lang genezen aandoening nu op dezelfde patiënt wordt ‘geprojecteerd’, aangezien de dossiers geen ‘goede gezondheid’ tegenwicht hebben.

Dit wordt bevestigd door eerder onderzoek naar ‘geïnformeerde aanwezigheidsbias’ in elektronische gezondheidsdossiers, waaruit blijkt dat medische datasets onevenredig vaak perioden vertegenwoordigen waarin patiënten ziek zijn en interactie hebben met de gezondheidszorg.

Een onderzoek vond dat ernstig zieke patiënten 5,05 keer zoveel dagen met laboratoriumgegevens hadden en 6,85 keer zoveel dagen met medicatieorders als de gezondste patiënten.

In 2022 meldden ongeveer 76% van de Amerikaanse volwassenen meldden dat ze een routinecontrole hadden gehad in het voorgaande jaar, gedefinieerd door de CDC als een algemeen lichamelijk onderzoek, in plaats van een behandeling voor een specifieke aandoening; en in Europa toonde een multi‑land enquête uit 2023 aan dat 58% ten minste enkele preventieve controles ondergingen; maar slechts 15% alle preventieve afspraken bijwoonden die voor hen relevant werden geacht.

De omvang van het effect

De studie testte het effect over vier grote medische datasets, met ECG‑opnames, thorax‑röntgenfoto’s en elektronische gezondheidsdossiers; namelijk de MIMIC-CXR chest X-ray database en MIMIC-IV-ED spoedeisende‑zorgrecords, naast MIMIC-ECG en de veel grotere HEEDB-collectie van ECG’s. De datasets varieerden in omvang van tienduizenden patiënten tot meer dan 1,8 miljoen mensen.

De auteurs merken op dat het berekende effect aanzienlijk varieert, met veranderingen in de voorspelde waarschijnlijkheid die in sommige gevallen meer dan 70 procentpunten overschrijden:

Resultaten die laten zien hoe historische patiëntgegevens latere voorspellingen veranderen. Bovenste panelen vergelijken de frequentie en omvang van deze veranderingen over de vier datasets; de onderste panelen tonen hoe het effect verandert naarmate de tijd sinds het laatste trainingsrecord van de patiënt toeneemt. Significante effecten komen minder vaak voor na verloop van tijd, maar blijven tientallen jaren later detecteerbaar.

Als controle verdeelden de onderzoekers de modellen willekeurig in groepen en herhaalden de vergelijking, hoewel dit geen significante veranderingen in toekomstige voorspellingen opleverde.

Het effect, merkt het artikel op, kan ook gedurende decennia aanhouden. Hoewel het over het algemeen zwakker en minder vaak voorkwam naarmate de tussenperiode tussen records toenam, toonde de HEEDB-dataset, die ECG’s bevat verzameld van de jaren 1980 tot 2025, significante veranderingen in voorspellingen meer dan 25 jaar na het meest recente trainingsrecord van de patiënt.

Diagnostische schade

De onderzoekers van het nieuwe artikel – getiteld Memorisation bias in medical AI – simuleerden vervolgens hoe memorisatie de diagnostische nauwkeurigheid zou kunnen beïnvloeden wanneer patiënten later een model tegenkomen dat getraind is op hun eerdere gegevens.

Toekomstige gevallen werden ingedeeld op basis van of de patiënt een nieuwe aandoening had ontwikkeld; afwezig in hun historische trainingsgegevens; of dat ze terugkeerden met in wezen dezelfde gezondheidstoestand.

Voor nieuwe aandoeningen bleek het effect consistent negatief, waarbij modellen die eerder de historische gegevens van de patiënt hadden gezien, een lagere sensitiviteit vertoonden over een reeks diagnoses die in de vier datasets waren vertegenwoordigd. Dit omvatte infarcten en andere ECG‑abnormaliteiten; longaandoeningen; en bredere kritieke uitkomsten.

In praktische termen leverden de modellen meer valse negatieven wanneer de gezondheid van de patiënt was veranderd; maar wanneer de gezondheid van de patiënt niet was veranderd, maakte het geheugen van het model van hun eerdere gegevens het waarschijnlijker om de juiste diagnose te stellen. Zowel sensitiviteit als specificiteit namen toe omdat de huidige toestand van de patiënt gelijkaardig was aan de toestand die al in de trainingsgegevens was vertegenwoordigd.

De auteurs merken op dat dit dergelijke systemen moeilijk nauwkeurig te beoordelen kan maken: als de meeste terugkerende patiënten nog steeds dezelfde aandoeningen hebben, zal het model beter presteren op hen, waardoor de lagere sensitiviteit voor patiënten die nieuwe aandoeningen hebben ontwikkeld mogelijk wordt verborgen.

Remedies

Als mogelijke beveiligingsmaatregel testten de onderzoekers differential privacy (dat beperkt hoeveel informatie over een individueel trainingsvoorbeeld door een model kan worden behouden) tijdens het trainen.

Hoewel het beschermen van individuele records het memorisatie‑effect verminderde, elimineerde het niet, zelfs niet bij de sterkste geteste instelling. Het toepassen van de bescherming op patiëntniveau, waarbij alle records die tot dezelfde persoon behoren worden afgedekt, was veel effectiever en elimineerde het effect bijna.

Het moet echter worden opgemerkt dat als een dataset onherroepelijk geanonimiseerd is, de gegevens van de patiënt niet op een manier kunnen worden afgeschermd die dergelijke methoden mogelijk maakt; en, merken de onderzoekers op, als de dataset niet wordt getraind met ingeschakelde differential privacy, membership inference attacks een risico vormen; als dat wel het geval is, nemen de benodigde middelen voor training aanzienlijk toe.

Conclusie

De auteurs sluiten af met de observatie dat hoewel de zorgwekkende incidenten momenteel met een relatief lage frequentie voorkomen, dit in de toekomst kan veranderen*:

‘Er is reden om te verwachten dat het aantal gemiste diagnoses dat toe te schrijven is aan memorisatiebias in de toekomst zal toenemen, hoewel we dit niet direct testen. Eerder onderzoek heeft aangetoond dat het aandeel trainingsdata dat een model onthoudt toeneemt met de modelcapaciteit [6, 7, 9, 10, 40].’

‘Dit is zorgwekkend, aangezien de huidige ontwikkeling van AI-modellen wordt geleid door “scaling laws” [41], die een snelle groei in zowel model- als datasetgroottes stimuleren in de zoektocht naar betere prestaties.’

‘Naarmate grotere AI-modellen worden getraind op historische gegevens die afkomstig zijn van steeds grotere patiëntpopulaties, zal het absolute aantal individuen dat door memorisatiebias wordt getroffen waarschijnlijk drastisch stijgen, waardoor de risico’s die we hier identificeren verergeren.’

* Mijn omzetting van de inline-citaties van de auteurs naar hyperlinks, met enige interpretatie waar exacte replicatie niet mogelijk of nuttig is.

Eerste publicatie vrijdag 18 september 2026