Jahrzehntealte anonymisierte medizinische Daten können jetzt KI-Fehldiagnosen verursachen

Laut einer neuen Forschungskollaboration zwischen Deutschland und dem Vereinigten Königreich können anonymisierte Patientenakten, die bereits vor Jahrzehnten in medizinische Datensätze aufgenommen wurden, KI‑Systeme, die damit trainiert werden, noch Jahre später die echten Patienten Merkmale erkennen – und einen Patienten im Jahr 2026 so behandeln, als wäre es noch 2012 (oder welches Jahr auch immer ihre anonymisierten Patientendaten erstmals in den Datensatz aufgenommen wurden).

Das könnte beispielsweise bedeuten, dass ein Patient, der vor 20 Jahren als in Krebsbehandlung befindlich erfasst wurde und anschließend in eine langfristige Remission überging, nun vom KI‑System im Kontext ihres älteren, krebsgeplagten Selbst behandelt wird – was logisch sogar die Wahrscheinlichkeit einer falschen Diagnose eines Rückfalls erhöht.

Umgekehrt könnte, wenn die 2012‑Version der Daten dieses Patienten bei routinemäßigen Untersuchungen perfekte Gesundheit zeigte, dieser optimistische Standpunkt potenziell auf die ältere, aktuelle Version des Patienten übertragen werden, wodurch die Erkennung neuer Erkrankungen oder Probleme, die behandelt werden müssen, verdeckt wird.

Aus dem neuen Papier, eine Abbildung, wie Memorierungsbias einen wiederkehrenden Patienten beeinflussen kann. Ein Modell, das auf Alice’s früheren gesunden EKGs trainiert wurde, weist nur eine 15 %ige Wahrscheinlichkeit für ihren späteren Herzinfarkt zu, verglichen mit 73 % für ein Modell, das ihre historischen Aufzeichnungen nie gesehen hat. Quelle

Eindämmung von ‘Datenimmigration’

Das Szenario wird durch verschiedene nationale und regionale Richtlinien wahrscheinlicher, die empfehlen, dass Patientendaten für solche Zwecke idealerweise aus dem Land stammen sollten, in dem die daraus abgeleiteten Systeme eingesetzt werden sollen, wodurch die Patientenbasis in den Datensätzen ‘lokalisiert’ wird und die Wahrscheinlichkeit eines solchen unentdeckten De‑Anonymisierungs‑Ereignisses deutlich steigt.

Durch die Folgerung erhöht die Beschränkung der verfügbaren Daten auf einen rein nationalen Datensatz die Wahrscheinlichkeit von Einprägung – der Möglichkeit, dass das Modell dieselben Daten während des Trainings so oft sieht, dass es auf diese über‑gelernten Muster ‘fixiert’ wird. Umgekehrt gilt: Je größer und diverser ein Datensatz ist, desto wahrscheinlicher ist es, dass er nach dem Training verallgemeinern kann, anstatt spezifische Datenpunkte oder Konfigurationen einzuprägen.

Allerdings birgt das Hinzufügen von ‘ausländischen’ medizinischen Daten das Risiko, Hinweise auf nationale Gesundheitstrends und Eigenheiten einzuführen, die im Land, in dem das trainierte Modell eingesetzt wird, nicht gelten würden; in dieser Hinsicht erkennt die neue Studie an, dass ein gewisses Maß an Memorierung angemessen und nützlich ist, da es dem Modell hilft, innerhalb der wahrscheinlichsten allgemeinen medizinischen Merkmale einer bestimmten Bevölkerung zu arbeiten.

Die Studie stellt fest*:

‘[When]‑Modelle werden prospectiv eingesetzt, Memorierung schafft ein spezifisches und unterschätztes Risiko. Da die Aufzeichnungen eines Patienten im Laufe der Zeit hochgradig selbstähnlich sind, kann ein zukünftiger Eintrag als partieller Hinweis auf einen memorierten historischen Eintrag dienen und die Vorhersagen des Modells in Richtung des früheren Gesundheitszustands des Patienten verschieben.

Dies ist kein hypothetisches Szenario. Medizinische KI‑Modelle werden routinemäßig auf derselben Population eingesetzt, aus der ihre Trainingsdaten stammen.

Zum Beispiel nutzt das nationale Brustkrebsscreening-program uses ein KI‑Modell, das auf 1,2 Millionen Mammogrammen trainiert wurde, die aus derselben Screening‑Population stammen, die es jetzt bedient.

‘Ähnliche Einsätze laufen an anderen Orten, einschließlich nationaler Brustkrebs‑Screening‑Programme im Vereinigten Königreich und Schweden.

‘Regulatorische Leitlinien fördern dies aktiv, wobei der EU AI Act verlangt, dass Trainingsdaten die geografische und kontextuelle Umgebung der beabsichtigten Nutzung widerspiegeln (Art. 10(4)), und ähnliche internationale Leitlinien für die Entwicklung medizinischer KI fordern, dass die beabsichtigte Patientengruppe ausreichend im Trainingsdatensatz eines Modells vertreten ist.’

Anhaltende historische Katastrophe..?

Obwohl das Papier das Thema nicht behandelt, erscheint es statistisch logisch, dass Patienten, die ihr Leben lang (oder früher) keine regelmäßigen medizinischen Vorsorgeuntersuchungen wahrgenommen haben und deren anonymisierte Aufzeichnungen periodisch in den KI‑Datenstrom gelangten, wahrscheinlich in anonymisierten Patientendaten fast ausschließlich zu Zeiten, in denen sie Behandlung benötigten auftauchen – was die Wahrscheinlichkeit erhöht, dass ein längst geheilter Zustand jetzt auf denselben Patienten projiziert wird, da die Aufzeichnungen keinen Gegenpol „guter Gesundheit“ besitzen.

Dies wird durch frühere Forschung zu ‘informed presence bias’ in elektronischen Gesundheitsakten bestätigt, die zeigt, dass medizinische Datensätze überproportional Zeiträume repräsentieren, in denen Patienten krank sind und mit Gesundheitsdiensten interagieren.

Eine Studie ergab, dass schwer erkrankte Patienten 5,05‑mal so viele Tage mit Labordaten und 6,85‑mal so viele Tage mit Medikamentenbestellungen hatten wie die gesündesten Patienten.

Im Jahr 2022 gaben rund 76 % der erwachsenen US‑Bevölkerung an, im vergangenen Jahr eine Routineuntersuchung durchgeführt zu haben, die von den CDC als allgemeine körperliche Untersuchung definiert wird, nicht als Behandlung einer spezifischen Erkrankung; und in Europa ergab eine länderübergreifende Umfrage aus dem Jahr 2023 , dass 58 % zumindest einige Vorsorgeuntersuchungen wahrnahmen; jedoch nahmen nur 15 % alle für sie relevanten Vorsorgetermine wahr.

Das Ausmaß des Effekts

Die Studie prüfte den Effekt anhand von vier großen medizinischen Datensätzen, die EKG‑Aufzeichnungen, Thorax‑Röntgenbilder und elektronische Gesundheitsakten umfassen; nämlich die MIMIC-CXR chest X-ray database und MIMIC-IV-ED Notfall‑Versorgungsdatensätze, zusammen mit MIMIC-ECG und der deutlich größeren HEEDB-Sammlung von EKGs. Die Datensätze reichten in ihrer Größe von Zehntausenden von Patienten bis zu mehr als 1,8 Millionen Personen.

Die Autoren weisen darauf hin, dass der berechnete Effekt stark variiert, wobei Änderungen der vorhergesagten Wahrscheinlichkeit in einigen Fällen 70 Prozentpunkte überschreiten:

Ergebnisse, die zeigen, wie historische Patientendaten spätere Vorhersagen verändern. Die oberen Panels vergleichen Häufigkeit und Ausmaß dieser Änderungen über die vier Datensätze hinweg; die unteren Panels zeigen, wie sich der Effekt mit der Zeit seit dem letzten Trainingsdatensatz des Patienten verändert. Signifikante Effekte werden im Laufe der Zeit seltener, bleiben jedoch über Jahrzehnte hinweg nachweisbar.

Als Kontrolle teilten die Forschenden die Modelle zufällig in Gruppen ein und wiederholten den Vergleich, wobei dies keine signifikanten Änderungen in zukünftigen Vorhersagen ergab.

Der Effekt, so das Papier, kann ebenfalls über Jahrzehnte hinweg bestehen bleiben. Obwohl er im Allgemeinen schwächer und seltener wurde, je größer das Intervall zwischen den Aufzeichnungen war, zeigte der HEEDB‑Datensatz, der EKGs aus den 1980er‑Jahren bis 2025 enthält, signifikante Änderungen in den Vorhersagen mehr als 25 Jahre nach dem zuletzt trainierten Datensatz des Patienten.

Diagnostischer Schaden

Die Forschenden des neuen Artikels – mit dem Titel Memorisation bias in medical AI – simulierten anschließend, wie sich Memorisation‑Bias auf die diagnostische Genauigkeit auswirken könnte, wenn Patienten später einem Modell begegnen, das auf ihren früheren Aufzeichnungen trainiert wurde.

Zukünftige Fälle wurden danach aufgeteilt, ob der Patient eine neue Erkrankung entwickelt hatte; ob sie in den historischen Trainingsdaten fehlten; oder ob sie mit im Wesentlichen demselben Gesundheitszustand zurückkehrten.

Bei neuen Erkrankungen erwies sich der Effekt durchweg negativ, wobei Modelle, die zuvor die historischen Aufzeichnungen des Patienten gesehen hatten, eine geringere Sensitivität über ein Spektrum von Diagnosen, die in den vier Datensätzen vertreten sind, zeigten. Dazu gehörten Infarkte und andere EKG‑Abnormalitäten; Lungenerkrankungen; sowie breitere kritische Ergebnisse.

In der Praxis erzeugten die Modelle mehr falsch‑negative Ergebnisse, wenn sich der Gesundheitszustand des Patienten geändert hatte; aber wenn sich der Gesundheitszustand des Patienten nicht geändert hatte, erhöhte das Gedächtnis des Modells an den früheren Aufzeichnungen die Wahrscheinlichkeit, die richtige Diagnose zu stellen. Sowohl Sensitivität als auch Spezifität stiegen, weil der aktuelle Zustand des Patienten dem bereits in den Trainingsdaten vertretenen Zustand ähnlich war.

Die Autoren weisen darauf hin, dass dies solche Systeme schwer genau zu bewerten machen könnte: Wenn die meisten zurückkehrenden Patienten nach wie vor dieselben Erkrankungen haben, wird das Modell bei ihnen besser abschneiden, wodurch seine geringere Sensitivität gegenüber Patienten, die neue Erkrankungen entwickelt haben, möglicherweise verdeckt wird.

Gegenmaßnahmen

Als mögliche Schutzmaßnahme testeten die Forschenden differential privacy (die begrenzt, wie viele Informationen über ein einzelnes Trainingsbeispiel von einem Modell behalten werden können) während des Trainings.

Obwohl der Schutz einzelner Datensätze den Memorisationseffekt reduzierte, eliminierte er ihn nicht, selbst bei der stärksten getesteten Einstellung. Der Schutz auf Patientenebene, der alle Aufzeichnungen einer Person umfasst, war deutlich wirksamer und nahezu eliminierte den Effekt.

Es sollte jedoch beachtet werden, dass bei einem unwiederbringlich anonymisierten Datensatz die Patientendaten nicht so abgegrenzt werden können, dass solche Methoden möglich sind; und die Forschenden stellen fest, dass wenn der Datensatz nicht mit aktivierter differential privacy trainiert wird, membership inference attacks ein Risiko darstellen; wird er es, erhöhen sich die für das Training erforderlichen Ressourcen deutlich.

Fazit

Die Autoren schließen mit der Beobachtung, dass, obwohl die besorgniserregenden Vorfälle derzeit mit relativ niedriger Rate auftreten, sich dies in Zukunft ändern könnte*:

‘Es gibt Grund zu der Annahme, dass die Zahl der Fehldiagnosen, die auf Memorierungsbias zurückzuführen sind, in Zukunft zunehmen wird, obwohl wir dies nicht direkt testen. Frühere Forschungen haben gezeigt, dass der Anteil der Trainingsdaten, den ein Modell memoriert, mit zunehmender Modellkapazität steigt [6, 7, 9, 10, 40].’

‘Das ist besorgniserregend, da die aktuelle Entwicklung von KI‑Modellen von „Scaling Laws“ [41] geleitet wird, die ein rapides Wachstum sowohl der Modell‑ als auch der Datensatzgrößen im Streben nach besserer Leistung vorantreiben.’

‘Da größere KI‑Modelle auf historischen Daten trainiert werden, die aus immer größeren Patient*innenpopulationen stammen, wird die absolute Zahl der von Memorierungsbias betroffenen Personen voraussichtlich stark ansteigen und die hier identifizierten Risiken verschärfen.’

* Meine Umwandlung der Inline‑Zitate der Autoren in Hyperlinks, mit einiger Interpretation, wo eine exakte Replikation nicht möglich oder sinnvoll ist.

Erstveröffentlichung Freitag, 18. September 2026