Des données médicales anonymisées depuis des décennies peuvent désormais provoquer des erreurs de diagnostic de l’IA

Selon une nouvelle collaboration de recherche entre l’Allemagne et le Royaume-Uni, les dossiers patients anonymisés qui ont été inclus dans des ensembles de données médicales il y a même des décennies peuvent amener les systèmes d’IA entraînés sur ceux-ci à reconnaître les caractéristiques réelles du patient années plus tard – et à traiter un patient en 2026 comme si nous étions encore en 2012 (ou l’année où leurs données anonymisées ont été intégrées pour la première fois aux ensembles de données).

Cela pourrait signifier, par exemple, qu’un patient qui a été enregistré comme suivant un traitement contre le cancer il y a 20 ans, et qui est ensuite entré en rémission à long terme, pourrait maintenant être traité par le système d’IA dans le contexte de leur version antérieure atteinte de cancer – augmentant logiquement même les risques d’un faux diagnostic de récidive.

Inversement, si la version 2012 des données de ce patient reflétait une santé parfaite lors des bilans de routine, cette perspective optimiste pourrait être imposée à la version actuelle plus âgée du patient, masquant la détection de nouvelles affections ou problèmes nécessitant un traitement.

D’après le nouvel article, une illustration de la façon dont le biais de mémorisation peut affecter un patient revenant. Un modèle entraîné sur les ECG sains antérieurs d’Alice attribue seulement 15 % de probabilité à son infarctus ultérieur, contre 73 % pour un modèle qui n’a jamais vu ses dossiers historiques. Source

Freiner l’« Data Immigration »

Ce scénario devient plus probable grâce à diverses directives nationales et régionales recommandant que les données patients à ces fins proviennent idéalement du pays où les systèmes qui en découlent sont destinés à être utilisés, ce qui « localise » le groupe de patients dans les ensembles de données, et augmente notablement le risque de ce type d’événement de dés-anonymisation non détecté.

Par inférence, limiter la quantité de données disponibles à un seul ensemble national augmente la probabilité de mémorisation – la possibilité que le modèle voie les mêmes données tant de fois pendant l’entraînement qu’il devienne « fixé » sur ces schémas sur‑appris. Inversement, plus un ensemble de données est grand et diversifié, plus il est probable qu’il généralise à des données inédites après l’entraînement, plutôt que de mémoriser des points de données ou configurations spécifiques.

Cependant, ajouter des données médicales « étrangères » risque d’introduire des preuves de tendances sanitaires nationales et d’idiosyncrasies qui ne s’appliqueraient pas dans le pays où le modèle entraîné est déployé ; à cet égard, comme le nouvel article le reconnaît, une certaine quantité de mémorisation est appropriée et utile, puisqu’elle aide le modèle à fonctionner selon les caractéristiques médicales générales les plus probables d’une population particulière.

L’article indique* :

‘[When] les modèles sont déployés prospectivement, la mémorisation crée un risque spécifique et sous‑estimé. Parce que les dossiers d’un patient sont très auto‑similaires dans le temps, un dossier futur peut servir d’indice partiel pour un dossier historique mémorisé, décalant les prédictions du modèle vers l’état de santé antérieur du patient.’

Ce n’est pas un scénario hypothétique. Les modèles d’IA médicale sont couramment déployés sur la même population dont les données d’entraînement proviennent.

‘Par exemple, le programme national allemand de dépistage du cancer du sein programme utilise un modèle d’IA entraîné sur 1,2 million de mammographies provenant de la même population de dépistage qu’il sert aujourd’hui.’

‘Déploiement comparable est en cours ailleurs, y compris les programmes nationaux de dépistage du cancer du sein au Royaume-Uni et Suède.

‘Les directives réglementaires encouragent activement cela, le EU AI Act exige que les données d’entraînement reflètent le contexte géographique et contextuel de l’usage prévu (Art. 10(4)), et les directives internationales similaires pour le développement d’IA médicale appellent à ce que la population de patients visée soit suffisamment représentée dans l’ensemble de données d’entraînement du modèle.’

Calamité historique persistante… ?

Bien que l’article ne traite pas de la question, il semble statistiquement logique que les patients qui ne consultent pas régulièrement les bilans de santé tout au long de leur vie, et dont les dossiers anonymisés sont périodiquement introduits dans le flux de données d’IA, apparaissent presque exclusivement aux moments où ils nécessitaient un traitement – ce qui tendrait à augmenter la probabilité de « projeter » une condition longtemps guérie sur le même patient aujourd’hui, les dossiers ne comportant aucun contre‑poids de « bonne santé ».

Cette affirmation est confirmée par des recherches antérieures sur le ‘biais de présence informée’ dans les dossiers de santé électroniques, montrant que les ensembles de données médicaux représentent de façon disproportionnée les périodes où les patients sont malades et interagissent avec les services de santé.

Une étude a constaté que les patients gravement malades avaient 5.05 fois plus de jours avec des données de laboratoire et 6.85 fois plus de jours avec des ordonnances de médicaments que les patients les plus sains.

En 2022, environ 76 % des adultes américains ont déclaré avoir eu un examen de routine au cours de l’année précédente, défini par le CDC comme un examen physique général, plutôt qu’un traitement pour une condition spécifique ; et en Europe, une enquête multinationale de 2023 a révélé que 58 % ont assisté à au moins quelques examens préventifs ; mais seulement 15 % ont assisté à tous les rendez-vous préventifs jugés pertinents pour eux.

L’ampleur de l’effet

L’étude a testé l’effet sur quatre grands ensembles de données médicales, couvrant les enregistrements ECG, les radiographies thoraciques et les dossiers de santé électroniques ; à savoir, la MIMIC-CXR chest X-ray database et les dossiers de soins d’urgence MIMIC-IV-ED, ainsi que MIMIC-ECG et la collection beaucoup plus grande HEEDB d’ECG. Les ensembles de données variaient en taille de dizaines de milliers de patients à plus de 1,8 million de personnes.

Les auteurs soulignent que l’effet calculé varie considérablement, avec des changements de probabilité prédite dépassant 70 points de pourcentage dans certains cas :

Résultats montrant comment les données historiques des patients modifient les prédictions ultérieures. Les panneaux supérieurs comparent la fréquence et l’ampleur de ces changements à travers les quatre ensembles de données ; les panneaux inférieurs montrent comment l’effet évolue avec le temps écoulé depuis le dernier enregistrement d’entraînement du patient. Les effets significatifs deviennent moins fréquents avec le temps, mais restent détectables des décennies plus tard.

En tant que contrôle, les chercheurs ont divisé aléatoirement les modèles en groupes et ont répété la comparaison, bien que cela n’ait produit aucun changement significatif dans les prédictions futures.

L’effet, indique l’article, peut également persister pendant des décennies. Bien qu’il devienne généralement plus faible et moins fréquent à mesure que l’intervalle entre les enregistrements augmente, l’ensemble de données HEEDB, qui contient des ECG collectés des années 1980 à 2025, a montré des changements significatifs dans les prédictions plus de 25 ans après le dernier enregistrement d’entraînement du patient.

Préjudice diagnostique

Les chercheurs du nouvel article – intitulé Memorisation bias in medical AI – ont ensuite simulé comment la mémorisation pourrait affecter la précision diagnostique lorsque les patients rencontrent plus tard un modèle entraîné sur leurs dossiers antérieurs.

Les cas futurs ont été répartis selon que le patient avait développé une nouvelle condition ; absente de leurs données d’entraînement historiques ; ou qu’il revenait avec essentiellement le même état de santé.

Pour les nouvelles conditions, l’effet s’est avéré constamment négatif, les modèles ayant déjà vu les dossiers historiques du patient présentant une sensibilité plus faible sur un éventail de diagnostics représentés dans les quatre ensembles de données. Cela comprenait les infarctus et autres anomalies ECG ; les affections pulmonaires ; et des issues critiques plus larges.

En termes pratiques, les modèles ont produit davantage de faux négatifs lorsque la santé du patient avait changé ; mais lorsque la santé du patient n’avait pas changé, la mémoire du modèle de leurs dossiers antérieurs rendait plus probable la production du diagnostic correct. La sensibilité et la spécificité ont toutes deux augmenté parce que l’état actuel du patient ressemblait à la condition déjà représentée dans les données d’entraînement.

Les auteurs soulignent que cela pourrait rendre ces systèmes difficiles à évaluer avec précision : si la plupart des patients de retour conservent les mêmes conditions, le modèle fonctionnera mieux pour eux, ce qui pourrait masquer sa sensibilité plus faible envers les patients ayant développé de nouvelles conditions.

Remèdes

En tant que mesure de protection possible, les chercheurs ont testé la confidentialité différentielle (qui limite la quantité d’informations pouvant être conservées par un modèle à propos de tout exemple d’entraînement individuel) pendant l’entraînement.

Bien que la protection des dossiers individuels ait réduit l’effet de mémorisation, elle ne l’a pas éliminé, même dans le paramètre le plus fort testé. Appliquer la protection au niveau du patient, couvrant tous les dossiers appartenant à la même personne, était beaucoup plus efficace et a presque éliminé l’effet.

Il convient toutefois de noter que si un ensemble de données a été anonymisé de façon irréversible, les données du patient ne peuvent pas être isolées d’une manière permettant de telles méthodes ; et, les chercheurs observent, si l’ensemble de données n’est pas entraîné avec la confidentialité différentielle activée, les attaques d’inférence d’appartenance deviennent un risque ; si elle l’est, les ressources nécessaires à l’entraînement augmentent notablement.

Conclusion

Les auteurs concluent en observant que, bien que les incidents préoccupants se produisent actuellement à un taux relativement faible, cela pourrait changer à l’avenir* :

‘Il y a raison de s’attendre à ce que le nombre de diagnostics manqués attribuables au biais de mémorisation augmente à l’avenir, bien que nous ne testions pas cela directement. Des recherches antérieures ont montré que la proportion des données d’entraînement qu’un modèle mémorise augmente avec la capacité du modèle [6, 7, 9, 10, 40].

‘C’est préoccupant, étant donné que le développement actuel des modèles d’IA est guidé par les « lois d’échelle » [41], qui entraînent une croissance rapide tant de la taille des modèles que des ensembles de données dans le but d’améliorer les performances.

‘À mesure que les modèles d’IA plus grands sont entraînés sur des données historiques provenant de populations de patients toujours plus importantes, le nombre absolu d’individus affectés par le biais de mémorisation devrait augmenter de façon drastique, aggravant les risques que nous identifions ici.’

* Ma conversion des citations en ligne des auteurs en hyperliens, avec une certaine interprétation lorsque la reproduction exacte n’est pas possible ou utile.

Première publication vendredi 18 septembre 2026