Dati medici anonimizzati da decenni potrebbero causare diagnosi errate dell’IA ora

Secondo una nuova collaborazione di ricerca tra Germania e Regno Unito, i record dei pazienti anonimizzati inseriti nei dataset medici già decenni fa possono far sì che i sistemi di IA addestrati su di essi riconoscano le caratteristiche reali del paziente anni dopo – e trattino un paziente del 2026 come se fosse ancora il 2012 (o qualunque anno in cui i suoi dati anonimizzati furono inseriti per la prima volta nel/i dataset).

Ciò potrebbe significare, ad esempio, che un paziente registrato come sottoposto a trattamento oncologico 20 anni fa, e che successivamente è entrato in remissione a lungo termine, potrebbe ora essere trattato dal sistema di IA nel contesto della sua precedente condizione oncologica – aumentando logicamente le probabilità di una diagnosi errata di recidiva.

Al contrario, se la versione del 2012 dei dati di quel paziente mostrava una salute perfetta nei controlli di routine, questa prospettiva ottimistica potrebbe potenzialmente essere imposta sulla versione più recente del paziente, mascherando l’individuazione di nuove condizioni o problemi che potrebbero richiedere trattamento.

Dal nuovo articolo, un’illustrazione di come il bias di memorizzazione possa influenzare un paziente di ritorno. Un modello addestrato sugli ECG sani precedenti di Alice assegna solo il 15% di probabilità al suo successivo infarto, rispetto al 73% per un modello che non ha mai visto i suoi record storici. Fonte

Contrastare l’‘immigrazione dei dati’

Lo scenario è reso più probabile da varie direttive nazionali e regionali che raccomandano che i dati dei pazienti per tali scopi dovrebbero idealmente essere prelevati dal paese in cui i sistemi derivati da essi sono destinati all’uso, il che ‘localizza’ il campione di pazienti nei dataset e aumenta notevolmente la probabilità di questo tipo di evento di de-anonimizzazione non rilevata.

Per inferenza, limitare la quantità di dati disponibili a un solo dataset nazionale aumenta la probabilità di memorizzazione – la possibilità che il modello veda gli stessi dati così tante volte durante l’addestramento da diventare ‘fissato’ su questi schemi sovra‑appresi. Al contrario, più grande e diversificato è un dataset, più è probabile che generalizzi a dati non visti dopo l’addestramento, invece di memorizzare punti dati o configurazioni specifiche.

Tuttavia, aggiungere dati medici ‘stranieri’ rischia di introdurre evidenze di tendenze sanitarie nazionali e idiosincrasie che non si applicherebbero nel paese in cui il modello addestrato viene distribuito; a questo proposito, come ammette il nuovo articolo, una certa quantità di memorizzazione è appropriata e utile, poiché aiuta il modello a operare entro le caratteristiche mediche generali più probabili di una determinata popolazione.

Il documento afferma*:

‘[When] i modelli sono distribuiti prospetticamente, la memorizzazione crea un rischio specifico e poco apprezzato. Poiché i record di un paziente sono altamente auto‑simili nel tempo, un record futuro può fungere da indizio parziale per un record storico memorizzato, spostando le previsioni del modello verso lo stato di salute precedente del paziente.

Questo non è uno scenario ipotetico. I modelli di IA medica sono regolarmente distribuiti sulla stessa popolazione da cui sono stati prelevati i dati di addestramento.

‘Ad esempio, il programma di screening nazionale per il cancro al seno della Germania utilizza un modello di IA addestrato su 1,2 milioni di mammografie provenienti dalla stessa popolazione di screening che ora serve.

‘Implementazioni comparabili sono in corso altrove, inclusi i programmi nazionali di screening per il cancro al seno nel Regno Unito e Svezia.

‘Le linee guida normative incoraggiano attivamente ciò, con il EU AI Act che richiede che i dati di addestramento riflettano il contesto geografico e contestuale dell’uso previsto (Art. 10(4)), e linee guida internazionali simili per lo sviluppo di IA medica che chiedono che la popolazione di pazienti prevista sia sufficientemente rappresentata nel dataset di addestramento del modello.’

Calamità Storica Persistente..?

Sebbene il documento non affronti la questione, sembra statisticamente logico che i pazienti che non (o non hanno) effettuato regolarmente controlli medici nel corso della loro vita, e i cui record anonimizzati sono entrati periodicamente nel flusso di dati dell’IA, tendano a comparire nei dati anonimizzati dei pazienti quasi esclusivamente nei momenti in cui necessitavano di trattamento – il che aumenterebbe la probabilità di ‘proiettare’ una condizione curata da tempo sullo stesso paziente ora, poiché i record non hanno un contrappeso di ‘buona salute’.

Questo è confermato da ricerche precedenti sul ‘informed presence bias’ nei record elettronici sanitari, che evidenziano come i dataset medici rappresentino in modo sproporzionato i periodi in cui i pazienti sono malati e interagiscono con i servizi sanitari.

Uno studio ha riscontrato che i pazienti gravemente malati avevano 5.05 volte più giorni con dati di laboratorio e 6.85 volte più giorni con ordini di farmaci rispetto ai pazienti più sani.

Nel 2022, circa il 76% degli adulti statunitensi ha riferito di aver effettuato un controllo di routine nell’anno precedente, definito dal CDC come un esame fisico generale, piuttosto che un trattamento per una condizione specifica; e in Europa, un’indagine mult Paese del 2023 ha riscontrato che il 58% ha partecipato ad almeno alcuni controlli preventivi; ma solo il 15% ha partecipato a tutti gli appuntamenti preventivi ritenuti rilevanti per loro.

L’entità dell’effetto

Lo studio ha testato l’effetto su quattro grandi set di dati medici, comprendendo registrazioni ECG, radiografie toraciche e cartelle cliniche elettroniche; nello specifico, il MIMIC-CXR chest X-ray database e i record di cure d’emergenza MIMIC-IV-ED, insieme a MIMIC-ECG e la molto più ampia collezione di ECG HEEDB. I set di dati variavano in dimensione da decine di migliaia di pazienti a più di 1.8 milioni di persone.

Gli autori osservano che l’effetto calcolato varia notevolmente, con variazioni nella probabilità predetta che superano i 70 punti percentuali in alcuni casi:

Risultati che mostrano come i dati storici dei pazienti modificano le previsioni successive. I pannelli superiori confrontano la frequenza e l’entità di queste variazioni nei quattro set di dati; i pannelli inferiori mostrano come l’effetto varia nel tempo trascorso dall’ultimo record di addestramento del paziente. Gli effetti significativi diventano meno comuni col tempo, ma rimangono rilevabili decenni dopo.

Come controllo, i ricercatori hanno diviso casualmente i modelli in gruppi e hanno ripetuto il confronto, sebbene ciò non abbia prodotto cambiamenti significativi nelle previsioni future.

L’effetto, osserva lo studio, può persistere per decenni. Sebbene generalmente sia diventato più debole e meno comune man mano che l’intervallo tra i record aumentava, il set di dati HEEDB, che contiene ECG raccolti dagli anni ’80 al 2025, ha mostrato cambiamenti significativi nelle previsioni più di 25 anni dopo l’ultimo record di addestramento del paziente.

Danno diagnostico

I ricercatori del nuovo articolo – intitolato Memorisation bias in medical AI – hanno poi simulato come la memorizzazione potrebbe influenzare la precisione diagnostica quando i pazienti incontrano in seguito un modello addestrato sui loro record precedenti.

I casi futuri sono stati suddivisi in base al fatto che il paziente avesse sviluppato una nuova condizione; assente dai loro dati di addestramento storici; o fosse tornato con sostanzialmente lo stesso stato di salute.

Per le nuove condizioni, l’effetto si è dimostrato costantemente negativo, con i modelli che avevano precedentemente visto i record storici del paziente che mostravano una sensibilità inferiore su una serie di diagnosi rappresentate nei quattro set di dati. Questo comprendeva infarti e altre anomalie ECG; condizioni polmonari; e risultati critici più ampi.

In termini pratici, i modelli hanno prodotto più falsi negativi quando la salute del paziente era cambiata; ma quando la salute del paziente non era cambiata, la memoria del modello dei loro record precedenti lo rendeva più propenso a fornire la diagnosi corretta. Sia la sensibilità sia la specificità sono aumentate perché la condizione attuale del paziente somigliava alla condizione già rappresentata nei dati di addestramento.

Gli autori osservano che ciò potrebbe rendere tali sistemi difficili da valutare con precisione: se la maggior parte dei pazienti di ritorno ha ancora le stesse condizioni, il modello avrà prestazioni migliori su di loro, potenzialmente nascondendo la sua minore sensibilità verso i pazienti che hanno sviluppato nuove condizioni.

Rimedi

Come possibile salvaguardia, i ricercatori hanno testato la privacy differenziale (che limita quante informazioni su un singolo esempio di addestramento possono essere trattenute da un modello) durante l’addestramento.

Sebbene la protezione dei record individuali abbia ridotto l’effetto di memorizzazione, non lo ha eliminato, nemmeno nelle impostazioni più rigorose testate. Applicare la protezione a livello di paziente, coprendo tutti i record appartenenti alla stessa persona, è stato molto più efficace e ha quasi eliminato l’effetto.

Va osservato, tuttavia, che se un set di dati è stato anonimizzato in modo irreversibile, i dati del paziente non possono essere isolati in modo da consentire tali metodi; e, osservano i ricercatori, se il set di dati non è addestrato con la privacy differenziale attivata, gli attacchi di inferenza di appartenenza diventano un rischio; se lo è, le risorse necessarie per l’addestramento aumentano notevolmente.

Conclusione

Gli autori concludono osservando che, sebbene gli incidenti preoccupanti si verifichino attualmente a un tasso relativamente basso, ciò potrebbe cambiare in futuro*:

‘C’è motivo di aspettarsi che il numero di diagnosi mancate attribuibili al bias di memorizzazione aumenti in futuro, sebbene non lo testiamo direttamente. Ricerche precedenti hanno dimostrato che la proporzione di dati di addestramento che un modello memorizza cresce con la capacità del modello [6, 7, 9, 10, 40].’

‘Ciò è preoccupante, dato che lo sviluppo attuale dei modelli IA è guidato dalle “leggi di scaling” [41], che spingono una rapida crescita sia delle dimensioni dei modelli sia dei dataset nella ricerca di prestazioni migliori.’

‘Man mano che i modelli IA più grandi vengono addestrati su dati storici provenienti da popolazioni di pazienti sempre più ampie, è probabile che il numero assoluto di individui colpiti dal bias di memorizzazione aumenti drasticamente, aggravando i rischi che identifichiamo qui.’

* La mia conversione delle citazioni in linea degli autori in hyperlink, con qualche interpretazione dove la replica esatta non è possibile o utile.

Pubblicato per la prima volta venerdì 18 settembre 2026. Modificato alle 18:17 EET per correzione degli hyperlink.