Contrastare l’immigrazione dei dati

Secondo una nuova collaborazione di ricerca tra Germania e Regno Unito, i record anonimizzati dei pazienti inseriti nei set di dati medici già decenni fa potrebbero far sì che i sistemi di IA addestrati su di essi riconoscano le reali del paziente caratteristiche anni dopo – e trattino un paziente del 2026 come se fosse ancora il 2012 (o qualunque anno in cui i suoi dati anonimizzati furono inseriti per la prima volta nel/i set di dati).

Ciò potrebbe significare, ad esempio, che un paziente registrato come in trattamento per il cancro 20 anni fa e che successivamente è entrato in remissione a lungo termine, potrebbe ora essere trattato dal sistema di IA nel contesto della sua versione più anziana, affetta da cancro – aumentando logicamente le probabilità di una diagnosi errata di recidiva.

Al contrario, se la versione del 2012 dei dati di quel paziente mostrava una salute perfetta nei controlli di routine, questa prospettiva ottimistica potrebbe essere imposta sulla versione più anziana e attuale del paziente, mascherando l’individuazione di nuove condizioni o problemi che potrebbero necessitare di trattamento.

Dal nuovo articolo, un’illustrazione di come il bias di memorizzazione possa influenzare un paziente di ritorno. Un modello addestrato sui precedenti ECG sani di Alice assegna solo il 15% di probabilità al suo successivo infarto, rispetto al 73% per un modello che non ha mai visto i suoi record storici. Fonte

Contrastare l’immigrazione dei dati

Lo scenario è reso più probabile da varie direttive nazionali e regionali che raccomandano che i dati dei pazienti per tali scopi dovrebbero idealmente essere prelevati dal paese in cui i sistemi derivati da essi sono destinati all’uso, il che ‘localizza’ il pool di pazienti nei set di dati e aumenta notevolmente la probabilità di questo tipo di evento di de-anonimizzazione non rilevato.

Per inferenza, limitare la quantità di dati disponibili a un unico set di dati nazionale aumenta la probabilità di memorizzazione – la possibilità che il modello veda gli stessi dati così spesso durante l’addestramento da diventare ‘fissato’ su questi schemi sovra‑apprresi. Al contrario, più grande e diversificato è un set di dati, più è probabile che generalizzi su dati non visti dopo l’addestramento, invece di memorizzare punti dati o configurazioni specifiche.

Tuttavia, aggiungere dati medici ‘esteri’ rischia di introdurre evidenze di tendenze sanitarie nazionali e idiosincrasie che non si applicherebbero nel paese in cui il modello addestrato viene distribuito; a questo proposito, come ammette il nuovo articolo, una certa quantità di memorizzazione è appropriata e utile, poiché aiuta il modello a operare entro le caratteristiche mediche generali più probabili di una determinata popolazione.

Il documento afferma*:

‘[When] i modelli vengono distribuiti in modo prospettico, la memorizzazione crea un rischio specifico e poco apprezzato. Poiché i record di un paziente sono altamente auto‑simili nel tempo, un record futuro può fungere da indizio parziale per un record storico memorizzato, spostando le previsioni del modello verso lo stato di salute precedente del paziente.’

Questo non è uno scenario ipotetico. I modelli di IA medica sono regolarmente distribuiti sulla stessa popolazione da cui sono stati prelevati i dati di addestramento.

‘Ad esempio, il programma di screening nazionale per il cancro al seno della Germania utilizza un modello di IA addestrato su 1,2 milioni di mammografie provenienti dalla stessa popolazione di screening che ora serve.

‘Implementazioni comparabili sono in corso altrove, inclusi i programmi nazionali di screening per il cancro al seno nel Regno Unito e Svezia.

‘Le linee guida normative incoraggiano attivamente ciò, con il EU AI Act che richiede che i dati di addestramento riflettano il contesto geografico e contestuale dell’uso previsto (Art. 10(4)), e linee guida internazionali simili per lo sviluppo di IA medica che richiedono che la popolazione di pazienti prevista sia sufficientemente rappresentata nel set di dati di addestramento del modello.’

Calamità Storica Persistente..?

Anche se il documento non affronta la questione, sembra statisticamente logico che i pazienti che non (o non hanno) effettuato regolarmente controlli medici nel corso della vita, e i cui record anonimizzati sono entrati periodicamente nel flusso di dati dell’IA, tendano a comparire nei dati anonimizzati dei pazienti quasi esclusivamente nei momenti in cui necessitavano di trattamento – il che aumenterebbe la probabilità di ‘proiettare’ una condizione curata da tempo sullo stesso paziente ora, poiché i record non hanno un contrappeso di ‘buona salute’.

Ciò è confermato dalle ricerche precedenti sul ‘bias di presenza informata’ nei record elettronici di salute, che hanno scoperto che i set di dati medici rappresentano in modo sproporzionato i periodi in cui i pazienti sono malati e interagiscono con i servizi sanitari.

Uno studio ha riscontrato che i pazienti gravemente malati avevano 5.05 volte più giorni con dati di laboratorio e 6.85 volte più giorni con ordini di farmaci rispetto ai pazienti più sani.

Nel 2022, circa il 76 % degli adulti statunitensi ha riferito di aver effettuato un controllo di routine nell’anno precedente, definito dal CDC come un esame fisico generale, piuttosto che un trattamento per una condizione specifica; e in Europa, un’indagine mult Paese del 2023 ha rilevato che il 58 % ha partecipato ad almeno alcuni controlli preventivi; ma solo il 15 % ha partecipato a tutti gli appuntamenti preventivi ritenuti rilevanti per loro.

L’entità dell’effetto

Lo studio ha testato l’effetto su quattro ampi set di dati medici, comprendenti registrazioni ECG, radiografie toraciche e cartelle cliniche elettroniche; in particolare, il database di radiografie toraciche MIMIC-CXR e i record di cure d’emergenza MIMIC-IV-ED, insieme a MIMIC-ECG e alla collezione di ECG molto più ampia HEEDB. I set di dati variavano in dimensione da decine di migliaia di pazienti a oltre 1,8 milioni di persone.

Gli autori osservano che l’effetto calcolato varia notevolmente, con variazioni nella probabilità predetta che superano i 70 punti percentuali in alcuni casi:

Risultati che mostrano come i dati storici dei pazienti modificano le previsioni successive. I pannelli superiori confrontano la frequenza e l’entità di queste modifiche nei quattro set di dati; i pannelli inferiori mostrano come l’effetto varia nel tempo trascorso dall’ultimo record di addestramento del paziente. Gli effetti significativi diventano meno frequenti col passare del tempo, ma rimangono rilevabili decenni dopo.

Come controllo, i ricercatori hanno suddiviso casualmente i modelli in gruppi e ripetuto il confronto, sebbene ciò non abbia prodotto cambiamenti significativi nelle previsioni future.

L’effetto, osserva lo studio, può persistere per decenni. Sebbene generalmente sia diventato più debole e meno comune man mano che l’intervallo tra i record aumentava, il set di dati HEEDB, che contiene ECG raccolti dagli anni ’80 al 2025, ha mostrato cambiamenti significativi nelle previsioni per più di 25 anni dopo l’ultimo record di addestramento del paziente.

Danno Diagnostico

I ricercatori del nuovo articolo – intitolato Bias di memorizzazione nell’IA medica – hanno poi simulato come la memorizzazione potrebbe influenzare l’accuratezza diagnostica quando i pazienti successivamente incontrano un modello addestrato sui loro record precedenti.

I casi futuri sono stati suddivisi in base al fatto che il paziente avesse sviluppato una nuova condizione; assente dai loro dati storici di addestramento; o fosse tornato con sostanzialmente lo stesso stato di salute.

Per le nuove condizioni, l’effetto si è dimostrato costantemente negativo, con modelli che avevano precedentemente visto i record storici del paziente che mostrano una sensibilità inferiore su una gamma di diagnosi rappresentate nei quattro set di dati. Questo includeva infarti e altre anomalie ECG; condizioni polmonari; e risultati critici più ampi.

In termini pratici, i modelli hanno prodotto più falsi negativi quando lo stato di salute del paziente era cambiato; ma quando lo stato di salute del paziente non era cambiato, la memoria del modello dei loro record precedenti lo rendeva più propenso a fornire la diagnosi corretta. Sia la sensibilità sia la specificità sono aumentate perché la condizione attuale del paziente assomigliava alla condizione già rappresentata nei dati di addestramento.

Gli autori osservano che ciò potrebbe rendere tali sistemi difficili da valutare con precisione: se la maggior parte dei pazienti di ritorno ha ancora le stesse condizioni, il modello avrà prestazioni migliori su di loro, potenzialmente nascondendo la sua minore sensibilità verso i pazienti che hanno sviluppato nuove condizioni.

Rimedi

Come possibile salvaguardia, i ricercatori hanno testato la privacy differenziale (che limita quante informazioni su un singolo esempio di addestramento possono essere conservate da un modello) durante l’addestramento.

Sebbene la protezione dei record individuali abbia ridotto l’effetto di memorizzazione, non lo ha eliminato, nemmeno nelle impostazioni più rigide testate. Applicare la protezione a livello di paziente, coprendo tutti i record appartenenti alla stessa persona, è risultato molto più efficace e ha quasi eliminato l’effetto.

Va osservato, tuttavia, che se un set di dati è stato anonimizzato in modo irreversibile, i dati del paziente non possono essere isolati in modo da consentire tali metodi; e, osservano i ricercatori, se il set di dati non è addestrato con la privacy differenziale attivata, gli attacchi di inferenza di appartenenza diventano un rischio; se lo è, le risorse necessarie per l’addestramento aumentano notevolmente.

Conclusione

Gli autori concludono osservando che, sebbene gli incidenti preoccupanti si verifichino attualmente a un tasso relativamente basso, ciò potrebbe cambiare in futuro*:

‘C’è motivo di aspettarsi che il numero di diagnosi mancate attribuibili al bias di memorizzazione aumenti in futuro, sebbene non lo testiamo direttamente. Ricerche precedenti hanno mostrato che la proporzione di dati di addestramento che un modello memorizza aumenta con la capacità del modello [6, 7, 9, 10, 40].’

‘Questo è preoccupante, dato che lo sviluppo attuale dei modelli di IA è guidato dalle “leggi di scala” [41], che spingono una rapida crescita sia delle dimensioni del modello sia dei set di dati nella ricerca di prestazioni migliori. ‘

‘Man mano che i modelli di IA più grandi vengono addestrati su dati storici provenienti da popolazioni di pazienti sempre più ampie, il numero assoluto di individui colpiti dal bias di memorizzazione è destinato a crescere drasticamente, aggravando i rischi che identifichiamo qui.’

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali, con qualche interpretazione dove la replica esatta non è possibile o utile.

Pubblicato per la prima volta venerdì 18 settembre 2026