I Modelli di Intelligenza Artificiale Addestrati con Dati Sesghiati per Sesso Funzionano Peggio nella Diagnosi delle Malattie

Recentemente, uno studio pubblicato sulla rivista PNAS e condotto da ricercatori dell’Argentina, ha implicato che la presenza di dati di addestramento sesghiati per sesso porta a una peggiore prestazione del modello nella diagnosi di malattie e altri problemi medici. Come riportato da Statnews, il team di ricercatori ha sperimentato con modelli di addestramento in cui i pazienti femmine erano notevolmente sottorappresentati o esclusi completamente, e ha scoperto che l’algoritmo ha eseguito sostanzialmente peggio quando ha diagnosticato loro. Lo stesso vale anche per gli incidenti in cui i pazienti maschi erano esclusi o sottorappresentati.

Negli ultimi cinque anni, man mano che i modelli di intelligenza artificiale e l’apprendimento automatico sono diventati più ubiqui, è stata prestata maggiore attenzione ai problemi dei set di dati sesghiati e dei modelli di apprendimento automatico sesghiati che ne derivano. Il sesgo dei dati nell’apprendimento automatico può portare a applicazioni di intelligenza artificiale goffe, socialmente dannose ed esclusive, ma quando si tratta di applicazioni mediche, le vite possono essere in gioco. Tuttavia, nonostante la consapevolezza del problema, pochi studi hanno tentato di quantificare quanto dannosi possano essere i set di dati sesghiati. Lo studio condotto dal team di ricercatori ha scoperto che il sesgo dei dati potrebbe avere effetti più estremi di quanto stimato da molti esperti in precedenza.

Uno degli usi più popolari dell’intelligenza artificiale negli ultimi anni, nel contesto medico, è stato l’uso di modelli di intelligenza artificiale per diagnosticare i pazienti in base a immagini mediche. Il team di ricercatori ha analizzato modelli utilizzati per rilevare la presenza di varie condizioni mediche come la polmonite, la cardiomegalia o le ernie da radiografie. I team di ricercatori hanno studiato tre architetture di modelli open-source: Inception-v3, ResNet e DenseNet-121. I modelli sono stati addestrati su radiografie del torace prese da due set di dati open-source originari dell’Università di Stanford e dei National Institutes of Health. Sebbene i set di dati stessi siano abbastanza equilibrati per quanto riguarda la rappresentanza di sesso, i ricercatori hanno artificialmente sesghiato i dati dividendo le radiografie in sottinsiemi con un disequilibrio di sesso.

Il team di ricercatori ha creato cinque diversi set di dati di addestramento, ciascuno composto da rapporti diversi di pazienti maschi e femmine. I cinque set di addestramento sono stati suddivisi come segue:

• Tutte le immagini erano di pazienti maschi
• Tutte le immagini erano di pazienti femmine
• 25% di pazienti maschi e 75% di pazienti femmine
• 75% di pazienti femmine e 25% di pazienti maschi
• Metà pazienti maschi e metà pazienti femmine

Dopo che il modello è stato addestrato su uno dei sottinsiemi, è stato testato su una raccolta di radiografie di pazienti maschi e femmine. C’era una tendenza notevole presente in tutte le condizioni mediche, l’accuratezza dei modelli era molto peggiore quando i dati di addestramento erano significativamente sesghiati per sesso. Una cosa interessante da notare è che se un sesso era sovrarappresentato nei dati di addestramento, quel sesso non sembrava trarre vantaggio dalla sovrarappresentazione. Indipendentemente dal fatto che il modello fosse stato addestrato su dati sesghiati per un sesso o per l’altro, non ha eseguito meglio su quel sesso rispetto a quando è stato addestrato su un set di dati inclusivo.

L’autore senior dello studio, Enzo Ferrante, è stato citato da Statnews come spiegazione di quanto sia importante che i dati di addestramento siano diversi e rappresentativi per tutte le popolazioni che si intendono testare nel modello.

Non è del tutto chiaro perché i modelli addestrati su un sesso tendono a eseguire peggio quando implementati sull’altro sesso. Alcune delle discordanze potrebbero essere dovute a differenze fisiologiche, ma vari fattori sociali e culturali potrebbero anche essere responsabili di alcune delle differenze. Ad esempio, le donne potrebbero tendere a ricevere radiografie in una fase diversa di progressione nella malattia rispetto agli uomini. Se questo fosse vero, potrebbe influenzare le caratteristiche (e quindi i modelli appresi dal modello) trovate nelle immagini di addestramento. Se questo è il caso, rende molto più difficile per i ricercatori de-sesghiare i loro set di dati, poiché il sesgo sarebbe incorporato nel set di dati attraverso i meccanismi di raccolta dei dati.

Anche i ricercatori che prestano attenzione alla diversità dei dati a volte non hanno altra scelta che lavorare con dati sesghiati o distorti. Situazioni in cui esiste una disparità nel modo in cui vengono diagnosticati i problemi medici spesso portano a dati sbilanciati. Ad esempio, i dati sui pazienti con cancro al seno sono quasi interamente raccolti da donne. Allo stesso modo, l’autismo si manifesta in modo diverso tra donne e uomini, e di conseguenza, la condizione viene diagnosticata a un tasso molto più alto nei ragazzi che nelle ragazze.

Tuttavia, è estremamente importante che i ricercatori controllino i dati sesghiati e il sesgo dei dati in qualsiasi modo possibile. A questo scopo, gli studi futuri aiuteranno i ricercatori a quantificare l’impatto dei dati sesghiati.