Sanità
Le vene retiniche rivelano la razza, allargando l’ambito di applicazione del pregiudizio razziale dell’IA
Ispirati dalle recenti rivelazioni che l’imaging medico dell’IA può rivelare la razza, un consorzio di ricerca negli Stati Uniti e nel Regno Unito ha condotto uno studio per determinare se i modelli di vene retiniche siano indicativi di razza e ha concluso che ciò è effettivamente il caso, con l’IA in grado di prevedere la razza segnalata dai genitori nei bambini da immagini retiniche – immagini che non avrebbero rivelato l’identità razziale a un medico umano che le studia, e che in precedenza si pensava non contenessero alcun potenziale per la divulgazione razziale.
Il gruppo ha espresso preoccupazione il fatto che questo vettore aggiuntivo di stratificazione razziale nell’imaging medico apra la possibilità di un aumento del pregiudizio nell’uso dei sistemi di intelligenza artificiale nel settore sanitario.
Immagini retiniche di un soggetto nero e di un soggetto bianco. Sopra, un’immagine retinica a colori completa di ciascuna razza già presenta caratteristiche distintive della razza relative alla disposizione del colore. Sotto, le mappe dei vasi retinici derivate da queste immagini, che dovrebbero ‘livellare’ questi segni di riferimento razziali, contengono in realtà caratteristiche identificative della razza, secondo il nuovo rapporto. Fonte: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf
Gli autori notano inoltre la possibilità che U-Net, il framework di apprendimento automatico che ha definito questo settore dell’assistenza sanitaria basata sull’IA, e che è stato addestrato su soggetti prevalentemente bianchi*, possa avere un’influenza su questo fenomeno osservato. Tuttavia, gli autori affermano di non essere ‘ancora in grado di spiegare completamente questi risultati sulla base dell’ipotesi U-Net’.
Commentando i risultati nel repository GitHub associato al progetto, gli autori affermano:
‘L’IA può rilevare la razza da mappe dei vasi retinici in scala di grigi [Mappe dei vasi retinici] che non si pensava contenessero informazioni razziali. Due potenziali spiegazioni per questi risultati sono che: i vasi retinici differiscono fisiologicamente tra i bambini neri e bianchi o che U-Net segmenta la vascolarizzazione retinica in modo diverso per diverse pigmentazioni del fondo oculare.
‘…In ogni caso, le implicazioni rimangono le stesse: gli algoritmi dell’IA hanno il potenziale per dimostrare pregiudizio razziale nella pratica, anche quando i primi tentativi di rimuovere tali informazioni dalle immagini sottostanti sembrano essere stati efficaci.’
Il documento è intitolato Non daltonico: l’IA prevede l’identità razziale da segmentazioni dei vasi retinici in bianco e nero, ed è il risultato di una collaborazione paritaria tra medici e ricercatori di cinque istituzioni e dipartimenti di ricerca negli Stati Uniti e uno nel Regno Unito.
I medici partecipanti al consorzio di ricerca includono R.V. Paul Chan, MD, MSc, FACS, specializzato in oftalmologia e membro del Collegio americano dei chirurghi; Michael F. Chiang, M.D., direttore dell’Istituto nazionale degli occhi presso i National Institutes of Health a Bethesda, nel Maryland; e J. Peter Campbell M.D., M.P.H., professore associato di oftalmologia alla Scuola di medicina dell’Oregon Health & Science University a Portland.
Gli occhi hanno il potere
Il documento nota il potenziale già dimostrato per il pregiudizio di origine umana di propagarsi nei sistemi medici dell’IA, non meno nello studio degli occhi*. Le immagini retiniche del fondo oculare (RFI, vedi confronto sopra), utilizzate per valutare le malattie oculari, sono immagini a colori che contengono abbastanza informazioni sulla pigmentazione per identificare la razza.
Le mappe dei vasi retinici in scala di grigi (RVM) scartano la maggior parte di queste informazioni per estrarre il modello sottostante di capillari che sono probabili definitori di molte condizioni di malattia. Si è sempre ritenuto che, a questo livello di distillazione, non rimangano caratteristiche razziali in tali immagini mediche riduttive.
Gli autori hanno testato questo assunto utilizzando un set di dati di RFI (immagini retiniche a colori complete) ottenute da neonati sottoposti a screening per una malattia potenzialmente cieca. Lo screening per tali immagini, notano gli autori, è sempre più presente al di fuori delle consultazioni personali, nel telemedicina e in altri contesti di diagnosi remota, e sta diventando sempre più oggetto di analisi dell’apprendimento automatico.
Il nuovo studio esamina se vari tipi di versioni riduttive delle immagini a colori complete che identificano la razza conservino informazioni razziali, come segnalato dai genitori dei bambini, e ha scoperto che anche le distillazioni più distruttive delle RFI (soglie, scheletrizzate e binarizzate) consentono un certo livello di identificazione razziale.
Dati e metodologia
I dati di 245 neonati, raccolti tra gennaio 2012 e luglio 2020 come parte di uno studio di coorte i-ROP multicentrico, sono stati divisi in set di dati di addestramento, convalida e test su una base 50/20/30, rispettivamente, con una distribuzione naturale delle razze preservata il più possibile come consentito dai dati di origine.
Le RFI a colori sono state ridotte ai tre stili di immagine riduttivi menzionati, in modo che i ‘segni di riferimento razziali’ ovvi siano tecnicamente stati rimossi dai dati.
Sono stati addestrati多pli Convolutional Neural Network (CNN) per raggiungere la classificazione binaria (‘nero’/ ‘bianco’, in base alla razza segnalata dai genitori) utilizzando PyTorch. I CNN hanno eseguito i dati su tutte le versioni delle immagini, dalle RFI fino a versioni scheletrizzate, applicando i consueti flip casuali e rotazioni, con immagini derivate aventi una risoluzione di 224×244 pixel.
I modelli sono stati addestrati con il gradiente stocastico discendente per fino a dieci epoche con un tasso di apprendimento costante di 0,001, e l’arresto anticipato è stato implementato e l’addestramento è stato interrotto dove si è rilevato un convergenza percepita dopo cinque epoche (cioè il modello non sarebbe diventato più preciso con ulteriore addestramento).
Poiché c’era uno squilibrio demografico naturale tra soggetti bianchi e neri, è stata applicata una compensazione per assicurare che le fonti minoritarie non fossero sistematicamente svalutate come valori anomali, e i risultati sono stati verificati per verificare che non si verificasse alcuna perdita di dati tra gli esperimenti.
[caption id="attachment_177992" align="alignnone" width="1126"]
Risultati
Le RVM, che estraggono le vene e i capillari dalle immagini RFI a colori complete, non dovrebbero teoricamente essere discernibili dalla razza da un CNN, secondo gli autori. Tuttavia, i risultati hanno mostrato che un numero maggiore di arterie principali è segmentato da U-Net per gli occhi bianchi rispetto a quelli neri.
Nelle osservazioni conclusive, i ricercatori osservano ‘Abbiamo scoperto che l’IA era in grado di prevedere facilmente la razza dei bambini da segmentazioni dei vasi retinici che non contengono alcuna informazione visibile sulla pigmentazione‘, e che ‘anche le immagini che sembravano prive di informazioni all’occhio nudo conservavano informazioni predittive della razza del bambino originale’. I ricercatori offrono inoltre la possibilità che i vasi retinici dei bambini neri e bianchi differiscano ‘in qualche modo che l’IA può apprezzare, ma gli esseri umani no’.
Pregiudizio preesistente?
Gli autori suggeriscono anche che la discriminazione potrebbe essere una funzione dei dati prevalentemente bianchi sui quali U-Net è stato originariamente addestrato. Sebbene descrivano questo come la loro ‘teoria principale’, ammettono anche che le capacità dei sensori di cattura potrebbero essere un fattore nel fenomeno, se dovesse risultare che il pregiudizio scoperto è una conseguenza degli aspetti tecnici delle pratiche di imaging retinico, o del pregiudizio dei dati in U-Net che si auto-perpetua nel corso degli anni. Affrontando queste possibilità, il documento ammette:
‘Tuttavia, U-Net è stato addestrato su RFI che sono state convertite in immagini in scala di grigi e sottoposte a regolazione del contrasto — specificamente, equalizzazione dell’istogramma a contrasto limitato (CLAHE) — e quindi non è mai stato effettivamente addestrato su RFI a colori. Pertanto, non siamo ancora in grado di spiegare completamente questi risultati sulla base dell’ipotesi U-Net.’
Tuttavia, gli autori affermano che la causa è meno allarmante dell’effetto, affermando che la capacità dei modelli dell’IA di discernere la razza comporta un possibile ‘rischio di pregiudizio negli algoritmi di intelligenza artificiale medica che li utilizzano come input’.
Gli autori notano la natura ad alto contrasto delle razze studiate e ipotizzano che i gruppi razziali ‘intermedi’ potrebbero essere più difficili da identificare con mezzi simili, e che questo è un aspetto che intendono studiare in lavori in corso e correlati.
* Tutti i collegamenti di supporto forniti dal documento che sono inclusi in questo articolo sono stati convertiti da collegamenti PaperPile a limiti di accesso a versioni online pubblicamente disponibili, dove possibile.
