Le vene retiniche rivelano la razza, allargando l’ambito della possibile discriminazione razziale dell’IA

Ispirati dalle recenti rivelazioni che l’imaging medico dell’IA può rivelare la razza, un consorzio di ricerca negli Stati Uniti e nel Regno Unito ha condotto uno studio per determinare se i modelli di vene retiniche siano indicativi della razza e ha concluso che ciò è effettivamente il caso, con l’IA in grado di prevedere la razza dichiarata dai genitori dei bambini da immagini retiniche – immagini che non avrebbero rivelato l’identità razziale a un medico umano che le studiasse, e che in precedenza si pensava non contenessero alcuna informazione potenzialmente rivelatrice della razza.

Il gruppo ha espresso preoccupazione the questo vettore aggiuntivo di stratificazione razziale nell’imaging medico possa aprire la possibilità di un aumento della discriminazione nell’uso dei sistemi di intelligenza artificiale nella sanità.

Immagini retiniche di un soggetto nero e di un soggetto bianco. In alto, un’immagine retinica a colori completa di ciascuna razza già presenta caratteristiche distinguibili relative alla disposizione del colore. In basso, le mappe dei vasi retinici derivate da queste immagini, che dovrebbero ‘livellare’ questi segni di riferimento razziali, contengono in realtà caratteristiche identificative della razza, secondo il nuovo rapporto. Fonte: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Gli autori notano inoltre la possibilità che U-Net, il framework di apprendimento automatico che ha definito questo settore dell’IA sanitaria, e che è stato addestrato su soggetti prevalentemente bianchi*, possa avere un’influenza su questo fenomeno osservato. Tuttavia, gli autori affermano di non essere ancora in grado di spiegare completamente questi risultati sulla base dell’ipotesi di U-Net.

Commentando i risultati nel repository GitHub associato al progetto GitHub repository, gli autori affermano:

‘L’IA può rilevare la razza da mappe dei vasi retinici in scala di grigi [Mappe dei vasi retinici] che non si pensava contenessero informazioni razziali. Due possibili spiegazioni per questi risultati sono che: i vasi retinici differiscono fisiologicamente tra bambini neri e bianchi o che U-Net segmenta la vascolarizzazione retinica in modo diverso per diverse pigmentazioni del fondo oculare.

‘…In ogni caso, le implicazioni rimangono le stesse: gli algoritmi di intelligenza artificiale hanno il potenziale di dimostrare pregiudizi razziali nella pratica, anche quando i tentativi preliminari di rimuovere tali informazioni dalle immagini sottostanti sembrano essere stati efficaci.’

Il documento è intitolato Non daltonici: l’IA prevede l’identità razziale da segmentazioni dei vasi retinici in bianco e nero, ed è il risultato di una collaborazione paritaria tra medici e ricercatori di cinque istituzioni e dipartimenti di ricerca negli Stati Uniti e uno nel Regno Unito.

I medici partecipanti alla ricerca includono R.V. Paul Chan, MD, MSc, FACS, specializzato in oftalmologia e fellow dell’American College of Surgeons; Michael F. Chiang, M.D., direttore del National Eye Institute presso i National Institutes of Health a Bethesda, Maryland; e J. Peter Campbell M.D., M.P.H., professore associato di oftalmologia alla School of Medicine dell’Oregon Health & Science University a Portland.

Gli occhi hanno il potere

La relazione nota il potenziale già dimostrato per i pregiudizi di origine umana di propagarsi nei sistemi medici di intelligenza artificiale, non meno nello studio degli occhi*. Le immagini retiniche a colori complete (RFI, vedi confronto delle immagini sopra), utilizzate per valutare le malattie oculari, sono immagini a colori che contengono abbastanza informazioni sulla pigmentazione per identificare la razza.

Le mappe dei vasi retinici in scala di grigi (RVM) scartano la maggior parte di queste informazioni per estrarre il modello sottostante di capillari che sono probabilmente destinati a definire molte condizioni di malattia. Si è sempre supposto, a questo livello di distillazione, che non rimangano caratteristiche razziali in tali immagini mediche riduttive.

Gli autori hanno testato questa ipotesi utilizzando un set di dati di RFIs (immagini retiniche a colori complete) ottenute da neonati sottoposti a screening per una malattia potenzialmente cieca. Lo screening per tali immagini, notano gli autori, è sempre più presente al di fuori delle consultazioni personali, nella telemedicina e in altri contesti di diagnosi remota, e sta diventando sempre più oggetto di analisi di apprendimento automatico.

Lo studio esamina se vari tipi di versioni riduttive delle immagini a colori complete che identificano la razza conservino informazioni razziali, come riportato dai genitori dei bambini, e ha scoperto che anche le distillazioni più distruttive delle RFIs (soglie, scheletrizzate e binarizzate) consentono un certo livello di identificazione razziale.

Dati e metodologia

I dati di 245 neonati, raccolti tra gennaio 2012 e luglio 2020 come parte di uno studio di coorte multicentrico i-ROP, sono stati divisi in set di dati di addestramento, convalida e test su una base del 50/20/30, rispettivamente, con una distribuzione naturale delle razze conservata per quanto possibile.

Le immagini retiniche a colori complete sono state ridotte ai tre stili di immagine riduttivi menzionati, in modo che i “marcatori razziali ovvi” fossero tecnicamente rimossi dai dati.

Sono stati addestrati più reti neurali convoluzionali (CNN) per raggiungere la classificazione binaria (‘nero’/ ‘bianco’, in base alla razza dichiarata dai genitori) utilizzando PyTorch. Le CNN hanno eseguito i dati su tutte le versioni delle immagini, dalle RFIs alle versioni scheletrizzate, applicando i soliti flip casuali e rotazioni, con immagini derivate aventi una risoluzione di 224×244 pixel.

I modelli sono stati addestrati con discesa del gradiente stocastico per fino a dieci epoche con un tasso di apprendimento costante di 0,001, e l’arresto anticipato è stato implementato e l’addestramento è stato interrotto dove è stata identificata la convergenza percepita dopo cinque epoche (cioè il modello non sarebbe diventato più preciso con ulteriore addestramento).

Poiché c’era un disequilibrio demografico naturale tra soggetti bianchi e neri, è stata applicata una compensazione per garantire che le fonti minoritarie non fossero sistematicamente svalutate come outlier, e i risultati sono stati verificati per verificare che non si verificasse alcuna perdita di dati attraverso gli esperimenti.

Esempi di mappe dei vasi retinici dello studio a diversi livelli di tolleranza della soglia.

Risultati

Le mappe dei vasi retinici (RVM), che estraono le vene e i capillari dalle immagini retiniche a colori complete, non dovrebbero teoricamente essere discernibili per razza da una CNN, secondo gli autori. Tuttavia, i risultati hanno mostrato che un numero maggiore di arterie principali è stato segmentato da U-Net per gli occhi bianchi rispetto a quelli neri.

Nelle osservazioni conclusive, i ricercatori notano ‘Abbiamo scoperto che l’IA è stata in grado di prevedere la razza dei bambini da segmentazioni dei vasi retinici che non contengono informazioni visibili relative alla pigmentazione‘, e che ‘anche le immagini che sembravano prive di informazioni all’occhio umano hanno conservato informazioni predittive della razza del bambino originale’. I ricercatori offrono inoltre la possibilità che i vasi retinici dei bambini neri e bianchi differiscano ‘in qualche modo che l’IA può apprezzare, ma gli esseri umani no’.

Pregiudizio pregresso?

Gli autori suggeriscono inoltre che la discriminazione potrebbe essere una funzione dei dati predominanti bianchi sui quali U-Net è stato originariamente addestrato. Sebbene descrivano ciò come la loro ‘teoria principale’, ammettono anche che le capacità dei sensori di acquisizione potrebbero essere un fattore nel fenomeno, se dovesse risultare che il pregiudizio scoperto sia una conseguenza degli aspetti tecnici delle pratiche di imaging retinico, o del pregiudizio dei dati in U-Net che si sta perpetuando nel corso degli anni. Affrontando queste possibilità, il documento ammette:

‘Tuttavia, U-Net è stato addestrato su RFIs che sono state convertite in immagini in scala di grigi e sottoposte a regolazione del contrasto – specificamente, equalizzazione dell’istogramma del contrasto limitato (CLAHE) – e quindi non è stato addestrato su immagini RFIs a colori. Quindi, non siamo ancora in grado di spiegare completamente questi risultati sulla base dell’ipotesi di U-Net.’

Tuttavia, gli autori affermano che la causa è meno allarmante dell’effetto, affermando che la capacità dei modelli di IA di discernere la razza comporta un possibile ‘rischio di pregiudizio negli algoritmi di IA medica che li utilizzano come input’.

Gli autori notano la natura ad alto contrasto delle razze studiate e ipotizzano che ‘gruppi razziali intermedi’ potrebbero essere più difficili da identificare con mezzi simili, e che questo è un aspetto che intendono studiare in lavori in corso e correlati.

* Tutti i collegamenti di supporto forniti dal documento che sono inclusi in questo articolo sono stati convertiti da collegamenti PaperPile a limitato accesso a versioni online pubblicamente disponibili, dove possibile.