Helse
Retinale vener avslører rase, utvider omfang for AI-rasesskjevheter
Inspirert av nylige avsløringer om at medisinsk AI-bildebehandling kan avsløre rase, har en forskningskonsortium i USA og Storbritannia gjennomført en studie for å se om retinale vene-mønster er indikative for rase, og har konkludert med at dette faktisk er tilfelle, med AI i stand til å forutsi foreldre-rapportert rase hos babyer fra retinale bilder – bilder som ikke ville avsløre rasemessig identitet for en menneskelig lege som studerte dem, og som tidligere ble antatt å ikke inneholde noen potensial for rasemessig avsløring.
Gruppen har uttrykt bekymring over at denne ekstra vektoren for rasemessig stratifisering i medisinsk bildebehandling åpner opp for økt bias i bruk av kunstig intelligens-systemer i helsevesenet.
Retinale bilder fra en svart og en hvit person. Øverst, et fullfarget Retinal Fundus Image fra hver rase har allerede rasemessige kjennetegn relatert til fargefordeling. Nederst, de retinale kartrådene som er avledet fra disse bildene, som skal ‘utjevne’ disse rasemessige anchor-merkene, inneholder faktisk ras-identifiserende karakteristika, ifølge den nye rapporten. Kilde: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf
Forfatterne bemerker videre muligheten for at U-Net, det maskinlæringsrammeverket som har kommet til å definere denne sektoren av AI-basert helsevesen, og som ble trent på overveiende hvite personer*, kan ha en innvirkning på dette observerte fenomenet. Imidlertid fastslår forfatterne at de ‘foreløpig ikke kan fullt ut forklare disse funnene basert på U-Net-hypotesen alene’.
I en kommentar til funnene på prosjektets tilknyttede GitHub-repository, skriver forfatterne:
‘AI kan detektere rase fra gråskala RVM’er [Retinale kartråder] som ikke ble antatt å inneholde rasemessig informasjon. To mulige forklaringer for disse funnene er at: retinale kar fysiologisk skiller seg mellom svarte og hvite babyer eller at U-Net segmenterer retinale kar forskjellig for ulike fundus-pigmenteringer.
‘…Uansett, implikasjonene er de samme: AI-algoritmer har potensial til å vise rasemessig bias i praksis, selv når foreløpige forsøk på å fjerne slik informasjon fra de underliggende bildene synes å være vellykkede.’
Den rapporten har tittelen Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations, og er en lik deling mellom leger og forskere fra fem institusjoner og forskningsavdelinger i USA, og en i Storbritannia.
Medisinske leger som deltar i forskningskonsortiet inkluderer R.V. Paul Chan, MD, MSc, FACS, sertifisert i oftalmologi, og en fellow av American College of Surgeons; Michael F. Chiang, M.D., direktør for National Eye Institute ved National Institutes of Health i Bethesda, Maryland; og J. Peter Campbell M.D., M.P.H., assisterende professor i oftalmologi ved School of Medicine ved Oregon Health & Science University i Portland.
Øynene har det
Rapporten påpeker det tidligere beviste potensialet for menneske-oppstått bias å propagere inn i AI-medisinske systemer, ikke minst i studiet av øyne*. Retinale Fundus Images (RFI, se bildekomparasjon ovenfor), brukt til å evaluere øyelidelser, er fullfargede bilder som inneholder nok pigmentinformasjon til å identifisere rase.
Gråskala Retina Vessel Maps (RVMs) forkaster mesteparten av denne informasjonen for å trekke ut den underliggende mønsteret av kapillærer som sannsynligvis definerer mange sykdomstilstander. Det har alltid blitt antatt, på dette nivået av destillasjon, at ingen rasemessige karakteristika gjenstår i slike reduserte medisinske bilder.
Forfatterne har testet denne antagelsen med bruk av en datasett av RFIs (fullfargede retinale bilder) fra babyer som ble skjermet for en potensielt blindende sykdom. Skjerming for slike bilder, påpeker forfatterne, er stadig mer fremtredende utenfor personlige konsultasjoner, i telemedisin og andre fjern-diagnosekontekster, og blir mer og mer gjenstand for maskinlæringanalyse.
Den nye studien undersøker om ulike typer reduksjonistiske versjoner av ras-identifiserende fullfargede bilder beholder rasemessig informasjon, som rapportert av foreldrene til babyene, og har funnet at selv de mest informasjonsdestruktive destillasjonene av RFIs (trøsklet, skjelettisert og binarisert) muliggjør en viss grad av ras-identifisering.
Data og metode
Data fra 245 babyer, samlet inn mellom januar 2012 og juli 2020 som en del av en multicenter i-ROP-kohortstudie, ble delt inn i trenings-, validerings- og testdatasett på en 50/20/30-basis, med en naturlig distribusjon av raser bevart så godt som mulig.
Fullfargede RFIs ble redusert ned til de tre ovennevnte reduktive stilene av bildebehandling, så at ‘åpenbare’ rasemessige markører teknisk sett skulle ha blitt fjernet fra dataene.
Flere Convolutional Neural Networks (CNNs) ble trent for å oppnå binær klassifisering (‘svart’/ ‘hvit’, basert på rapportert rase fra foreldre) ved hjelp av PyTorch. CNNs kjørte dataene over alle versjoner av bildene, fra RFIs ned til skjelettiserte versjoner, med vanlige tilfeldige flips og rotasjoner, med avledede bilder med en oppløsning på 224×244 piksler.
Modellene ble trent med stokastisk gradientnedstigning i opptil ti epoker med en konstant læringsrate på 0,001, og tidlig stopp ble implementert og trening ble avsluttet der det ble antatt at konvergens var identifisert etter fem epoker (dvs. modellen ville ikke bli mer nøyaktig med videre trening).
Ettersom det var en demografisk naturlig ubalanse mellom hvite og svarte personer, ble kompensasjon brukt for å sikre at minoritetskilder ikke ble systematisk diskontert som outliers, og resultater ble kontrollsjekket for å verifisere at ingen datalekkasje skjedde over eksperimentene.
[caption id="attachment_177992" align="alignnone" width="1126"]
Resultater
RVMs, som trekker ut vener og kapillærer fra fullfargede RFI-bilder, burde ikke teoretisk sett være ras-discernible av en CNN, ifølge forfatterne. Imidlertid har resultater vist at et høyere antall større arterier er segmentert av U-Net for hvite øyne enn for svarte øyne.
I konkluderende bemerkninger observerer forskerne ‘Vi fant at AI lett kunne forutsi rase hos babyer fra retinale kartråder som inneholdt ingen synlig informasjon om pigmentering‘, og at ‘selv bilder som syntes å mangle informasjon for det blotte øye, beholdt prediktiv informasjon om rase hos den opprinnelige babyen’. Forskerne tilbyr også muligheten for at retinale kar hos svarte vs. hvite babyer skiller seg ‘på en måte som AI kan verdsette, men mennesker ikke kan’.
Prior bias?
Forfatterne foreslår også at diskrimineringen kan være en funksjon av den hvit-dominerende data som U-Net opprinnelig ble trent på. Selv om de beskriver dette som sin ‘ledende teori’, innrømmer de også at evnen til å fange sensorer kan være en faktor i fenomenet, hvis det skulle vise seg at den oppdagede biasen er en korollar av de tekniske aspektene ved retinale bildebehandlingspraksis, eller av data-bias i U-Net som har forplantet seg over årene. I møte med disse mulighetene, innrømmer rapporten:
‘Imidlertid ble U-Net trent på RFIs som først ble konvertert til gråskala bilder og underlagt kontrastjustering — spesifikt, kontrast-begrenset histogram-egaliserings- (CLAHE) — og ble derfor aldri faktisk trent på fargede RFIs. Derfor er vi foreløpig ikke i stand til å fullt ut forklare disse funnene basert på U-Net-hypotesen alene.’
Imidlertid fastslår forfatterne at årsaken er mindre alarmerende enn effekten, og påpeker at evnen til AI-modeller til å skille rase medfører en mulig ‘risiko for bias i medisinske AI-algoritmer som bruker dem som inndata’.
Forfatterne påpeker den høye kontrasten til rasene som ble studert, og foreslår at ‘intermediate’ rasegrupper kan være mer vanskelige å identifisere ved lignende midler, og at dette er et aspekt som de har til hensikt å studere i pågående og relaterte arbeider.
* Alle støttelinker som er inkludert i denne artikkelen og som er gitt av rapporten, har blitt konvertert fra begrensede-tilgang PaperPile-lenker til offentlig tilgjengelige nettversjonen, hvor mulig.
