Retinalårer avslører rase, utvider omfanget for AI-rasisme

Inspirert av nylige avsløringer om at medisinsk AI-bildebehandling kan avsløre rase, har en forskningskonsortium i USA og Storbritannia utført en studie for å se om retinalårer er indicative for rase, og har konkludert med at dette faktisk er tilfelle, med AI i stand til å forutsi foreldre-rapportert rase hos babyer fra retinalbilder – bilder som ikke ville avsløre raseidentitet for en menneskelig lege som studerte dem, og som tidligere ble antatt å ikke inneholde noen potensial for rasemessig avsløring.

Gruppen har uttrykt bekymring over at denne ekstra vektoren av rasemessig stratifisering i medisinsk bildebehandling åpner opp for muligheten for økt bias i bruk av kunstig intelligens i helsevesenet.

Retinalbilder fra en svart og en hvit person. Øverst, et fullfarget Retinal Fundus Image fra hver rase har allerede rase-skillelige trekk relatert til fargefordeling. Nederst, Retinal Vessel Maps derivert fra disse bildene, som skal ‘nivellere’ disse rase-ankermerkene, inneholder faktisk rase-identifiserende karakteristika, ifølge den nye rapporten. Kilde: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Forfatterne bemerker også muligheten for at U-Net, det maskinlæringsrammeverk som har kommet til å definere denne sektoren av AI-basert helse, og som ble trent på overveiende hvite personer*, kan ha en innvirkning på denne observerte fenomenet. Imidlertid hevder forfatterne at de ‘foreløpig ikke kan fullstendig forklare disse funnene basert på U-Net-hypotesen alene’.

I en kommentar til funnene på prosjektets tilknyttede GitHub-repository, sier forfatterne:

‘AI kan detektere rase fra gråskala RVMs [Retinal Vessel Maps] som ikke ble antatt å inneholde rasemessig informasjon. To mulige forklaringer for disse funnene er at: retinalårer fysiologisk skille seg mellom svarte og hvite babyer eller U-Net segmenterer retinalvasculaturen forskjellig for ulike fundus-pigmenteringer.

‘…Uansett, implikasjonene er de samme: AI-algoritmer har potensial til å vise rasemessig bias i praksis, selv når foreløpige forsøk på å fjerne slik informasjon fra de underliggende bildene synes å være vellykkede.’

Den rapporten har tittelen Ikke fargblind: AI forutsier rasemessig identitet fra svart og hvit retinalår-segmentering, og er en lik deling mellom leger og forskere fra fem institusjoner og forskningsavdelinger i USA, og en i Storbritannia.

Medisinske leger som deltar i forskningskonsortiet inkluderer R.V. Paul Chan, MD, MSc, FACS, sertifisert i oftalmologi, og en fellow av American College of Surgeons; Michael F. Chiang, M.D., direktør for National Eye Institute ved National Institutes of Health i Bethesda, Maryland; og J. Peter Campbell M.D., M.P.H., assosiert professor i oftalmologi ved School of Medicine ved Oregon Health & Science University i Portland.

Øynene har det

Rapporten bemerker den tidligere beviste potensialet for menneske-oppstått bias å forplante seg inn i AI-mediske systemer, ikke minst i studiet av øyne*. Retinal Fundus Images (RFIs, se bildekomparasjon ovenfor), brukt i evaluering av okulær sykdom, er fullfargede bilder som inneholder nok pigmentinformasjon til å identifisere rase.

Gråskala Retina Vessel Maps (RVMs) forkaster mesteparten av denne informasjonen for å trekke ut den underliggende mønsteret av kapillærer som sannsynligvis definerer mange sykdomstilstander. Det har alltid blitt antatt, på dette nivået av destillasjon, at ingen rasekarakteristika gjenstår i slike reduserte medisinske bilder.

Forfatterne har testet denne antagelsen med bruk av en datasett av RFIs (fullfargede retinalbilder) hentet fra spedbarn skjermet for en potensielt blindende sykdom. Skjerming for slike bilder, bemerker forfatterne, er stadig mer fremtredende utenfor personlige konsultasjoner, i telemedisin og andre fjern-diagnosekontekster, og blir mer og mer gjenstand for maskinlæringsanalyse.

Den nye studien undersøker om ulike typer reduktive versjoner av rase-identifiserende fullfargede bilder beholder rasemessig informasjon, som rapportert av foreldrene til spedbarnene, og har funnet at selv de mest informasjonsdestruktive destillasjonene av RFIs (trøsklet, skjelettisert og binarisert) muliggjør en viss grad av rasemessig identifisering.

Data og metode

Data fra 245 spedbarn, samlet mellom januar 2012 og juli 2020 som en del av en multicenter i-ROP-kohortstudie, ble delt inn i trenings-, validerings- og testdatasett på en 50/20/30-basis, med en naturlig distribusjon av raser bevart så godt kilde-data tillot.

Farge-RFIs ble redusert ned til de tre ovennevnte reduktive stilene av bildebehandling, så at ‘åpenbare’ rasemarkører teknisk sett skulle ha blitt fjernet fra dataene.

Flere Convolutional Neural Networks (CNNs) ble trent for å oppnå binær klassifisering (‘svart’/ ‘hvit’, basert på rapportert rase fra foreldre) med PyTorch. CNN-ene kjørte dataene over alle versjoner av bildene, fra RFIs ned til skjelettiserte versjoner, med de vanlige tilfeldige flipper og rotasjoner, og deriverte bilder med en oppløsning på 224×244 piksler.

Modellene ble trent med stokastisk gradientavsenkning i opptil ti epoker med en konstant læringsrate på 0,001, og tidlig stopp ble implementert og trening ble avsluttet der det ble antatt at konvergens var identifisert etter fem epoker (dvs. modellen ville ikke bli mer nøyaktig med videre trening).

Ettersom det var en demografisk naturlig ubalanse mellom hvite og svarte personer, ble kompensasjon anvendt for å sikre at minoritetskilder ikke systematisk ble diskontert som outliers, og resultater ble kontrollsjekket for å verifisere at ingen datalekkasje skjedde over eksperimentene.

Eksempler på retinalkart fra studien med varierende nivåer av trøskletoleranse.

Resultater

RVMs, som trekker ut årer og kapillærer fra fullfargede RFI-bilder, burde ikke teoretisk sett være rase-skillelige for en CNN, ifølge forfatterne. Imidlertid har resultater vist at et høyere antall større arterier er segmentert av U-Net for hvite øyne enn for svarte øyne.

I konkluderende bemerkninger observerer forskerne ‘Vi fant at AI lett kunne forutsi rase hos babyer fra retinalår-segmenteringer som inneholdt ingen synlig informasjon om pigmentering‘, og at ‘selv bilder som syntes å mangle informasjon for det blotte øye, beholdt prediktiv informasjon om rase hos det opprinnelige barnet’. Forskerne tilbyr også muligheten for at retinalårer hos svarte vs. hvite babyer skille seg ‘på en måte som AI kan verdsette, men mennesker ikke kan’.

Tidligere bias?

Forfatterne foreslår også at diskrimineringen kan være en funksjon av den hvit-dominerende data som U-Net ble opprinnelig trent på. Selv om de beskriver dette som sin ‘ledende teori’, innrømmer de også at mulighetene for å fange sensorer kan være en faktor i fenomenet, hvis det skulle vise seg at den oppdagede biasen er en korollar av de tekniske aspektene ved retinal-bildebehandlingspraksis, eller av data-bias i U-Net som fortsetter å forplante seg over årene. I møte med disse mulighetene, innrømmer rapporten:

‘Imidlertid ble U-Net trent på RFIs som først ble konvertert til gråskala-bilder og underlagt kontrastjustering — spesifikt, kontrast-begrenset histogram-likning (CLAHE) — og ble derfor aldri faktisk trent på farge-RFIs. Derfor er vi foreløpig ikke i stand til å fullstendig forklare disse funnene basert på U-Net-hypotesen alene.’

Imidlertid hevder forfatterne at årsaken er mindre alarmerende enn effekten, og fastslår at evnen til AI-modeller til å skille rase medfører en mulig ‘risiko for bias i medisinske AI-algoritmer som bruker dem som input’.

Forfatterne peker på den høy-kontrastnaturen av rasene som ble studert, og antyder at ‘intermediate’ rasegrupper kan være mer vanskelige å identifisere på lignende måte, og at dette er et aspekt som de har til hensikt å studere i pågående og relaterte arbeider.

* Alle støttelinker som er inkludert i denne artikkelen har blitt konvertert fra begrensede PaperPile-lenker til offentlig tilgjengelige nettversjoner, hvor mulig.