Retinalådror avslöjar ras, utvidgar omfattning för AI-rasbias

Inspirerad av nyliga upptäckter att medicinsk AI-avbildning kan avslöja ras, har en forskningskonsortium i USA och Storbritannien genomfört en studie för att undersöka om retinalådrorsmönster är indicativa för ras, och har kommit fram till att detta faktiskt är fallet, med AI som kan förutsäga föräldrarapporterad ras hos spädbarn från retinalbilder – bilder som inte skulle avslöja rasidentitet för en mänsklig läkare som studerar dem, och som tidigare troddes innehålla ingen potential för rasavslöjande.

Gruppen har uttryckt oro över att denna ytterligare vektor för rasstratifiering i medicinsk avbildning öppnar upp möjligheten för ökad bias i användningen av artificiell intelligens i hälsovården.

Retinalbilder från en svart och en vit person. Överst, en fullfärgsretinalfundusbild från varje ras har redan ras-skillnader relaterade till färgfördelning. Under, de retinalådrorskartor som härrör från dessa bilder, som är tänkta att ‘jämna ut’ dessa ras-ankarmärken, innehåller faktiskt ras-identifierande egenskaper, enligt den nya rapporten. Källa: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Författarna noterar också möjligheten att U-Net, det maskinlärningsramverk som har kommit att definiera denna sektor av AI-baserad hälsovård, och som tränades på främst vita försökspersoner*, kan ha en inverkan på denna observerade fenomen. Men författarna hävdar att de fortfarande inte kan fullständigt förklara dessa fynd baserat på U-Net-hypotesen ensam.

I kommentar till resultaten på projektets associerade GitHub-repo, skriver författarna:

‘AI kan upptäcka ras från gråskaliga RVM’ [Retinalådrorskartor] som inte troddes innehålla rasinformation. Två möjliga förklaringar till dessa fynd är att: retinalådror fysiologiskt skiljer sig mellan svarta och vita spädbarn eller att U-Net segmenterar retinalvaskulaturen olika för olika funduspigmenteringar.

‘…Antingen vägen, konsekvenserna förblir desamma: AI-algoritmer har potential att demonstrera rasbias i praktiken, även när försök att ta bort sådan information från underliggande bilder tycks vara lyckade.’

Den rapporten heter Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations, och är en lika samarbete mellan läkare och forskare från fem institutioner och forskningsavdelningar i USA, och en i Storbritannien.

Medicinska läkare som deltar i forskningskonsortiet inkluderar R.V. Paul Chan, MD, MSc, FACS, certifierad i oftalmologi, och en fellow av American College of Surgeons; Michael F. Chiang, M.D., chef för National Eye Institute vid National Institutes of Health i Bethesda, Maryland; och J. Peter Campbell M.D., M.P.H., biträdande professor i oftalmologi vid School of Medicine vid Oregon Health & Science University i Portland.

Ögonen har det

Rapporten noterar den tidigare bevisade potentialen för mänskligt ursprungsbias att propagera in i AI-medicsystem, inte minst i studien av ögonen*. Retinalfundusbilder (RFI, se bildjämförelse ovan), som används för att utvärdera ögonsjukdomar, är fullfärgsbilder som innehåller tillräcklig pigmentinformation för att identifiera ras.

Gråskaliga retinalådrorskartor (RVM) kastar bort mestadels denna information för att extrahera den underliggande mönstret av kapillärer som sannolikt definierar många sjukdomstillstånd. Det har alltid antagits, på denna nivå av destillation, att inga rasliga egenskaper finns kvar i sådana reducerade medicinska bilder.

Författarna har testat denna antagande med hjälp av en datamängd av RFI (fullfärgsretinalbilder) som erhållits från spädbarn som screenats för en potentiellt blindgörande sjukdom. Screening för sådana bilder, noterar författarna, är alltmer vanligt utanför personliga konsultationer, i telemedicin och andra fjärrdiagnoskontexter, och blir alltmer föremål för maskinlärningsanalys.

Den nya studien undersöker om olika typer av reducerade versioner av ras-identifierande fullfärgsbilder innehåller rasinformation, som rapporterats av föräldrarna till spädbarnen, och har funnit att även de mest informationsdestruktiva destillationerna av RFI (tröskelvärdesberäknade, skelettiserade och binariserade) möjliggör viss nivå av rasidentifiering.

Data och metodik

Data från 245 spädbarn, insamlade mellan januari 2012 och juli 2020 som en del av en multicenter i-ROP-kohortstudie, delades upp i tränings-, validerings- och testdatamängder på en 50/20/30-basis, med en naturlig fördelning av raser bevarad så långt som möjligt.

Färg-RFI reducerades ned till de tre ovan nämnda reducerande stilarna av avbildning, så att ‘uppenbara’ rasliga markörer tekniskt sett borde ha tagits bort från datat.

Flera konvolutionsneurala nätverk (CNN) tränades för att uppnå binär klassificering (‘svart’/ ‘vit’, baserat på rapporterad ras från föräldrar) med PyTorch. CNN:n körde datat över alla versioner av bilderna, från RFI ner till skelettiserade versioner, med tillämpning av vanliga slumpmässiga vändningar och rotationer, med härledda bilder som hade en upplösning på 224×244 pixlar.

Modellerna tränades med stokastisk gradientnedgång i upp till tio epoker med en konstant inlärningshastighet på 0,001, och tidig avslutning implementerades och träningsupphörde där uppfattad konvergens identifierades efter fem epoker (dvs. modellen skulle inte bli mer exakt med ytterligare tränings).

Eftersom det fanns en demografiskt naturlig obalans mellan vita och svarta försökspersoner, tillämpades kompensation för att säkerställa att minoritetsgrupper inte systematiskt diskonterades som avvikare, och resultaten kontrollerades för att verifiera att ingen data läckage skedde över experimenten.

Exempel på retinalkartor från studien vid varierande tröskelvärden.

Resultat

RVM, som extraherar ådror och kapillärer från fullfärgs-RFI-bilderna, borde inte teoretiskt sett vara ras-skillnader som kan upptäckas av en CNN, enligt författarna. Men resultaten har visat att ett högre antal stora artärer segmenteras av U-Net för vita ögon än för svarta ögon.

I slutsatser observerar forskarna ‘Vi fann att AI kunde lätt förutsäga rasen hos spädbarn från retinalådrorssegmenteringar som innehåller ingen synlig information om pigmentering‘, och att ‘även bilder som tycktes sakna information för det blotta ögat innehöll förutsägbar information om rasen hos det ursprungliga barnet’. Forskarna erbjuder också möjligheten att retinalådrorna hos svarta respektive vita spädbarn skiljer sig ‘på något sätt som AI kan uppskatta, men människor inte kan’.

Tidigare bias?

Författarna föreslår också att diskrimineringen kan vara en funktion av den vita-predominanta datan som U-Net ursprungligen tränades på. Även om de beskriver detta som sin ‘ledande teori’, medger de också att sensorernas tekniska aspekter kan vara en faktor i fenomenet, om det skulle visa sig att den upptäckta biasen är en följd av de tekniska aspekterna av retinalavbildning eller data-bias i U-Net som upprätthålls över åren. I ett försök att hantera dessa möjligheter, medger rapporten:

‘Men U-Net tränades på RFI som först omvandlades till gråskalabilder och utsattes för kontrastjustering — specifikt, kontrastbegränsad histogramjämnning (CLAHE) — och tränades därför aldrig på färg-RFI. Så, vi kan fortfarande inte fullständigt förklara dessa fynd baserat på U-Net-hypotesen ensam.’

Men författarna hävdar att orsaken är mindre alarmerande än effekten, och påpekar att förmågan hos AI-modeller att urskilja ras medför en möjlig ‘risk för bias i medicinska AI-algoritmer som använder dem som indata’.

Författarna pekar på den högkontrastiga naturen hos de studerade raserna och postulerar att ‘mellanliggande’ rasgrupper kan vara svårare att identifiera på liknande sätt, och att detta är en aspekt som de avser att studera i pågående och relaterade arbeten.

* Alla stödande länkar som tillhandahålls av rapporten och som ingår i denna artikel har omvandlats från begränsade PaperPile-länkar till offentligt tillgängliga onlineversioner, där möjligt.