Retinalårer afslører racen, udvider omfanget for AI-raceforbias

Inspireret af de seneste afsløringer om, at medicinsk AI-billeddiagnosticering kan afsløre racen, har et forskningskonsortium i USA og Storbritannien gennemført en undersøgelse af, om retinalårermønstre er kendetegnende for racen, og har konkluderet, at dette faktisk er tilfældet, med AI i stand til at forudsige forældre-rapporteret racen hos spædbørn fra retinalbilleder – billeder, der ikke ville afsløre racen for en menneskelig læge, der studerede dem, og som tidligere blev anset for at indeholde ingen mulighed for racemæssig afsløring.

Gruppen har udtrykt bekymring over, at denne ekstra vektor for racemæssig stratificering i medicinsk billeddiagnosticering åbner op for muligheden for øget bias i brugen af kunstig intelligenssystemer i sundhedssektoren.

Retinalbilleder fra en sort og en hvid person. Øverst, et fuldfarvet retinalt fundus-billede fra hver racetype allerede har racetype-kendetegn i forhold til farvedisposition. Nederst, de retinalårkort, der er afledt fra disse billeder, som skal ‘nivellere’ disse racemæssige anchor-kendetegn, indeholder faktisk racetype-kendetegn, ifølge den nye rapport. Kilde: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Forfatterne bemærker desuden muligheden for, at U-Net, det maskinlæringsramme, der er kommet til at definere denne sektor af AI-baseret sundhedssektor, og som er trænet på overvejende hvide personer*, kan have en indvirkning på dette observerede fænomen. Men forfatterne fastslår, at de ‘endnu ikke kan forklare disse resultater fuldt ud baseret på U-Net-hypotesen alene’.

I kommentarer til resultaterne på projektets tilhørende GitHub-repositorium siger forfatterne:

‘AI kan detektere racen fra gråtone-retinalårkort [Retinalårkort] , der ikke blev anset for at indeholde racemæssig information. To mulige forklaringer på disse resultater er, at: retinalårer fysiologisk adskiller sig mellem sorte og hvide spædbørn eller U-Net segmenterer retinalårerne forskelligt for forskellige fundus-pigmenteringer.

‘…Uanset hvad, konsekvenserne er de samme: AI-algoritmer har potentiale til at demonstrere racemæssig bias i praksis, selv når forsøg på at fjerne sådan information fra de underliggende billeder synes at være succesfulde.’

Den rapport hedder Ikke farveblind: AI forudsiger racemæssig identitet fra sort og hvid retinalårsegmentering, og er en lige collaboration mellem læger og forskere fra fem institutioner og forskningsafdelinger i USA og en i Storbritannien.

Læger, der deltog i forskningskonsortiet, inkluderer R.V. Paul Chan, MD, MSc, FACS, certificeret i oftalmologi, og en fellow af American College of Surgeons; Michael F. Chiang, M.D., direktør for National Eye Institute ved National Institutes of Health i Bethesda, Maryland; og J. Peter Campbell M.D., M.P.H., associate professor i oftalmologi ved School of Medicine på Oregon Health & Science University i Portland.

Øjnene har det

Rapporten bemærker det tidligere beviste potentiale for menneskeskabt bias til at propagere ind i AI-medicinske systemer, ikke mindst i studiet af øjne*. Retinalt fundus-billeder (RFI, se billedkomparation ovenfor), der bruges til at evaluere øjensygdomme, er fuldfarvede billeder, der indeholder tilstrækkelig pigmentinformation til at identificere racen.

Gråtone-retinalårkort (RVM) forkaster det meste af denne information for at udtrække den underliggende mønster af kapillærer, der sandsynligvis definerer mange sygdomstilstande. Det er altid antaget, på dette niveau af destillation, at ingen racemæssige kendetegn er tilbage i sådanne reductive medicinske billeder.

Forfatterne har testet denne antagelse med brug af en dataset af RFI (fuldfarvede retinalbilleder) erhvervet fra spædbørn, der blev skærmet for en mulig blindhedssygdom. Skæring for sådanne billeder, bemærker forfatterne, er mere og mere en del af telemedicin og andre fjern-diagnosekontekster og er mere og mere genstand for maskinlæringsanalyse.

Den nye undersøgelse undersøger, om forskellige typer reducerede versioner af racetype-identificerende fuldfarvede billeder indeholder racemæssig information, som rapporteret af forældrene til spædbørnene, og har fundet, at selv de mest informationsdestruktive destillationer af RFI (thresholded, skeletonized og binarized) kan muliggøre en vis grad af racetype-identifikation.

Data og metode

Data fra 245 spædbørn, indsamlet mellem januar 2012 og juli 2020 som en del af en multicenter i-ROP-kohortundersøgelse, blev inddelt i trænings-, validerings- og testdatasets på en 50/20/30-basis, med en naturlig distribution af racer bevaret så godt som muligt.

Fuldfarvede RFI blev reduceret ned til de tre nævnte reducerede billedstilarter, så ‘åbenlyse’ racemæssige kendetegn teknisk set skulle være fjernet fra data.

Flere convolutionelle neurale netværk (CNN) blev trænet til at opnå binær klassificering (‘sort’/ ‘hvid’, baseret på rapporteret racetype fra forældre) ved hjælp af PyTorch. CNN’erne kørte data over alle versioner af billederne, fra RFI ned til skeletoniserede versioner, med anvendelse af de sædvanlige tilfældige flips og rotationer, med afledte billeder med en opløsning på 224×244 pixels.

Modellerne blev trænet med stokastisk gradientafstigning i op til ti epocher med en konstant læringsrate på 0,001, og tidlig stopning blev implementeret og træning standsede, hvor antaget konvergens blev identificeret efter fem epocher (dvs. modellen ville ikke blive mere præcis med yderligere træning).

Da der var en demografisk naturlig ubalance mellem hvide og sorte personer, blev kompensation anvendt for at sikre, at minoritetskilder ikke systematisk blev diskonteret som outliers, og resultaterne blev kontrolleret for at verificere, at ingen data-lækage fandt sted over eksperimenterne.

Eksempler på retinalkort fra studiet ved varierende niveauer af threshold-tolerance.

Resultater

RVM, der udtrækker årer og kapillærer fra fuldfarvede RFI-billeder, skulle teoretisk set ikke være racetype-discernible for en CNN, ifølge forfatterne. Men resultaterne har vist, at et højere antal store arterier er segmenteret af U-Net for hvide øjne end for sorte øjne.

I afsluttende bemærkninger bemærker forskerne ‘Vi fandt, at AI let kunne forudsige racen af spædbørn fra retinalårsegmenteringer, der indeholder ingen synlig information om pigmentering‘, og at ‘selv billeder, der syntes at mangle information for det blotte øje, indeholdt dog forudsigelig information om racen af det oprindelige barn’. Forskerne tilbyder desuden muligheden for, at retinalårerne af sorte vs. hvide spædbørn adskiller sig ‘på en måde, som AI kan værdsætte, men mennesker ikke kan’.

Tidligere bias?

Forfatterne foreslår desuden, at diskriminationen kunne være en funktion af den hvide-dominerende data, som U-Net oprindeligt blev trænet på. Selv om de beskriver dette som deres ‘førende teori’, indrømmer de også, at sensorernes evne til at fange kan være en faktor i fænomenet, hvis det skulle vise sig, at den opdagede bias er en korrelat af de tekniske aspekter af retinalbilledpraksis eller af data-bias i U-Net, som er vedvarende over årene. Ved at adressere disse muligheder, konkluderer rapporten:

‘Men U-Net blev trænet på RFI, der først blev konverteret til gråtonebilleder og underlagt kontrastjustering — specifikt, kontrastbegrænset histogramjustering (CLAHE) — og blev derfor aldrig faktisk trænet på farve-RFI. Derfor er vi endnu ikke i stand til fuldt ud at forklare disse resultater baseret på U-Net-hypotesen alene.’

Men forfatterne fastslår, at årsagen er mindre alarmerende end effekten, og fastslår, at evnen af AI-modeller til at skelne racen medfører en mulig ‘risiko for bias i medicinske AI-algoritmer, der bruger dem som input’.

Forfatterne påpeger den højkontrasts-natur af de racer, der blev studeret, og formoder, at ‘intermediate’ racegrupper kan være mere svære at identificere på lignende måde, og at dette er et aspekt, de har til hensigt at studere i fortsatte og relaterede arbejder.

* Alle understøttende links, der er leveret af rapporten og er inkluderet i denne artikel, er blevet konverteret fra begrænsede PaperPile-links til offentligt tilgængelige online-versioner, hvor muligt.