Netvliessels onthullen ras, waardoor de reikwijdte voor AI-rasvooroordeel wordt uitgebreid

Geïnspireerd door recente onthullingen dat medische AI-beeldvorming ras kan onthullen, heeft een onderzoeksconsortium in de VS en het VK een studie uitgevoerd om te onderzoeken of netvliesselpatronen indicatief zijn voor ras, en heeft geconcludeerd dat dit inderdaad het geval is, met AI die oudergerapporteerd ras bij baby’s kan voorspellen vanuit netvliesselfoto’s – foto’s die geen raciale identiteit zouden onthullen aan een menselijke arts die ze bestudeert, en die eerder werden geacht geen potentieel voor raciale onthulling te bevatten.

De groep heeft hun bezorgdheid geuit dat deze extra vector van raciale stratificatie in medische beeldvorming de mogelijkheid opent voor verhoogde bias in het gebruik van kunstmatige intelligentiesystemen in de gezondheidszorg.

Netvliesselfoto’s van een zwarte en een witte proefpersoon. Boven, een volledig gekleurde netvliesselfoto van elk ras heeft al rasonderscheidende kenmerken gerelateerd aan kleurverdeling. Onder, de netvliesselpatronen die zijn afgeleid van deze foto’s, die zijn bedoeld om deze raciale ankermerken te ‘nivelleren’, bevatten daadwerkelijk rasidentificerende kenmerken, volgens het nieuwe rapport. Bron: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

De auteurs merken verder op dat U-Net, het machine learning-framework dat dit deel van de AI-gebaseerde gezondheidszorg heeft gedefinieerd, en dat is getraind op voornamelijk witte proefpersonen*, mogelijk invloed heeft op dit waargenomen fenomeen. Echter, de auteurs beweren dat ze ‘nog niet in staat zijn om deze bevindingen volledig te verklaren op basis van de U-Net-hypothese alleen’.

In een reactie op de bevindingen op de bijbehorende GitHub-repository zeggen de auteurs:

‘AI kan ras detecteren vanuit grijswaarden-netvliesselpatronen [netvliesselpatronen] die niet werden geacht raciale informatie te bevatten. Twee mogelijke verklaringen voor deze bevindingen zijn dat: netvliessels fysiologisch verschillen tussen zwarte en witte baby’s of de U-Net segmenteert de netvliessels anders voor verschillende funduspigmentaties.

‘…Of hoe dan ook, de implicaties blijven hetzelfde: AI-algoritmen hebben het potentieel om raciale bias te demonstreren in de praktijk, zelfs wanneer voorlopige pogingen om dergelijke informatie uit de onderliggende beelden te verwijderen lijken te zijn geslaagd.’

Het artikel heet Niet kleurenblind: AI voorspelt raciale identiteit vanuit zwarte en witte netvliesselpatronen, en is een gelijke samenwerking tussen artsen en onderzoekers van vijf instellingen en onderzoeksafdelingen in de VS, en één in het VK.

Medische artsen die deelnamen aan het onderzoek zijn onder andere R.V. Paul Chan, MD, MSc, FACS, gespecialiseerd in oogheelkunde, en fellow van de American College of Surgeons; Michael F. Chiang, M.D., directeur van het National Eye Institute bij de National Institutes of Health in Bethesda, Maryland; en J. Peter Campbell M.D., M.P.H., associate professor in de oogheelkunde aan de School of Medicine van de Oregon Health & Science University in Portland.

De ogen hebben het

Het artikel merkt op dat het eerder bewezen potentieel voor menselijke bias om door te dringen in AI-medische systemen, niet in de laatste plaats in de studie van ogen*. Netvliesselfoto’s (RFI’s, zie bovenstaande vergelijking), die worden gebruikt om oogaandoeningen te evalueren, zijn volledig gekleurde beelden die voldoende pigmentinformatie bevatten om ras te identificeren.

Grijswaarden-netvliesselpatronen (RVM’s) verwijderen de meeste van deze informatie om het onderliggende patroon van haarvaten te extraheren dat waarschijnlijk veel ziektecondities definieert. Het is altijd aangenomen dat, op dit niveau van destillatie, geen raciale kenmerken overblijven in dergelijke reductieve medische beelden.

De auteurs hebben deze veronderstelling getest met behulp van een dataset van RFI’s (volledig gekleurde netvliesselfoto’s) die zijn verkregen van baby’s die zijn gescreend voor een mogelijk blindmakende ziekte. Screening voor dergelijke beelden, merken de auteurs op, wordt steeds vaker buiten persoonlijke consulten om buiten beschouwing gelaten, in telemedicine en andere remote diagnosecontexten, en wordt steeds meer het onderwerp van machine learning-analyse.

De nieuwe studie onderzoekt of verschillende soorten reductieve versies van de rasidentificerende volledig gekleurde beelden raciale informatie behouden, zoals gerapporteerd door de ouders van de baby’s, en heeft ontdekt dat zelfs de meest informatiedestructieve destillaties van RFI’s (gedrempeld, geskeletteerd en gebinariseerd) een zeker niveau van raciale identificatie mogelijk maken.

Gegevens en methodologie

Gegevens van 245 baby’s, verzameld tussen januari 2012 en juli 2020 als onderdeel van een multicenter i-ROP-cohortstudie, werden verdeeld in trainings-, validatie- en testdatasets op een 50/20/30-basis, respectievelijk, met een natuurlijke distributie van rassen behouden zoals de brondata het toeliet.

Kleur-RFI’s werden gereduceerd tot de drie bovengenoemde reductieve stijlen van beeldvorming, zodat ‘obvious’ raciale markers technisch gezien uit de gegevens zouden moeten zijn verwijderd.

Meerdere Convolutional Neural Networks (CNN’s) werden getraind om binaire classificatie (‘zwart’/ ‘wit’, op basis van door ouders gerapporteerd ras) te bereiken met behulp van PyTorch. De CNN’s liepen de gegevens over alle versies van de beelden, van RFI’s tot geskeletteerde versies, met toepassing van de gebruikelijke willekeurige flips en rotaties, met afgeleide beelden met een resolutie van 224×244 pixels.

De modellen werden getraind met stochastische gradient descent voor maximaal tien epochs met een constante leerfactor van 0,001, en vroegtijdige stopzetting werd geïmplementeerd en training werd stopgezet waar veronderstelde convergentie werd geïdentificeerd na vijf epochs (d.w.z. het model zou niet nauwkeuriger worden met verdere training).

Aangezien er een demografisch natuurlijke onevenwichtigheid was tussen witte en zwarte proefpersonen, werd compensatie toegepast om ervoor te zorgen dat minderheidsgroepen niet systematisch werden afgeschreven als outliers, en de resultaten werden gecontroleerd om te verifiëren dat geen gegevenslekkage plaatsvond tijdens de experimenten.

Voorbeelden van netvliesselpatronen uit de studie bij verschillende drempelwaarden.

Resultaten

RVM’s, die slagaders en haarvaten extraheren uit de volledig gekleurde RFI-beelden, zouden theoretisch gezien niet door een CNN te onderscheiden moeten zijn, volgens de auteurs. Echter, de resultaten hebben aangetoond dat een groter aantal grote slagaders wordt gesegmenteerd door U-Net voor witte ogen dan voor zwarte ogen.

In slotopmerkingen merken de onderzoekers op ‘We vonden dat AI gemakkelijk het ras van baby’s kon voorspellen vanuit netvliesselpatronen die geen zichtbare informatie over pigmentatie bevatten‘, en dat ‘zelfs beelden die leken te zijn ontdaan van informatie voor het blote oog, nog steeds voorspellende informatie over het ras van de oorspronkelijke baby bevatten’. De onderzoekers bieden verder de mogelijkheid dat de netvliessels van zwarte versus witte baby’s ‘op de een of andere manier verschillen die AI kan waarderen, maar mensen niet’.

Voorafgaande bias?

De auteurs suggereren ook dat de discriminatie een functie kan zijn van de witte dominantie in de gegevens waarop U-Net oorspronkelijk is getraind. Hoewel ze dit beschrijven als hun ‘leidende theorie’, geven ze ook toe dat de mogelijkheden van capturesensoren een factor kunnen zijn in het fenomeen, als het zou blijken dat de ontdekte bias een corollarie is van de technische aspecten van netvliesselfotografiepraktijken, of van gegevensbias in U-Net die zichzelf over de jaren heen voortzet. Bij het adresseren van deze mogelijkheden, geeft het artikel toe:

‘Echter, U-Net werd getraind op RFI’s die eerst waren omgezet in grijswaardenbeelden en onderworpen aan contrastaanpassing — specifiek, contrastbeperkte histogramgelijkstelling (CLAHE) — en werd dus nooit daadwerkelijk getraind op kleur-RFI’s. Dus, we zijn nog niet in staat om deze bevindingen volledig te verklaren op basis van de U-Net-hypothese alleen.’

Echter, de auteurs beweren dat de oorzaak minder verontrustend is dan het effect, en stellen dat de mogelijkheid van AI-modellen om ras te onderscheiden een mogelijke ‘risico van bias in medische AI-algoritmen die ze als invoer gebruiken’ inhoudt.

De auteurs wijzen op de hoge-contrastnatuur van de rassen die zijn bestudeerd, en speculeren dat ‘intermediaire’ raciale groepen moeilijker te identificeren kunnen zijn met behulp van soortgelijke middelen, en dat dit een aspect is dat ze van plan zijn te bestuderen in lopende en verwante werken.

* Alle ondersteunende links die door het artikel worden verstrekt en die in dit artikel zijn opgenomen, zijn omgezet van beperkte toegang PaperPile-links naar openbaar beschikbare online versies, waar mogelijk.