Gezondheidszorg
Netvliesaders onthullen ras, waardoor de reikwijdte voor AI-rasvooringenomenheid wordt uitgebreid
Geïnspireerd door recente onthullingen dat medische AI-beeldvorming ras kan onthullen, heeft een onderzoeksconsortium in de VS en het VK een studie uitgevoerd om te onderzoeken of netvliesaderpatronen indicatief zijn voor ras, en heeft geconcludeerd dat dit inderdaad het geval is, met AI die oudergerapporteerd ras bij baby’s kan voorspellen vanuit netvliesbeelden – beelden die geen raciale identiteit zouden onthullen aan een menselijke arts die ze bestudeert, en die eerder werden gedacht geen potentieel te hebben voor raciale onthulling.
De groep heeft hun bezorgdheid geuit dat deze extra vector van raciale stratificatie in medische beeldvorming de mogelijkheid opent voor verhoogde vooringenomenheid in het gebruik van kunstmatige intelligentiesystemen in de gezondheidszorg.
Netvliesbeelden van een zwarte en een witte proefpersoon. Boven, een full-color Netvlies Fundus Beeld van elk ras heeft al ras-ondercheidende kenmerken gerelateerd aan kleurverdeling. Onder, de Netvliesvaatkaarten die zijn afgeleid van deze beelden, die zouden moeten ‘nivelleren’ deze raciale ankermerken, bevatten daadwerkelijk ras-identificerende kenmerken, volgens het nieuwe rapport. Bron: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf
De auteurs merken verder op dat U-Net, het machine learning-framework dat dit deel van de AI-gebaseerde gezondheidszorg heeft gedefinieerd, en dat is getraind op voornamelijk witte proefpersonen*, mogelijk invloed kan hebben op dit waargenomen fenomeen. Echter, de auteurs beweren dat ze ‘nog niet in staat zijn om deze bevindingen volledig te verklaren op basis van de U-Net-hypothese alleen’.
In een reactie op de bevindingen op het GitHub-repository van het project, GitHub repository, stellen de auteurs:
‘AI kan ras detecteren uit grijswaarden Netvliesvaatkaarten [Netvliesvaatkaarten] die niet werden geacht raciale informatie te bevatten. Twee mogelijke verklaringen voor deze bevindingen zijn dat: netvliesvaten fysiologisch verschillen tussen zwarte en witte baby’s of dat U-Net de netvliesvasculatuur anders segmenteert voor verschillende funduspigmentaties.
‘…Hoe dan ook, de implicaties blijven hetzelfde: AI-algoritmen hebben het potentieel om raciale vooringenomenheid te demonstreren in de praktijk, zelfs wanneer eerste pogingen om deze informatie uit de onderliggende beelden te verwijderen lijken te zijn geslaagd.’
Het artikel heeft als titel Niet kleurenblind: AI voorspelt raciale identiteit uit zwarte en witte netvliesvaatsegmentaties, en is een gelijke samenwerking tussen artsen en onderzoekers van vijf instellingen en onderzoeksafdelingen in de VS, en een in het VK.
Medische artsen die deelnamen aan het onderzoek zijn onder andere R.V. Paul Chan, MD, MSc, FACS, board-certified in oogheelkunde, en een fellow van de American College of Surgeons; Michael F. Chiang, M.D., directeur van het National Eye Institute bij de National Institutes of Health in Bethesda, Maryland; en J. Peter Campbell M.D., M.P.H., associate professor in de oogheelkunde aan de School of Medicine van de Oregon Health & Science University in Portland.
De ogen hebben het
Het artikel merkt op dat het eerder bewezen potentieel voor door de mens veroorzaakte vooringenomenheid om door te dringen in AI-medische systemen, niet in de laatste plaats in de studie van ogen*. Netvlies Fundus Beelden (RFI’s, zie beeldvergelijking hierboven), die worden gebruikt voor het evalueren van oogaandoeningen, zijn full-color beelden die voldoende pigmentinformatie bevatten om ras te identificeren.
Grijswaarden Netvliesvaatkaarten (RVM’s) verwijderen de meeste van deze informatie om het onderliggende patroon van haarvaten te extraheren die veel ziekteaandoeningen zullen definiëren. Het is altijd aangenomen dat, op dit niveau van destillatie, geen raciale kenmerken overblijven in dergelijke reductionistische medische beelden.
De auteurs hebben deze aanname getest met het gebruik van een dataset van RFI’s (full-color netvliesbeelden) die zijn verkregen van baby’s die zijn gescreend voor een mogelijk blindmakende ziekte. Screening voor dergelijke beelden, merken de auteurs op, wordt steeds vaker buiten persoonlijke consulten gebruikt, in telemedicine en andere remote diagnose-contexten, en wordt steeds meer onderworpen aan machine learning-analyse.
De nieuwe studie onderzoekt of verschillende soorten reductionistische versies van de ras-identificerende full-color beelden raciale informatie behouden, zoals gerapporteerd door de ouders van de baby’s, en heeft ontdekt dat zelfs de meest informatiedestructieve destillaties van RFI’s (gedrempeld, geskeletteerd en gebinariseerd) enige niveau van raciale identificatie mogelijk maken.
Gegevens en methodologie
Gegevens van 245 baby’s, verzameld tussen januari 2012 en juli 2020 als onderdeel van een multicenter i-ROP-cohortstudie, werden verdeeld in trainings-, validatie- en testdatasets op een 50/20/30-basis, respectievelijk, met een natuurlijke verdeling van rassen behouden zoals de brondata dat toeliet.
Kleur-RFI’s werden gereduceerd tot de drie bovengenoemde reductionistische stijlen van beeldvorming, zodat ‘obvious’ raciale markers technisch gezien uit de gegevens zouden moeten zijn verwijderd.
Meerdere Convolutional Neural Networks (CNN’s) werden getraind om binair classificatie (‘zwart’/’wit’, op basis van door de ouders gerapporteerd ras) te bereiken met PyTorch. De CNN’s liepen de gegevens over alle versies van de beelden, van RFI’s tot geskeletteerde versies, met toepassing van de gebruikelijke random flips en rotaties, met afgeleide beelden met een resolutie van 224×244 pixels.
De modellen werden getraind met stochastische gradient descent voor maximaal tien epochs met een constante leerfactor van 0,001, en vroegtijdige stopzetting werd geïmplementeerd en training werd stopgezet waar veronderstelde convergentie werd geïdentificeerd na vijf epochs (d.w.z. het model zou niet nauwkeuriger worden met verdere training).
Aangezien er een demografisch natuurlijke onevenwichtigheid was tussen witte en zwarte proefpersonen, werd compensatie toegepast om ervoor te zorgen dat minderheidsbronnen niet systematisch werden gediskwalificeerd als outliers, en de resultaten werden gecontroleerd om te verifiëren dat geen gegevenslekkage plaatsvond tijdens de experimenten.
[caption id="attachment_177992" align="alignnone" width="1126"]
Resultaten
RVM’s, die aders en haarvaten uit de full-color RFI-beelden extraheren, zouden theoretisch gezien niet door een CNN te onderscheiden moeten zijn, volgens de auteurs. Echter, de resultaten hebben aangetoond dat een groter aantal grote slagaders wordt gesegmenteerd door U-Net voor witte ogen dan voor zwarte ogen.
In de slotopmerkingen merken de onderzoekers op ‘We vonden dat AI gemakkelijk het ras van baby’s kon voorspellen uit netvliesvaatsegmentaties die geen zichtbare informatie over pigmentatie bevatten‘, en dat ‘zelfs beelden die leken te zijn ontdaan van informatie voor het blote oog, nog steeds voorspellende informatie over het ras van de oorspronkelijke baby behielden’. De onderzoekers bieden verder de mogelijkheid dat de netvliesvaten van zwarte versus witte baby’s ‘op de een of andere manier verschillen die AI kan waarderen, maar mensen niet’.
Prior Bias?
De auteurs suggereren ook dat de discriminatie een functie kan zijn van de witte dominantie in de gegevens waarop U-Net oorspronkelijk is getraind. Hoewel ze dit beschrijven als hun ‘leidende theorie’, geven ze ook toe dat de mogelijkheden van capturesensoren een factor kunnen zijn in het fenomeen, als het zou blijken dat de ontdekte vooringenomenheid een corollaris is van de technische aspecten van netvliesbeeldvormingstechnieken, of van gegevensvooringenomenheid in U-Net die zichzelf over de jaren heen voortplant. Bij het aanpakken van deze mogelijkheden, geeft het artikel toe:
‘Echter, U-Net werd getraind op RFI’s die eerst waren omgezet in grijswaardenbeelden en onderworpen aan contrastaanpassing — specifiek, contrastbeperkte histogramgelijkstelling (CLAHE) — en werd dus nooit daadwerkelijk getraind op full-color RFI’s. Dus zijn we nog niet in staat om deze bevindingen volledig te verklaren op basis van de U-Net-hypothese alleen.’
Echter, de auteurs beweren dat de oorzaak minder alarmerend is dan het effect, en stellen dat de mogelijkheid van AI-modellen om ras te onderscheiden een mogelijke ‘risico van vooringenomenheid in medische AI-algoritmen die deze als invoer gebruiken’ inhoudt.
De auteurs merken op de hoge contrastrijkdom van de rassen die zijn bestudeerd, en speculeren dat ‘intermediaire’ raciale groepen mogelijk moeilijker te identificeren zullen zijn met soortgelijke middelen, en dat dit een aspect is dat ze van plan zijn te bestuderen in lopende en verwante werken.
* Alle ondersteunende links die in dit artikel zijn opgenomen en die door het artikel zijn verstrekt, zijn omgezet van beperkte toegang PaperPile-links naar openbaar toegankelijke online versies, waar mogelijk.
