Retinale aderen onthullen ras, groter bereik voor AI Race Bias

Geïnspireerd door recente onthullingen dat medische AI-beeldvorming ras kan onthullenheeft een onderzoeksconsortium in de VS en het VK onderzocht of patronen in de ader van het netvlies indicatief zijn voor ras, en heeft geconcludeerd dat dit inderdaad het geval is, waarbij AI in staat is om het door ouders gerapporteerde ras bij baby's te voorspellen op basis van netvliesbeelden - beelden die zou geen raciale identiteit onthullen aan een menselijke arts die ze bestudeert, en waarvan eerder werd gedacht dat ze geen potentieel voor raciale onthulling bevatten.

De groep heeft zijn bezorgdheid geuit over het feit dat deze extra vector van raciale stratificatie in medische beeldvorming de mogelijkheid opent voor meer vooringenomenheid bij het gebruik van kunstmatige-intelligentiesystemen in de gezondheidszorg.

De auteurs wijzen verder op de mogelijkheid dat U-Net, het machine learning-framework dat deze sector van op AI gebaseerde gezondheidszorg is gaan definiëren, en waarop is getraind overwegend blanke onderwerpen*, kan invloed hebben op dit waargenomen fenomeen. De auteurs beweren echter dat ze dat wel zijn 'tot nu toe niet in staat deze bevindingen volledig te verklaren op basis van alleen de U-Net-hypothese'.

Commentaar geven op de bevindingen bij de betrokken projectleiders GitHub-repository, stellen de auteurs:

'AI kan ras detecteren aan de hand van RVM's in grijstinten [Retinale vaatkaarten] waarvan werd aangenomen dat ze geen raciale informatie bevatten. Twee mogelijke verklaringen voor deze bevindingen zijn dat: de vaten van het netvlies fysiologisch verschillen tussen zwarte en blanke baby's of dat het U-Net het vaatstelsel van het netvlies verschillend segmenteert voor verschillende funduspigmentaties.

'…Hoe dan ook, de implicaties blijven hetzelfde: AI-algoritmen hebben het potentieel om in de praktijk raciale vooroordelen aan te tonen, zelfs wanneer voorlopige pogingen om dergelijke informatie uit de onderliggende afbeeldingen te verwijderen succesvol blijken te zijn.'

De papier is getiteld Niet kleurenblind: AI voorspelt raciale identiteit op basis van zwart-witte netvliessegmenten, en is een gelijkwaardige samenwerking tussen artsen en onderzoekers van vijf instellingen en onderzoeksafdelingen in de VS en één in het VK.

Artsen die deelnemen aan het onderzoeksconsortium zijn onder meer Camper Paul Chan, MD, MSc, FACS, board-gecertificeerd in oogheelkunde, en een fellow van het American College of Surgeons; Michael F. Chiang, MD, directeur van het National Eye Institute van de National Institutes of Health in Bethesda, Maryland; En J.Peter Campbell MD, MPH, universitair hoofddocent Oogheelkunde aan de School of Medicine aan de Oregon Health & Science University in Portland.

De ogen hebben het

De paper wijst op het eerder bewezen potentieel voor door mensen veroorzaakte vooringenomenheid om zich voort te planten in medische AI-systemen, niet in de laatste plaats in de studie van de ogen*. Retinale fundusafbeeldingen (RFI's, zie afbeeldingsvergelijking hierboven), gebruikt bij het evalueren van oogaandoeningen, zijn kleurenafbeeldingen die voldoende pigmentatie-informatie bevatten om ras te identificeren.

Greyscale Retina Vessel Maps (RVM's) negeren de meeste van deze informatie om het onderliggende patroon van haarvaten te extraheren die waarschijnlijk veel ziektetoestanden zullen definiëren. Op dit destillatieniveau is altijd aangenomen dat er geen raciale kenmerken overblijven in dergelijke reductieve medische beelden.

De auteurs hebben deze veronderstelling getest met behulp van een dataset van RFI's (retinale kleurenbeelden in kleur) die zijn verkregen van baby's die zijn gescreend op een mogelijk blindmakende ziekte. Het screenen van dergelijke beelden, merken de auteurs op, wordt steeds vaker toegepast buiten persoonlijke consultaties, in telegeneeskunde en andere contexten voor diagnose op afstand, en wordt steeds meer het onderwerp van machine learning-analyse.

De nieuwe studie onderzoekt of verschillende soorten reductionistische versies van de rasidentificerende kleurenafbeeldingen raciale informatie bevatten, zoals gerapporteerd door de ouders van de baby's, en heeft ontdekt dat zelfs de meest informatievernietigende destillaties van RFI's (thresholded, skeletonized and gebinariseerd) maken een zekere mate van raciale identificatie mogelijk.

Gegevens en methodologie

Gegevens van 245 baby's, verzameld tussen januari 2012 en juli 2020 als onderdeel van een multicenter i-ROP-cohortonderzoek, werden respectievelijk verdeeld in trainings-, validatie- en testdatasets op basis van 50/20/30, waarbij een natuurlijke verdeling van rassen behouden bleef zo goed als de brongegevens toestaan.

Kleur-RFI's werden teruggebracht tot de drie eerder genoemde reductieve beeldvormende stijlen, zodat 'voor de hand liggende' raciale markeringen technisch gezien uit de gegevens hadden moeten worden verwijderd.

Meerdere Convolutional Neural Networks (CNN's) werden getraind om binaire classificatie ('zwart'/'wit', gebaseerd op gerapporteerd ras van ouders) te bereiken met behulp van PyTorch. De CNN's voerden de gegevens uit over alle versies van de afbeeldingen, van RFI's tot geskeletteerde versies, waarbij de gebruikelijke willekeurige salto's en rotaties werden toegepast, met afgeleide afbeeldingen met een resolutie van 224 × 244 pixels.

De modellen werden getraind met stochastische gradiëntafdaling gedurende maximaal tien tijdperken met een constante leersnelheid van 0.001, en vroegtijdig stoppen werd geïmplementeerd en de training stopte waar waargenomen convergentie werd vastgesteld na vijf tijdperken (dat wil zeggen dat het model niet nauwkeuriger zou worden met verdere stappen). opleiding).

Omdat er een demografisch natuurlijke onevenwichtigheid was tussen blanke en zwarte proefpersonen, werd compensatie toegepast om ervoor te zorgen dat minderheidsbronnen niet systematisch als uitbijters werden beschouwd, en werden de resultaten onderling gecontroleerd om te verifiëren dat er tijdens de experimenten geen gegevenslekkage plaatsvond.

Resultaten

RVM's, die aders en haarvaten uit de RFI-beelden in kleur halen, zouden volgens de auteurs in theorie niet door een CNN kunnen worden waargenomen. De resultaten hebben echter aangetoond dat een groter aantal grote slagaders door U-Net wordt gesegmenteerd voor witte ogen dan voor zwarte ogen.

Tot slot merken de onderzoekers op 'We ontdekten dat AI gemakkelijk het ras van baby's kon voorspellen op basis van retinale vatsegmentaties die geen zichtbare informatie over pigmentatie bevatten', en dat 'zelfs beelden die met het blote oog geen informatie leken te bevatten, bevatten voorspellende informatie over het ras van de oorspronkelijke baby'. De onderzoekers bieden verder de mogelijkheid dat de netvliesvaten van zwarte vs. blanke baby's verschillen 'op de een of andere manier die AI kan waarderen, maar mensen niet'.

Voorafgaande vooringenomenheid?

De auteurs suggereren ook dat de discriminatie een functie zou kunnen zijn van de blanke overheersende gegevens waarop U-Net oorspronkelijk was getraind. Hoewel ze dit omschrijven als hun 'leidende theorie', geven ze ook toe dat de mogelijkheden van capture-sensoren een factor kunnen zijn in de verschijnselen, als zou blijken dat de ontdekte bias een uitvloeisel is van de technische aspecten van retinale beeldvormingspraktijken, of van databias in U-Net die zichzelf door de jaren heen bestendigt. Ingaand op deze mogelijkheden geeft de paper toe:

'Het U-Net is echter getraind op RFI's die eerst werden geconverteerd naar grijswaardenafbeeldingen en onderworpen aan contrastaanpassing - met name contrast limited histogram equalization (CLAHE) - en is daarom nooit echt getraind op kleuren-RFI's. We kunnen deze bevindingen dus nog niet volledig verklaren op basis van de U-Net-hypothese alleen.'

De auteurs beweren echter dat de oorzaak minder alarmerend is dan het effect, en stellen dat het vermogen van AI-modellen om ras te onderscheiden een mogelijke 'risico op bias in medische AI-algoritmen die ze als input gebruiken'.

De auteurs wijzen op het contrastrijke karakter van de bestudeerde rassen, en postuleren dat 'tussenliggende' raciale groepen moeilijker te identificeren zijn met vergelijkbare middelen, en dat dit een aspect is dat ze van plan zijn te bestuderen in lopende en gerelateerde werken.

 

* Alle ondersteunende links die door de paper worden verstrekt en die in dit artikel zijn opgenomen, zijn waar mogelijk omgezet van PaperPile-links met beperkte toegang naar openbaar beschikbare online versies.