Algoritme kan adresse racemæssig bias i sundhedspleje, hvis det trænes korrekt

Et hold af forskere fra Stanford University, Harvard University og University of Chicago har trænet algoritmer til at diagnosticere leddegigt i røntgenbilleder af knæ. Det viser sig, at når patienternes rapporter bruges som træningsdata for algoritmen, var algoritmen mere præcis end radiologer, når de analyserede optegnelserne fra sorte patienter.

Problemet med algoritme-bias

Brugen af maskinelæring-algoritmer i det medicinske felt kan potentielt forbedre resultaterne for patienter, der lider af alle mulige sygdomme, men der er også velkendte problemer med at bruge AI-algoritmer til at diagnosticere patienter. Studier af de udsendte AI-modeller har fundet en række bemærkelsesværdige tilfælde med algoritme-bias. Disse omfatter algoritmer, der giver minoriteter færre henvisninger til kardiologienheder end hvide patienter, selvom alle rapporterede symptomer var de samme.

En af forfatterne til studiet, professor Ziad Obermeyer fra University of California Berkeleys Skole for Folkesundhed, besluttede at bruge AI til at undersøge forskelle mellem diagnoser af røntgenbilleder af radiologer og mængden af smerter, som patienterne rapporterede. Selvom sorte patienter og patienter med lav indkomst rapporterede højere niveauer af smerter, var deres røntgenfortolkninger scorede på samme måde som den generelle befolkning. Data om de rapporterede smerterniveauer kom fra NIH, og forskerne ønskede at undersøge, om menneskelige læger missede noget i deres analyse af dataene.

Som rapporteret af Wired, for at identificere de potentielle årsager til disse forskelle, designede Obermeyer og andre forskere en computer-vision-model, der var trænet på data fra NIH. Algoritmernes formål var at analysere røntgenbilleder og forudsige en patients smerterniveauer på basis af billederne. Softwaren formåede at finde mønstre inden for billederne, der var meget korrelerede med en patients smerterniveauer.

Når algoritmen præsenteres med et ukendt billede, returnerer modellen forudsigelser for en patients niveau af rapporterede smerter. Forudsigelserne, der returneres af modellen, var mere i overensstemmelse med de faktiske rapporterede smerterniveauer for patienterne end de score, der var tildelt af radiologerne. Dette var især sandt for sorte patienter. Obermeyer forklarede via Wired, at computer-vision-algoritmen kunne detektere fænomener, der var mere almindeligt forbundet med smerter hos sorte patienter.

Korrekt træning af systemer

Ifølge rapporten var kriterierne til at evaluere røntgenbilleder oprindeligt udviklet på basis af resultaterne af en lille studie, der blev gennemført i Nordengland i 1957. Den oprindelige befolkning, der blev brugt til at udvikle kriterierne for osteoartritis, var meget forskellig fra den meget diverse befolkning i det moderne USA, så det er ikke overraskende, at der er fejl, når disse diverse personer diagnosticeres.

Den nye studie demonstrerer, at når AI-algoritmer er korrekt trænet, kan de reducere bias. Træningen var baseret på feedback fra patienterne selv i stedet for ekspertråd. Obermeyer og kollegaer har tidligere demonstreret, at en almindelig brugt AI-algoritme gav fordel til hvide patienter over sorte patienter, men Obermeyer har også vist, at træning af en maskinelæringssystem på de rigtige data kan hjælpe med at forebygge bias.

En bemærkelsesværdig kaveat til studiet er en, der er velkendt for mange maskinelæring-forskere. AI-modellen, der blev udviklet af forskerholdet, er en sort boks, og holdet af forskere selv er ikke sikre på, hvilke slags funktioner algoritmen detekterer i røntgenbillederne, hvilket betyder, at de ikke kan fortælle lægerne, hvilke funktioner de mangler.

Andre radiologer og forskere søger at grave dybere i den sorte boks og afsløre mønstrene inden i den, i håb om at hjælpe lægerne med at forstå, hvad de mangler. Radiolog og professor ved Emory University, Judy Gichoya, samler en mere omfattende og varieret samling af røntgenbilleder for at træne AI-modellen. Gichoya vil have radiologer til at skabe detaljerede noter på disse røntgenbilleder. Disse noter vil blive sammenlignet med modellens output for at se, om mønstrene, der detekteres af algoritmen, kan afsløres.