Algoritme kan adresse rasistisk bias i helsevesenet hvis den blir riktig trent

Et team av forskere fra Stanford University, Harvard University og University of Chicago har trent algoritmer til å diagnostisere artritt i røntgenbilder av kne. Det viser seg at når pasienters rapporter brukes som treningdata for algoritmen, var algoritmen mer nøyaktig enn radiologer når de analyserte rekordene til svarte pasienter.

Problem med algoritmisk bias

Bruken av maskinlæringsalgoritmer i medisinen kan potensielt forbedre resultater for pasienter som lider av alle mulige sykdommer, men det er også vel dokumenterte problemer med å bruke AI-algoritmer til å diagnostisere pasienter. Studier om effektene av deployede AI-modeller har funnet flere bemerkelsesverdige hendelser som involverer algoritmisk bias. Disse inkluderer algoritmer som gir minoriteter færre henvisninger til kardiologienheter enn hvite pasienter, selv om alle rapporterte symptomer var de samme.

En av forfatterne av studien, professor Ziad Obermeyer ved University of California Berkeleys School of Public Health, bestemte seg for å bruke AI til å undersøke forskjeller mellom diagnoser av røntgenbilder av radiologer og mengden smerte som pasientene rapporterte. Selv om svarte pasienter og lavinntekts pasienter rapporterte høyere nivåer av smerte, var deres røntgenfortolkninger poengsatt like som den generelle befolkningen. Data om rapporterte smertenivåer kom fra NIH, og forskerne ønsket å undersøke om menneskelige leger gikk glipp av noe i deres analyse av dataene.

Som rapportert av Wired, for å identifisere potensielle årsaker til disse forskjellene, designet Obermeyer og andre forskere en datavisjonsmodell trent på data fra NIH. Algoritmene var designet til å analysere røntgenbilder og forutsi en pasients smertenivå basert på bildene. Programvaren klarte å finne mønster innenfor bildene som var høyt korrelert med en pasients smertenivå.

Når algoritmen presenteres med et usett bilde, returnerer modellen forutsigelser for en pasients rapporterte smertenivå. Forutsigelsene returnert av modellen sammenfalt mer med de faktiske rapporterte smertenivåene til pasientene enn poengene tildelt av radiologene. Dette var spesielt sant for svarte pasienter. Obermeyer forklarte via Wired at datavisjonsalgoritmen kunne detektere fenomener som var mer vanlig forbundet med smerte hos svarte pasienter.

Riktig trening av systemer

Ifølge rapporten var kriteriene som ble brukt til å evaluere røntgenbilder opprinnelig utviklet basert på resultater fra en liten studie gjennomført i nordlige England i 1957. Den opprinnelige befolkningen som ble brukt til å utvikle osteoartritt-vurderingskriterier var mye forskjellig fra den svært diverse befolkningen i det moderne USA, så det er ikke overraskende at det finnes feil når det gjelder å diagnostisere disse diverse personene.

Den nye studien demonstrerer at når AI-algoritmer blir riktig trent, kan de redusere bias. Treningen var basert på tilbakemeldinger fra pasientene selv i stedet for ekspertmeninger. Obermeyer og kolleger har tidligere demonstrert at en vanlig brukt AI-algoritme ga preferanse til hvite pasienter over svarte pasienter, men Obermeyer viste også at trening av en maskinlæringsmodell på riktig data kan hjelpe med å forebygge bias.

En bemerkelsesverdig kaveat til studien er en som er kjent for mange maskinlæringsforskere. AI-modellen som ble utviklet av forskningsteamet er en black box, og teamet av forskere selv er ikke sikre på hva slags funksjoner algoritmen detekterer i røntgenbildene, noe som betyr at de ikke kan fortelle leger hva de går glipp av.

Andre radiologer og forskere prøver å grave dypt inn i black boxen og avdekke mønsterene innenfor dem, i håp om å hjelpe leger med å forstå hva de går glipp av. Radiolog og professor ved Emory University, Judy Gichoya, samler en mer omfattende og variert sett av røntgenbilder for å trene AI-modellen. Gichoya vil få radiologer til å lage detaljerte notater på disse røntgenbildene. Disse notatene vil bli sammenlignet med utgangen av modellen for å se om mønsterene som ble detektert av algoritmen kan avdekkes.