Algoritm kan minska rasistiska fördomar inom hälsovården om den tränas ordentligt

Ett team av forskare från Stanford University, Harvard University och University of Chicago har tränat algoritmer för att diagnostisera artros i röntgenbilder av knän. Det visar sig att när patienternas rapporter används som träningsdata för algoritmen, var algoritmen mer exakt än radiologer när de analyserade register för svarta patienter.

Problemet med algoritmisk fördom

Användningen av maskinlärningsalgoritmer inom hälso- och sjukvården kan potentiellt förbättra resultaten för patienter som lider av olika sjukdomar, men det finns också väl dokumenterade problem med att använda AI-algoritmer för att diagnostisera patienter. Studier om effekterna av utplacerade AI-modeller har funnit ett antal anmärkningsvärda incidenter som involverar algoritmisk fördom. Dessa inkluderar algoritmer som ger minoriteter färre remisser till kardiologienheter än vita patienter, trots att alla rapporterade symtom var desamma.

En av författarna till studien, professor Ziad Obermeyer vid University of California Berkeley:s School of Public Health, beslutade att använda AI för att undersöka skillnader mellan diagnoser av röntgenbilder av radiologer och den smärta som patienterna rapporterade. Trots att svarta patienter och patienter med låg inkomst rapporterade högre smärtnivåer, var deras röntgenbilder bedömda på samma sätt som den allmänna befolkningen. Data om rapporterade smärtnivåer kom från NIH, och forskarna ville undersöka om mänskliga läkare missade något i sin analys av datat.

Enligt Wired utvecklade Obermeyer och andra forskare en datorseende-modell som tränades på data från NIH. Algoritmerna var utformade för att analysera röntgenbilder och förutsäga en patients smärtnivå baserat på bilderna. Programvaran lyckades hitta mönster inom bilderna som visade sig vara starkt korrelerade med en patients smärtnivå.

När algoritmen presenteras med en osedd bild returnerar modellen förutsägelser för en patients smärtnivå. Förutsägelserna som returnerades av modellen stämde bättre överens med de faktiska rapporterade smärtnivåerna för patienterna än de poäng som tilldelades av radiologerna. Detta var särskilt sant för svarta patienter. Obermeyer förklarade via Wired att datorseendealgoritmen kunde upptäcka fenomen som var mer vanligt förknippade med smärta hos svarta patienter.

Att träna system ordentligt

Enligt rapporter var kriterierna för att utvärdera röntgenbilder ursprungligen utvecklade baserat på resultaten från en liten studie som genomfördes i norra England 1957. Den initiala populationen som användes för att utveckla kriterierna för osteoartrit var mycket annorlunda än den mycket varierade befolkningen i det moderna USA, så det är inte förvånande att det finns misstag när man diagnostiserar dessa varierade personer.

Den nya studien visar att när AI-algoritmer tränas ordentligt kan de minska fördomar. Träningen baserades på feedback från patienterna själva snarare än experternas åsikter. Obermeyer och kollegor har tidigare visat att en vanligt använd AI-algoritm gav företräde till vita patienter framför svarta patienter, men Obermeyer visade också att träning av ett maskinlärningssystem på rätt data kan hjälpa till att förhindra fördomar.

En anmärkningsvärd reservation i studien är en som är bekant för många maskinläringsforskare. Den AI-modell som utvecklades av forskarteamet är en svart låda, och forskarteamet själva är inte säkra på vilka funktioner algoritmen upptäcker i röntgenbilderna, vilket innebär att de inte kan berätta för läkare vad de missar.

Andra radiologer och forskare försöker gräva djupare i den svarta lådan och avslöja mönstren inom den, i syfte att hjälpa läkare att förstå vad de missar. Radiologen och professorn vid Emory University, Judy Gichoya, samlar in en mer omfattande och varierad uppsättning röntgenbilder för att träna AI-modellen. Gichoya kommer att låta radiologer skapa detaljerade anteckningar om dessa röntgenbilder. Dessa anteckningar kommer att jämföras med modellens utdata för att se om de mönster som upptäcks av algoritmen kan avslöjas.