AI-modeller trent på kjønnsfordrende data fungerer dårligere ved å diagnostisere sykdom

For nylig ble det publisert en studie i tidsskriftet PNAS og utført av forskere fra Argentina, som impliserte at tilstedeværelsen av kjønnsfordrende treningdata fører til dårligere modellprestasjon når det gjelder å diagnostisere sykdommer og andre medisinske problemer. Ifølge Statsnews eksperimenterte forskerlaget med å trene modeller hvor kvinnelige pasienter var merkbart underrepresentert eller helt utelukket, og fant at algoritmen fungerte vesentlig dårligere når det gjaldt å diagnostisere dem. Det samme gjaldt også for hendelser hvor mannlige pasienter var utelukket eller underrepresentert.

I løpet av de siste fem årene, da AI-modeller og maskinlæring har blitt mer utbredt, har det blitt mer fokus på problemene med forvrengde datamengder og de forvrengde maskinlæringsmodellene som resultat av dem. Dataforvrengning i maskinlæring kan føre til uheldige, sosialt skadelige og ekskluderende AI-applikasjoner, men når det gjelder medisinske applikasjoner kan liv være på spill. Likevel, til tross for kunnskap om problemet, har få studier forsøkt å kvantifisere hvor skadelig forvrengde datamengder kan være. Studien utført av forskerlaget fant at dataforvrengning kan ha mer ekstreme effekter enn mange eksperter tidligere hadde anslått.

En av de mest populære bruksområdene for AI i medisinske sammenhenger de siste årene har vært bruken av AI-modeller til å diagnostisere pasienter basert på medisinske bilder. Forskerlaget analyserte modeller som ble brukt til å påvise tilstedeværelsen av ulike medisinske tilstander som lungebetennelse, hjerteforstørrelse eller brudd på røntgenbilder. Forskerlaget studerte tre åpne modellarkitekturer: Inception-v3, ResNet og DenseNet-121. Modellene ble trenet på bryst-røntgenbilder hentet fra to åpne datamengder fra Stanford University og National Institutes of Health. Selv om datamengdene i seg selv er ganske balansert når det gjelder kjønnsrepresentasjon, forvrengte forskerne datamengdene kunstig ved å dele dem inn i undermengder hvor det var en kjønnsulikhet.

Forskerlaget lagde fem forskjellige treningdatamengder, hver bestående av forskjellige forhold av mannlige/kvinnelige pasientundersøkelser. De fem treningsettene ble inndelt som følger:

• Alle bildene var av mannlige pasienter
• Alle bildene var av kvinnelige pasienter
• 25% mannlige pasienter og 75% kvinnelige pasienter
• 75% kvinnelige pasienter og 25% mannlige pasienter
• Halvparten mannlige pasienter og halvparten kvinnelige pasienter

Etter at modellen var trenet på en av undermengdene, ble den testet på en samling av undersøkelser fra både mannlige og kvinnelige pasienter. Det var en merkbart trend som var til stede over de ulike medisinske tilstandene, nøyaktigheten til modellene var mye dårligere når treningdata var vesentlig kjønnsfordrende. En interessant ting å merke seg er at hvis ett kjønn var overrepresentert i treningdata, syntes ikke det kjønnet å dra nytte av overrepresentasjonen. Uansett om modellen var trenet på data som var fordrengt for ett kjønn eller det andre, fungerte den ikke bedre på det kjønnet sammenlignet med når den var trenet på en inklusiv datamengde.

Seniorforfatteren av studien, Enzo Ferrante, ble sitert av Statnews som forklarte at studien understreker hvor viktig det er at treningdata er diverse og representative for alle populasjonene du har til hensikt å teste modellen i.

Det er ikke helt klart hvorfor modeller trenet på ett kjønn tenderer til å fungere dårligere når de implementeres på ett annet kjønn. Noen av ulikhetene kan skyldes fysiologiske forskjeller, men ulike sosiale og kulturelle faktorer kan også bidra til noen av forskjellene. For eksempel kan kvinner tendere til å motta røntgenbilder på et annet stadium av sykdommens fremgang sammenlignet med menn. Hvis dette er sant, kan det påvirke funksjonene (og dermed mønsterene som modellen lærer) funnet i treningbildene. Hvis dette er tilfelle, gjør det det mye vanskeligere for forskere å fjerne forvrengning fra datamengdene, da forvrengningen vil være innbygd i datamengden gjennom mekanismene for datainnsamling.

Even forskere som er svært oppmerksomme på datadiversitet har noen ganger ingen annen valg enn å arbeide med data som er fordrengt eller forvrengt. Situasjoner hvor det finnes en ulikhet i hvordan medisinske tilstander diagnostiseres, vil ofte føre til ubalanserte data. For eksempel er data om brystkreftpasienter nesten utelukkende samlet inn fra kvinner. Likedan manifesterer autisme seg forskjellig mellom kvinner og menn, og som resultat blir tilstanden diagnostisert i en mye høyere rate blant gutter enn jenter.

Likevel er det ekstremt viktig for forskere å kontrollere for fordrengt data og dataforvrengning på alle måter de kan. I den retning vil fremtidige studier hjelpe forskere å kvantifisere effekten av forvrengt data.