AI-modeller trænet på kønsforvrængede data klarer sig dårligere til at diagnostisere sygdomme

For nylig offentliggjorde en studie i tidsskriftet PNAS og udført af forskere fra Argentina, at tilstedeværelsen af kønsforvrængede træningsdata fører til dårligere modelpræstation, når det kommer til at diagnostisere sygdomme og andre medicinske problemer. Ifølge Statnews eksperimenterede forskerholdet med at træne modeller, hvor kvindelige patienter var underrepræsenterede eller helt udelukkede, og fandt, at algoritmen klarede sig væsentligt dårligere, når det kom til at diagnostisere dem. Det samme gjaldt for tilfælde, hvor mandlige patienter var udelukkede eller underrepræsenterede.

I løbet af de sidste fem år, hvor AI-modeller og maskinlæring er blevet mere almindelige, er der blevet fokuseret mere på problemerne med forvrængede datasæt og de forvrængede maskinlæringsmodeller, der resulterer heri. Dataforvrængning i maskinlæring kan føre til akavede, socialt skadelige og eksklusive AI-applikationer, men når det kommer til medicinske applikationer, kan liv være på spil. Trods kendskab til problemet har få studier forsøgt at kvantificere, hvor skadeligt forvrængede datasæt kan være. Studiet, der blev udført af forskerholdet, fandt, at dataforvrængning kan have mere ekstreme effekter, end mange eksperter tidligere havde anslået.

En af de mest populære anvendelser af AI i medicinske sammenhænge de seneste år har været brugen af AI-modeller til at diagnostisere patienter på basis af medicinske billeder. Forskerholdet analyserede modeller, der blev brugt til at registrere tilstedeværelsen af forskellige medicinske tilstande som lungebetændelse, cardiomegali eller brud på X-strålebilleder. Forskerholdet studerede tre åbne modelarkitekturer: Inception-v3, ResNet og DenseNet-121. Modellerne blev trænet på bryst-X-strålebilleder fra to åbne datasæt fra Stanford University og National Institutes of Health. Selvom datasættene i sig selv er ret balancerede, når det kommer til kønsrepræsentation, forvrængede forskerne datasættene kunstigt ved at opdele dem i undermængder, hvor der var en kønsulighed.

Forskerholdet oprettede fem forskellige træningsdatasæt, hver bestående af forskellige forhold af mandlige/kvindelige patientundersøgelser. De fem træningsdatasæt blev opdelt som følger:

• Alle billeder var af mandlige patienter
• Alle billeder var af kvindelige patienter
• 25% mandlige patienter og 75% kvindelige patienter
• 75% kvindelige patienter og 25% mandlige patienter
• Halvdelen mandlige patienter og halvdelen kvindelige patienter

Efter at modellen var trænet på en af undermængderne, blev den testet på en samling af billeder fra både mandlige og kvindelige patienter. Der var en bemærkelsesværdig tendens, der var til stede på tværs af de forskellige medicinske tilstande, nemlig at modellens nøjagtighed var væsentligt dårligere, når træningsdataene var betydeligt kønsforvrængede. En interessant ting at bemærke er, at hvis ét køn var overrepræsenteret i træningsdataene, syntes det ikke at have nogen fordel af overrepræsentationen. Uanset, om modellen var trænet på data, der var forvrængede for ét køn eller det andet, klarede den sig ikke bedre på det pågældende køn i forhold til, når den var trænet på et inklusivt datasæt.

Studiets seniorforfatter, Enzo Ferrante, citeredes af Statnews som forklarende, at studiet understreger, hvor vigtigt det er, at træningsdata er diverse og repræsentative for alle de populationer, man har til hensigt at teste modellen på.

Det er ikke helt klart, hvorfor modeller, der er trænet på ét køn, klarer sig dårligere, når de implementeres på det andet køn. Nogle af diskrepancerne kan skyldes fysiologiske forskelle, men sociale og kulturelle faktorer kan også bidrage til nogle af forskellene. For eksempel kan kvinder tendere til at få X-strålebilleder på et andet stadium i deres sygdom i forhold til mænd. Hvis dette er tilfældet, kan det påvirke de funktioner (og dermed de mønstre, der læres af modellen) i træningsbillederne. Hvis dette er tilfældet, gør det det meget sværere for forskere at fjerne forvrængning fra deres datasæt, da forvrængningen er indbygget i datasættet gennem dataindsamlingens mekanismer.

Even forskere, der er opmærksomme på dataens diversitet, har nogle gange ingen andre valg end at arbejde med datasæt, der er forvrængede eller forskævede. Situationer, hvor der er en ulighed i, hvordan medicinske tilstande diagnosticeres, vil ofte føre til ulige datasæt. For eksempel er data om brystkræftpatienter næsten udelukkende indsamlet fra kvinder. Ligeledes manifesterer autisme sig forskelligt mellem kvinder og mænd, og som følge heraf diagnosticeres tilstanden i en langt højere rate hos drenge end piger.

Ikke desto mindre er det ekstremt vigtigt for forskere at kontrollere for forvrængede data og dataforvrængning på enhver måde, de kan. I den forbindelse vil fremtidige studier hjælpe forskere med at kvantificere virkningen af forvrængede data.