AI-modeller som tränats på könsbiaserad data presterar sämre vid sjukdomsdiagnos

För några dagar sedan publicerades en studie i tidskriften PNAS och genomfördes av forskare från Argentina, som antydde att närvaron av könsbiaserad träningsdata leder till sämre modellprestanda när det gäller att diagnostisera sjukdomar och andra medicinska problem. Enligt Statnews experimenterade forskarteamet med att träna modeller där kvinnliga patienter var underrepresenterade eller uteslutna helt, och fann att algoritmen presterade avsevärt sämre när det gällde att diagnostisera dem. Samma sak gällde för situationer där manliga patienter var uteslutna eller underrepresenterade.

Under de senaste fem åren, allt eftersom AI-modeller och maskinlärning har blivit allt mer vanliga, har mer uppmärksamhet ägnats åt problemen med biaserade datamängder och de biaserade maskinlärningsmodeller som resulterar från dem. Databias i maskinlärning kan leda till besvärande, socialt skadliga och exkluderande AI-applikationer, men när det gäller medicinska applikationer kan liv stå på spel. Trots kunskapen om problemet har få studier försökt att kvantifiera hur skadligt biaserade datamängder kan vara. Studien som genomfördes av forskarteamet fann att databias kunde ha mer extrema effekter än vad många experter tidigare hade uppskattat.

En av de mest populära användningarna av AI under de senaste åren i medicinska sammanhang har varit användningen av AI-modeller för att diagnostisera patienter baserat på medicinska bilder. Forskarteamet analyserade modeller som användes för att upptäcka förekomsten av olika medicinska tillstånd, såsom lunginflammation, cardiomegali eller bråck från röntgenbilder. Forskarteamet studerade tre öppen källkodsmodellarkitekturer: Inception-v3, ResNet och DenseNet-121. Modellerna tränades på bröst-röntgenbilder från två öppen källkodsdatamängder från Stanford University och National Institutes of Health. Även om datamängderna i sig är ganska balanserade när det gäller kön, skapade forskarna artificiellt biaserad data genom att dela upp dem i undermängder med en könsskillnad.

Forskarteamet skapade fem olika träningsdatamängder, var och en bestående av olika förhållanden mellan manliga och kvinnliga patientundersökningar. De fem träningsmängderna delades upp enligt följande:

• Alla bilder var av manliga patienter
• Alla bilder var av kvinnliga patienter
• 25% manliga patienter och 75% kvinnliga patienter
• 75% kvinnliga patienter och 25% manliga patienter
• Hälften manliga patienter och hälften kvinnliga patienter

Efter att modellen hade tränats på en av undermängderna testades den på en samling av undersökningar från både manliga och kvinnliga patienter. Det fanns en tydlig trend som var närvarande över de olika medicinska tillstånden, modellernas noggrannhet var mycket sämre när träningsdatat var betydligt könsbiaserat. En intressant sak att notera är att om ett kön var överrepresenterat i träningsdatat, tycktes det inte gynna det könet. Oavsett om modellen tränades på data som var biaserad för ett kön eller det andra, presterade den inte bättre på det könet jämfört med när den tränades på en inkluderande datamängd.

Studiens seniorförfattare, Enzo Ferrante, citerades av Statnews som förklarade att studien understryker hur viktigt det är att träningsdatat är diversifierat och representativt för alla populationer man avser att testa modellen på.

Det är inte helt klart varför modeller som tränats på ett kön tenderar att presterar sämre när de implementeras på ett annat kön. Vissa av skillnaderna kan bero på fysiologiska skillnader, men olika sociala och kulturella faktorer kan också bidra till vissa av skillnaderna. Till exempel kan kvinnor tendera att få röntgenbilder vid ett annat stadium av sjukdomsprogressionen jämfört med män. Om detta är sant, kan det påverka funktionerna (och därmed mönstren som modellen lär sig) som finns i träningsbilderna. Om detta är fallet, blir det mycket svårare för forskare att avbiasa sina datamängder, eftersom biasen skulle vara inbyggd i datamängden genom datainsamlingsmekanismerna.

Även forskare som är uppmärksamma på datadiversitet har ibland inget val annat än att arbeta med data som är skev eller biaserad. Situationer där det finns en skillnad i hur medicinska tillstånd diagnostiseras kommer ofta att leda till obalanserad data. Till exempel är data om bröstcancerpatienter nästan uteslutande insamlad från kvinnor. Likaså manifesterar autism sig annorlunda mellan kvinnor och män, och som ett resultat diagnostiseras tillståndet i en mycket högre frekvens hos pojkar än flickor.

Trots allt är det extremt viktigt för forskare att kontrollera för skev och biaserad data på alla sätt de kan. För att uppnå detta kommer framtida studier att hjälpa forskare att kvantifiera påverkan av biaserad data.