AI-modellen getraind op seksegerelateerde gegevens presteren slechter bij het diagnosticeren van ziekten

Onlangs is een onderzoek gepubliceerd in het tijdschrift PNAS en uitgevoerd door onderzoekers uit Argentinië, dat suggereert dat de aanwezigheid van seksegerelateerde trainingsgegevens leidt tot slechtere prestaties van modellen bij het diagnosticeren van ziekten en andere medische problemen. Volgens Statnews heeft het team van onderzoekers experimenten uitgevoerd met modellen waarbij vrouwelijke patiënten aanzienlijk ondervertegenwoordigd waren of helemaal uitgesloten, en ontdekte dat het algoritme aanzienlijk slechter presteerde bij het diagnosticeren van hen. Hetzelfde gold ook voor incidenten waarbij mannelijke patiënten uitgesloten of ondervertegenwoordigd waren.

In de afgelopen vijf jaar, toen AI-modellen en machine learning meer gebruikelijk werden, is meer aandacht besteed aan de problemen van vooringenomen datasets en de vooringenomen machine learning-modellen die daaruit voortkomen. Gegevensvooringenomenheid in machine learning kan leiden tot onhandige, sociaal schadelijke en exclusieve AI-toepassingen, maar wanneer het om medische toepassingen gaat, kunnen levens op het spel staan. Desondanks hebben weinig onderzoeken geprobeerd te kwantificeren hoe schadelijk vooringenomen datasets kunnen zijn. Het onderzoek dat door het onderzoeksteam werd uitgevoerd, toonde aan dat gegevensvooringenomenheid extremer kan zijn dan veel deskundigen eerder hadden geschat.

Een van de meest populaire toepassingen van AI in medische contexten in de afgelopen jaren is het gebruik van AI-modellen om patiënten te diagnosticeren op basis van medische beelden. Het onderzoeksteam analyseerde modellen die werden gebruikt om de aanwezigheid van verschillende medische aandoeningen zoals longontsteking, cardiomegalie of hernia’s te detecteren op basis van röntgenfoto’s. De onderzoeksteams bestudeerden drie open-source modelarchitecturen: Inception-v3, ResNet en DenseNet-121. De modellen werden getraind op borstfoto’s die afkomstig waren van twee open-source datasets van Stanford University en de National Institutes of Health. Hoewel de datasets zelf redelijk gebalanceerd zijn wat betreft seksevertegenwoordiging, hebben de onderzoekers de gegevens kunstmatig gesekseerd door ze op te splitsen in subsets met een sekseonevenwichtigheid.

Het onderzoeksteam creëerde vijf verschillende trainingsdatasets, elk bestaande uit verschillende verhoudingen van mannelijke/vrouwelijke patiëntscans. De vijf trainingssets werden als volgt onderverdeeld:

• Alle afbeeldingen waren van mannelijke patiënten
• Alle afbeeldingen waren van vrouwelijke patiënten
• 25% mannelijke patiënten en 75% vrouwelijke patiënten
• 75% vrouwelijke patiënten en 25% mannelijke patiënten
• Helft mannelijke patiënten en helft vrouwelijke patiënten

Nadat het model was getraind op een van de subsets, werd het getest op een verzameling scans van zowel mannelijke als vrouwelijke patiënten. Er was een opvallende trend die aanwezig was bij de verschillende medische aandoeningen, de nauwkeurigheid van de modellen was veel slechter wanneer de trainingsgegevens aanzienlijk seksegerelateerd waren. Een interessante zaak om te noteren is dat als een sekse oververtegenwoordigd was in de trainingsgegevens, die sekse niet leek te profiteren van de oververtegenwoordiging. Ongeacht of het model was getraind op gegevens die gesekseerd waren voor een sekse of de andere, presteerde het niet beter op die sekse in vergelijking met wanneer het was getraind op een inclusieve dataset.

De senior auteur van de studie, Enzo Ferrante, werd geciteerd door Statnews als hij uitlegde dat de studie onderstreept hoe belangrijk het is voor trainingsgegevens om divers en representatief te zijn voor alle populaties die u van plan bent om het model te testen.

Het is niet helemaal duidelijk waarom modellen die getraind zijn op een sekse, slechter presteren wanneer ze worden toegepast op een andere sekse. Sommige van de verschillen kunnen te wijten zijn aan fysiologische verschillen, maar verschillende sociale en culturele factoren kunnen ook verantwoordelijk zijn voor een deel van het verschil. Bijvoorbeeld kunnen vrouwen neigen naar röntgenfoto’s op een ander stadium van progressie in hun ziekte in vergelijking met mannen. Als dit waar is, kan het de kenmerken (en dus de patronen die door het model worden geleerd) die worden aangetroffen in trainingsafbeeldingen, beïnvloeden. Als dit het geval is, maakt het het veel moeilijker voor onderzoekers om hun datasets te debiasen, aangezien de bias in de dataset is ingebakken door de mechanismen van gegevensverzameling.

Selfs onderzoekers die aandacht besteden aan gegevensdiversiteit, hebben soms geen keuze dan te werken met gegevens die gesekseerd of vooringenomen zijn. Situaties waarin een dispariteit bestaat in de diagnose van medische aandoeningen, leiden vaak tot onevenwichtige gegevens. Bijvoorbeeld zijn gegevens over borstkankerpatiënten bijna volledig verzameld van vrouwen. Evenzo manifesteert autisme zich anders tussen vrouwen en mannen, en als gevolg daarvan wordt de aandoening gediagnosticeerd bij een veel hoger percentage jongens dan meisjes.

Nonetheless, het is extreem belangrijk voor onderzoekers om te controleren op gesekseerde gegevens en gegevensvooringenomenheid op elke manier die ze kunnen. Daartoe zullen toekomstige onderzoeken onderzoekers helpen om de impact van vooringenomen gegevens te kwantificeren.