Gesundheitswesen
KI-Modelle, die mit geschlechtsspezifischen Daten trainiert werden, sind schlechter bei der Diagnose von Krankheiten
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Erst kürzlich wurde eine Studie im Journal PNAS veröffentlicht, die von Forschern aus Argentinien durchgeführt wurde und impliziert, dass die Anwesenheit von geschlechtsspezifischen Trainingsdaten zu schlechterer Modellleistung bei der Diagnose von Krankheiten und anderen medizinischen Problemen führt. Laut Statnews experimentierte das Forscherteam mit dem Training von Modellen, bei denen weibliche Patienten deutlich unterrepräsentiert oder ganz ausgeschlossen waren, und fand heraus, dass der Algorithmus wesentlich schlechter bei der Diagnose von Krankheiten bei weiblichen Patienten abschnitt. Das Gleiche galt auch für Fälle, in denen männliche Patienten ausgeschlossen oder unterrepräsentiert waren.
Im Laufe der letzten fünf Jahre, in denen KI-Modelle und maschinelles Lernen immer beliebter geworden sind, wurde mehr Aufmerksamkeit auf die Probleme von voreingenommenen Datensätzen und den daraus resultierenden voreingenommenen maschinellen Lernalgorithmen gelegt. Datenbias in maschinellem Lernen kann zu unangemessenen, sozial schädlichen und exklusiven KI-Anwendungen führen, aber bei medizinischen Anwendungen können Leben auf dem Spiel stehen. Trotz des Wissens um das Problem haben jedoch nur wenige Studien versucht, die schädlichen Auswirkungen von voreingenommenen Datensätzen zu quantifizieren. Die Studie, die von dem Forscherteam durchgeführt wurde, fand heraus, dass Datenbias extremere Auswirkungen haben kann, als viele Experten zuvor angenommen hatten.
Eine der beliebtesten Anwendungen von KI in medizinischen Kontexten in den letzten Jahren war die Verwendung von KI-Modellen zur Diagnose von Patienten auf der Grundlage von medizinischen Bildern. Das Forscherteam analysierte Modelle, die zur Erkennung von verschiedenen medizinischen Zuständen wie Pneumonie, Kardiomegalie oder Hernien aus Röntgenbildern verwendet wurden. Die Forscher untersuchten drei Open-Source-Modellarchitekturen: Inception-v3, ResNet und DenseNet-121. Die Modelle wurden auf Röntgenbildern von der Stanford-Universität und den National Institutes of Health trainiert. Obwohl die Datensätze selbst relativ ausgewogen sind, wenn es um die Geschlechtsrepräsentation geht, versuchten die Forscher, die Daten künstlich zu verzerren, indem sie sie in Subsets aufteilten, in denen ein Geschlechtsungleichgewicht bestand.
Das Forscherteam erstellte fünf verschiedene Trainingsdatensätze, jedes mit unterschiedlichen Verhältnissen von männlichen und weiblichen Patientenscans. Die fünf Trainingssets wurden wie folgt unterteilt:
- Alle Bilder waren von männlichen Patienten
- Alle Bilder waren von weiblichen Patienten
- 25% männliche Patienten und 75% weibliche Patienten
- 75% weibliche Patienten und 25% männliche Patienten
- Die Hälfte männliche Patienten und die Hälfte weibliche Patienten
Nachdem das Modell auf einem der Subsets trainiert worden war, wurde es auf einer Sammlung von Scans von männlichen und weiblichen Patienten getestet. Es gab einen bemerkenswerten Trend, der bei den verschiedenen medizinischen Zuständen vorhanden war: Die Genauigkeit der Modelle war wesentlich schlechter, wenn die Trainingsdaten stark geschlechtsspezifisch verzerrt waren. Ein interessantes Ergebnis ist, dass, wenn ein Geschlecht in den Trainingsdaten überrepräsentiert war, dieses Geschlecht nicht von der Überrepräsentation profitierte. Unabhängig davon, ob das Modell auf Daten trainiert wurde, die für ein Geschlecht oder das andere verzerrt waren, schnitt es nicht besser bei diesem Geschlecht ab als bei einem ausgewogenen Datensatz.
Der leitende Autor der Studie, Enzo Ferrante, wurde von Statnews wie folgt zitiert: Die Studie unterstreicht, wie wichtig es ist, dass Trainingsdaten divers und repräsentativ für alle Populationen sind, die getestet werden sollen.
Es ist nicht ganz klar, warum Modelle, die auf einem Geschlecht trainiert werden, schlechter bei der Diagnose des anderen Geschlechts abschneiden. Einige der Diskrepanzen könnten auf physiologische Unterschiede zurückzuführen sein, aber auch soziale und kulturelle Faktoren könnten einige der Unterschiede erklären. Zum Beispiel könnten Frauen tendenziell Röntgenbilder in einem anderen Stadium der Krankheitsprogression erhalten als Männer. Wenn dies der Fall ist, könnte es die Merkmale (und damit die Muster, die das Modell lernt) in den Trainingsbildern beeinflussen. Wenn dies zutrifft, wird es für Forscher viel schwieriger, ihre Datensätze zu entbiasen, da der Bias durch die Mechanismen der Datenerfassung in den Datensatz eingebaut ist.
Sogar Forscher, die auf Datendiversität achten, haben manchmal keine andere Wahl, als mit verzerrten oder voreingenommenen Daten zu arbeiten. Situationen, in denen eine Diskrepanz bei der Diagnose von medizinischen Zuständen besteht, führen oft zu unbalancierten Daten. Zum Beispiel werden Daten über Brustkrebspatienten fast ausschließlich von Frauen gesammelt. Ebenso manifestiert sich Autismus unterschiedlich bei Männern und Frauen, und als Ergebnis wird die Erkrankung bei Jungen häufiger diagnostiziert als bei Mädchen.
Trotzdem ist es extrem wichtig, dass Forscher auf jede mögliche Weise versuchen, geschlechtsspezifische Daten und Datenbias zu kontrollieren. Zu diesem Zweck werden zukünftige Studien helfen, die Auswirkungen von voreingenommenen Daten zu quantifizieren.
