Netzhautvenen enthüllen Rasse, erweitern den Umfang für AI-Rassenbias

Angeregt durch jüngste Enthüllungen, dass medizinische AI-Bildgebungsverfahren Rasse preisgeben können, hat ein Forschungskonsortium in den USA und Großbritannien eine Studie darüber durchgeführt, ob Netzhautvenenmuster ein Indikator für Rasse sind, und ist zu dem Schluss gekommen, dass dies tatsächlich der Fall ist, wobei AI in der Lage ist, die von den Eltern gemeldete Rasse von Babys aus Netzhautbildern vorherzusagen – Bilder, die für einen menschlichen Arzt, der sie untersucht, keine Rassenzugehörigkeit preisgeben würden und die bisher als frei von potenzieller Rassenzugehörigkeit galten.

Die Gruppe hat Bedenken geäußert, dass dieser zusätzliche Vektor der rassischen Schichtung in der medizinischen Bildgebung die Möglichkeit für erhöhten Bias in der Verwendung von künstlicher Intelligenz in der Gesundheitsversorgung eröffnet.

Netzhautbilder von einem schwarzen und einem weißen Probanden. Oben, ein farbiges Netzhautfundusbild von jeder Rasse, das bereits rassenzugehörigkeitsbezogene Merkmale im Farbverteilungsmuster aufweist. Unten, die aus diesen Bildern abgeleiteten Netzhautgefäßkarten, die diese rassenzugehörigkeitsbezogenen Ankermerkmale angeblich ‘ausgleichen’ sollen, enthalten tatsächlich rassenzugehörigkeitsbezogene Merkmale, wie in dem neuen Bericht angegeben. Quelle: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Die Autoren weisen weiterhin auf die Möglichkeit hin, dass U-Net, das maschinelle Lernframework, das diesen Sektor der AI-basierten Gesundheitsversorgung definiert und das auf überwiegend weißen Probanden* trainiert wurde, einen Einfluss auf dieses Phänomen haben könnte. Allerdings betonen die Autoren, dass sie bisher nicht in der Lage sind, diese Ergebnisse allein aufgrund der U-Net-Hypothese zu erklären.

In einem Kommentar zu den Ergebnissen auf dem zugehörigen GitHub-Repository sagen die Autoren:

‘AI kann Rasse aus Graustufen-Netzhautgefäßkarten erkennen [Netzhautgefäßkarten], die nicht als rassenzugehörigkeitsbezogen galten. Zwei mögliche Erklärungen für diese Ergebnisse sind, dass: Netzhautgefäße physiologisch zwischen schwarzen und weißen Babys unterschiedlich sind oder U-Net die Netzhautgefäße für verschiedene Fundus-Pigmentierungen unterschiedlich segmentiert.

‘…Egal, welche Erklärung zutrifft, die Implikationen bleiben dieselben: AI-Algorithmen haben das Potenzial, rassischen Bias in der Praxis zu zeigen, selbst wenn vorläufige Versuche, diese Informationen aus den zugrunde liegenden Bildern zu entfernen, erfolgreich zu sein scheinen.’

Der Bericht trägt den Titel Nicht farbenblind: AI vorhersagt Rassenzugehörigkeit aus schwarzen und weißen Netzhautgefäßsegmentierungen und ist eine gleichberechtigte Zusammenarbeit zwischen Ärzten und Forschern von fünf Institutionen und Forschungsabteilungen in den USA und einer in Großbritannien.

An der Forschung beteiligte Mediziner sind R.V. Paul Chan, MD, MSc, FACS, Facharzt für Augenheilkunde und Fellow des American College of Surgeons; Michael F. Chiang, M.D., Direktor des National Eye Institute bei den National Institutes of Health in Bethesda, Maryland; und J. Peter Campbell M.D., M.P.H., Associate Professor of Ophthalmology an der School of Medicine der Oregon Health & Science University in Portland.

Die Augen haben es

Der Bericht weist darauf hin, dass das Potenzial für menschlich verursachten Bias, der sich in AI-Systeme der Medizin verbreitet, bereits nachgewiesen wurde, nicht zuletzt in der Studie der Augen*. Netzhautfundusbilder (RFI, siehe Bildvergleich oben), die zur Bewertung von Augenkrankheiten verwendet werden, sind farbige Bilder, die genug Pigmentinformationen enthalten, um die Rassenzugehörigkeit zu erkennen.

Graustufen-Netzhautgefäßkarten (RVM) verwerfen die meisten dieser Informationen, um das zugrunde liegende Muster der Kapillaren zu extrahieren, die viele Krankheitszustände definieren. Es wurde immer angenommen, dass auf dieser Ebene der Destillation keine rassenzugehörigkeitsbezogenen Merkmale in solchen reduktiven medizinischen Bildern verbleiben.

Die Autoren haben diese Annahme mit Hilfe eines Datensatzes von RFIs (vollfarbigen Netzhautbildern) getestet, die von Babys gesammelt wurden, die auf eine potenziell erblindende Krankheit untersucht wurden. Die Autoren weisen darauf hin, dass die Untersuchung solcher Bilder immer mehr außerhalb von persönlichen Konsultationen, in der Telemedizin und anderen ferngesteuerten Diagnosekontexten, und immer mehr Gegenstand maschineller Lernanalyse wird.

Die neue Studie untersucht, ob verschiedene Arten von reduktiven Versionen der rassenzugehörigkeitsbezogenen vollfarbigen Bilder rassenzugehörigkeitsbezogene Informationen enthalten, wie von den Eltern der Babys berichtet, und hat festgestellt, dass sogar die informationszerstörerischsten Destillationen von RFIs (Schwellenwert, Skelett und Binarisierung) ein gewisses Maß an Rassenerkennung ermöglichen.

Daten und Methodik

Daten von 245 Babys, die zwischen Januar 2012 und Juli 2020 im Rahmen einer multizentrischen i-ROP-Kohortenstudie gesammelt wurden, wurden in Trainings-, Validierungs- und Testdatensätze aufgeteilt, wobei die natürliche Verteilung der Rassen so gut wie möglich beibehalten wurde.

Farbige RFIs wurden auf drei reduktive Bildstile reduziert, so dass ‘offensichtliche’ rassenzugehörigkeitsbezogene Merkmale technisch gesehen aus den Daten entfernt worden wären.

Mehrere Convolutional Neural Networks (CNNs) wurden trainiert, um eine binäre Klassifizierung (‘schwarz’/’weiß’, basierend auf der von den Eltern gemeldeten Rasse) mit PyTorch zu erreichen. Die CNNs liefen die Daten über alle Versionen der Bilder, von RFIs bis hin zu skelettierten Versionen, und wendeten die üblichen zufälligen Drehungen und Spiegelungen an, wobei die abgeleiteten Bilder eine Auflösung von 224×244 Pixeln hatten.

Die Modelle wurden mit stochastischem Gradientenabstieg für bis zu zehn Epochen mit einer konstanten Lernrate von 0,001 trainiert, und das Training wurde beendet, wenn eine wahrgenommene Konvergenz nach fünf Epochen (d. h. das Modell würde nicht mehr genauer werden) identifiziert wurde.

Da es eine demografisch natürliche Ungleichheit zwischen weißen und schwarzen Probanden gab, wurde eine Kompensation angewendet, um sicherzustellen, dass Minderheitenquellen nicht systematisch als Ausreißer abgelehnt wurden, und die Ergebnisse wurden überprüft, um sicherzustellen, dass keine Datenlecks über die Experimente hinweg auftraten.

Beispiele von Netzhautkarten aus der Studie bei verschiedenen Schwellenwerttoleranzen.

Ergebnisse

Netzhautgefäßkarten (RVM), die Gefäße und Kapillaren aus den vollfarbigen RFI-Bildern extrahieren, sollten theoretisch nicht von einem CNN als rassenzugehörigkeitsbezogen erkannt werden, wie die Autoren angeben. Allerdings haben die Ergebnisse gezeigt, dass eine höhere Anzahl von Hauptarterien von U-Net für weiße Augen als für schwarze Augen segmentiert wird.

In ihren abschließenden Bemerkungen bemerken die Forscher ‘Wir fanden heraus, dass AI leicht in der Lage war, die Rassenzugehörigkeit von Babys aus Netzhautgefäßsegmentierungen vorherzusagen, die keine sichtbaren Informationen über Pigmentierung enthielten‘, und dass ‘sogar Bilder, die für das bloße Auge keine Informationen enthielten, vorhersehbare Informationen über die Rassenzugehörigkeit des ursprünglichen Babys enthielten’. Die Forscher bieten auch die Möglichkeit an, dass die Netzhautgefäße von schwarzen und weißen Babys ‘auf eine Weise unterschiedlich sind, die AI erkennen kann, aber Menschen nicht’.

Prior Bias?

Die Autoren deuten auch darauf hin, dass die Diskriminierung eine Funktion der weißen Daten sein könnte, auf denen U-Net ursprünglich trainiert wurde. Obwohl sie dies als ihre ‘führende Theorie’ bezeichnen, geben sie auch zu, dass die Fähigkeiten der Erfassungssensoren ein Faktor in dem Phänomen sein könnten, wenn es sich herausstellen sollte, dass der entdeckte Bias ein Nebenprodukt der technischen Aspekte der Netzhautbildgebungspraktiken oder des Datenbias in U-Net ist, der sich über die Jahre hinweg selbst perpetuiert. Bei der Behandlung dieser Möglichkeiten räumt der Bericht ein:

‘Allerdings wurde U-Net auf RFIs trainiert, die zuvor in Graustufenbilder umgewandelt und einer Kontrastanpassung unterzogen wurden – speziell der kontrastbegrenzten Histogrammanpassung (CLAHE) – und wurde daher nie tatsächlich auf farbige RFIs trainiert. Daher sind wir bisher nicht in der Lage, diese Ergebnisse allein aufgrund der U-Net-Hypothese zu erklären.’

Allerdings betonen die Autoren, dass die Ursache weniger beunruhigend ist als die Wirkung, und dass die Fähigkeit von AI-Modellen, Rassenzugehörigkeit zu erkennen, ein mögliches ‘Risiko von Bias in medizinischen AI-Algorithmen, die sie als Eingabe verwenden’ birgt.

Die Autoren weisen auf die hohe Kontrastierung der untersuchten Rassen hin und vermuten, dass ‘intermediate’ Rassengruppen möglicherweise schwieriger zu identifizieren seien und dass dies ein Aspekt sei, den sie in laufenden und verwandten Arbeiten untersuchen werden.

* Alle unterstützenden Links, die in diesem Artikel enthalten sind, wurden von limited-access PaperPile-Links in öffentlich zugängliche Online-Versionen umgewandelt, wo möglich.