Der GEPI-Bericht „Wie KI Frauen benachteiligt“ untersucht, wie Algorithmen geschlechtsspezifische Vorurteile verstärken

Eine Einstufung bei der Personalauswahl, eine Kreditbewertung oder eine klinische Empfehlung kann unparteiisch wirken und dennoch die Ungleichheiten aus den zugrunde liegenden Daten fortschreiben. Vor genau dieser Gefahr warnt der neue Bericht des Gender Equity Policy Institute: Wie KI Frauen benachteiligt: Wenn Vorurteile verstärkt werden. Er bündelt Forschung dazu, wie automatisierte Systeme geschlechtsspezifische Diskriminierung reproduzieren und mitunter verschärfen können.

Der Bericht wurde von der Machine-Learning-Wissenschaftlerin und Senior Fellow des GEPI, Myriam Shiran, PhD, verfasst. Er wertet wissenschaftliche und graue Literatur zu wirtschaftlichen Chancen, Gesundheitsversorgung, Strafjustiz, generierten Inhalten, dem Design von KI für Verbraucherinnen und Verbraucher sowie KI-gestütztem sexuellem Missbrauch mithilfe von Bildern aus. Es handelt sich um eine Synthese vorhandener Erkenntnisse, nicht um ein neues Experiment, in dem jedes KI-System anhand eines einheitlichen Maßstabs bewertet wird.

Das wohl wichtigste Argument des Berichts betrifft die Folgen, nachdem ein voreingenommenes Ergebnis ein Modell verlassen hat. Empfehlungen beeinflussen Entscheidungen, generierte Inhalte prägen Erwartungen, und manche Ausgaben werden zu Material für künftiges Training. Ein ungerechtes Muster kann daher immer schwerer zu erkennen sein, wenn es mehrere aufeinanderfolgende Systeme durchläuft.

Geschlechtsblinde Eingaben garantieren keine fairen Ergebnisse

Ein Geschlechtsfeld zu entfernen, ist eine naheliegende Reaktion auf Diskriminierung. Der Bericht des GEPI erläutert, warum dieser Schritt allein nicht ausreicht: Namen, Bildungswege, berufliche Werdegänge und andere Angaben können weiterhin Hinweise auf das Geschlecht enthalten. Auch historische Ergebnisse können ungleiche Behandlung abbilden, noch bevor ein Modell mit ihnen in Berührung kommt.

Ein im Bericht angeführtes Audit zur Personalauswahl von Wilson und Caliskan aus dem Jahr 2024 umfasste mehr als drei Millionen simulierte Lebenslaufvergleiche in neun Berufsfeldern. Die getesteten Auswahlmodelle bevorzugten in 51,9 % der Vergleiche signifikant Namen, die mit Männern assoziiert wurden, und in 11,1 % Namen, die mit Frauen assoziiert wurden. Bei den übrigen 37 % zeigte sich keine signifikante Präferenz. Dies sind Ergebnisse kontrollierter Modelltests und keine Angaben dazu, wie viel Prozent der tatsächlichen Bewerberinnen und Bewerber eine Stelle verweigert wurde.

Die Ergebnisse hängen auch vom Testdesign ab. Der Bericht beschreibt ein separates Audit aus dem Jahr 2025, bei dem mehrere Sprachmodelle keinen geschlechtsspezifischen Unterschied zeigten, wenn die Forschenden lediglich die Namen änderten, während Änderungen bei den Bildungsangaben die Bewertungen beeinflussten. Ein eng gefasster Test kann Informationen übersehen, die an anderer Stelle desselben Arbeitsablaufs wichtig sind.

Im Bereich der Kreditvergabe verweist der Bericht auf eine Studie zu rund 80.000 unbesicherten Privatkrediten eines großen US-amerikanischen Fintech-Kreditgebers. Die Kredite an Frauen brachten dem Kreditgeber höhere Erträge. Die Studie führte dies darauf zurück, dass ein Modell das Ausfallrisiko von Frauen überschätzte und die Kredite entsprechend bepreiste. Entscheidend ist hier der Zusammenhang zwischen dem vorhergesagten Risiko, der tatsächlichen Rückzahlung und dem Preis, den Kreditnehmende zahlen – nicht allein die Frage, ob im Antrag das Geschlecht angegeben wird.

Medizinische KI braucht mehr als einen hohen Durchschnittswert

Im Gesundheitswesen zeigt sich besonders deutlich, warum die Leistung eines Modells in der Gesamtbevölkerung wichtige Unterschiede verschleiern kann. Ein Modell kann insgesamt gut abschneiden und zugleich bei Menschen mehr Fehler machen, die in seinen Trainings- oder Validierungsdaten unterrepräsentiert sind.

Das GEPI führt eine Studie von Zack und Kollegen aus dem Jahr 2024 an, in der GPT-4 ansonsten identische Fälle mit Brustschmerzen vorgelegt wurden, die entweder einen Mann oder eine Frau betrafen. In 200 Durchläufen pro Beschreibung bewertete das Modell Belastungsuntersuchungen des Herzens bei 71 % der männlichen Fälle und bei 58 % der weiblichen Fälle als sehr wichtig – ein Unterschied von 13 Prozentpunkten.

Dieser Befund betrifft die Empfehlungen eines Modells in einer kontrollierten Auswertung, nicht beobachtete Behandlungsentscheidungen oder Behandlungsergebnisse. Diese Unterscheidung ist wichtig, zumal der Bericht explorative Studien zu verschiedenen Modellen, Krankheiten und klinischen Aufgaben umfasst, die zu unterschiedlichen Zeitpunkten durchgeführt wurden.

Der Bericht enthält außerdem eine wichtige Einschränkung: Klinisch bedeutsame Unterschiede zwischen den Geschlechtern sollten nicht einfach ausgeblendet werden. Die Herausforderung besteht darin festzustellen, ob eine Abweichung in den Ratschlägen eines Modells auf relevante biologische Faktoren oder auf eine unbegründete Annahme zurückgeht. Dafür braucht es repräsentative Bewertungsdaten und eine sorgfältige Untersuchung der Fehler – nicht die Forderung, dass jede Empfehlung identisch sein muss.

Vorurteile können Darstellungen ebenso prägen wie Entscheidungen

Der Bericht unterscheidet zwischen einer Beeinträchtigung des Zugangs einer einzelnen Person zu Ressourcen – etwa einem Kredit oder medizinischer Versorgung – und einer schädlichen Darstellung von Gruppen. Generierte Empfehlungsschreiben, Nachrichtenartikel und Bilder zu Berufen können Stereotype verstärken, auch wenn darauf keine unmittelbare Zuteilungsentscheidung folgt.

Die vom GEPI zusammengefasste Forschung ergab, dass Sprachmodelle Frauen häufiger anhand zwischenmenschlicher Eigenschaften und Männer häufiger anhand von Führungsqualitäten oder Fähigkeiten beschrieben. Studien zu Bildgeneratoren stellten eine überzeichnete geschlechtsspezifische Trennung in verschiedenen Berufen fest. Diese Ergebnisse beziehen sich auf die untersuchten Modelle und Versionen; sie sind nicht als neue Prüfung aller derzeit verfügbaren Systeme zu verstehen.

Bei digitalen Assistenten und Begleitangeboten für Verbraucherinnen und Verbraucher stellt sich eine andere Frage. Ihre Stimmen, Persönlichkeiten und Reaktionen auf Belästigung sind bewusste Produktentscheidungen. Wer nur die statistische Ausgewogenheit ihrer Antworten bewertet, übersieht möglicherweise die Annahmen, die dem zugrunde liegen, wofür ein Produkt konzipiert ist.

Der Bericht untersucht auch nicht einvernehmlich erstellte sexualisierte Darstellungen, bei denen KI es erleichtern kann, Missbrauchsinhalte zu produzieren und zu verbreiten. Dabei geht es um mehr als eine unzutreffende Darstellung: Die Verwendung des Abbilds einer realen Person ohne deren Einwilligung kann unmittelbar schaden. Dafür ist eine andere Reaktion erforderlich als bei der Korrektur eines beruflichen Stereotyps in KI-generierten Bildern.

Warum unabhängige Tests wichtig sind

GEPI beschreibt vier wiederkehrende Mechanismen: das Lernen aus historisch ungleichen Datenbeständen, die Reproduktion von Stereotypen, die Darstellung von Urteilen als objektive Messwerte und die Möglichkeit, dass verzerrte Ergebnisse in nachfolgende Entscheidungen oder Modelle einfließen.

Unabhängige Prüfungen machen diese Mechanismen sichtbar. Forschende können ein einzelnes Merkmal in ansonsten vergleichbaren Eingaben variieren und untersuchen, wie sich die Ergebnisse dadurch verändern – auch ohne Zugriff auf die interne Architektur eines proprietären Modells. Ein erfolgreicher Test mit einem einzelnen Prompt oder Benchmark belegt jedoch nicht, dass ein System im gesamten Einsatz fair ist.

Für Organisationen, die KI einsetzen, bedeutet das in der Praxis, den konkreten Anwendungsfall zu prüfen. Ein Recruiting-Team muss untersuchen, wie Screening-Ergebnisse in die Auswahl für Vorstellungsgespräche einfließen. Ein Kreditgeber muss Risikoeinschätzungen mit den tatsächlichen Rückzahlungsergebnissen vergleichen. Eine Gesundheitseinrichtung muss verstehen, welche Patientinnen und Patienten in den Validierungsdaten vertreten sind und wo sich Fehler häufen. Diese Prüfungen beantworten andere Fragen als die, ob ein Modell im Durchschnitt flüssige oder genaue Ergebnisse liefert.

Was der Bericht belegt – und was weiterhin unbekannt ist

Der Bericht stützt sich vor allem auf Erkenntnisse aus den USA und verweist, wo relevant, auch auf internationale Studien. Die Quellen decken verschiedene Technologien, Jahre und Methoden ab. Einige dokumentieren Ergebnisse, andere zeigen bedenkliches Verhalten in Simulationen. Die Untersuchung ermittelt keine allgemeingültige Diskriminierungsrate und zeigt auch nicht, dass jedes System dieselben Verzerrungen aufweist.

Der Bericht benennt außerdem ein Problem bei der Messung: Forschende haben oft keinen Zugang zu den institutionellen Daten, die nötig sind, um ein Ergebnis mit seinen Folgen in Verbindung zu bringen. Eine Ungleichheit festzustellen ist wichtig; um ihre tatsächlichen Kosten zu verstehen, sind jedoch möglicherweise Daten erforderlich, die Arbeitgeber, Anbieter, Kreditgeber oder Gesundheitseinrichtungen besitzen.

Der Beitrag von GEPI besteht darin, Erkenntnisse miteinander zu verknüpfen, die oft getrennt voneinander diskutiert werden, und der Frage nachzugehen, ob Tests und Rechenschaftspflicht auch dann gewährleistet sind, wenn KI Entscheidungen beeinflusst. Der vollständige Bericht Wie KI Frauen im Stich lässt: Wenn Verzerrungen verstärkt werden enthält die Methodik, Verweise auf die Studien und die nach Branchen aufgeschlüsselten Belege für diese Argumentation.