KI beseitigt menschliche Voreingenommenheit nicht. Sie verstärkt sie.

KI wird oft als Möglichkeit dargestellt, Entscheidungen objektiver zu machen: Wenn man menschliches Urteilsvermögen ausschalte, so die Überlegung, beseitige man auch menschliche Voreingenommenheit. Eine wachsende Zahl von Forschungsergebnissen widerlegt diese Annahme.

KI-Systeme lernen aus der Geschichte der Menschen. Sie werden mit unseren Entscheidungen, unserer Sprache, unseren Institutionen und – unvermeidlich – unseren blinden Flecken trainiert. Wenn solche Systeme Bewerberinnen und Bewerber auswählen, die Gesundheitsversorgung zuteilen oder Beschäftigte beurteilen, können sie diese Vorurteile in einem Ausmaß und mit einer Geschwindigkeit reproduzieren, die kein einzelner Mensch erreichen könnte.

Das größere Problem besteht darin, dass die Entscheidungen neutral wirken. Ein Wert wird angezeigt. Eine Rangfolge erscheint. Eine Empfehlung wird generiert. Die Annahmen dahinter hinterlassen keine sichtbaren Spuren, und niemand im Raum fühlt sich zwangsläufig für das Ergebnis verantwortlich.

Deshalb ist KI-Voreingenommenheit in erster Linie kein Modellproblem, sondern ein Governance-Problem. Ein Modell lässt sich neu trainieren, doch die schwierigeren Fragen sind organisatorischer Art: Wer ist für welche Entscheidung verantwortlich, worauf ist das System optimiert und wer ist befugt, es infrage zu stellen?

Menschliche Voreingenommenheit fließt in KI ein und kehrt mit Maschinengeschwindigkeit zurück

Der Mechanismus ist kein Geheimnis. Modelle passen statistische Muster an ihre Trainingsdaten an. Wenn historische Ergebnisse – wer eingestellt wurde, wer versorgt wurde – bereits Diskriminierung widerspiegeln, ist das Ziel, dessen Vorhersage das Modell lernt, von Anfang an verzerrt. Neuere Studien zeigen, wie leicht dies bei verschiedenen Anbietern und Aufgaben geschieht:

• Einstellungen im großen Stil. Eine Analyse der Stanford University von 4 Millionen echten Bewerbungen ergab, dass sich 26 % der Schwarzen und 15 % der asiatischen Bewerberinnen und Bewerber auf Stellen beworben hatten, bei deren Besetzung das KI-System ihre jeweilige ethnische Gruppe diskriminierte. Die Modelle hatten aus jahrzehntelangen menschlichen Einstellungsentscheidungen gelernt.
• Rangfolge von Lebensläufen. Forschende der University of Washington untersuchten mehr als 550 echte Lebensläufe mithilfe aktueller Sprachmodelle. Dabei stellten sie fest, dass Namen, die mit weißen Menschen assoziiert werden, in 85 % der Fälle bevorzugt wurden, während männliche Namen, die mit Schwarzen assoziiert werden, nur selten bevorzugt wurden.
• Kommunikation am Arbeitsplatz. Eine Anfang dieses Jahres veröffentlichte Studie von Johns Hopkins ergab, dass GPT-4, Llama, Gemma und Mistral weniger anspruchsvolle und weniger formelle berufliche E-Mails verfassten, wenn die Eingabeaufforderungen Sprachmuster enthielten, die häufiger mit Frauen in Verbindung gebracht werden.

Sobald ein solches System eingesetzt wird, sind diese Muster nicht mehr nur eine Eigenschaft der Trainingsdaten, sondern prägen alltägliche Entscheidungen.

Die eigentliche Gefahr sind das Ausmaß und das Schweigen

Ein voreingenommener Personalverantwortlicher könnte innerhalb eines Jahres Hunderte Lebensläufe prüfen. Ein voreingenommenes Auswahlverfahren kann über Nacht Millionen Bewerbungen bearbeiten und dabei auf jede einzelne dieselbe fehlerhafte Logik anwenden. Die voreingenommene Entscheidung eines Menschen ist oft ein Einzelfall; die voreingenommenen Entscheidungen eines Modells können schnell zur Richtlinie werden.

Das Gesundheitswesen bietet eines der deutlichsten Beispiele. Ein weit verbreiteter Algorithmus, der sich auf Millionen von Patientinnen und Patienten auswirkte, sollte diejenigen ermitteln, die von zusätzlicher Versorgung profitieren würden. Er stufte Schwarze Patientinnen und Patienten als gesünder ein als gleich schwer erkrankte weiße Patientinnen und Patienten. Niemand hatte eine rassistische Regel formuliert. Der Algorithmus verwendete die Gesundheitsausgaben als Ersatzmaß für den medizinischen Bedarf. Da Schwarze Patientinnen und Patienten in der Vergangenheit weniger versorgt wurden und deshalb geringere Kosten verursachten, wertete er niedrigere Ausgaben als Zeichen besserer Gesundheit. Laut der Analyse der Forschenden in Science hätte eine Korrektur dieser einen Designentscheidung den Anteil der Schwarzen Patientinnen und Patienten, die für zusätzliche Unterstützung ausgewählt wurden, von 17,7 % auf 46,5 % erhöht.

KI-Systeme spiegeln nicht einfach die Kennzahlen wider, die wir ihnen vorgeben, sondern auch die Annahmen, die diesen Kennzahlen zugrunde liegen. Menschliche Voreingenommenheit ist ebenso real; sie ist lediglich schwerer zu erkennen und zu überprüfen. Deshalb liegt die Antwort in einer besseren Governance und nicht darin, Automatisierung aufzugeben.

Verankern Sie die Verantwortung in der Entscheidung

Bei der üblichen Einführung von KI wird ein Modell ausgewählt, in den Arbeitsablauf integriert, seine Leistung überwacht und es im Laufe der Zeit verbessert. Wenn die Ergebnisse des Systems Menschen betreffen, reicht das nicht aus.

Ich nenne die Alternative Integration statt bloßer Einführung: Eine verantwortliche Person ist unmittelbar an der Entscheidung beteiligt und tatsächlich befugt, sie zu ändern, anstatt einmal im Quartal nachträglich Dashboards zu prüfen. Das beginnt mit drei Schritten:

1. Erfassen Sie jede Entscheidung, die die KI inzwischen vorprüft, bewertet oder genehmigt, und benennen Sie für jede davon eine verantwortliche Person.
2. Prüfen Sie die Vorgeschichte, mit der das Modell gespeist wird, bevor sie zur Richtlinie wird.
3. Sorgen Sie dafür, dass sich das Modell gefahrlos überstimmen lässt, und erfassen Sie, wie oft dies geschieht.

Der dritte Schritt ist besonders wichtig. Wenn Beschäftigte lernen, dass es als Fehler gilt, der Maschine zu widersprechen, hören sie damit auf. Die KI wird dann faktisch zur Entscheidungsträgerin, obwohl formal weiterhin ein Mensch „in der Schleife“ ist. Es geht nicht darum, ob ein Mensch das letzte Wort hat. Entscheidend ist, ob diese Person die Befugnis, die Informationen und die psychologische Sicherheit hat, zu sagen: „Die Maschine liegt falsch.“

Ein erneutes Training hilft, doch Voreingenommenheit fließt über Entscheidungen ein: worauf das Modell optimiert wird, welche Daten zählen und wer die Ergebnisse überprüft. Dort muss man ansetzen. Außerdem braucht es KI-Verantwortliche, die fragen können, warum ein System etwas auf eine bestimmte Weise eingestuft hat, und die befugt sind, auf Grundlage der Antwort zu handeln.

Die Häufigkeit, mit der Menschen das System überstimmen, ist aufschlussreich, weil sie mehrdeutig ist. Wenn Menschen das System fast nie überstimmen, ist es vielleicht einfach präzise. Oder sie haben gelernt, dass es nicht sicher ist, anderer Meinung zu sein. Wenn nur Führungskräfte das System überstimmen, haben jüngere Mitarbeitende vielleicht gelernt, lieber zu schweigen, obwohl sie den Ergebnissen und den betroffenen Menschen oft am nächsten sind. Das Ziel ist nicht, dass niemand mehr eingreift. Es geht um eine Kultur, in der ein gut begründetes Eingreifen als Zeichen dafür gilt, dass das System funktioniert. Wenn jemand das Modell überstimmt und sich damit als im Recht erweist, sollte diese Geschichte weithin erzählt werden. Sie könnte das beste Schulungsmaterial für KI sein, das Ihr Unternehmen je hervorbringt.

Ergebnisse statt Absichten prüfen

Organisationen müssen nicht erst auf einen großen Fehler warten, um mit der Erkennung von Verzerrungen zu beginnen. Drei Prüfungen lassen sich sofort durchführen:

1. Ein kontrollierter Vergleich. Führen Sie dieselbe Aufgabe aus und ändern Sie dabei nur das demografische Signal, etwa den Namen im Lebenslauf oder den Dialekt einer Eingabeaufforderung. Halten Sie alles andere konstant, einschließlich der Vorlage für die Eingabeaufforderung und der Reihenfolge der Eingaben. Da die Modellausgaben von Durchlauf zu Durchlauf variieren, wiederholen Sie jedes Paar mehrmals und verwenden Sie genügend Paare, damit sich ein Unterschied nicht als bloßes Rauschen abtun lässt. Auf diese Weise identifizierten Forschende im Wesentlichen die Unterschiede bei der Rangfolge von Lebensläufen und bei der Erstellung von Kommunikation am Arbeitsplatz. Ein internes Team kann eine erste Version an einem Nachmittag umsetzen.
2. Eine Prüfung von Ersatzgrößen. Stellen Sie sich für jede Kennzahl, auf die das System optimiert ist, zwei Fragen: Was misst diese Zahl tatsächlich, und wen könnte sie zu wenig berücksichtigen? Der Gesundheitsalgorithmus sagte die von ihm gewählte Kennzahl nicht schlecht voraus. Er sagte Kosten gut voraus. Das Problem war, dass die Kosten als Ersatz für den medizinischen Bedarf dienten. Ein System kann gemessen an seiner eigenen Kennzahl präzise sein und dennoch bei den Menschen, die es betrifft, erheblich danebenliegen.
3. Ein Vergleich der Ergebnisse. Vergleichen Sie die Auswahl- oder Genehmigungsquoten verschiedener Gruppen im laufenden Betrieb. Die in der US-amerikanischen Beschäftigungspraxis verwendete Faustregel der Vier Fünftel, nach der eine Gruppe auffällt, wenn ihre Quote unter 80 % der Quote der Gruppe mit dem höchsten Wert liegt, ist ein gängiger erster Prüfmaßstab. Ergänzen Sie sie durch die oben beschriebene Überwachung menschlicher Eingriffe.

Diese Prüfungen haben Grenzen. Ein Namenswechsel deckt explizite demografische Signale auf, nicht aber Ersatzmerkmale wie Postleitzahl, Schule oder Beschäftigungslücken. Deshalb ist der Vergleich der Ergebnisse wichtig. Technische Gegenmaßnahmen (eine veränderte Gewichtung der Trainingsdaten, zusätzliche Fairness-Vorgaben und angepasste Entscheidungsschwellen) können Unterschiede verringern, erzwingen aber eine Entscheidung. Die Forschung von Kleinberg, Mullainathan und Raghavan sowie unabhängig davon von Chouldechova zeigte, dass ein Modell bei unterschiedlichen Basisraten in den Gruppen im Allgemeinen nicht gleichzeitig kalibriert sein und gleiche Fehlerraten erzielen kann. Welche Fairnessdefinition Vorrang haben soll, kann kein Modell beantworten. Diese Entscheidung muss jemand verantworten und dokumentieren – damit führt das Problem zurück zur Governance.

Fairness gemeinsam mit Genauigkeit überprüfen

Allzu oft wird Fairness als separate Initiative behandelt, die von der Personal- oder Rechtsabteilung geprüft wird, nachdem das technische Team Genauigkeit, Effizienz und Kosten bewertet hat. Diese Trennung ist selbst Teil des Problems. Fairness sollte in derselben Sitzung wie Genauigkeit und Kosten überprüft werden, mit derselben Rechenschaftspflicht und einer klar benannten verantwortlichen Person.

An diesem Gespräch sollten die Personal- und die Rechtsabteilung beteiligt sein, aber auch Menschen, die von solchen Systemen falsch beurteilt wurden. Wer unterschätzt wurde, erkennt oft zuerst, was einem System entgeht. Das ist ein zentraler Gedanke meines Buches The Bias Advantage: Die Perspektiven, die Organisationen historisch übersehen haben, werden zu einer wertvollen Erkenntnisquelle, sobald sie in den Entscheidungsprozess einbezogen werden.

Das Ziel ist kein KI-System, das niemals Fehler macht – das ist unrealistisch. Ziel ist vielmehr eine Organisation, die erkennen kann, wann KI falsch liegt, versteht, warum, und eingreift, bevor der Fehler für jemand anderen zur Realität wird.