Bewerbungsunterlagen von Jobkandidaten sind effektiv unmöglich zu entgenderen, finden KI-Forscher heraus

Forscher der New York University haben festgestellt, dass sogar sehr einfache Modelle der Natural Language Processing (NLP) in der Lage sind, das Geschlecht eines Jobkandidaten aus einem “entgendereten” Lebenslauf zu bestimmen – sogar in Fällen, in denen maschinelle Lernmethoden verwendet wurden, um alle Geschlechtsindikatoren aus dem Dokument zu entfernen.

Nach einer Studie, die die Verarbeitung von 348.000 gut abgestimmten männlichen und weiblichen Lebensläufen umfasste, kommen die Forscher zu dem Schluss:

‘Es gibt eine erhebliche Menge an geschlechtsspezifischer Information in Lebensläufen. Selbst nach erheblichen Versuchen, das Geschlecht aus Lebensläufen zu verbergen, kann ein einfaches Tf-Idf-Modell lernen, zwischen [Geschlechtern] zu unterscheiden. Dies bestätigt empirisch die Bedenken hinsichtlich der Fähigkeit von Modellen, Geschlecht zu diskriminieren und Vorurteile in den Trainingsdaten zu verbreiten.’

Die Erkenntnis ist nicht deshalb bedeutsam, weil es realistisch möglich ist, das Geschlecht während des Auswahl- und Interviewprozesses zu verbergen (was es offensichtlich nicht ist), sondern weil es möglicherweise bereits in einem AI-basierten Kritikprozess des Lebenslaufs ohne menschliche Eingriffe involviert ist – und HR-KI hat in den letzten Jahren einen schlechten Ruf für Geschlechtervorurteile erlangt.

Die Ergebnisse der Studie der Forscher zeigen, wie widerstandsfähig das Geschlecht gegen Versuche der Verbergung ist:

Ergebnisse aus dem NYU-Papier. Quelle: https://arxiv.org/pdf/2112.08910.pdf

Die oben genannten Ergebnisse verwenden eine 0-1 Area Under the Receiver Operating Characteristic (AUROC)-Metrik, bei der ‘1’ eine 100-prozentige Sicherheit bei der Geschlechtsidentifizierung darstellt. Die Tabelle umfasst eine Reihe von acht Experimenten.

Sogar in den schlechtesten Ergebnissen (Experimente #7 und #8), in denen ein Lebenslauf so sehr von geschlechtsspezifischen Informationen bereinigt wurde, dass er nicht mehr verwendbar war, ist ein einfaches NLP-Modell wie Word2Vec immer noch in der Lage, eine genaue Geschlechtsidentifizierung von etwa 70% zu erreichen.

Die Forscher kommentieren:

‘Im Kontext der algorithmischen Einstellung implizieren diese Ergebnisse, dass es, es sei denn, die Trainingsdaten sind perfekt unvoreingenommen, sogar einfache NLP-Modelle lernen, Geschlecht aus Lebensläufen zu diskriminieren und Vorurteile zu verbreiten.’

Die Autoren implizieren, dass es keine legitime AI-basierte Lösung für die “Entgenderung” von Lebensläufen in einer praktikablen Einstellungsphase gibt und dass maschinelle Lernmethoden, die aktiv faire Behandlung durchsetzen, ein besserer Ansatz für das Problem des Geschlechtervorurteils auf dem Arbeitsmarkt sind.

In AI-Terminologie entspricht dies “positiver Diskriminierung”, bei der geschlechtsspezifische Lebensläufe als unvermeidlich akzeptiert werden, aber eine Neubewertung als egalitäre Maßnahme aktiv angewendet wird. Ansätze dieser Art wurden von LinkedIn im Jahr 2019 vorgeschlagen und von Forschern aus Deutschland, Italien und Spanien im Jahr 2018.

Das Papier trägt den Titel Geschlechtsspezifische Sprache in Lebensläufen und ihre Auswirkungen auf algorithmische Vorurteile bei der Einstellung und wurde von Prasanna Parasurama, der im Technology, Operations and Statistics-Department der NYU Stern Business School tätig ist, und João Sedoc, Assistant Professor of Technology, Operations and Statistics an der Stern, verfasst.

Geschlechtervorurteile bei der Einstellung

Die Autoren betonen die Größenordnung, in der Geschlechtervorurteile bei Einstellungsverfahren systematisch werden, wobei HR-Manager fortschrittliche algorithmische und maschinelle Lernmethoden verwenden, die zu AI-gesteuerter Ablehnung aufgrund des Geschlechts führen.

Die Autoren zitieren den Fall eines Einstellungsalgorithmus von Amazon, der 2018 aufgedeckt wurde, weil er weibliche Kandidatinnen routinemäßig ablehnte, weil er historisch gesehen gelernt hatte, dass Männer häufiger eingestellt wurden

‘Das Modell hatte durch historische Einstellungsdaten gelernt, dass Männer häufiger eingestellt wurden, und daher männliche Lebensläufe höher bewertete als weibliche.

‘Obwohl das Kandidatengeschlecht nicht explizit im Modell enthalten war, lernte es, zwischen männlichen und weiblichen Lebensläufen aufgrund der geschlechtsspezifischen Informationen in Lebensläufen zu unterscheiden – beispielsweise waren Männer eher bereit, Wörter wie “ausgeführt” und “erfasst” zu verwenden.’

Zusätzlich fand eine Studie aus dem Jahr 2011 heraus, dass Stellenanzeigen, die implizit Männer suchen, explizit Männer anziehen und gleichzeitig Frauen davon abhalten, sich auf die Stelle zu bewerben. Die Digitalisierung und Big-Data-Schemata versprechen, diese Praktiken in automatisierte Systeme einzubauen, wenn das Syndrom nicht aktiv angegangen wird.

Daten

Die NYU-Forscher trainierten eine Reihe von Modellen, um Geschlecht mithilfe von Vorhersagemodellen zu klassifizieren. Sie versuchten außerdem festzustellen, wie gut die Fähigkeit der Modelle, Geschlecht vorherzusagen, die Entfernung von immer mehr potenziell geschlechtsspezifischen Informationen überstehen konnte, während sie versuchten, inhaltsrelevante Informationen für die Bewerbung zu erhalten.

Das Datenset wurde aus einer Sammlung von Bewerberlebensläufen von acht in den USA ansässigen IT-Unternehmen gezogen, wobei jeder Lebenslauf von Details wie Name, Geschlecht, Berufserfahrung, Fachgebiet oder Studienfach und der Zielstellung, für die der Lebenslauf eingereicht wurde, begleitet wurde.

Um tiefergehende kontextuelle Informationen aus diesen Daten in Form einer Vektorrepräsentation zu extrahieren, trainierten die Autoren ein Word2Vec-Modell. Dieses wurde dann in Token aufgeteilt und gefiltert, um schließlich eine eingebettete Repräsentation für jeden Lebenslauf zu erhalten.

Männliche und weibliche Proben wurden 1:1 abgestimmt, und ein Teil wurde durch das Paaren der besten objektiv jobangemessenen männlichen und weiblichen Kandidaten mit einem Fehlertoleranzbereich von 2 Jahren in Bezug auf Berufserfahrung in ihrem Fachgebiet erhalten. Das Datenset besteht somit aus 174.000 männlichen und 174.000 weiblichen Lebensläufen.

Aufbau und Bibliotheken

Die drei Modelle, die für die Klassifizierungsaufgabe verwendet wurden, waren Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word-Embeddings + Logistic und Longformer.

Das erste Modell bietet eine Bag-of-Words-Baseline, die Geschlecht aufgrund lexikalischer Unterschiede diskriminiert. Der zweite Ansatz wurde sowohl mit einem vorkonfigurierten Word-Embeddings-System als auch mit geschlechtsunabhängigen Word-Embeddings eingesetzt.

Die Daten wurden in einem Verhältnis von 80/10/10 zwischen Training, Auswertung und Test aufgeteilt,

Wie in den oben angezeigten Ergebnissen zu sehen ist, war die transformerbasierte Longformer-Bibliothek, die wesentlich komplexer ist als die früheren Ansätze, fast in der Lage, eine vollständig “ungeschützte” Lebenslauf in Bezug auf ihre Fähigkeit, Geschlecht aus Dokumenten zu erkennen, die aktiv von bekannten Geschlechtsidentifikatoren bereinigt worden waren, zu erreichen.

Die durchgeführten Experimente umfassten Datenablationsstudien, bei denen eine zunehmende Menge an geschlechtsspezifischen Informationen aus den Lebensläufen entfernt und die Modelle gegen diese stillschweigenderen Dokumente getestet wurden.

Entfernte Informationen umfassten Hobbys (ein Kriterium, das aus der Wikipedia-Definition von “Hobbys” abgeleitet wurde), LinkedIn-IDs und URLs, die Geschlecht preisgeben könnten. Zusätzlich wurden Begriffe wie “Bruderschaft”, “Kellnerin” und “Verkäufer” in diesen spärlicheren Versionen entfernt.

Weitere Ergebnisse

Zusätzlich zu den oben diskutierten Ergebnissen fanden die NYU-Forscher heraus, dass entgenderete Word-Embeddings die Fähigkeit der Modelle, Geschlecht vorherzusagen, nicht verringerten. In dem Papier deuten die Autoren auf das Ausmaß hin, in dem Geschlecht die geschriebene Sprache durchdringt, und bemerken, dass diese Mechanismen und Signifikatoren noch nicht gut verstanden sind.