CV Kandydatów Pracy Są Praktycznie Niemożliwe Do Usunięcia Płci, Uznają Badacze AI

Badacze z Nowojorskiego Uniwersytetu odkryli, że nawet bardzo proste modele przetwarzania języka naturalnego (NLP) są w stanie określić płeć kandydata do pracy na podstawie “ogolonej” CV – nawet w przypadkach, gdy metody uczenia maszynowego zostały użyte do usunięcia wszystkich wskaźników płci z dokumentu.

W następstwie badania, które obejmowało przetworzenie 348 000 dobrze dopasowanych męskich i żeńskich CV, badacze stwierdzają:

‘Istnieje znaczna ilość informacji płciowych w CV. Nawet po znacznych próbach ukrycia płci w CV, prosty model Tf-Idf może nauczyć się rozróżniać płeć. To empirycznie potwierdza obawy dotyczące modeli, które uczą się rozróżniać płeć i propagować uprzedzenia w danych szkoleniowych.’

Odkrycie to ma znaczenie nie dlatego, że jest realistycznie możliwe ukryć płeć podczas procesu rekrutacji (co jest oczywiście niemożliwe), ale raczej dlatego, że samo dotarcie do tego etapu może wymagać oceny CV przy użyciu AI bez udziału ludzi – a systemy HR oparte na AI mają ostatnio nadszarpane reputacje ze względu na uprzedzenia płciowe.

Wyniki badania pokazują, jak wytrzymała jest płeć wobec prób ukrycia:

Wyniki z pracy NYU. Źródło: https://arxiv.org/pdf/2112.08910.pdf

Wyniki powyżej używają metryki 0-1 Area Under the Receiver Operating Characteristic (AUROC), gdzie ‘1’ reprezentuje 100% pewność identyfikacji płci. Tabela obejmuje osiem eksperymentów.

Nawet w najgorszych wynikach (eksperymenty #7 i #8), gdzie CV zostało tak bardzo pozbawione informacji identyfikujących płeć, że stało się nieprzydatne, prosty model NLP, taki jak Word2Vec, jest w stanie dokładnie zidentyfikować płeć, zbliżając się do 70%.

Badacze komentują:

‘W kontekście rekrutacji algorytmicznej te wyniki implikują, że chyba, że dane szkoleniowe są idealnie bezstronne, nawet proste modele NLP będą się uczyć rozróżniać płeć z CV i propagować uprzedzenia dalej.’

Autorzy sugerują, że nie ma uzasadnionego rozwiązania opartego na AI dla “usunięcia płci” z CV w praktycznym procesie rekrutacji, a techniki uczenia maszynowego, które aktywnie egzekwują sprawiedliwe traktowanie, są lepszym podejściem do problemu uprzedzeń płciowych na rynku pracy.

W kategoriach AI jest to równoznaczne z “pozytywną dyskryminacją”, gdzie CV ujawniające płeć są akceptowane jako nieuniknione, ale ponowne rangowanie jest aktywnie stosowane jako środek egalitarny. Podejścia tego rodzaju zostały zaproponowane przez LinkedIn w 2019 roku, a badacze z Niemiec, Włoch i Hiszpanii w 2018 roku.

Praca pt. nosi tytuł Język płciowy w CV i jego implikacje dla uprzedzeń algorytmicznych w rekrutacji i została napisana przez Prasannę Parasuramę, z wydziału Technologii, Operacji i Statystyki w NYU Stern Business School, oraz João Sedoca, asystenta profesora Technologii, Operacji i Statystyki w Stern.

Uprzedzenia płciowe w rekrutacji

Autorzy podkreślają skalę, w jakiej uprzedzenia płciowe w procedurach rekrutacji stają się literalnie zinstytucjonalizowane, z menedżerami HR używającymi zaawansowanych algorytmicznych i opartych na uczeniu maszynowym procesów “selekcji”, które sprowadzają się do odrzucenia opartego na AI – i systemy HR oparte na AI uzyskały ostatnio nadszarpane reputacje ze względu na uprzedzenia płciowe.

Autorzy cytują przypadek algorytmu rekrutacyjnego w Amazon, który został ujawniony w 2018 roku, iż odrzucił kandydatki płci żeńskiej w sposób rutynowy, ponieważ nauczył się, że historycznie mężczyźni byli bardziej prawdopodobni do zatrudnienia

‘Model nauczył się z historycznych danych, że mężczyźni byli bardziej prawdopodobni do zatrudnienia, i dlatego oceniał CV mężczyzn wyżej niż CV kobiet.

‘Chociaż płeć kandydata nie była jawnie uwzględniona w modelu, nauczył się rozróżniać CV mężczyzn i kobiet na podstawie informacji płciowych w CV – na przykład mężczyźni byli bardziej skłonni używać słów takich jak “wykonywał” i “schwytał”.’

Dodatkowo, badania z 2011 roku wykazały, że ogłoszenia o pracę, które implicite szukają mężczyzn jawnie przyciągają ich, i jednocześnie zniechęcają kobiety do aplikowania na stanowisko. Digitalizacja i schematy dużych danych obiecują dalej wpisać te praktyki w zautomatyzowane systemy, jeśli zespół nie zostanie aktywnie rozwiązany.

Dane

Badacze z NYU szkolili serię modeli do klasyfikacji płci przy użyciu modelowania predykcyjnego. Dodatkowo starali się ustalić, jak dobrze zdolność modeli do przewidywania płci może przetrwać usunięcie coraz większych ilości potencjalnie ujawniających płeć informacji, przy jednoczesnym zachowaniu treści istotnych dla aplikacji.

Zestaw danych został pobrany z puli CV kandydatów z ośmiu firm IT z USA, z każdym CV towarzyszącymi danymi o nazwie, płci, doświadczeniu, dziedzinie specjalizacji lub studiów, oraz stanowisku, na które CV zostało wysłane.

Aby wydobyć głębsze informacje kontekstowe z tych danych w postaci wektorowej reprezentacji, autorzy szkolili model Word2Vec. Następnie został on sparsowany i przefiltrowany, ostatecznie rozwiązując się w jedną reprezentację osadzoną dla każdego CV.

Próbki męskie i żeńskie zostały dopasowane 1-1, a podzbiór został uzyskany przez połączenie najlepszych obiektywnie odpowiednich męskich i żeńskich kandydatów, z marginesem błędu 2 lat, w zakresie doświadczenia w ich dziedzinie. Zatem zestaw danych składa się z 174 000 męskich i 174 000 żeńskich CV.

Architektura i biblioteki

Trzy modele użyte do zadania klasyfikacji to Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, oraz Longformer.

Pierwszy model oferuje bazę słów, która dyskryminuje płeć na podstawie różnic leksykalnych. Drugie podejście zostało zastosowane zarówno z gotowym systemem word embeddings, jak i z gender-debiased word embeddings.

Dane zostały podzielone na 80/10/10 pomiędzy szkolenie, ocenę i testowanie,

Jak widać w wynikach wyświetlonych powyżej, biblioteka Longformer oparta na transformatorach, znacznie bardziej zaawansowana niż poprzednie podejścia, była prawie w stanie dorównać całkowicie “niechronionemu” CV pod względem zdolności do wykrycia płci z dokumentów, które zostały aktywnie pozbawione znanych identyfikatorów płci.

Eksperymenty przeprowadzone obejmowały studia ablację danych, w których usuwano coraz większą ilość informacji ujawniających płeć z CV, a modele testowano na tych bardziej skromnych dokumentach.

Informacje usunięte obejmowały hobby (kryterium pochodzące z definicji Wikipedia “hobby”), identyfikatory LinkedIn i adresy URL, które mogły ujawniać płeć. Dodatkowo, takie terminy jak “bractwo”, “kelnerka” i “sprzedawca” zostały usunięte w tych wersjach.

Dodatkowe wyniki

W dodatku do wyników omówionych powyżej, badacze z NYU odkryli, że debiased word embeddings nie obniżyły zdolności modeli do przewidywania płci. W pracy autorzy sugerują, że mechanizmy i znaki płci są jeszcze niezbyt dobrze zrozumiane.