Työnhakijoiden ansioluettelot ovat käytännössä mahdottomia sukupuoleltaan neutraaleja, AI-tutkijat toteavat

New Yorkin yliopiston tutkijat ovat havainneet, että jopa hyvin yksinkertaiset luonnollisen kielen prosessoinnin (NLP) mallit ovat hyvin kykeneviä määrittämään työnhakijan sukupuolta “sukupuoleltaan neutraalista” ansioluettelosta – jopa tapauksissa, joissa koneoppimismenetelmiä on käytetty poistamaan kaikki sukupuolta paljastavat tiedot asiakirjasta.

Tutkimuksen, joka käsitteli 348 000 hyvin sopivaa mies/nais-ansioluetteloa, tutkijat toteavat:

‘[On] merkittävä määrä sukupuoleen liittyvää tietoa ansioluettelossa. Vaikka sukupuolta pyrittiin peittämään ansioluettelosta, yksinkertainen Tf-Idf-malli pystyi oppimaan erottamaan [sukupuolet]. Tämä vahvistaa empiirisesti huolenaiheita siitä, että mallit oppivat sukupuolen perusteella ja välittävät.biasia koulutusdatan kautta.’

Löytö on merkittävä, koska se ei ole realistisesti mahdollista piilottaa sukupuolta valintaprosessin aikana (mikä ei ole selvästikään mahdollista), vaan koska pääsy tähän vaiheeseen voi vaatia AI-pohjaisen ansioluettelon arvioinnin, jossa ei ole ihmisiä prosessissa – ja HR AI on saanut viime vuosina maineen sukupuolisen puolueellisuuden suhteen.

Tutkimuksen tulokset osoittavat, kuinka kestävä sukupuoli on yrityksille peittää sen:

Tulokset NYU-tutkimuksesta. Lähde: https://arxiv.org/pdf/2112.08910.pdf

Yllä olevat tulokset käyttävät 0-1 Area Under the Receiver Operating Characteristic (AUROC) mittaria, jossa ‘1’ edustaa 100%:n varmuutta sukupuolen määrityksessä. Taulukko kattaa kahdeksan kokeen sarjan.

Joissa tahansa tuloksissa (kokeet #7 ja #8), joissa ansioluettelosta on poistettu niin paljon sukupuolta paljastavaa tietoa, että se on käyttökelvoton, yksinkertainen NLP-malli, kuten Word2Vec, pystyy edelleen tarkkaan määrittämään sukupuolen, lähestyen 70%:n tarkkuutta.

Tutkijat kommentoivat:

‘Algoritmisen palkkaamisen kontekstissa nämä tulokset osoittavat, että ellei koulutusdataa ole täysin puolueetonta, yksinkertaisetkin NLP-mallit oppivat sukupuolen perusteella ja välittävät puolueellisuutta eteenpäin.’

Kirjoittajat viittaavat siihen, ettei ole olemassa legitiimiä AI-pohjaista ratkaisua “sukupuoleltaan neutraalien” ansioluetteloiden luomiseksi käytännöllisessä palkkaamisprosessissa, ja että koneoppimismenetelmät, jotka edistävät tasa-arvoa, ovat parempi lähestymistapa sukupuolisen puolueellisuuden ongelmaan työmarkkinoilla.

AI:n kannalta tämä vastaa “positiivista syrjintää”, jossa sukupuolta paljastavat ansioluettelot hyväksytään väistämättöminä, mutta uudelleenjärjestely tehdään tasa-arvon mittapuun mukaan. Tällaisia lähestymistapoja on ehdottanut LinkedIn vuonna 2019, ja tutkijat Saksasta, Italiasta ja Espanjasta vuonna 2018.

Tutkimus on nimeltään Sukupuoleen liittyvä kieli ansioluettelossa ja sen vaikutukset algoritmiseen puolueellisuuteen palkkaamisessa, ja sen on kirjoittanut Prasanna Parasurama, Technology, Operations and Statistics -osastolta NYU Stern Business Schoolista, ja João Sedoc, apulaisprofessori Technology, Operations and Statistics -osastolta Sternista.

Sukupuolinen puolueellisuus palkkaamisessa

Kirjoittajat korostavat sitä, miten laajasti sukupuolinen puolueellisuus palkkaamisessa on muuttumassa järjestelmälliseksi, kun henkilöstöpäälliköt käyttävät edistyneitä algoritmisia ja koneoppimiseen perustuvia “valintaprosesseja”, jotka ovat käytännössä AI:ta, joka perustuu sukupuoleen.

Kirjoittajat viittaavat tapaukseen, jossa Amazonin palkkaamisalgoritmi paljastettiin vuonna 2018 hylkäsevän naispuolisia ehdokkaita järjestelmällisesti, koska se oli oppinut historiallisten palkkaamistietojen perusteella, että miehet olivat todennäköisemmin palkattavissa

‘Malli oli oppinut historiallisten palkkaamistietojen perusteella, että miehet olivat todennäköisemmin palkattavissa, ja siksi se antoi korkeamman arvosanan miesten ansioluettelolle kuin naisten ansioluettelolle.

‘Vaikka ehdokkaan sukupuolta ei ollut nimenomaisesti mukana mallissa, se oppi erottamaan miesten ja naisten ansioluettelot sukupuoleen liittyvän tiedon perusteella – esimerkiksi miehet olivat todennäköisemmin käyttäneet sanoja kuten “suorittanut” ja “kaapattu”.’

Lisäksi tutkimus vuodelta 2011 osoitti, että työpaikkailmoitukset, jotka implisiittisesti etsivät miehiä vieraannuttavat naisia ja rohkaisevat heitä hakemaan työpaikkaa. Digitalisointi ja suuret datatilastot lupaavat vahvistaa nämä käytännöt automaattisiin järjestelmiin, jos ilmiötä ei aktiivisesti korjata.

Data

NYU-tutkijat kouluttivat sarjan malleja sukupuolen luokitteluun ennustemallien avulla. He pyrkivät myös selvittämään, kuinka hyvin mallien kyky määrittää sukupuoli kestäisi sukupuolta paljastavan tiedon poistamista, samalla yrittäen säilyttää sisällön, joka on relevantti hakemukseen.

Datasetti koostui yhdysvaltalaisista IT-yritysten hakijoiden ansioluettelosta, joissa kussakin ansioluettelossa oli mukana tietoja nimestä, sukupuolesta, kokemuksesta, asiantuntijuudesta tai opiskelualasta ja kohde-työpaikasta, jolle ansioluetteloa lähetettiin.

Jotta voidaan poimia syvemmän kontekstuaalisen tiedon tästä datasta vektorimuodossa, kirjoittajat kouluttivat Word2Vec-mallin. Tämä muunnettiin tokeneiksi ja suodatettiin, ja lopulta se muuttui yhdeksi upotetuksi edustajaksi kullekin ansioluettelolle.

Miesten ja naisten näytteet olivat 1:1-suhteessa, ja alajoukko saatiin parittamalla parhaat objektiiviset työhön sopivat miehet ja naiset, 2 vuoden virhemarginaalilla, kokemuksesta alallaan. Näin ollen datasetti koostui 174 000 miehen ja 174 000 naisen ansioluettelosta.

Arkkitehtuuri ja kirjastot

Kolme mallia, joita käytettiin luokitteluun, olivat Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, ja Longformer.

Ensimmäinen malli tarjoaa sanapussin peruslinjan, joka erottaa sukupuolen sanallisten erojen perusteella. Toisessa lähestymistavassa käytettiin valmiina olevaa sanaupotusjärjestelmää ja sukupuoleltaan neutraalia sanaupotusta.

Data jaettiin 80/10/10:een koulutukseen, arviointiin ja testaamiseen,

Kuten yllä olevissa tuloksissa näkyy, transformer-pohjainen Longformer-kirjasto, joka on huomattavasti monimutkaisempi kuin aiemmat lähestymistavat, pystyi melkein tasaamaan täysin “suojattoman” ansioluettelon kyvyn havaita sukupuoli asiakirjoista, jotka oli aktiivisesti poistettu tunnetuista sukupuolta paljastavista tunnisteista.

Kokeet sisälsivät data-ablaatiotutkimuksia, joissa poistettiin yhä enemmän sukupuolta paljastavaa tietoa ansioluettelosta, ja malleja testattiin näillä vähäsanaisemmilla asiakirjoilla.

Poistettu tieto sisälsi harrastuksia (kriteeri, joka perustuu Wikipedian määritelmään “harrastuksista”), LinkedIn-IDs ja URL-osoitteita, jotka voivat paljastaa sukupuolen. Lisäksi termit kuten “veljeyden”, “tarjoilija” ja “myyntimies” poistettiin näistä vähäsanaisimmista versioista.

Lisätulokset

Lisäksi yllä mainittuihin tuloksiin, NYU-tutkijat löysivät, että sukupuoleltaan neutraalit sanaupotukset eivät alentaneet mallien kykyä määrittää sukupuoli. Tutkimuksessa kirjoittajat viittaavat siihen, kuinka laajasti sukupuoli vaikuttaa kirjoitettuun kieleen, ja huomauttavat, että nämä mekanismit ja merkintätavat eivat ole vielä hyvin ymmärretty.