Riwayat Hidup Pelamar Pekerjaan Secara Efektif Mustahil Didegender, Peneliti AI Menemukan

Peneliti dari Universitas New York telah menemukan bahwa bahkan model Natural Language Processing (NLP) yang sangat sederhana sangat mampu menentukan jenis kelamin pelamar pekerjaan dari riwayat hidup yang “didegender” – bahkan dalam kasus di mana metode pembelajaran mesin telah digunakan untuk menghapus semua indikator jenis kelamin dari dokumen.

Setelah sebuah studi yang melibatkan pemrosesan 348.000 riwayat hidup yang sesuai antara pria dan wanita, peneliti menyimpulkan:

‘[Terdapat] sejumlah besar informasi berjenis kelamin dalam riwayat hidup. Bahkan setelah upaya yang signifikan untuk mengaburkan jenis kelamin dari riwayat hidup, model Tf-Idf yang sederhana dapat belajar untuk membedakan antara [jenis kelamin]. Ini memvalidasi secara empiris kekhawatiran tentang model yang belajar untuk membedakan jenis kelamin dan menyebarkan bias dalam data pelatihan di hilir.’

Temuan ini memiliki signifikansi tidak karena itu secara realistis memungkinkan untuk menyembunyikan jenis kelamin selama proses penyaringan dan wawancara (yang jelas tidak mungkin), tetapi karena hanya untuk mencapai tahap itu mungkin melibatkan kritik riwayat hidup yang berbasis AI tanpa campur tangan manusia – dan HR AI telah memperoleh reputasi yang buruk karena bias jenis kelamin dalam beberapa tahun terakhir.

Hasil dari studi peneliti menunjukkan seberapa kuat jenis kelamin bertahan terhadap upaya pengaburan:

Hasil dari kertas NYU. Sumber: https://arxiv.org/pdf/2112.08910.pdf

Temuan di atas menggunakan metrik 0-1 Area Under the Receiver Operating Characteristic (AUROC), di mana ‘1’ mewakili kepastian 100% identifikasi jenis kelamin. Tabel mencakup delapan eksperimen.

Bahkan dalam hasil terburuk (eksperimen #7 dan #8), di mana riwayat hidup telah dikurangi sehingga tidak dapat digunakan, model NLP yang sederhana seperti Word2Vec masih dapat mengidentifikasi jenis kelamin dengan akurasi mendekati 70%.

Peneliti mengomentari:

‘Dalam konteks perekrutan algoritmik, hasil ini mengimplikasikan bahwa kecuali data pelatihan tidak bias, bahkan model NLP yang sederhana akan belajar untuk membedakan jenis kelamin dari riwayat hidup, dan menyebarkan bias ke hilir.’

Penulis menyiratkan bahwa tidak ada solusi berbasis AI yang sah untuk ‘menghilangkan jenis kelamin’ riwayat hidup dalam pipa perekrutan yang praktis, dan bahwa teknik pembelajaran mesin yang secara aktif menerapkan perlakuan yang adil merupakan pendekatan yang lebih baik untuk masalah bias jenis kelamin di pasar kerja.

Dalam istilah AI, ini setara dengan ‘diskriminasi positif’, di mana riwayat hidup yang mengungkapkan jenis kelamin diterima sebagai tak terhindarkan, tetapi peringkat ulang diterapkan secara aktif sebagai tindakan egaliter. Pendekatan semacam ini telah diusulkan oleh LinkedIn pada 2019, dan peneliti dari Jerman, Italia, dan Spanyol pada 2018.

Kertas ini berjudul Bahasa Berjenis Kelamin dalam Riwayat Hidup dan Implikasinya untuk Bias Algoritmik dalam Perekrutan, dan ditulis oleh Prasanna Parasurama, dari departemen Teknologi, Operasi, dan Statistik di NYU Stern Business School, dan João Sedoc, Asisten Profesor Teknologi, Operasi, dan Statistik di Stern.

Bias Jenis Kelamin dalam Perekrutan

Penulis menekankan skala di mana bias jenis kelamin dalam prosedur perekrutan menjadi sistematis, dengan manajer HR menggunakan proses penyaringan algoritmik dan berbasis pembelajaran mesin yang canggih – dan HR AI telah memperoleh reputasi yang buruk karena bias jenis kelamin dalam beberapa tahun terakhir.

Penulis mengutip kasus algoritma perekrutan di Amazon yang terungkap pada 2018 bahwa algoritma tersebut menolak kandidat wanita secara otomatis karena telah belajar bahwa secara historis, pria lebih mungkin direkrut

‘Model tersebut telah belajar melalui data perekrutan historis bahwa pria lebih mungkin direkrut, dan oleh karena itu menilai riwayat hidup pria lebih tinggi daripada riwayat hidup wanita.

‘Meskipun jenis kelamin kandidat tidak secara eksplisit disertakan dalam model, model tersebut belajar untuk membedakan antara riwayat hidup pria dan wanita berdasarkan informasi berjenis kelamin dalam riwayat hidup – misalnya, pria lebih mungkin menggunakan kata-kata seperti “dieksekusi” dan “ditangkap”.’

Selain itu, penelitian pada 2011 menemukan bahwa iklan pekerjaan yang secara implisit mencari pria secara eksplisit menarik mereka, dan sebaliknya mencegah wanita untuk melamar pekerjaan tersebut. Digitalisasi dan skema big data berjanji untuk lebih memperkuat praktik-praktik ini ke dalam sistem otomatis, jika sindrom ini tidak secara aktif diatasi.

Data

Peneliti NYU melatih serangkaian model untuk mengklasifikasikan jenis kelamin menggunakan pemodelan prediktif. Mereka juga berusaha untuk menetapkan seberapa baik kemampuan model untuk memprediksi jenis kelamin dapat bertahan setelah penghapusan informasi yang mengungkapkan jenis kelamin, sambil berusaha untuk melestarikan konten yang relevan dengan aplikasi.

Dataset diambil dari kumpulan riwayat hidup pelamar dari delapan perusahaan IT berbasis AS, dengan setiap riwayat hidup disertai dengan detail nama, jenis kelamin, tahun pengalaman, bidang keahlian atau studi, dan posisi pekerjaan yang dituju.

Untuk mengekstrak informasi kontekstual yang lebih dalam dari data ini dalam bentuk representasi vektor, penulis melatih model Word2Vec. Ini kemudian diproses menjadi token dan disaring, akhirnya menghasilkan satu representasi tertanam untuk setiap riwayat hidup.

Sampel pria dan wanita dicocokkan 1-1, dan subset diperoleh dengan memasangkan kandidat pria dan wanita yang paling sesuai, dengan margin kesalahan 2 tahun, dalam hal pengalaman di bidang mereka. Dengan demikian, dataset terdiri dari 174.000 riwayat hidup pria dan 174.000 riwayat hidup wanita.

Arsitektur dan Perpustakaan

Tiga model yang digunakan untuk tugas klasifikasi adalah Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, dan Longformer.

Model pertama menawarkan baseline bag-of-words yang membedakan jenis kelamin berdasarkan perbedaan leksikal. Pendekatan kedua digunakan baik dengan sistem word embeddings siap pakai dan dengan word embeddings yang didebias.

Data dibagi 80/10/10 antara pelatihan, evaluasi, dan pengujian,

Seperti yang terlihat dalam hasil yang ditampilkan di atas, perpustakaan Longformer berbasis transformer, yang jauh lebih canggih daripada pendekatan sebelumnya, hampir dapat setara dengan riwayat hidup yang tidak dilindungi dalam hal kemampuan untuk mendeteksi jenis kelamin dari dokumen yang telah secara aktif dikurangi dari pengidentifikasi jenis kelamin yang diketahui.

Eksperimen yang dilakukan termasuk studi penghapusan data, di mana jumlah informasi yang mengungkapkan jenis kelamin yang semakin besar dihapus dari riwayat hidup, dan model diuji terhadap dokumen yang lebih sunyi ini.

Informasi yang dihapus termasuk hobi (kriteria yang diperoleh dari definisi Wikipedia tentang ‘hobi’), ID LinkedIn, dan URL yang mungkin mengungkapkan jenis kelamin. Selain itu, istilah seperti ‘persaudaraan’, ‘pelayan’, dan ‘penjual’ dihilangkan dalam versi yang lebih jarang ini.

Hasil Tambahan

Selain hasil yang dibahas di atas, peneliti NYU menemukan bahwa word embeddings yang didebias tidak menurunkan kemampuan model untuk memprediksi jenis kelamin. Dalam kertas, penulis menyiratkan seberapa besar jenis kelamin meresap ke dalam bahasa tertulis, dengan mencatat bahwa mekanisme dan penanda ini belum dipahami dengan baik.