เอกสารเรซูเม่ของผู้สมัครงานไม่สามารถถอดรหัสเพศได้อย่างมีประสิทธิภาพ นักวิจัย AI พบ

นักวิจัยจากมหาวิทยาลัยนิวยอร์กพบว่าแม้แต่แบบจำลองการประมวลผลภาษาธรรมชาติ (NLP) ที่ง่ายที่สุดก็มีความสามารถในการกำหนดเพศของผู้สมัครงานจากเอกสารเรซูเม่ที่ “ถอดรหัสเพศ” แล้ว – แม้ในกรณีที่ใช้เทคนิคการเรียนรู้ของเครื่องเพื่อลบอินดิเคเตอร์เกี่ยวกับเพศออกจากเอกสาร

หลังจากศึกษาที่เกี่ยวข้องกับการประมวลผลเรซูเม่ 348,000 ชุด ที่มีการจับคู่ระหว่างชายและหญิง นักวิจัยสรุป:

‘มีปริมาณข้อมูลเกี่ยวกับเพศที่มีนัยสำคัญในเรซูเม่ แม้หลังจากพยายามบิดเบือนเพศจากเรซูเม่แล้ว แบบจำลอง Tf-Idf ที่ง่ายก็สามารถเรียนรู้เพื่อแยกแยะระหว่าง [เพศ] ได้ ซึ่งยืนยันข้อกังวลเกี่ยวกับแบบจำลองที่เรียนรู้เพื่อแยกแยะเพศและแพร่กระจายความเอนเอียงในข้อมูลการฝึกสอนลงสู่กระบวนการ’

การค้นพบมีนัยสำคัญไม่ใช่เพราะว่ามันสมจริงที่จะซ่อนเพศระหว่างกระบวนการคัดเลือกและสัมภาษณ์ (ซึ่งเห็นได้ชัดว่าไม่สามารถทำได้) แต่เนื่องจากการเข้าถึงขั้นตอนนั้นอาจเกี่ยวข้องกับการวิจารณ์เรซูเม่โดยใช้ AI โดยไม่มีมนุษย์ในการควบคุม – และ HR AI ได้รับชื่อเสียงที่ไม่ดีเกี่ยวกับความเอนเอียงทางเพศในช่วงหลายปีที่ผ่านมา

ผลลัพธ์จากการศึกษาของนักวิจัยแสดงให้เห็นว่าเพศมีความทนทานต่อการพยายามบิดเบือน:

Results from the NYU paper. Source: https://arxiv.org/pdf/2112.08910.pdf

ผลลัพธ์ด้านบนใช้มาตราส่วน 0-1 Area Under the Receiver Operating Characteristic (AUROC) โดยที่ ‘1’ แสดงถึงความแน่นอน 100% ในการระบุเพศ ตารางครอบคลุมการทดลองแปดรายการ

แม้ในผลลัพธ์ที่แย่ที่สุด (การทดลอง #7 และ #8) โดยที่เรซูเม่ถูกถอดรหัสเพศให้มากจนไม่สามารถใช้งานได้ แบบจำลอง NLP ที่ง่าย เช่น Word2Vec ยังคงสามารถระบุเพศได้อย่างแม่นยำเกือบ 70%

นักวิจัยกล่าวว่า:

‘ในบริบทการหางานแบบอัลกอริทึม ผลลัพธ์เหล่านี้บ่งชี้ว่า除非ข้อมูลการฝึกสอนไม่มีความเอนเอียง แบบจำลอง NLP ที่ง่ายก็จะเรียนรู้เพื่อแยกแยะเพศจากเรซูเม่และแพร่กระจายความเอนเอียงลงสู่กระบวนการ’

นักวิจัยชี้ให้เห็นว่าไม่มีวิธีแก้ปัญหา AI ที่ถูกต้องสำหรับการ “ถอดรหัสเพศ” เรซูเม่ในกระบวนการหางานที่ใช้ได้จริง และเทคนิคการเรียนรู้ของเครื่องที่บังคับใช้การปฏิบัติที่ยุติธรรมเป็นวิธีที่ดีกว่าในการแก้ปัญหาเรื่องความเอนเอียงทางเพศในตลาดแรงงาน

ในแง่ของ AI นี่เทียบเท่ากับการ “เลือกปฏิบัติในเชิงบวก” โดยที่เรซูเม่ที่มีการเปิดเผยเพศถูกยอมรับว่าเป็นเรื่องปกติ แต่มีการใช้การเรียงลำดับใหม่เพื่อเป็นมาตรการทางศีลธรรม วิธีการเหล่านี้ได้รับการเสนอโดย LinkedIn ในปี 2019 และนักวิจัยจากเยอรมนี อิตาลี และสเปน ในปี 2018

เอกสาร มีชื่อเรื่องว่า Gendered Language in Resumes and its Implications for Algorithmic Bias in Hiring และเขียนโดย Prasanna Parasurama จากสาขา Technology, Operations and Statistics ของ NYU Stern Business School และ João Sedoc ผู้ช่วยศาสตราจารย์สาขา Technology, Operations and Statistics ที่ Stern

ความเอนเอียงทางเพศในการจ้างงาน

นักวิจัยเน้นย้ำถึงขนาดที่ความเอนเอียงทางเพศในการจ้างงานกลายเป็นระบบที่เป็นรูปธรรม โดยที่ผู้จัดการทรัพยากรบุคคลใช้กระบวนการ “คัดเลือก” ที่ขับเคลื่อนด้วยอัลกอริทึมและเครื่องมือการเรียนรู้ของเครื่อง ซึ่งเทียบเท่ากับการปฏิเสธโดย AI ที่มีความเอนเอียงทางเพศ

นักวิจัยอ้างถึงกรณีของอัลกอริทึมการจ้างงานที่ Amazon ที่ถูก เปิดเผย ในปี 2018 ว่าได้ปฏิเสธผู้สมัครหญิงในลักษณะที่เป็นระบบเพราะได้เรียนรู้ว่าในประวัติการจ้างงานที่ผ่านมา ผู้ชายมีโอกาสถูกจ้างมากกว่า

‘แบบจำลองได้เรียนรู้ผ่านข้อมูลการจ้างงานในอดีตว่าผู้ชายมีโอกาสถูกจ้างมากกว่า และดังนั้นจึงให้คะแนนเรซูเม่ของผู้ชายสูงกว่าเรซูเม่ของผู้หญิง’

‘แม้ว่าเพศของผู้สมัครจะไม่ได้รวมอยู่ในแบบจำลองอย่างชัดเจน แต่ก็ได้เรียนรู้เพื่อแยกแยะระหว่างเรซูเม่ของผู้ชายและผู้หญิงตามข้อมูลที่มีเพศในเรซูเม่ – ตัวอย่างเช่น ผู้ชายมีโอกาสใช้คำว่า “executed” และ “captured” มากกว่า’

นอกจากนี้ การวิจัยในปี 2011 พบว่าโฆษณางานที่มีคำว่า “ผู้ชาย” อยู่ในโฆษณา ดึงดูดผู้ชาย และในทางกลับกัน ก็ไม่ดึงดูดผู้หญิงให้สมัครงาน Digitization และ schema ข้อมูลขนาดใหญ่สัญญาว่าจะยึดมั่นในแนวปฏิบัติเหล่านี้ไว้ในระบบอัตโนมัติ หากไม่มีการแก้ไขอย่างจริงจัง

ข้อมูล

นักวิจัยจาก NYU ได้ฝึกแบบจำลองเพื่อจำแนกเพศโดยใช้แบบจำลองการคาดการณ์ นอกจากนี้ยังพยายามกำหนดว่าแบบจำลองสามารถคาดการณ์เพศได้ดีเพียงใดหลังจากการลบข้อมูลที่อาจเปิดเผยเพศออกจากเรซูเม่

ชุดข้อมูลถูกดึงมาจากเรซูเม่ของผู้สมัครจากแปดบริษัท IT ในสหรัฐอเมริกา โดยมีรายละเอียดเกี่ยวกับชื่อ เพศ ปีของประสบการณ์ สาขาวิชาหรือการเรียน และตำแหน่งงานที่เรซูเม่นั้นถูกส่งไป

เพื่อขุดค้นข้อมูลเชิงลึกจากข้อมูลนี้ในรูปแบบของการแสดงผลเวกเตอร์ นักวิจัยได้ฝึกแบบจำลอง Word2Vec ซึ่งถูกแยกออกเป็นโทเค็นและกรองสุดท้ายเพื่อแก้ไขการแสดงผลที่ฝังตัวสำหรับเรซูเม่แต่ละรายการ

ตัวอย่างของผู้ชายและผู้หญิงถูกจับคู่ 1-1 และได้รับชุดย่อยโดยการจับคู่ผู้สมัครชายและหญิงที่ดีที่สุดตามเกณฑ์ทางวัตถุ โดยมีอัตราความผิดพลาด 2 ปีในแง่ของประสบการณ์ในสาขาของพวกเขา ดังนั้นชุดข้อมูลจึงประกอบด้วยเรซูเม่ของผู้ชาย 174,000 รายและเรซูเม่ของผู้หญิง 174,000 ราย

สถาปัตยกรรมและไลบรารี

แบบจำลองที่ใช้ในการจำแนกประเภทคือ Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic และ Longformer

แบบจำลองแรกให้ผลลัพธ์แบบ bag-of-words ที่แยกแยะเพศตามความแตกต่างทางคำศัพท์ วิธีการที่สองถูกใช้ทั้งระบบการฝังตัวคำศัพท์แบบ off-the-shelf และ การฝังตัวคำศัพท์ที่ถอดรหัสเพศ

ข้อมูลถูกแบ่งออกเป็น 80/10/10 ระหว่างการฝึก การประเมิน และการทดสอบ

ตามที่เห็นในผลลัพธ์ที่แสดงด้านบน ไลบรารี Longformer ที่มีความซับซ้อนมากกว่าวิธีการก่อนหน้านี้ สามารถเทียบเท่ากับเรซูเม่ที่ไม่ได้รับการป้องกันในแง่ของความสามารถในการตรวจจับเพศจากเอกสารที่ถูกถอดรหัสเพศอย่างแข็งขัน

การทดลองที่ดำเนินการรวมถึงการศึกษาการลบข้อมูล โดยที่ข้อมูลที่เปิดเผยเพศถูกลบออกจากเรซูเม่มากขึ้นเรื่อยๆ และแบบจำลองถูกทดสอบกับเอกสารที่ไม่ค่อยมีรายละเอียด

ข้อมูลที่ถูกลบออกรวมถึงงานอดิเรก (เกณฑ์ที่ได้รับจากคำจำกัดความของ “งานอดิเรก” ในวิกิพีเดีย) ID ของ LinkedIn และ URL ที่อาจเปิดเผยเพศ นอกจากนี้ยังรวมถึงคำศัพท์เช่น ‘fraternity’, ‘waitress’ และ ‘salesman’ ที่ถูกลบออกจากเวอร์ชันที่ไม่มีรายละเอียด

ผลลัพธ์เสริม

นอกเหนือจากผลลัพธ์ที่กล่าวถึงด้านบน นักวิจัยจาก NYU พบว่าการฝังตัวคำศัพท์ที่ถอดรหัสเพศไม่ได้ลดความสามารถของแบบจำลองในการคาดการณ์เพศ ในเอกสารนักวิจัยชี้ให้เห็นถึงระดับที่เพศซึมซับอยู่ในภาษาที่เขียน โดยที่กลไกและเครื่องหมายเหล่านี้ยังไม่ได้รับการทำความเข้าใจอย่างดี