เอกสารสมัครงานที่ถูกดีแกนเดอร์ยังคงเป็นเรื่องที่ทำไม่ได้สำหรับ AI นักวิจัยพบ

นักวิจัยจากมหาวิทยาลัยนิวยอร์กได้ค้นพบว่าแม้แต่แบบจำลองการประมวลผลภาษาธรรมชาติ (NLP) ที่ง่ายที่สุดก็สามารถระบุเพศของผู้สมัครงานจากเอกสารสมัครงานที่ถูก “ดีแกนเดอร์” ได้ แม้ในกรณีที่ใช้วิธีการเรียนรู้ของเครื่องเพื่อลบข้อมูลที่บ่งบอกเพศออกจากเอกสาร

หลังจากการศึกษาที่เกี่ยวข้องกับการประมวลผลเอกสารสมัครงาน 348,000 ฉบับที่มีการจับคู่ระหว่างชายและหญิง นักวิจัยสรุปว่า:

‘มีข้อมูลที่บ่งบอกเพศอย่างมากในเอกสารสมัครงาน แม้หลังจากพยายามปิดบังเพศจากเอกสารสมัครงานอย่างมาก โมเดล Tf-Idf ที่ง่ายก็สามารถเรียนรู้เพื่อแยกแยะระหว่างเพศได้ ซึ่งยืนยันข้อกังวลเกี่ยวกับโมเดลที่เรียนรู้เพื่อแยกแยะเพศและแพร่กระจายความลำเอียงในข้อมูลการฝึกอบรม’

การค้นพบนี้มีความสำคัญไม่ใช่เพราะว่ามันสมจริงที่จะซ่อนเพศระหว่างกระบวนการคัดเลือกและสัมภาษณ์ (ซึ่งเห็นได้ชัดว่าไม่สามารถทำได้) แต่เนื่องจากการเข้าสู่ขั้นตอนนั้นอาจต้องใช้การวิจารณ์เอกสารสมัครงานโดยใช้ AI โดยไม่มีมนุษย์เข้ามาเกี่ยวข้อง และระบบ AI ของฝ่ายบุคคลได้รับชื่อเสียงที่ไม่ดีในเรื่องของความลำเอียงทางเพศในช่วงหลายปีที่ผ่านมา

ผลลัพธ์จากการศึกษาของนักวิจัยแสดงให้เห็นว่าเพศมีความทนทานต่อการพยายามปิดบัง:

ผลลัพธ์จากงานวิจัยของ NYU Source: https://arxiv.org/pdf/2112.08910.pdf

ผลลัพธ์ด้านบนใช้มาตรฐาน 0-1 พื้นที่ใต้เส้นโค้งการรับ-การดำเนินการ (AUROC) โดยที่ ‘1’ แสดงถึงความแน่นอน 100% ในการระบุเพศ ตารางครอบคลุมการทดลอง 8 ครั้ง

แม้ในผลลัพธ์ที่แย่ที่สุด (การทดลองที่ 7 และ 8) โดยที่เอกสารสมัครงานถูกดีแกนเดอร์จนไม่สามารถใช้งานได้ โมเดล NLP ที่ง่าย เช่น Word2Vec ยังคงสามารถระบุเพศได้อย่างแม่นยำเกือบ 70%

นักวิจัยได้แสดงความคิดเห็นว่า:

‘ในบริบทของการคัดเลือกโดยใช้ขั้นตอนการประมวลผล ผลลัพธ์เหล่านี้บ่งชี้ว่าหากข้อมูลการฝึกอบรมไม่ลำเอียง โมเดล NLP ที่ง่ายก็จะเรียนรู้เพื่อแยกแยะเพศจากเอกสารสมัครงานและแพร่กระจายความลำเอียงต่อไป’

นักวิจัยชี้ให้เห็นว่าไม่มีวิธีแก้ปัญหา AI ที่ถูกต้องสำหรับการ “ดีแกนเดอร์” เอกสารสมัครงานในกระบวนการคัดเลือกที่ใช้ได้จริง และวิธีการที่ดีกว่าคือการใช้เทคนิคการเรียนรู้ของเครื่องเพื่อให้การปฏิบัติที่ยุติธรรม

ในแง่ของ AI สิ่งนี้เทียบเท่ากับการ “เลือกปฏิบัติที่เป็นบวก” โดยที่เอกสารสมัครงานที่มีการเปิดเผยเพศถือว่าเป็นเรื่องปกติ แต่การเรียงลำดับจะถูกใช้เพื่อวัตถุประสงค์ในการสร้างความเท่าเทียมกัน วิธีการเหล่านี้ได้ถูกเสนอโดย LinkedIn ในปี 2019 และนักวิจัยจากเยอรมนี อิตาลี และสเปน ในปี 2018

งานวิจัย เรื่องนี้ มีชื่อเรื่องว่า ภาษาที่มีเพศในเอกสารสมัครงานและผลกระทบต่อความลำเอียงในกระบวนการคัดเลือก และเขียนโดย Prasanna Parasurama จากสาขาเทคโนโลยี การดำเนินงาน และสถิติ tại NYU Stern Business School และ João Sedoc ผู้ช่วยศาสตราจารย์สาขาเทคโนโลยี การดำเนินงาน และสถิติ tại Stern

ความลำเอียงทางเพศในการคัดเลือก

นักวิจัยเน้นย้ำถึงขนาดที่ความลำเอียงทางเพศในการคัดเลือกกำลังจะกลายเป็นระบบที่มีการใช้กระบวนการคัดเลือกโดยใช้ขั้นตอนการประมวลผลที่ซับซ้อนและขับเคลื่อนด้วย AI ซึ่งเทียบเท่ากับการปฏิเสธโดย AI โดยไม่มีมนุษย์เข้ามาเกี่ยวข้อง

นักวิจัยอ้างถึงกรณีของอัลกอริทึมการคัดเลือกของ Amazon ที่ถูกเปิดเผยในปี 2018 ว่าได้ปฏิเสธผู้สมัครหญิงในลักษณะที่ซ้ำซ้อนเพราะได้เรียนรู้จากข้อมูลการฝึกอบรมในอดีตว่าชายมีโอกาสถูกคัดเลือกมากกว่า

‘โมเดลได้เรียนรู้จากข้อมูลการฝึกอบรมในอดีตว่าชายมีโอกาสถูกคัดเลือกมากกว่า และดังนั้นจึงให้คะแนนเอกสารสมัครงานของชายสูงกว่าเอกสารสมัครงานของหญิง’

‘แม้ว่าเพศของผู้สมัครจะไม่ได้ถูกรวมอยู่ในโมเดลโดยตรง แต่ก็ได้เรียนรู้เพื่อแยกแยะระหว่างเอกสารสมัครงานของชายและหญิงโดยอาศัยข้อมูลที่บ่งบอกเพศในเอกสารสมัครงาน เช่น ชายมีโอกาสใช้คำว่า “executed” และ “captured” มากกว่า’

นอกจากนี้ การวิจัยในปี 2011 พบว่าโฆษณางานที่มีการอ้างอิงถึงชายโดยไม่ชัดเจน ดึงดูดชายและขัดขวางไม่ให้หญิงสมัครงาน การใช้ระบบอัตโนมัติและข้อมูลขนาดใหญ่จะทำให้การปฏิบัติเหล่านี้กลายเป็นระบบอัตโนมัติหากไม่ได้รับการแก้ไข

ข้อมูล

นักวิจัยจาก NYU ได้ฝึกโมเดลเพื่อจำแนกเพศโดยใช้การสร้างแบบจำลองที่คาดการณ์ พวกเขายังพยายามที่จะกำหนดว่าโมเดลสามารถคาดการณ์เพศได้ดีเพียงใดหลังจากการลบข้อมูลที่บ่งบอกเพศออกจากเอกสารสมัครงาน

ชุดข้อมูลถูกดึงมาจากเอกสารสมัครงานของผู้สมัครจากบริษัท IT 8 แห่งใน美国 โดยมีรายละเอียดเกี่ยวกับชื่อ เพศ ปีของประสบการณ์ สาขาที่เชี่ยวชาญหรือศึกษา และตำแหน่งงานที่เอกสารสมัครงานถูกส่งไป

เพื่อแยกข้อมูลที่มีบริบทลึกออกจากข้อมูลนี้ในรูปแบบของการแสดงผลเวกเตอร์ นักวิจัยได้ฝึกโมเดล Word2Vec ซึ่งถูกแยกออกเป็นโทเค็นและกรองออกเป็นหนึ่งการแสดงผลที่ฝังตัวสำหรับเอกสารสมัครงานแต่ละฉบับ

ตัวอย่างชายและหญิงถูกจับคู่ 1 ต่อ 1 และชุดย่อยที่ได้มาจากการจับคู่ผู้สมัครชายและหญิงที่ดีที่สุดตามเกณฑ์ความเหมาะสมของงาน โดยมีอัตราความผิดพลาด 2 ปีในแง่ของประสบการณ์ในสาขาของพวกเขา ดังนั้นชุดข้อมูลจึงประกอบด้วยเอกสารสมัครงานชาย 174,000 ฉบับและเอกสารสมัครงานหญิง 174,000 ฉบับ

สถาปัตยกรรมและไลบรารี

โมเดลที่ใช้สำหรับการจำแนกประเภทคือ Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, และ Longformer

โมเดลแรกให้การเปรียบเทียบพื้นฐานที่แยกแยะเพศตามความแตกต่างทางคำศัพท์ วิธีการที่สองถูกใช้โดยใช้ระบบการฝังตัวคำที่พร้อมใช้งานและ การฝังตัวคำที่ไม่มีเพศ

ข้อมูลถูกแบ่งออกเป็น 80/10/10 ระหว่างการฝึกอบรม การประเมิน และการทดสอบ

ตามที่เห็นในผลลัพธ์ที่แสดงด้านบน ไลบรารี Longformer ที่ซับซ้อนกว่าวิธีการก่อนหน้านี้สามารถเทียบเท่ากับเอกสารสมัครงานที่ไม่ได้รับการป้องกันในการตรวจจับเพศจากเอกสารที่ถูกดีแกนเดอร์

การทดลองที่ดำเนินการรวมถึงการศึกษาการลบข้อมูล โดยที่ข้อมูลที่บ่งบอกเพศถูกลบออกจากเอกสารสมัครงานมากขึ้นเรื่อยๆ และโมเดลถูกทดสอบกับเอกสารเหล่านี้

ข้อมูลที่ถูกลบออกรวมถึงงานอดิเรก (เกณฑ์ที่ได้มาจากคำจำกัดความของ “งานอดิเรก” ในวิกิพีเดีย) ID ของ LinkedIn และ URL ที่อาจเปิดเผยเพศ นอกจากนี้คำว่า “fraternity”, “waitress”, และ “salesman” ถูกถอดออกในเวอร์ชันที่มีข้อมูลน้อยกว่า

ผลลัพธ์เสริม

นอกเหนือจากผลลัพธ์ที่กล่าวถึงข้างต้น นักวิจัยจาก NYU พบว่าการฝังตัวคำที่ไม่มีเพศไม่ได้ลดความสามารถของโมเดลในการคาดการณ์เพศ ในงานวิจัย นักวิจัยชี้ให้เห็นถึงระดับที่เพศแพร่กระจายในภาษาที่เขียน โดยที่กลไกและเครื่องหมายเหล่านี้ยังไม่ได้รับการทำความเข้าใจอย่างดี