קורות חיים של מועמדים לעבודה הם למעשה בלתי אפשריים לדה-מגדר, מוצאים חוקרי בינה מלאכותית

חוקרים מאוניברסיטת ניו יורק מצאו שאפילו מודלים פשוטים מאוד של עיבוד שפה טבעית (NLP) מסוגלים בהחלט לקבוע את מינו של מועמד לעבודה מתוך קורות חיים 'מופשטים מגדר' - אפילו במקרים שבהם נעשה שימוש בשיטות למידת מכונה להסרה כל מדדי המגדר מהמסמך.

בעקבות מחקר שכלל עיבוד של 348,000 קורות חיים תואמים היטב לגברים/נשים, החוקרים מסכמים:

"[יש] כמות משמעותית של מידע מגדרי בקורות החיים. גם לאחר ניסיונות משמעותיים לטשטש את המגדר בקורות החיים, מודל Tf-Idf פשוט יכול ללמוד להבחין בין [מגדרים]. זה מאמת באופן אמפירי את החששות לגבי מודלים הלומדים להבחין בין מגדר ולהפיץ הטיה בנתוני ההדרכה במורד הזרם.'

לממצא יש משמעות לא משום שאפשרי באופן ריאלי להסתיר מגדר במהלך תהליך המיון והראיון (מה שברור שלא), אלא משום שעצם ההגעה לשלב זה עשויה להיות כרוכה בביקורת מבוססת בינה מלאכותית על קורות החיים ללא בני אדם the-loop - ו-HR AI השיגה מוניטין מושחת על הטיה מגדרית בשנים האחרונות.

תוצאות המחקר של החוקרים מדגימות עד כמה המגדר עמיד בפני ניסיונות ערפול:

תוצאות מהמאמר של NYU. מקור: https://arxiv.org/pdf/2112.08910.pdf

הממצאים לעיל משתמשים ב-0-1 אזור מתחת למאפיין ההפעלה של המקלט (AUROC) מדד, כאשר '1' מייצג וודאות של 100% לזיהוי מגדר. הטבלה מכסה מגוון של שמונה ניסויים.

אפילו בתוצאות עם הביצועים הגרועים ביותר (ניסויים מס' 7 ומספר 8), שבהן קורות חיים הופשטו בצורה כה חמורה ממידע מזהה מגדר עד שאינו שמיש, מודל NLP פשוט כגון Word2Old עדיין מסוגל לזיהוי מגדר מדויק המתקרב ל-70%.

החוקרים מגיבים:

"בהקשר האלגוריתמי של גיוס עובדים, תוצאות אלו מרמזות שאם לא נתוני ההכשרה יהיו בלתי מוטים לחלוטין, אפילו מודלים פשוטים של NLP ילמדו להבחין בין מין לבין קורות חיים, ולהפיץ הטיה במורד הזרם."

המחברים רומזים שאין פתרון לגיטימי מבוסס בינה מלאכותית לקורות חיים של 'דה-ג'נדר' בצנרת גיוס מעשית, וכי טכניקות למידת מכונה האוכפות באופן אקטיבי יחס הוגן הן גישה טובה יותר לבעיית ההטיה המגדרית בשוק העבודה.

במונחים של בינה מלאכותית, זה שווה ערך ל'אפליה חיובית', שבה קורות חיים חושפני מגדר מתקבלים כבלתי נמנעים, אך דירוג מחדש מיושם באופן פעיל כאמצעי שוויוני. הוצעו גישות מסוג זה על ידי לינקדאין בשנת 2019, וחוקרים מגרמניה, איטליה וספרד ב2018.

השמיים מאמר מכונה שפה מגדרית בקורות חיים והשלכותיה על הטיה אלגוריתמית בגיוס עובדים, ונכתב על ידי Prasanna Parasurama, מהמחלקה לטכנולוגיה, תפעול וסטטיסטיקה בבית הספר לעסקים של NYU Stern, וג'ואאו Sedoc, עוזר פרופסור לטכנולוגיה, תפעול וסטטיסטיקה ב-Stern.

הטיה מגדרית בגיוס עובדים

המחברים מדגישים את קנה המידה שבו ההטיה המגדרית בהליכי גיוס עובדים הופכת לשיטתית, פשוטו כמשמעו, כאשר מנהלי משאבי אנוש משתמשים בתהליכי 'סקר' מתקדמים אלגוריתמיים ולמידת מכונה, המסתכמים בדחיה מתומכת בינה מלאכותית על סמך מגדר.

המחברים מצטטים את המקרה של אלגוריתם שכירה באמזון שהיה גילה בשנת 2018 דחתה נשים מועמדות בצורה סלקטיבית, כי היא למדה שמבחינה היסטורית, גברים נוטים יותר להתקבל לעבודה

"המודל למד באמצעות נתוני עובדים היסטוריים שגברים נוטים יותר להתקבל לעבודה, ולכן דירג קורות חיים גברים גבוה יותר מאשר קורות חיים של נשים.

"למרות שמגדר מועמד לא נכלל במפורש במודל, הוא למד להבחין בין קורות חיים גברים לנשים על סמך המידע המגדרי בקורות החיים - למשל, גברים היו בעלי סבירות גבוהה יותר להשתמש במילים כמו "הוצאה להורג" ו"לכדה".'

בנוסף, מחקר מ-2011 מצא שמודעות דרושים שמחפשות באופן מרומז גברים למשוך אותם במפורש, וכמו כן להרתיע נשים מלהגיש מועמדות לתפקיד. דיגיטציה וסכימות ביג דאטה מבטיחות לעגן עוד יותר את הפרקטיקות הללו במערכות אוטומטיות, אם התסמונת לא תטופל באופן אקטיבי.

נתונים

החוקרים של NYU הכשירו סדרה של מודלים לסיווג מגדר באמצעות מודלים חזויים. בנוסף, הם ביקשו לקבוע עד כמה יכולתם של המודלים לחזות מגדר יכולה לשרוד הסרה של כמויות גדולות יותר ויותר של מידע שעלול לחשוף מגדר, תוך ניסיון לשמר תוכן רלוונטי לאפליקציה.

מערך הנתונים נלקח מגוף של קורות חיים של מועמדים משמונה חברות IT מבוססות בארה"ב, כאשר לכל קורות חיים נלווה פרטים של שם, מין, שנות ניסיון, תחום מומחיות או מחקר, ופרסום המשרה שלשמה נשלח קורות החיים .

כדי לחלץ מידע הקשרי עמוק יותר מנתונים אלה בצורה של ייצוג וקטור, המחברים אימנו מודל Word2Vec. זה נותח לאחר מכן לאסימונים וסונן, ולבסוף נפתר לייצוג מוטבע אחד עבור כל קורות חיים.

מדגמי גברים ונשים הותאמו 1-1, ותת-קבוצה התקבלה על ידי חיבור בין המועמדים והמועמדים הטובים ביותר לתפקיד, עם מרווח שגיאה של שנתיים, מבחינת ניסיון בתחומם. כך, מערך הנתונים מורכב מ-2 קורות חיים של גברים ו-174,000 נשים.

אדריכלות וספריות

שלושת המודלים ששימשו למשימת הסיווג היו תדר תדירות-תדירות מסמך הפוכה (צה"ל) + לוֹגִיסטִי, Embeddings Word + Logistic, ו לונג-פורמר.

המודל הראשון מציע קו בסיס של שק של מילים שמבדיל בין המינים על סמך הבדלים מילוניים. הגישה השנייה הופעלה הן עם מערכת הטבעת מילים מהמדף והן עם הטמעות מילים מוטות מגדר.

הנתונים חולקו 80/10/10 בין אימון, הערכה ובדיקה,

כפי שניתן לראות בתוצאות שהוצגו לעיל, ספריית Longformer מבוססת השנאים, מתוחכמת במיוחד מהגישות הקודמות, כמעט הצליחה להשתוות לרזומה 'לא מוגן' לחלוטין מבחינת יכולתה לזהות מגדר ממסמכים שנשללו מהם באופן אקטיבי. מזהי מין ידועים.

הניסויים שנערכו כללו מחקרי אבלציה של נתונים, שבהם הוסרה כמות הולכת וגוברת של מידע חושף מגדר מקורות החיים, והמודלים נבדקו מול המסמכים השקטים יותר הללו.

המידע שהוסר כלל תחביבים (קריטריון שנגזר מההגדרה של ויקיפדיה ל'תחביבים'), מזהי LinkedIn וכתובות URL שעשויות לחשוף מגדר. בנוסף, מונחים כמו 'אחווה', 'מלצרית' ו'מוכר' נמחקו בגרסאות הדלילות הללו.

תוצאות נוספות

בנוסף לתוצאות שנדונו לעיל, החוקרים של NYU מצאו שהטבעת מילים מוטה לא הורידה את יכולתם של המודלים לחזות מגדר. במאמר רומזים המחברים על המידה שבה מגדר חודר לשפה הכתובה, ומציינים כי המנגנונים והמסממנים הללו עדיין אינם מובנים היטב.