Τα Βιογραφικά των Υποψηφίων Εργασίας Είναι Απολύτως Ανέφικτο να Απομακρύνουν το Φύλο, Βρίσκουν Ερευνητές του AI

Ερευνητές από το Πανεπιστήμιο της Νέας Υόρκης έχουν διαπιστώσει ότι ακόμη και πολύ απλά μοντέλα επεξεργασίας φυσικής γλώσσας (NLP) είναι ικανά να καθορίσουν το φύλο ενός υποψηφίου εργασίας από ένα “αποφύλο” βιογραφικό – ακόμη και σε περιπτώσεις όπου μεθόδους μηχανικής μάθησης έχουν χρησιμοποιηθεί για να αφαιρεθούν όλα τα δείκτες φύλου από το έγγραφο.

Μετά από μια μελέτη που αφορούσε την επεξεργασία 348.000 καλά αντιστοιχισμένων ανδρικών/γυναικείων βιογραφικών, οι ερευνητές καταλήγουν στο συμπέρασμα:

‘Υπάρχει σημαντική ποσότητα φυλοποιημένων πληροφοριών στα βιογραφικά. Ακόμη και μετά από σημαντικές προσπάθειες να αποκρυψωθεί το φύλο από τα βιογραφικά, ένα απλό μοντέλο Tf-Idf μπορεί να μάθει να διακρίνει μεταξύ [φυλών]. Αυτό επικυρώνει εμπειρικά τις ανησυχίες σχετικά με τα μοντέλα που μάθουν να διακρίνουν το φύλο και να προωθήσουν την προκατάληψη στα δεδομένα εκπαίδευσης.’

Το εύρημα έχει σημασία όχι επειδή είναι πραγματικά δυνατό να κρυφτεί το φύλο κατά τη διαδικασία επιλογής και συνέντευξης (που rõ ràng δεν είναι), αλλά επειδή η πρόσβαση σε αυτό το στάδιο μπορεί να περιλαμβάνει μια κριτική του βιογραφικού με βάση το AI χωρίς ανθρώπους στο βρόχο – και η τεχνολογία HR AI έχει αποκτήσει μια μαύρη φήμη για προκατάληψη φύλου τα τελευταία χρόνια.

Τα αποτελέσματα από τη μελέτη των ερευνητών δείχνουν πόσο ανθεκτικό είναι το φύλο στις προσπάθειες αποκρύψωσής του:

Αποτελέσματα από το χαρτί του NYU. Πηγή: https://arxiv.org/pdf/2112.08910.pdf

Τα ευρήματα που παρουσιάζονται παραπάνω χρησιμοποιούν einen δείκτη 0-1 Ενότητα κάτω από την Καμπύλη του Δέκτη (AUROC), όπου ‘1’ αντιπροσωπεύει την 100% βεβαιότητα της ταυτοποίησης φύλου. Ο πίνακας καλύπτει μια σειρά από οκτώ πειράματα.

Ακόμη και στα χειρότερα αποτελέσματα (πειράματα #7 και #8), όπου ένα βιογραφικό έχει απογυμνωθεί τόσο πολύ από πληροφορίες που αποκαλύπτουν το φύλο, ώστε να μην είναι πλέον χρήσιμο, ένα απλό μοντέλο NLP όπως το Word2Vec είναι ακόμη ικανό να πραγματοποιήσει μια ακριβή ταυτοποίηση φύλου που προσεγγίζει το 70%.

Οι ερευνητές σχολιάζουν:

‘Στο контέκστ της αλγορίθμικης επιλογής, αυτά τα αποτελέσματα υποδηλώνουν ότι εκτός αν τα δεδομένα εκπαίδευσης είναι απόλυτα αμερόληπτα, ακόμη και απλά μοντέλα NLP θα μάθουν να διακρίνουν το φύλο από τα βιογραφικά και θα προωθήσουν την προκατάληψη προς τα κάτω.’

Οι συγγραφείς υποδηλώνουν ότι δεν υπάρχει νόμιμη λύση με βάση το AI για την ‘αποφύλο’ των βιογραφικών σε μια πρακτική διαδικασία επιλογής, και ότι οι τεχνικές μηχανικής μάθησης που εφαρμόζουν δίκαιη μεταχείριση είναι μια καλύτερη προσέγγιση του προβλήματος της προκατάληψης φύλου στην αγορά εργασίας.

Στους όρους του AI, αυτό είναι ισοδύναμο με την ‘θετική διακρίση’, όπου τα βιογραφικά που αποκαλύπτουν το φύλο γίνονται αποδεκτά ως αναπόφευκτα, αλλά η επαναταξινόμηση εφαρμόζεται ενεργά ως μέτρο ισότητας. Προσεγγίσεις αυτού του είδους έχουν προταθεί από το LinkedIn το 2019, και ερευνητές από τη Γερμανία, την Ιταλία και την Ισπανία το 2018.

Το χαρτί έχει τον τίτλο Φυλοποιημένη Γλώσσα στα Βιογραφικά και οι Επιπτώσεις για την Αλγορίθμικη Προκατάληψη στην Επιλογή, και είναι γραμμένο από τον Prasanna Parasurama, από το Τμήμα Τεχνολογίας, Επιχειρήσεων και Στατιστικής στο NYU Stern Business School, και τον João Sedoc, Αναπληρωτή Καθηγητή Τεχνολογίας, Επιχειρήσεων και Στατιστικής στο Stern.

Προκατάληψη Φύλου στην Επιλογή

Οι συγγραφείς τονίζουν το μέγεθος με το οποίο η προκατάληψη φύλου στις διαδικασίες επιλογής γίνεται κυριολεκτικά συστημική, με τους διευθυντές ανθρώπινου δυναμικού να χρησιμοποιούν προηγμένα αλγορίθμικα και με βάση τη μηχανική μάθηση ‘διαδικασίες επιλογής’ που ισοδυναμούν με απόρριψη με βάση το φύλο που ενεργοποιείται από το AI.

Οι συγγραφείς αναφέρουν την περίπτωση ενός αλγορίθμου επιλογής στην Amazon που αποκαλύφθηκε το 2018 να έχει απορρίψει γυναίκες υποψήφιες με ροή επειδή είχε μάθει ότι ιστορικά, οι άνδρες ήταν πιο πιθανό να雇ονται

‘Το μοντέλο είχε μάθει μέσω ιστορικών δεδομένων επιλογής ότι οι άνδρες ήταν πιο πιθανό να雇ονται, και επομένως αξιολόγησε τα ανδρικά βιογραφικά υψηλότερα από τα γυναικεία βιογραφικά. ‘

‘Αν και το φύλο του υποψήφιου δεν ήταν ρητά συμπεριλαμβανόμενο στο μοντέλο, μάθει να διακρίνει μεταξύ ανδρικών και γυναικείων βιογραφικών με βάση τις φυλοποιημένες πληροφορίες στα βιογραφικά – για παράδειγμα, οι άνδρες ήταν πιο πιθανό να χρησιμοποιούν λέξεις όπως “εκτέλεσε” και “κατέλαβε”.’

Επιπλέον, έρευνα από το 2011 βρήκε ότι οι διαφημίσεις εργασίας που αναζητούν άντρες αναζητούν ρητά άντρες, και αντίστοιχα αποθαρρύνουν τις γυναίκες από το να υποβάλουν αίτηση για τη θέση. Η ψηφιοποίηση και τα σχήματα μεγάλων δεδομένων υποσχέονται να ενσωματώσουν αυτές τις πρακτικές σε αυτοματοποιημένα συστήματα, αν το σύνδρομο δεν αντιμετωπίζεται ενεργά.

Δεδομένα

Οι ερευνητές του NYU εκπαίδευσαν μια σειρά μοντέλων για να ταξινομήσουν το φύλο χρησιμοποιώντας προβλεπτική μοντελοποίηση. Επιπλέον, προσπάθησαν να καθορίσουν πόσο καλά η ικανότητα των μοντέλων να προβλέψουν το φύλο θα μπορούσε να επιβιώσει της αφαίρεσης μεγαλύτερων και μεγαλύτερων ποσοτήτων πιθανών πληροφοριών που αποκαλύπτουν το φύλο, ενώ προσπάθησαν να διατηρήσουν περιεχόμενο σχετικό με την αίτηση.

Το σύνολο δεδομένων προέρχεται από ένα σώμα βιογραφικών υποψηφίων από οκτώ εταιρείες τεχνολογίας των ΗΠΑ, με κάθε βιογραφικό να συνοδεύεται από λεπτομέρειες ονόματος, φύλου, ετών εμπειρίας, πεδίου εξειδίκευσης ή μελέτης, και της θέσης εργασίας για την οποία το βιογραφικό είχε υποβληθεί.

Για να εξαγάγουν βαθύτερες контекστοποιημένες πληροφορίες από αυτά τα δεδομένα στη μορφή μιας διανυσματικής αναπαράστασης, οι συγγραφείς εκπαίδευσαν ένα μοντέλο Word2Vec. Αυτό στη συνέχεια χωρίστηκε σε tokens και φιλτράρισε, τελικά λύνοντας σε μια ενσωματωμένη αναπαράσταση για κάθε βιογραφικό.

Τα δείγματα ανδρών και γυναικών αντιστοιχίστηκαν 1-1, και ένα υποσύνολο που προέκυψε από το ζευγάρισμα των καλύτερων αντικειμενικά κατάλληλων αρσενικών και θηλυκών υποψηφίων, με ένα περιθώριο σφάλματος 2 ετών, όσον αφορά την εμπειρία στο πεδίο. Έτσι, το σύνολο δεδομένων αποτελείται από 174.000 αρσενικά και 174.000 θηλυκά βιογραφικά.

Αρχιτεκτονική και Βιβλιοθήκες

Τα τρία μοντέλα που χρησιμοποιήθηκαν για την εργασία ταξινόμησης ήταν Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, και Longformer.

Το πρώτο μοντέλο προσφέρει μια βάση για ταξινόμηση που διακρίνει το φύλο με βάση λεξικές διαφορές. Η δεύτερη προσέγγιση εφαρμόστηκε και με ένα έτοιμο σύστημα word embeddings, και με αποφύλο word embeddings.

Τα δεδομένα χωρίστηκαν 80/10/10 μεταξύ εκπαίδευσης, αξιολόγησης και δοκιμής,

Όπως φαίνεται στα αποτελέσματα που παρουσιάζονται παραπάνω, η βιβλιοθήκη Longformer με βάση τον μετασχηματιστή, που είναι αξιοσημείωτα πιο σύνθετη από τις προηγούμενες προσεγγίσεις, ήταν σχεδόν ικανή να ισοδυναμεί με ένα完全 ‘απροστάτευτο’ βιογραφικό όσον αφορά την ικανότητά του να ανιχνεύσει το φύλο από έγγραφα που είχαν ενεργά απογυμνωθεί από γνωστούς δείκτες φύλου.

Τα πειράματα που διεξήχθησαν περιελάμβαναν μελέτες αφαίρεσης δεδομένων, όπου μια αυξανόμενη ποσότητα πληροφοριών που αποκαλύπτουν το φύλο αφαιρέθηκε από τα βιογραφικά, και τα μοντέλα δοκιμάστηκαν ενάντια σε αυτά τα πιο σιωπηλά έγγραφα.

Οι πληροφορίες που αφαιρέθηκαν περιελάμβαναν χόμπι (ένα κριτήριο που προέρχεται από τον ορισμό του ‘χόμπι’ της Βικιπαίδειας), αναγνωριστικά LinkedIn, και URLs που θα μπορούσαν να αποκαλύψουν το φύλο. Επιπλέον, όροι όπως ‘αδελφότητα’, ‘σερβιτόρα’, και ‘πωλητής’ αφαιρέθηκαν σε αυτές τις λιγότερες εκδοχές.

Επιπλέον Αποτελέσματα

Επιπλέον των αποτελεσμάτων που αναφέρθηκαν παραπάνω, οι ερευνητές του NYU βρήκαν ότι τα αποφύλα word embeddings δεν μειώνουν την ικανότητα των μοντέλων να προβλέψουν το φύλο. Στο χαρτί, οι συγγραφείς υποδηλώνουν το βαθμό στον οποίο το φύλο διεισδύει στη γραπτή γλώσσα, σημειώνοντας ότι αυτές οι μηχανισμοί και σημαίνοντες δεν είναι ακόμη καλά κατανοητοί.