Hồ Sơ Ứng Viên Công Việc Về Cơ Bản Không Thể Loại Bỏ Giới Tính, Các Nhà Nghiên Cứu Trí Tuệ Nhân Tạo Phát Hiện

Các nhà nghiên cứu từ Đại học New York đã phát hiện ra rằng ngay cả những mô hình Xử lý Ngôn ngữ Tự nhiên (NLP) rất đơn giản cũng có khả năng xác định giới tính của ứng viên từ hồ sơ “đã loại bỏ giới tính” – ngay cả trong trường hợp các phương pháp học máy đã được sử dụng để loại bỏ tất cả các chỉ số giới tính khỏi tài liệu.

Sau một nghiên cứu liên quan đến việc xử lý 348.000 hồ sơ ứng viên nam/nữ phù hợp, các nhà nghiên cứu kết luận:

‘[Có] một lượng thông tin giới tính đáng kể trong hồ sơ. Ngay cả sau những nỗ lực đáng kể để che giấu giới tính từ hồ sơ, một mô hình Tf-Idf đơn giản có thể học cách phân biệt giữa [giới tính]. Điều này xác nhận thực nghiệm về những lo ngại về các mô hình học cách phân biệt giới tính và lan truyền thiên vị trong dữ liệu đào tạo.’

Phát hiện này có ý nghĩa không chỉ vì nó thực sự có thể che giấu giới tính trong quá trình sàng lọc và phỏng vấn (mà rõ ràng là không thể), mà còn vì chỉ cần đến giai đoạn đó có thể liên quan đến việc đánh giá hồ sơ bằng trí tuệ nhân tạo mà không có sự can thiệp của con người – và trí tuệ nhân tạo của bộ phận nhân sự đã có tiếng là thiên vị giới tính trong những năm gần đây.

Kết quả từ nghiên cứu của các nhà nghiên cứu cho thấy sự bền bỉ của giới tính trước những nỗ lực che giấu:

Kết quả từ bài báo của NYU. Nguồn: https://arxiv.org/pdf/2112.08910.pdf

Các phát hiện trên sử dụng chỉ số 0-1 Diện Tích Dưới Đường Cong Nhận Biết (AUROC), nơi ‘1’ đại diện cho sự chắc chắn 100% trong việc xác định giới tính. Bảng bao gồm một loạt tám thí nghiệm.

Ngay cả trong những kết quả kém nhất (thí nghiệm #7 và #8), nơi một hồ sơ đã bị loại bỏ đến mức không còn thông tin xác định giới tính, một mô hình NLP đơn giản như Word2Vec vẫn có khả năng xác định giới tính chính xác đến 70%.

Các nhà nghiên cứu nhận xét:

‘Trong bối cảnh tuyển dụng thuật toán, những kết quả này ngụ ý rằng trừ khi dữ liệu đào tạo hoàn toàn không thiên vị, ngay cả các mô hình NLP đơn giản sẽ học cách phân biệt giới tính từ hồ sơ và lan truyền thiên vị.’

Các tác giả ngụ ý rằng không có giải pháp dựa trên trí tuệ nhân tạo hợp pháp để “loại bỏ giới tính” từ hồ sơ trong một quy trình tuyển dụng thực tế, và rằng các kỹ thuật học máy tích cực thực thi công bằng là một cách tiếp cận tốt hơn để giải quyết vấn đề thiên vị giới tính trên thị trường lao động.

Trong thuật ngữ trí tuệ nhân tạo, điều này tương đương với ‘thiên vị tích cực’, nơi hồ sơ ứng viên tiết lộ giới tính được chấp nhận là không thể tránh khỏi, nhưng việc xếp hạng lại được áp dụng tích cực như một biện pháp bình đẳng. Các phương pháp này đã được đề xuất bởi LinkedIn vào năm 2019, và các nhà nghiên cứu từ Đức, Ý và Tây Ban Nha vào năm 2018.

Bài báo này có tiêu đề Ngôn Ngữ Giới Tính Trong Hồ Sơ Và Ý Nghĩa Của Nó Đối Với Thiên Vị Thuật Toán Trong Tuyển Dụng, và được viết bởi Prasanna Parasurama, từ bộ phận Công nghệ, Hoạt động và Thống kê tại Trường Kinh doanh Stern của NYU, và João Sedoc, Giáo sư Trợ lý về Công nghệ, Hoạt động và Thống kê tại Stern.

Thiên Vị Giới Tính Trong Tuyển Dụng

Các tác giả nhấn mạnh quy mô mà thiên vị giới tính trong quy trình tuyển dụng đang trở nên hệ thống hóa, với các nhà quản lý nhân sự sử dụng các quy trình sàng lọc và tuyển dụng thuật toán tiên tiến có khả năng loại bỏ ứng viên dựa trên giới tính.

Các tác giả dẫn chứng trường hợp của một thuật toán tuyển dụng tại Amazon đã được phát hiện vào năm 2018 đã từ chối ứng viên nữ một cách máy móc vì nó đã học được rằng lịch sử, nam giới có nhiều khả năng được tuyển dụng

‘Mô hình đã học thông qua dữ liệu tuyển dụng lịch sử rằng nam giới có nhiều khả năng được tuyển dụng, và do đó đánh giá hồ sơ nam cao hơn hồ sơ nữ. ‘

‘Mặc dù giới tính ứng viên không được bao gồm rõ ràng trong mô hình, nó đã học cách phân biệt giữa hồ sơ nam và nữ dựa trên thông tin giới tính trong hồ sơ – ví dụ, nam giới có nhiều khả năng sử dụng từ như “thực hiện” và “đánh bắt”.’

Ngoài ra, nghiên cứu từ năm 2011 cho thấy rằng quảng cáo việc làm ngụ ý tìm kiếm nam giới thu hút họ rõ ràng, và tương tự, ngăn cản phụ nữ申请 cho vị trí đó. Số hóa và lược đồ dữ liệu lớn hứa hẹn sẽ củng cố những thực hành này vào các hệ thống tự động, nếu hội chứng này không được giải quyết tích cực.

Dữ Liệu

Các nhà nghiên cứu NYU đã đào tạo một loạt mô hình để phân loại giới tính bằng cách sử dụng mô hình dự đoán. Họ cũng tìm cách thiết lập xem khả năng dự đoán giới tính của mô hình có thể tồn tại sau khi loại bỏ càng nhiều thông tin có thể tiết lộ giới tính, trong khi vẫn cố gắng giữ lại nội dung liên quan đến ứng dụng.

Dữ liệu được thu thập từ một tập hợp hồ sơ ứng viên từ tám công ty công nghệ tại Mỹ, với mỗi hồ sơ đi kèm với thông tin về tên, giới tính, năm kinh nghiệm, lĩnh vực chuyên môn hoặc nghiên cứu, và vị trí tuyển dụng mà hồ sơ được gửi.

Để trích xuất thông tin ngữ cảnh sâu hơn từ dữ liệu này dưới dạng biểu diễn vector, các tác giả đã đào tạo một mô hình Word2Vec. Sau đó, nó được phân tích thành token và lọc, cuối cùng giải quyết thành một biểu diễn nhúng cho mỗi hồ sơ.

Mẫu nam và nữ được ghép 1-1, và một tập con được thu thập bằng cách ghép các ứng viên nam và nữ phù hợp nhất, với sai số 2 năm, về kinh nghiệm trong lĩnh vực của họ. Do đó, tập dữ liệu bao gồm 174.000 hồ sơ nam và 174.000 hồ sơ nữ.

Kiến Trúc và Thư Viện

Ba mô hình được sử dụng cho nhiệm vụ phân loại là Tần Số Từ – Tần Số Ngược Tài Liệu (TF-IDF) + Logistic, Word Embeddings + Logistic, và Longformer.

Mô hình đầu tiên cung cấp một baseline từ túi từ có thể phân biệt giới tính dựa trên sự khác biệt về từ vựng. Cách tiếp cận thứ hai được sử dụng cả với hệ thống word embeddings sẵn có và với word embeddings không thiên vị giới tính.

Dữ liệu được chia 80/10/10 giữa đào tạo, đánh giá và kiểm tra,

Como trong kết quả hiển thị ở trên, thư viện Longformer dựa trên biến thể, phức tạp hơn so với các cách tiếp cận trước đó, gần như có thể đạt được khả năng phát hiện giới tính từ hồ sơ “không được bảo vệ” về mặt khả năng phát hiện giới tính từ các tài liệu đã được chủ động loại bỏ các định danh giới tính đã biết.

Các thí nghiệm được thực hiện bao gồm các nghiên cứu về sự loại bỏ dữ liệu, nơi một lượng thông tin ngày càng tăng về giới tính được loại bỏ khỏi hồ sơ, và các mô hình được kiểm tra chống lại các tài liệu kín hơn này.

Thông tin được loại bỏ bao gồm sở thích (một tiêu chí được rút ra từ định nghĩa của Wikipedia về ‘sở thích’), ID LinkedIn, và URL có thể tiết lộ giới tính. Ngoài ra, các thuật ngữ như ‘fraternity’, ‘waitress’, và ‘salesman’ đã bị loại bỏ trong các phiên bản kín hơn này.

Kết Quả Thêm

Ngoài các kết quả được thảo luận ở trên, các nhà nghiên cứu NYU đã phát hiện ra rằng word embeddings không thiên vị không làm giảm khả năng của mô hình trong việc dự đoán giới tính. Trong bài báo, các tác giả gợi ý về mức độ mà giới tính thấm vào ngôn ngữ viết, lưu ý rằng những cơ chế và dấu hiệu này vẫn chưa được hiểu rõ.