Báo cáo «How AI Fails Women» của GEPI phân tích cách thuật toán khuếch đại thiên kiến giới

Điểm đánh giá tuyển dụng, kết quả thẩm định tín dụng hay khuyến nghị lâm sàng có thể trông khách quan nhưng vẫn duy trì những bất bình đẳng vốn có trong dữ liệu làm cơ sở cho chúng. Đây là cảnh báo cốt lõi trong báo cáo mới của Gender Equity Policy Institute, How AI Fails Women: Khi thiên kiến bị khuếch đại, tổng hợp các nghiên cứu về cách hệ thống tự động có thể tái tạo — và đôi khi làm trầm trọng thêm — tình trạng phân biệt đối xử dựa trên giới.

Do nhà khoa học về học máy kiêm nghiên cứu viên cao cấp của GEPI Myriam Shiran, Tiến sĩ, chấp bút, báo cáo tổng quan các tài liệu học thuật và tài liệu ngoài học thuật về cơ hội kinh tế, chăm sóc sức khỏe, tư pháp hình sự, nội dung do AI tạo, thiết kế AI dành cho người tiêu dùng và hành vi lạm dụng tình dục bằng hình ảnh có sự hỗ trợ của AI. Đây là bản tổng hợp các bằng chứng hiện có, chứ không phải một thí nghiệm mới đo lường mọi hệ thống AI theo cùng một chuẩn đánh giá.

Luận điểm quan trọng nhất của báo cáo là những gì xảy ra sau khi một kết quả thiên lệch rời khỏi mô hình. Các khuyến nghị tác động đến quyết định, nội dung do AI tạo định hình kỳ vọng, và một số kết quả trở thành dữ liệu huấn luyện trong tương lai. Vì vậy, một khuôn mẫu bất công có thể ngày càng khó nhận diện khi lan truyền qua các hệ thống nối tiếp nhau.

Đầu vào không xét đến giới tính không đảm bảo kết quả công bằng

Loại bỏ trường thông tin về giới tính là một phản ứng dễ hiểu trước tình trạng phân biệt đối xử. Báo cáo của GEPI giải thích vì sao chỉ riêng bước đó là chưa đủ: tên, trình độ học vấn, quá trình làm việc và các chi tiết khác vẫn có thể mang những dấu hiệu liên quan đến giới. Các kết quả trong quá khứ cũng có thể mã hóa sự đối xử bất bình đẳng từ trước khi mô hình tiếp nhận chúng.

Một cuộc kiểm toán tuyển dụng được trích dẫn trong báo cáo, do Wilson và Caliskan thực hiện năm 2024, gồm hơn ba triệu lượt so sánh hồ sơ xin việc mô phỏng ở chín ngành nghề. Trong 51,9% số lượt so sánh, các mô hình sàng lọc được thử nghiệm ưu tiên đáng kể những cái tên gắn với nam giới; tỷ lệ này là 11,1% đối với những cái tên gắn với nữ giới. 37% còn lại không cho thấy sự ưu tiên đáng kể nào. Đây là kết quả từ các thử nghiệm mô hình có kiểm soát, không phải tỷ lệ ứng viên ngoài đời thực bị từ chối việc làm.

Bằng chứng cũng thay đổi tùy theo cách thiết kế phép thử. Báo cáo mô tả một cuộc kiểm toán riêng vào năm 2025, trong đó một số mô hình ngôn ngữ không cho thấy khác biệt về giới khi nhà nghiên cứu chỉ thay đổi tên, nhưng việc thay đổi thông tin học vấn lại ảnh hưởng đến điểm số. Một phép thử quá hẹp có thể bỏ sót thông tin quan trọng ở những khâu khác trong cùng quy trình.

Trong lĩnh vực cho vay, báo cáo dẫn một nghiên cứu về khoảng 80.000 khoản vay cá nhân không có tài sản bảo đảm từ một công ty công nghệ tài chính lớn của Mỹ. Các khoản vay của phụ nữ mang lại lợi nhuận cao hơn cho bên cho vay; nghiên cứu cho rằng nguyên nhân là mô hình đã đánh giá quá cao rủi ro vỡ nợ của họ và định giá các khoản vay theo đó. Vấn đề ở đây nằm ở mối quan hệ giữa rủi ro dự đoán, việc trả nợ thực tế và mức giá người vay phải trả — chứ không chỉ đơn giản là đơn vay có đề cập đến giới tính hay không.

AI trong y tế cần nhiều hơn một điểm số trung bình cao

Y tế là một ví dụ đặc biệt rõ cho thấy hiệu suất trên toàn bộ dân số có thể che khuất những khác biệt quan trọng. Một mô hình có thể hoạt động tốt xét trên tổng thể nhưng mắc nhiều lỗi hơn với những người ít được đại diện trong dữ liệu huấn luyện hoặc kiểm định.

GEPI dẫn một nghiên cứu năm 2024 của Zack và các cộng sự, trong đó họ đưa cho GPT-4 các ca đau ngực giống hệt nhau, chỉ khác ở chỗ bệnh nhân được mô tả là nam hay nữ. Qua 200 lượt chạy cho mỗi mô tả, mô hình đánh giá nghiệm pháp gắng sức tim mạch là rất quan trọng trong 71% ca bệnh nam và 58% ca bệnh nữ — chênh lệch 13 điểm phần trăm.

Phát hiện này liên quan đến khuyến nghị của mô hình trong một đánh giá có kiểm soát, chứ không phải các quyết định điều trị được quan sát trong thực tế hay kết quả sức khỏe của bệnh nhân. Sự phân biệt này rất quan trọng, nhất là khi báo cáo bao gồm các nghiên cứu thăm dò về nhiều mô hình, bệnh lý và nhiệm vụ lâm sàng khác nhau, được thực hiện vào những thời điểm khác nhau.

Báo cáo cũng đưa ra một điều kiện hết sức quan trọng: không nên xóa bỏ những khác biệt về giới tính có ý nghĩa lâm sàng. Thách thức là xác định liệu sự khác biệt trong lời khuyên của mô hình có phản ánh đặc điểm sinh học liên quan hay một giả định thiếu căn cứ. Muốn làm được điều đó, cần dữ liệu đánh giá có tính đại diện và xem xét kỹ các lỗi, thay vì đòi hỏi mọi khuyến nghị phải giống hệt nhau.

Thiên kiến có thể định hình cách thể hiện cũng như các quyết định

Báo cáo phân biệt tổn hại đối với khả năng tiếp cận nguồn lực của một cá nhân — chẳng hạn như khoản vay hoặc dịch vụ chăm sóc y tế — với tổn hại trong cách khắc họa các nhóm người. Thư giới thiệu do AI tạo, bài báo và hình ảnh nghề nghiệp có thể củng cố định kiến ngay cả khi không kéo theo quyết định phân bổ tức thời nào.

Các nghiên cứu được GEPI tổng hợp cho thấy mô hình ngôn ngữ thường mô tả phụ nữ qua những phẩm chất trong quan hệ giữa người với người, còn nam giới qua năng lực lãnh đạo hoặc khả năng. Các nghiên cứu về công cụ tạo ảnh phát hiện tình trạng phân tách giới bị phóng đại giữa các ngành nghề. Những kết quả này chỉ áp dụng cho các mô hình và phiên bản được khảo sát; không nên xem chúng là một cuộc kiểm toán mới đối với mọi hệ thống hiện có.

Trợ lý và người bạn đồng hành AI dành cho người tiêu dùng đặt ra một vấn đề khác. Giọng nói, tính cách và cách phản hồi trước hành vi quấy rối của chúng đều là những lựa chọn có chủ đích trong quá trình phát triển sản phẩm. Chỉ đánh giá mức độ cân bằng thống kê trong câu trả lời có thể khiến người ta bỏ qua những giả định ẩn chứa trong chính hình dung mà sản phẩm được thiết kế để thể hiện.

Báo cáo cũng xem xét hình ảnh tình dục tổng hợp được tạo ra mà không có sự đồng thuận, trong đó AI có thể khiến việc tạo ra và phát tán nội dung lạm dụng dễ dàng hơn. Đây không chỉ là hình ảnh khắc họa thiếu chính xác: việc sử dụng hình ảnh giống một người thật khi chưa được họ đồng ý có thể trực tiếp gây tổn hại. Vấn đề này đòi hỏi cách ứng phó khác với việc chỉnh sửa định kiến nghề nghiệp trong hình ảnh do AI tạo ra.

Vì sao kiểm thử độc lập quan trọng

GEPI mô tả bốn cơ chế thường gặp: học từ các hồ sơ lịch sử bất bình đẳng, tái tạo định kiến, trình bày các phán đoán như những phép đo khách quan, và để các đầu ra thiên lệch tác động đến những quyết định hoặc mô hình tiếp theo.

Các cuộc kiểm toán độc lập giúp làm rõ những cơ chế này. Các nhà nghiên cứu có thể thay đổi một thuộc tính trong những dữ liệu đầu vào tương đương về mọi mặt khác rồi xem đầu ra thay đổi ra sao, ngay cả khi không được tiếp cận kiến trúc nội bộ của một mô hình độc quyền. Tuy nhiên, một phép thử thành công với một câu lệnh hoặc bộ chuẩn đối sánh không đủ để chứng minh tính công bằng trên toàn bộ quá trình triển khai.

Đối với các tổ chức áp dụng AI, hệ quả thực tiễn là cần kiểm thử đúng trường hợp sử dụng thực tế. Nhóm tuyển dụng cần xem xét quy trình từ điểm sàng lọc đến khâu lựa chọn ứng viên phỏng vấn. Bên cho vay cần so sánh các ước tính rủi ro với kết quả trả nợ. Tổ chức y tế cần hiểu những bệnh nhân nào được đại diện trong dữ liệu kiểm định và lỗi tập trung ở đâu. Những bước kiểm tra này trả lời các câu hỏi khác với việc mô hình có diễn đạt trôi chảy hay đạt độ chính xác trung bình hay không.

Báo cáo xác lập điều gì — và những gì vẫn chưa rõ

Báo cáo chủ yếu dựa trên bằng chứng từ Hoa Kỳ, đồng thời đề cập đến các nghiên cứu quốc tế khi có liên quan. Các nguồn tư liệu trải rộng qua nhiều công nghệ, năm và phương pháp khác nhau. Một số ghi nhận kết quả; số khác cho thấy những hành vi đáng lo ngại trong các mô phỏng. Báo cáo không xác lập một tỷ lệ phân biệt đối xử phổ quát duy nhất, cũng không cho thấy mọi hệ thống đều tạo ra cùng một dạng thiên lệch.

Báo cáo cũng chỉ ra một vấn đề trong việc đo lường: các nhà nghiên cứu thường không thể tiếp cận dữ liệu của các tổ chức cần thiết để liên hệ đầu ra với hệ quả của nó. Việc phát hiện chênh lệch là quan trọng, nhưng để hiểu được cái giá phải trả trong thực tế có thể cần đến hồ sơ do nhà tuyển dụng, nhà cung cấp, bên cho vay hoặc cơ sở y tế lưu giữ.

Đóng góp của GEPI là kết nối những phát hiện thường được thảo luận riêng rẽ và đặt câu hỏi liệu hoạt động kiểm thử và trách nhiệm giải trình có theo AI vào những quyết định mà công nghệ này tác động hay không. Báo cáo đầy đủ, AI khiến phụ nữ chịu thiệt thòi như thế nào: Khi thiên lệch bị khuếch đại, bao gồm phương pháp nghiên cứu, tài liệu tham khảo và bằng chứng theo từng lĩnh vực làm cơ sở cho lập luận đó.