AI không xóa bỏ thiên kiến của con người. AI khuếch đại nó.

AI thường được xem là một cách giúp các quyết định khách quan hơn: theo lập luận này, loại bỏ phán đoán của con người đồng nghĩa với loại bỏ thiên kiến của con người. Ngày càng có nhiều nghiên cứu bác bỏ quan điểm đó.

Các hệ thống AI học từ lịch sử của con người. Chúng được huấn luyện dựa trên các quyết định, ngôn ngữ, thể chế và, không thể tránh khỏi, cả những điểm mù của chúng ta. Khi các hệ thống này sàng lọc ứng viên, phân bổ dịch vụ chăm sóc sức khỏe hoặc đánh giá nhân viên, chúng có thể tái tạo những thiên kiến ấy ở quy mô và tốc độ mà không một cá nhân nào có thể sánh kịp.

Vấn đề lớn hơn là các quyết định ấy trông có vẻ trung lập. Một điểm số được đưa ra. Một thứ hạng xuất hiện. Một đề xuất được tạo ra. Không có dấu vết rõ ràng nào cho thấy những giả định đứng sau các kết quả đó, và không nhất thiết có ai trong phòng cảm thấy mình phải chịu trách nhiệm về kết quả.

Đó là lý do thiên kiến trong AI trước hết không phải là vấn đề của mô hình, mà là vấn đề quản trị. Có thể huấn luyện lại mô hình, nhưng những câu hỏi khó hơn thuộc về tổ chức: ai chịu trách nhiệm cho từng quyết định, hệ thống đang tối ưu hóa điều gì và ai có quyền chất vấn hệ thống.

Thiên kiến của con người đi vào AI rồi quay trở lại với tốc độ máy móc

Cơ chế này không có gì bí ẩn. Các mô hình khớp với những quy luật thống kê trong dữ liệu huấn luyện; khi các kết quả trong quá khứ (ai được tuyển dụng, ai được chăm sóc) đã hàm chứa sự phân biệt đối xử, mục tiêu mà mô hình học cách dự đoán đã bị lệch ngay từ đầu. Các nghiên cứu gần đây cho thấy điều này dễ xảy ra đến mức nào ở nhiều nhà cung cấp và loại tác vụ khác nhau:

• Tuyển dụng trên quy mô lớn. Một phân tích của Stanford về 4 triệu hồ sơ ứng tuyển thực tế cho thấy 26% ứng viên da đen và 15% ứng viên châu Á đã nộp đơn vào những vị trí mà hệ thống AI phân biệt đối xử với nhóm chủng tộc của họ. Các mô hình đã học từ hàng chục năm quyết định tuyển dụng của con người.
• Xếp hạng hồ sơ xin việc. Các nhà nghiên cứu tại University of Washington đã đánh giá hơn 550 hồ sơ xin việc thực tế bằng các mô hình ngôn ngữ hiện nay và phát hiện rằng những cái tên thường gắn với người da trắng được ưu tiên trong 85% trường hợp, trong khi tên của nam giới da đen hiếm khi được ưu tiên.
• Giao tiếp nơi làm việc. Nghiên cứu của Johns Hopkins được công bố hồi đầu năm nay cho thấy GPT-4, Llama, Gemma và Mistral tạo ra email công việc kém tinh tế và kém trang trọng hơn khi câu lệnh có chứa những kiểu ngôn ngữ thường gắn với phụ nữ.

Khi một hệ thống như vậy được đưa vào sử dụng, những quy luật ấy không còn chỉ là đặc điểm của dữ liệu huấn luyện mà trở thành một phần trong các quyết định thường ngày.

Mối nguy thực sự nằm ở quy mô và sự im lặng

Một nhà tuyển dụng có thiên kiến có thể sàng lọc hàng trăm hồ sơ xin việc trong một năm. Một hệ thống sàng lọc có thiên kiến có thể xử lý hàng triệu hồ sơ chỉ sau một đêm, áp dụng cùng một lối suy luận sai lệch cho từng hồ sơ. Quyết định có thiên kiến của một người thường là sự việc đơn lẻ; những quyết định có thiên kiến của một mô hình có thể nhanh chóng trở thành chính sách.

Lĩnh vực chăm sóc sức khỏe là một trong những ví dụ rõ ràng nhất. Một thuật toán được sử dụng rộng rãi, ảnh hưởng đến hàng triệu bệnh nhân, được thiết kế để xác định những người có thể hưởng lợi từ việc được chăm sóc thêm. Thuật toán chấm điểm bệnh nhân da đen khỏe mạnh hơn bệnh nhân da trắng có mức độ bệnh tương đương. Không ai viết ra một quy tắc phân biệt chủng tộc. Thuật toán dùng chi tiêu cho chăm sóc sức khỏe làm đại diện cho nhu cầu y tế; vì trong quá khứ, bệnh nhân da đen được chăm sóc ít hơn và do đó phát sinh mức chi tiêu thấp hơn, thuật toán đã xem mức chi tiêu thấp hơn là dấu hiệu sức khỏe tốt hơn. Theo phân tích của các nhà nghiên cứu đăng trên Science, nếu điều chỉnh riêng lựa chọn thiết kế đó, tỷ lệ bệnh nhân da đen được xác định là cần hỗ trợ thêm sẽ tăng từ 17.7% lên 46.5%.

Các hệ thống AI không chỉ phản ánh những chỉ số chúng ta cung cấp cho chúng mà còn phản ánh những giả định đằng sau các chỉ số ấy. Thiên kiến của con người cũng có thật; chỉ là khó nhận thấy và kiểm tra hơn. Vì vậy, giải pháp nằm ở việc cải thiện quản trị, chứ không phải từ bỏ tự động hóa.

Đưa trách nhiệm giải trình vào ngay trong quá trình ra quyết định

Cách triển khai AI phổ biến là chọn một mô hình, tích hợp vào quy trình làm việc, theo dõi hiệu suất rồi cải thiện dần theo thời gian. Khi kết quả của hệ thống ảnh hưởng đến con người, như vậy là chưa đủ.

Tôi gọi phương án thay thế là tích hợp thay vì chỉ triển khai: người chịu trách nhiệm phải tham gia trực tiếp vào quá trình ra quyết định và có thẩm quyền thực sự để thay đổi quyết định, thay vì chỉ xem bảng điều khiển mỗi quý sau khi mọi việc đã rồi. Cách này bắt đầu bằng ba bước:

1. Lập bản đồ mọi quyết định mà AI hiện sàng lọc, chấm điểm hoặc phê duyệt, đồng thời chỉ định một người cụ thể chịu trách nhiệm cho từng quyết định.
2. Kiểm tra dữ liệu lịch sử được đưa vào mô hình trước khi những dữ liệu đó trở thành chính sách.
3. Tạo điều kiện để có thể bác bỏ kết quả của mô hình một cách an toàn, đồng thời theo dõi tỷ lệ bác bỏ.

Bước thứ ba là quan trọng nhất. Nếu nhân viên hiểu rằng bất đồng với máy móc sẽ bị xem là sai lầm, họ sẽ ngừng làm vậy, và AI sẽ trở thành người ra quyết định trên thực tế dù về mặt kỹ thuật vẫn có con người “tham gia vào quy trình”. Câu hỏi không phải là con người có quyền quyết định cuối cùng hay không, mà là người đó có đủ thẩm quyền, thông tin và sự an toàn về mặt tâm lý để nói: “Máy móc sai rồi” hay không.

Huấn luyện lại có ích, nhưng thiên kiến len vào qua các quyết định: mô hình tối ưu hóa điều gì, dữ liệu nào được tính đến, ai kiểm tra kết quả. Đó mới là những điều cần xem xét. Việc này cũng đòi hỏi những người lãnh đạo về AI biết đặt câu hỏi vì sao hệ thống xếp hạng một thứ theo cách đó và có đủ thẩm quyền để hành động dựa trên câu trả lời.

Tỷ lệ ghi đè quyết định của hệ thống là một chỉ số hữu ích vì có thể được hiểu theo nhiều cách. Nếu mọi người hầu như không bao giờ ghi đè quyết định của hệ thống, có thể đơn giản là hệ thống chính xác. Nhưng cũng có thể họ đã học được rằng không an toàn khi bất đồng. Nếu chỉ những người cấp cao ghi đè quyết định, nhân viên cấp dưới có thể đã học cách im lặng, dù họ thường là những người gần gũi nhất với kết quả đầu ra và những người chịu ảnh hưởng. Mục tiêu không phải là không có trường hợp ghi đè nào. Mục tiêu là xây dựng một nền văn hóa trong đó việc ghi đè có căn cứ vững chắc được xem là dấu hiệu cho thấy hệ thống đang hoạt động đúng. Khi ai đó ghi đè quyết định của mô hình và hóa ra họ đúng, hãy kể rộng rãi câu chuyện đó. Đó có thể là tài liệu đào tạo AI tốt nhất mà công ty bạn từng tạo ra.

Đánh giá kết quả, không phải ý định

Các tổ chức không cần đợi đến khi xảy ra sự cố lớn mới bắt đầu phát hiện thiên kiến. Có thể tiến hành ngay ba phép kiểm tra:

1. So sánh có kiểm soát. Thực hiện cùng một tác vụ, chỉ thay đổi tín hiệu nhân khẩu học, chẳng hạn như tên trên sơ yếu lý lịch hoặc phương ngữ trong câu lệnh. Giữ nguyên mọi yếu tố khác, bao gồm mẫu câu lệnh và thứ tự đầu vào. Vì kết quả đầu ra của mô hình thay đổi qua mỗi lần chạy, hãy lặp lại từng cặp nhiều lần và sử dụng đủ số cặp để không thể xem chênh lệch là nhiễu ngẫu nhiên. Về cơ bản, đây là cách các nhà nghiên cứu phát hiện chênh lệch trong việc xếp hạng sơ yếu lý lịch và tạo nội dung giao tiếp tại nơi làm việc; một nhóm nội bộ cũng có thể thực hiện phiên bản đầu tiên chỉ trong một buổi chiều.
2. Kiểm tra biến đại diện. Với mỗi chỉ số mà hệ thống tối ưu hóa, hãy đặt hai câu hỏi: con số này thực sự đo lường điều gì, và có thể bỏ sót những ai? Thuật toán y tế không hề kém trong việc dự đoán chỉ số mà nó được chọn để dự đoán. Nó dự đoán chi phí rất tốt. Vấn đề là chi phí được dùng thay cho nhu cầu chăm sóc y tế. Một hệ thống có thể chính xác theo chỉ số của chính nó mà vẫn sai nghiêm trọng đối với những người chịu ảnh hưởng.
3. So sánh kết quả. So sánh tỷ lệ được lựa chọn hoặc được phê duyệt giữa các nhóm trong quá trình vận hành thực tế. Quy tắc kinh nghiệm 4/5 được áp dụng trong thực tiễn tuyển dụng ở Mỹ, theo đó một nhóm bị cảnh báo nếu tỷ lệ của nhóm đó thấp hơn 80% tỷ lệ của nhóm có tỷ lệ cao nhất, là phép sàng lọc ban đầu phổ biến. Hãy kết hợp phép kiểm tra này với việc theo dõi các trường hợp ghi đè quyết định đã nêu ở trên.

Các phép kiểm tra này có những hạn chế. Việc đổi tên giúp phát hiện các tín hiệu nhân khẩu học rõ ràng, nhưng không phát hiện được những biến đại diện như mã bưu chính, trường học hoặc khoảng trống trong quá trình làm việc; vì vậy, việc so sánh kết quả rất quan trọng. Các biện pháp giảm thiểu về mặt kỹ thuật (điều chỉnh trọng số dữ liệu huấn luyện, bổ sung các ràng buộc về công bằng, điều chỉnh ngưỡng quyết định) có thể thu hẹp chênh lệch, nhưng buộc chúng ta phải lựa chọn. Nghiên cứu của Kleinberg, Mullainathan và Raghavan, cũng như nghiên cứu riêng của Chouldechova, cho thấy khi các nhóm có tỷ lệ nền khác nhau, nhìn chung mô hình không thể đồng thời đáp ứng yêu cầu hiệu chuẩn và đạt tỷ lệ lỗi bằng nhau. Việc ưu tiên định nghĩa nào về công bằng không phải là câu hỏi mà mô hình có thể trả lời. Đó là quyết định mà một người phải chịu trách nhiệm và ghi lại thành văn bản; điều này đưa vấn đề trở lại với công tác quản trị.

Đánh giá tính công bằng song song với độ chính xác

Quá thường xuyên, tính công bằng bị xem là một sáng kiến riêng, được bộ phận nhân sự hoặc pháp chế rà soát sau khi nhóm kỹ thuật đã đánh giá độ chính xác, hiệu quả và chi phí. Chính sự tách biệt đó cũng là một phần của vấn đề. Cần xem xét tính công bằng trong cùng cuộc họp với độ chính xác và chi phí, với mức độ trách nhiệm giải trình tương đương và một người phụ trách được chỉ định.

Cuộc trao đổi đó cần có sự tham gia của bộ phận nhân sự và pháp chế, đồng thời cũng cần có những người từng bị các hệ thống như thế này đánh giá sai. Những người từng bị đánh giá thấp thường là những người đầu tiên nhận ra điều mà hệ thống bỏ sót. Đây là ý tưởng cốt lõi trong cuốn sách của tôi, The Bias Advantage: một khi được đưa vào quá trình ra quyết định, những góc nhìn mà các tổ chức trước đây thường bỏ qua sẽ trở thành nguồn hiểu biết sâu sắc đầy giá trị.

Mục tiêu không phải là tạo ra một hệ thống AI không bao giờ mắc lỗi, vì điều đó là không thực tế. Mục tiêu là xây dựng một tổ chức có thể nhận ra khi AI sai, hiểu lý do và can thiệp trước khi sai sót đó trở thành thực tế đối với người khác.