Lực lượng lao động ‘vô hình’, thường không hạnh phúc, quyết định tương lai của Trí tuệ nhân tạo

Hai báo cáo mới, bao gồm một bài báo do Google Research dẫn đầu, bày tỏ lo ngại rằng xu hướng hiện tại là dựa vào một nhóm lao động tự do giá rẻ và thường bị tước quyền trên toàn cầu để tạo ra sự thật cơ bản cho các hệ thống học máy có thể có những tác động đáng kể về hạ nguồn cho Trí tuệ nhân tạo.

Trong số nhiều kết luận, nghiên cứu của Google cho thấy rằng những thành kiến của chính những công nhân này có thể sẽ được nhúng vào các hệ thống Trí tuệ nhân tạo mà sự thật cơ bản của chúng sẽ dựa trên phản hồi của họ; rằng những hành vi lao động không công bằng phổ biến (bao gồm cả ở Mỹ) trên các nền tảng lao động tự do có thể làm giảm chất lượng phản hồi; và rằng hệ thống ‘đa số’ (tương tự như một ‘cuộc bầu cử nhỏ’ cho một số sự thật cơ bản sẽ ảnh hưởng đến các hệ thống Trí tuệ nhân tạo hạ nguồn) hiện đang giải quyết các tranh chấp thực sự có thể bỏ qua phản hồi tốt nhất và/hoặc thông tin nhất.

Đó là tin xấu; tin xấu hơn là hầu như tất cả các biện pháp khắc phục đều tốn kém, mất thời gian, hoặc cả hai.

Bất an, Từ chối ngẫu nhiên và Cảm xúc tiêu cực

Bài báo đầu tiên này, từ năm nhà nghiên cứu của Google, có tiêu đề Whose Ground Truth? Accounting for Individual and Collective Identities Underlying Dataset Annotation; bài báo thứ hai, từ hai nhà nghiên cứu tại Đại học Syracuse ở New York, có tiêu đề The Origin and Value of Disagreement Among Data Labelers: A Case Study of Individual Differences in Hate Speech Annotation.

Bài báo của Google lưu ý rằng những công nhân tự do – những người thường đánh giá cơ bản cho các hệ thống học máy có thể ảnh hưởng đến cuộc sống của chúng ta – thường hoạt động dưới nhiều hạn chế có thể ảnh hưởng đến cách họ phản hồi các nhiệm vụ thử nghiệm.

Chẳng hạn, các chính sách hiện tại của Amazon Mechanical Turk cho phép người yêu cầu (những người đưa ra nhiệm vụ) từ chối công việc của một người ghi nhãn mà không có trách nhiệm*:

‘[Số lượng lớn những công nhân tự do (94%) đã có công việc bị từ chối hoặc không được trả lương. Tuy nhiên, người yêu cầu vẫn giữ toàn quyền đối với dữ liệu họ nhận được, bất kể họ có chấp nhận hoặc từ chối nó; Roberts (2016) mô tả hệ thống này là một hệ thống “cho phép đánh cắp tiền lương”.

‘Hơn nữa, từ chối công việc và giữ lại tiền lương rất đau đớn vì từ chối thường do hướng dẫn không rõ ràng và thiếu kênh phản hồi có ý nghĩa; nhiều công nhân tự do báo cáo rằng giao tiếp kém ảnh hưởng tiêu cực đến công việc của họ.’

Các tác giả khuyên rằng các nhà nghiên cứu sử dụng dịch vụ ngoài để phát triển tập dữ liệu nên xem xét cách một nền tảng lao động tự do đối xử với công nhân của họ. Họ cũng lưu ý rằng ở Hoa Kỳ, những công nhân tự do được phân loại là ‘nhân viên độc lập’, với công việc không được quản lý và không được bảo vệ bởi lương tối thiểu theo Đạo luật Tiêu chuẩn Lao động Công bằng.

Hoàn cảnh quan trọng

Bài báo cũng chỉ trích việc sử dụng lao động tự do toàn cầu ad hoc cho các nhiệm vụ ghi nhãn, mà không xem xét đến nền tảng của người ghi nhãn.

Khi ngân sách cho phép, thông thường các nhà nghiên cứu sử dụng AMT và các nền tảng lao động tự do tương tự sẽ đưa ra cùng một nhiệm vụ cho bốn người ghi nhãn và tuân theo ‘quy tắc đa số’ về kết quả.

Kinh nghiệm hoàn cảnh, bài báo lập luận, là đáng chú ý khi bị coi nhẹ. Chẳng hạn, nếu một câu hỏi liên quan đến phân biệt chủng tộc được phân phối ngẫu nhiên giữa ba người đàn ông đồng ý tuổi từ 18-57 và một người phụ nữ không đồng ý tuổi 29, phán quyết của những người đàn ông sẽ thắng, trừ khi trong những trường hợp hiếm hoi khi các nhà nghiên cứu chú ý đến trình độ của những người ghi nhãn.

Tương tự, nếu một câu hỏi về hành vi băng đảng ở Chicago được phân phối giữa một phụ nữ nông thôn ở Mỹ tuổi 36, một người đàn ông cư trú ở Chicago tuổi 42 và hai người ghi nhãn từ Bangalore và Đan Mạch, người có khả năng bị ảnh hưởng nhiều nhất bởi vấn đề (người đàn ông Chicago) chỉ nắm giữ một phần tư cổ phần trong kết quả, trong một cấu hình ngoài nguồn thông thường.

Các nhà nghiên cứu tuyên bố:

‘[Khái niệm] “một sự thật” trong phản hồi của lao động tự do là một huyền thoại; sự không đồng ý giữa những người ghi nhãn, thường được coi là tiêu cực, thực sự có thể cung cấp một tín hiệu có giá trị. Thứ hai, vì nhiều nhóm lao động tự do được phân chia theo dân số học, có những ảnh hưởng đến dân số được đại diện trong tập dữ liệu cũng như những dân số phải đối mặt với thách thức của [lao động tự do].

‘Tính đến sự phân chia trong nhân khẩu học của những người ghi nhãn là điều quan trọng để đặt câu hỏi về tập dữ liệu và đảm bảo sử dụng có trách nhiệm về hạ nguồn. Tóm lại, có giá trị trong việc công nhận và tính đến nền tảng xã hội – văn hóa của công nhân — cả từ quan điểm chất lượng dữ liệu và tác động xã hội.’

Không có ‘Quan điểm trung lập’ về các Chủ đề Nóng

Ngay cả khi quan điểm của bốn người ghi nhãn không bị phân chia, dù theo dân số học hay theo một số tiêu chí khác, bài báo của Google bày tỏ lo ngại rằng các nhà nghiên cứu không tính đến kinh nghiệm sống hoặc khuynh hướng triết học của những người ghi nhãn:

‘Trong khi một số nhiệm vụ có xu hướng đặt ra câu hỏi khách quan với một câu trả lời đúng (có một khuôn mặt người trong hình ảnh?), thường thì các tập dữ liệu nhằm mục đích thu thập phán quyết về các nhiệm vụ chủ quan với không có câu trả lời đúng phổ quát (liệu văn bản này có gây xúc phạm?). Điều quan trọng là phải có chủ đích về việc liệu có dựa vào phán quyết chủ quan của những người ghi nhãn.’

Liên quan đến phạm vi cụ thể của nó để giải quyết các vấn đề trong việc ghi nhãn ngôn từ căm thù, bài báo của Syracuse lưu ý rằng các câu hỏi mang tính chất hơn như Liệu có một con mèo trong bức ảnh này? khác biệt đáng kể so với việc hỏi một người lao động tự do liệu một cụm từ có độc hại hay không:

‘Hãy xem xét sự phức tạp của thực tế xã hội, nhận thức của con người về sự độc hại thay đổi đáng kể. Nhãn của họ về nội dung độc hại dựa trên nhận thức của riêng họ.’

Phát hiện ra rằng tính cách và tuổi tác có ảnh hưởng đáng kể đến việc ghi nhãn kích thước của ngôn từ căm thù, các nhà nghiên cứu của Syracuse kết luận:

‘Những phát hiện này cho thấy rằng nỗ lực để có được sự nhất quán trong việc ghi nhãn giữa những người ghi nhãn có nền tảng và tính cách khác nhau đối với ngôn từ căm thù có thể không bao giờ thành công hoàn toàn.’

Thẩm phán cũng có thể bị thiên vị

Thiếu khách quan này có thể lặp lại khi đi lên, theo bài báo của Syracuse, cho rằng can thiệp thủ công (hoặc chính sách tự động, cũng được quyết định bởi con người) quyết định ‘người chiến thắng’ của cuộc bỏ phiếu đồng thuận cũng nên được xem xét.

So sánh quá trình này với việc điều tiết diễn đàn, các tác giả tuyên bố*:

‘[Người điều tiết cộng đồng] có thể quyết định số phận của cả bài đăng và người dùng trong cộng đồng của họ bằng cách quảng bá hoặc ẩn bài đăng, cũng như vinh danh, làm nhục hoặc cấm người dùng. Quyết định của người điều tiết ảnh hưởng đến nội dung được gửi đến thành viên cộng đồng và khán giả và theo cách mở rộng cũng ảnh hưởng đến kinh nghiệm của cộng đồng về cuộc thảo luận.

‘Giả sử rằng một người điều tiết là một thành viên của cộng đồng có tính đồng nhất về dân số với các thành viên khác của cộng đồng, dường như có thể rằng lược đồ tinh thần mà họ sử dụng để đánh giá nội dung sẽ phù hợp với những người khác trong cộng đồng.’

Điều này cung cấp một số gợi ý về lý do tại sao các nhà nghiên cứu của Syracuse đã đi đến một kết luận bi quan như vậy về tương lai của việc ghi nhãn ngôn từ căm thù; ý nghĩa là các chính sách và quyết định phán xét về ý kiến khác biệt trong lao động tự do không thể chỉ được áp dụng một cách ngẫu nhiên theo các nguyên tắc ‘chấp nhận được’ không được ghi chép lại (hoặc không thể giảm xuống thành một lược đồ áp dụng được, ngay cả khi chúng tồn tại).

Các cá nhân đưa ra quyết định (công nhân tự do) bị thiên vị, và sẽ vô ích cho những nhiệm vụ như vậy nếu họ không bị thiên vị, vì nhiệm vụ là cung cấp một phán quyết giá trị; những người phán quyết về tranh chấp trong kết quả lao động tự do cũng đưa ra phán quyết giá trị khi thiết lập chính sách cho tranh chấp.

Có thể có hàng trăm chính sách trong chỉ một khuôn khổ phát hiện ngôn từ căm thù, và trừ khi mỗi chính sách được đưa ra trước Tòa án Tối cao, nơi ‘đồng thuận có thẩm quyền’ có thể bắt nguồn?

Các nhà nghiên cứu của Google đề xuất rằng ‘[sự không đồng ý] giữa những người ghi nhãn có thể nhúng các sắc thái quý giá về nhiệm vụ’. Bài báo đề xuất việc sử dụng siêu dữ liệu trong tập dữ liệu phản ánh và đặt câu hỏi về tranh chấp.

Tuy nhiên, khó có thể thấy làm thế nào một lớp dữ liệu cụ thể về hoàn cảnh như vậy có thể dẫn đến các chỉ số tương tự, thích ứng với nhu cầu của các thử nghiệm tiêu chuẩn đã thiết lập, hoặc hỗ trợ bất kỳ kết quả quyết định – ngoại trừ trong kịch bản không thực tế là áp dụng cùng một nhóm nhà nghiên cứu trên các công việc tiếp theo.

Chọn lọc nhóm người ghi nhãn

Tất cả những điều này đều giả định rằng có ngân sách trong một dự án nghiên cứu cho nhiều ghi nhãn sẽ dẫn đến một cuộc bỏ phiếu đồng thuận. Trong nhiều trường hợp, các nhà nghiên cứu cố gắng ‘chọn lọc’ nhóm ghi nhãn ngoài nguồn một cách rẻ hơn bằng cách chỉ định các đặc điểm mà công nhân nên có, chẳng hạn như vị trí địa lý, giới tính hoặc các yếu tố văn hóa khác, trao đổi sự đa dạng cho sự cụ thể.

Bài báo của Google cho rằng con đường tiến bộ từ những thách thức này có thể là thiết lập các khuôn khổ giao tiếp mở rộng với những người ghi nhãn, tương tự như giao tiếp tối thiểu mà ứng dụng Uber tạo điều kiện giữa một tài xế và một hành khách.

Sự xem xét cẩn thận như vậy về những người ghi nhãn sẽ, tự nhiên, là một chướng ngại vật đối với việc ngoài nguồn với quy mô siêu lớn, dẫn đến các tập dữ liệu hạn chế và thấp hơn về khối lượng có lý do tốt hơn cho kết quả của chúng, hoặc một ‘đánh giá nhanh’ về những người ghi nhãn tham gia, thu được thông tin hạn chế về họ và mô tả họ là ‘phù hợp với nhiệm vụ’ dựa trên quá ít thông tin.

Đó là nếu những người ghi nhãn đang trung thực.

‘Những người làm hài lòng’ trong ghi nhãn tập dữ liệu ngoài nguồn

Với một lực lượng lao động được trả thấp hơn 40% lương tối thiểu của Mỹ, dưới sự cạnh tranh gay gắt cho các nhiệm vụ có sẵn, và bị đổ bể về triển vọng nghề nghiệp, những người ghi nhãn được мотив để nhanh chóng cung cấp ‘câu trả lời đúng’ và chuyển sang nhiệm vụ nhỏ tiếp theo.

Nếu ‘câu trả lời đúng’ là bất cứ điều gì phức tạp hơn Có mèo / Không có mèo, bài báo của Syracuse cho rằng công nhân sẽ cố gắng suy luận ra một ‘câu trả lời chấp nhận được’ dựa trên nội dung và hoàn cảnh của câu hỏi*:

‘Cả sự phổ biến của các khái niệm thay thế và việc sử dụng rộng rãi các phương pháp ghi nhãn đơn giản có thể cản trở tiến bộ của nghiên cứu về ngôn từ căm thù trên mạng. Ví dụ, Ross và cộng sự phát hiện rằng việc hiển thị định nghĩa về hành vi căm thù của Twitter cho những người ghi nhãn khiến họ một phần căn chỉnh ý kiến của mình với định nghĩa. Sự căn chỉnh này dẫn đến độ tin cậy giữa các người ghi nhãn rất thấp của các ghi nhãn.’

* Sự chuyển đổi của tôi từ trích dẫn nội tuyến của bài báo sang siêu liên kết.

Được xuất bản ngày 13 tháng 12 năm 2021 – Cập nhật ngày 18 tháng 12 năm 2021: Thêm thẻ