Bộ kiểm tra thiên vị AI cho các bài báo, có sẵn trên Python

Các nhà nghiên cứu tại Canada, Ấn Độ, Trung Quốc và Úc đã hợp tác để sản xuất một gói Python miễn phí có thể được sử dụng hiệu quả để phát hiện và thay thế ‘ngôn ngữ không công bằng’ trong bản sao tin tức.

Hệ thống, có tên Dbias, sử dụng các công nghệ học máy và cơ sở dữ liệu khác nhau để phát triển một quy trình làm việc tròn ba giai đoạn có thể tinh chỉnh văn bản thiên vị cho đến khi nó trả về một phiên bản không thiên vị hoặc ít nhất là trung lập hơn.

Ngôn ngữ tải trong một đoạn tin tức được xác định là ‘thiên vị’ được chuyển đổi thành một phiên bản ít gây kích động hơn bởi Dbias. Source: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Hệ thống đại diện cho một đường ống tái sử dụng và tự chứa có thể được cài đặt qua Pip từ Hugging Face, và tích hợp vào các dự án hiện có như một giai đoạn bổ sung, phần bổ sung hoặc plugin.

Vào tháng 4, chức năng tương tự được triển khai trong Google Docs đã bị chỉ trích, không chỉ vì thiếu khả năng chỉnh sửa. Dbias, mặt khác, có thể được đào tạo một cách chọn lọc hơn trên bất kỳ corpus tin tức nào mà người dùng cuối muốn, giữ lại khả năng phát triển các hướng dẫn công bằng tùy chỉnh.

Sự khác biệt quan trọng là đường ống Dbias được thiết kế để tự động chuyển đổi ‘ngôn ngữ tải’ (các từ thêm một lớp quan trọng vào giao tiếp thực tế) thành ngôn ngữ trung lập hoặc prosaic, chứ không phải để hướng dẫn người dùng một cách liên tục. Về cơ bản, người dùng cuối sẽ xác định các bộ lọc đạo đức và đào tạo hệ thống theo đó; trong cách tiếp cận của Google Docs, hệ thống đang – có thể – đào tạo người dùng, theo một cách đơn phương.

Kiến trúc khái niệm cho quy trình làm việc Dbias.

Theo các nhà nghiên cứu, Dbias là gói phát hiện thiên vị có thể cấu hình đầu tiên, trái ngược với các dự án lắp ráp ngoài hộp đã đặc trưng cho phân khúc này của Xử lý Ngôn ngữ Tự nhiên (NLP) cho đến nay.

Bài báo mới có tiêu đề Một cách tiếp cận để đảm bảo công bằng trong các bài báo tin tức, và đến từ các tác giả tại Đại học Toronto, Đại học Metropolitan Toronto, Quản lý Tài nguyên Môi trường tại Bangalore, Học viện Khoa học DeepBlue tại Trung Quốc và Đại học Sydney.

Phương pháp

Mô-đun đầu tiên trong Dbias là Phát hiện thiên vị, tận dụng gói DistilBERT – một phiên bản được tối ưu hóa cao của BERT của Google. Đối với dự án, DistilBERT đã được tinh chỉnh trên tập dữ liệu chú thích thiên vị truyền thông (MBIC).

MBIC bao gồm các bài báo tin tức từ nhiều nguồn truyền thông khác nhau, bao gồm Huffington Post, USA Today và MSNBC. Các nhà nghiên cứu đã sử dụng phiên bản mở rộng của tập dữ liệu.

Mặc dù dữ liệu ban đầu được chú thích bởi các công nhân được phân loại (một phương pháp đã bị chỉ trích vào cuối năm 2021), các nhà nghiên cứu của bài báo mới đã có thể xác định các trường hợp thiên vị chưa được chú thích bổ sung trong tập dữ liệu và thêm chúng một cách thủ công. Các trường hợp thiên vị được xác định liên quan đến chủng tộc, giáo dục, dân tộc, ngôn ngữ, tôn giáo và giới tính.

Mô-đun tiếp theo, Nhận dạng thiên vị, sử dụng Nhận dạng Thực thể Được đặt tên (NER) để phân biệt các từ thiên vị từ văn bản đầu vào. Bài báo tuyên bố:

‘Ví dụ, tin tức “Đừng mua sự cường điệu không khoa học về xoáy thuận và biến đổi khí hậu” đã được phân loại là thiên vị bởi mô-đun phát hiện thiên vị trước đó, và mô-đun nhận dạng thiên vị có thể xác định thuật ngữ “sự cường điệu không khoa học” là một từ thiên vị.’

NER không được thiết kế đặc biệt cho nhiệm vụ này, nhưng đã được sử dụng trước đó để xác định thiên vị, đáng chú ý cho một dự án năm 2021 từ Đại học Durham ở Anh.

Đối với giai đoạn này, các nhà nghiên cứu đã sử dụng RoBERTa kết hợp với đường ống NER SpaCy Transformer tiếng Anh.

Giai đoạn tiếp theo, Che giấu thiên vị, liên quan đến một mặt nạ đa dạng của các từ thiên vị được xác định, hoạt động tuần tự trong trường hợp có nhiều từ thiên vị được xác định.

Ngôn ngữ tải được thay thế bằng ngôn ngữ thực dụng trong giai đoạn thứ ba của Dbias. Lưu ý rằng ‘nói’ và ‘sử dụng’ tương đương với cùng một hành động, mặc dù cái trước được coi là miệt thị.

Khi cần, phản hồi từ giai đoạn này sẽ được gửi lại đến đầu của đường ống để đánh giá thêm cho đến khi một số cụm từ hoặc từ thay thế phù hợp đã được tạo.

Giai đoạn này sử dụng Mô hình hóa Ngôn ngữ Được che giấu (MLM) dọc theo các dòng được thiết lập bởi một hợp tác năm 2021 do Facebook Research dẫn đầu.

Thông thường, nhiệm vụ MLM sẽ che giấu 15% từ một cách ngẫu nhiên, nhưng quy trình làm việc Dbias thay vào đó cho quá trình biết rằng các từ thiên vị được xác định sẽ được sử dụng làm đầu vào.

Kiến trúc được triển khai và đào tạo trên Google Colab Pro trên một NVIDIA P100 với 24GB VRAM tại kích thước lô 16, sử dụng chỉ hai nhãn (thiên vị và không thiên vị).

Thử nghiệm

Các nhà nghiên cứu đã thử nghiệm Dbias chống lại năm phương pháp tương đương: LG-TFIDF với Hồi quy Logistic và TfidfVectorizer (TFIDF) word embeddings; LG-ELMO; MLP-ELMO (một mạng nơ-ron nhân tạo feed-forward chứa ELMO embeddings); BERT; và RoBERTa.

Các chỉ số được sử dụng cho các thử nghiệm là độ chính xác (ACC), độ chính xác (PREC), độ nhớ (Rec) và điểm F1. Vì các nhà nghiên cứu không biết về bất kỳ hệ thống nào có thể thực hiện tất cả ba nhiệm vụ trong một đường ống đơn, sự miễn trừ đã được thực hiện cho các khung cạnh tranh, bằng cách đánh giá chỉ các nhiệm vụ chính của Dbias – phát hiện thiên vị và nhận dạng.

Kết quả từ các thử nghiệm Dbias.

Dbias đã thành công trong việc vượt qua kết quả từ tất cả các khung cạnh tranh, bao gồm cả những khung có dấu ấn xử lý nặng hơn

Bài báo tuyên bố:

‘Kết quả cũng cho thấy rằng các bản nhúng mạng nơ-ron sâu nói chung có thể vượt trội hơn các phương pháp nhúng truyền thống (ví dụ: TFIDF) trong nhiệm vụ phân loại thiên vị. Điều này được thể hiện bởi hiệu suất tốt hơn của các bản nhúng mạng nơ-ron sâu (ví dụ: ELMO) so với vector hóa TFIDF khi được sử dụng với LG. ‘

‘Điều này có thể là do các bản nhúng mạng nơ-ron sâu có thể nắm bắt được ngữ cảnh của các từ trong văn bản trong các ngữ cảnh khác nhau. Các bản nhúng mạng nơ-ron sâu và các phương pháp mạng nơ-ron sâu (MLP, BERT, RoBERTa) cũng hoạt động tốt hơn các phương pháp ML truyền thống (LG).’

Các nhà nghiên cứu cũng lưu ý rằng các phương pháp dựa trên Transformer vượt trội hơn các phương pháp cạnh tranh trong việc phát hiện thiên vị.

Một thử nghiệm bổ sung liên quan đến việc so sánh Dbias với các hương vị khác nhau của SpaCy Core Web, bao gồm core-sm (nhỏ), core-md (trung bình) và core-lg (lớn). Dbias đã dẫn đầu bảng trong các thử nghiệm này:

Các nhà nghiên cứu kết luận bằng cách quan sát rằng các nhiệm vụ nhận dạng thiên vị nói chung cho thấy độ chính xác tốt hơn trong các mô hình lớn hơn và tốn kém hơn, do – họ suy đoán – số lượng tham số và điểm dữ liệu tăng lên. Họ cũng quan sát thấy rằng hiệu quả của công việc trong tương lai trong lĩnh vực này sẽ phụ thuộc vào nỗ lực lớn hơn để chú thích các tập dữ liệu chất lượng cao.

Rừng và cây

Hy vọng rằng loại dự án nhận dạng thiên vị tinh tế này cuối cùng sẽ được tích hợp vào các khuôn khổ tìm kiếm thiên vị có thể có cái nhìn ít gần hơn, và xem xét rằng việc lựa chọn bao phủ bất kỳ câu chuyện nào là một hành động thiên vị bản thân, có thể được thúc đẩy bởi nhiều hơn chỉ là thống kê xem.