Bộ kiểm tra thiên vị AI dành cho các bài báo tin tức, có sẵn trên Python

Những nhà nghiên cứu tại Canada, Ấn Độ, Trung Quốc và Úc đã hợp tác để tạo ra một gói Python miễn phí có thể được sử dụng hiệu quả để phát hiện và thay thế ‘ngôn ngữ không công bằng’ trong các bài viết tin tức.

Hệ thống, có tên Dbias, sử dụng các công nghệ học máy và cơ sở dữ liệu khác nhau để phát triển một quy trình làm việc tròn ba giai đoạn có thể tinh chỉnh văn bản thiên vị cho đến khi nó trả về một phiên bản không thiên vị hoặc ít nhất là trung lập hơn.

Ngôn ngữ tải trong một đoạn tin tức được xác định là ‘thiên vị’ được chuyển đổi thành một phiên bản ít gây kích động hơn bởi Dbias. Nguồn: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Hệ thống này đại diện cho một quy trình tái sử dụng và tự chứa có thể được cài đặt qua Pip từ Hugging Face và tích hợp vào các dự án hiện có như một giai đoạn bổ sung, tiện ích hoặc plugin.

Vào tháng 4, một chức năng tương tự được thực hiện trong Google Docs đã bị chỉ trích, không chỉ vì thiếu khả năng chỉnh sửa. Dbias, mặt khác, có thể được đào tạo một cách chọn lọc trên bất kỳ corpus tin tức nào mà người dùng cuối muốn, giữ lại khả năng phát triển các hướng dẫn công bằng tùy chỉnh.

Sự khác biệt quan trọng là quy trình Dbias được thiết kế để tự động chuyển đổi ‘ngôn ngữ tải’ (các từ thêm một lớp quan trọng vào giao tiếp thực tế) thành ngôn ngữ trung lập hoặc đơn giản, chứ không phải để hướng dẫn người dùng một cách liên tục. Về cơ bản, người dùng cuối sẽ xác định các bộ lọc đạo đức và đào tạo hệ thống theo đó; trong cách tiếp cận của Google Docs, hệ thống đang – có thể nói là – đào tạo người dùng, theo một cách đơn phương.

Kiến trúc khái niệm cho quy trình Dbias.

Theo các nhà nghiên cứu, Dbias là gói phát hiện thiên vị đầu tiên thực sự có thể cấu hình, trái ngược với các dự án lắp ráp sẵn đã đặc trưng cho phân khúc này của Xử lý Ngôn ngữ Tự nhiên (NLP) cho đến nay.

Bài báo mới có tiêu đề Một phương pháp để đảm bảo công bằng trong các bài báo tin tức, và đến từ các nhà đóng góp tại Đại học Toronto, Đại học Metropolitan Toronto, Quản lý Tài nguyên Môi trường tại Bangalore, Học viện Khoa học DeepBlue tại Trung Quốc và Đại học Sydney.

Phương pháp

Module đầu tiên trong Dbias là Phát hiện thiên vị, nó tận dụng gói DistilBERT – một phiên bản được tối ưu hóa cao của BERT của Google. Đối với dự án, DistilBERT đã được tinh chỉnh trên tập dữ liệu chú thích thiên vị truyền thông (MBIC).

MBIC bao gồm các bài báo tin tức từ nhiều nguồn truyền thông khác nhau, bao gồm Huffington Post, USA Today và MSNBC. Các nhà nghiên cứu đã sử dụng phiên bản mở rộng của tập dữ liệu.

Mặc dù dữ liệu ban đầu được chú thích bởi các công nhân được huy động (một phương pháp đã bị chỉ trích vào cuối năm 2021), các nhà nghiên cứu của bài báo mới đã có thể xác định các trường hợp thiên vị không được chú thích thêm trong tập dữ liệu và thêm chúng thủ công. Các trường hợp thiên vị được xác định liên quan đến chủng tộc, giáo dục, dân tộc, ngôn ngữ, tôn giáo và giới tính.

Module tiếp theo, Nhận dạng thiên vị, sử dụng Nhận dạng thực thể có tên (NER) để phân biệt các từ thiên vị từ văn bản đầu vào. Bài báo cho biết:

‘Ví dụ, tin tức “Đừng mua sự cường điệu không khoa học về xoáy thuận và biến đổi khí hậu” đã được phân loại là thiên vị bởi module phát hiện thiên vị trước đó, và module nhận dạng thiên vị có thể xác định từ “cường điệu không khoa học” là một từ thiên vị.’

NER không được thiết kế đặc biệt cho nhiệm vụ này, nhưng đã được sử dụng trước đây để xác định thiên vị, đáng chú ý là cho một dự án năm 2021 từ Đại học Durham ở Anh.

Đối với giai đoạn này, các nhà nghiên cứu đã sử dụng RoBERTa kết hợp với đường ống NER Transformer tiếng Anh của SpaCy.

Giai đoạn tiếp theo, Che giấu thiên vị, liên quan đến một mặt nạ thiên vị nhiều lần của các từ thiên vị được xác định, hoạt động tuần tự trong trường hợp có nhiều từ thiên vị được xác định.

Ngôn ngữ tải được thay thế bằng ngôn ngữ thực tế trong giai đoạn thứ ba của Dbias. Lưu ý rằng ‘nói’ và ‘sử dụng’ tương đương với cùng một hành động, mặc dù cái trước được coi là miệt thị.

Khi cần, phản hồi từ giai đoạn này sẽ được gửi lại đến đầu quy trình để đánh giá thêm cho đến khi một số cụm từ hoặc từ thay thế phù hợp đã được tạo ra. Giai đoạn này sử dụng Mô hình hóa ngôn ngữ có mặt nạ (MLM) dọc theo các đường lối được thiết lập bởi một hợp tác năm 2021 do Facebook Research dẫn đầu.

Thông thường, nhiệm vụ MLM sẽ che giấu 15% từ một cách ngẫu nhiên, nhưng quy trình Dbias thay vào đó cho quá trình lấy các từ thiên vị được xác định làm đầu vào.

Kiến trúc đã được thực hiện và đào tạo trên Google Colab Pro trên một NVIDIA P100 với 24GB VRAM tại kích thước batch 16, sử dụng chỉ hai nhãn (thiên vị và không thiên vị).

Thử nghiệm

Các nhà nghiên cứu đã thử nghiệm Dbias chống lại năm phương pháp so sánh: LG-TFIDF với Hồi quy Logistic và TfidfVectorizer (TFIDF) nhúng từ; LG-ELMO; MLP-ELMO (một mạng nơ-ron nhân tạo cấp tiến chứa nhúng ELMO); BERT; và RoBERTa.

Các chỉ số được sử dụng cho các thử nghiệm là độ chính xác (ACC), độ chính xác (PREC), độ nhớ (Rec) và điểm F1. Vì các nhà nghiên cứu không biết về bất kỳ hệ thống nào có thể thực hiện tất cả ba nhiệm vụ trong một quy trình đơn, sự miễn trừ đã được thực hiện cho các khuôn khổ cạnh tranh, bằng cách đánh giá chỉ các nhiệm vụ chính của Dbias – phát hiện thiên vị và nhận dạng.

Kết quả từ các thử nghiệm Dbias.

Dbias đã thành công trong việc vượt qua kết quả từ tất cả các khuôn khổ cạnh tranh, bao gồm cả những khuôn khổ có dấu chân xử lý nặng hơn

Bài báo cho biết:

‘Kết quả cũng cho thấy rằng các nhúng sâu của mạng nơ-ron, nói chung, có thể vượt qua các phương pháp nhúng truyền thống (ví dụ: TFIDF) trong nhiệm vụ phân loại thiên vị. Điều này được thể hiện bởi hiệu suất tốt hơn của các nhúng sâu của mạng nơ-ron (ví dụ: ELMO) so với vector hóa TFIDF khi được sử dụng với LG. ‘

‘Điều này có thể là do các nhúng sâu của mạng nơ-ron có thể nắm bắt được ngữ cảnh của các từ trong văn bản trong các ngữ cảnh khác nhau. Các nhúng sâu của mạng nơ-ron và các phương pháp mạng nơ-ron sâu (MLP, BERT, RoBERTa) cũng hoạt động tốt hơn so với phương pháp ML truyền thống (LG).’

Các nhà nghiên cứu cũng lưu ý rằng các phương pháp dựa trên Transformer vượt qua các phương pháp cạnh tranh trong việc phát hiện thiên vị.

Một thử nghiệm bổ sung liên quan đến việc so sánh giữa Dbias và các hương vị khác nhau của SpaCy Core Web, bao gồm core-sm (nhỏ), core-md (trung bình) và core-lg (lớn). Dbias đã dẫn đầu bảng trong các thử nghiệm này:

Các nhà nghiên cứu kết luận bằng cách quan sát rằng các nhiệm vụ nhận dạng thiên vị thường cho thấy độ chính xác tốt hơn trong các mô hình lớn hơn và tốn kém hơn, do – họ suy đoán – số lượng tham số và điểm dữ liệu tăng lên. Họ cũng quan sát thấy rằng hiệu quả của công việc trong tương lai trong lĩnh vực này sẽ phụ thuộc vào nỗ lực lớn hơn để chú thích các tập dữ liệu chất lượng cao.

Rừng và cây

Hy vọng rằng loại dự án nhận dạng thiên vị tinh vi này sẽ cuối cùng được kết hợp vào các khuôn khổ tìm kiếm thiên vị có khả năng xem xét một cách ít cận thị hơn và xem xét việc chọn bất kỳ câu chuyện cụ thể nào là một hành động thiên vị có khả năng được thúc đẩy bởi nhiều hơn chỉ là thống kê xem.

Được xuất bản lần đầu vào ngày 14 tháng 7 năm 2022.