Nghiên cứu mới nhằm cải thiện các thuật toán phát hiện ngôn từ căm thù

Các công ty truyền thông xã hội, đặc biệt là Twitter, đã phải đối mặt với sự chỉ trích về cách họ đánh dấu ngôn từ và quyết định tài khoản nào bị cấm. Vấn đề cơ bản gần như luôn liên quan đến các thuật toán mà họ sử dụng để theo dõi các bài đăng trực tuyến. Các hệ thống trí tuệ nhân tạo còn lâu mới hoàn hảo khi thực hiện nhiệm vụ này, nhưng luôn có những công việc được thực hiện để cải thiện chúng.

Bao gồm trong công việc đó là một nghiên cứu mới từ Đại học Southern California nhằm giảm thiểu một số lỗi có thể dẫn đến thiên vị chủng tộc.

Không nhận ra ngữ cảnh

Một trong những vấn đề không nhận được sự chú ý nhiều là các thuật toán được thiết kế để ngăn chặn sự lan truyền của ngôn từ căm thù nhưng thực tế lại khuếch đại thiên vị chủng tộc. Điều này xảy ra khi các thuật toán không nhận ra ngữ cảnh và kết thúc bằng việc đánh dấu hoặc chặn các bài đăng từ các nhóm thiểu số.

Vấn đề lớn nhất với các thuật toán liên quan đến ngữ cảnh là chúng quá nhạy cảm với các thuật ngữ xác định nhóm như “đen”, “đồng tính” và “chuyển giới”. Các thuật toán coi những thuật ngữ này là phân loại ngôn từ căm thù, nhưng chúng thường được sử dụng bởi các thành viên của những nhóm đó và bối cảnh là quan trọng.

Để giải quyết vấn đề về sự mù quáng ngữ cảnh này, các nhà nghiên cứu đã tạo ra một phân loại ngôn từ căm thù nhạy cảm hơn với ngữ cảnh. Thuật toán mới này ít có khả năng đánh dấu sai một bài đăng là ngôn từ căm thù.

Thuật toán

Các nhà nghiên cứu đã phát triển các thuật toán mới với hai yếu tố mới: ngữ cảnh liên quan đến các định danh nhóm và liệu có các tính năng khác của ngôn từ căm thù trong bài đăng, như ngôn ngữ phi nhân hóa.

Brendan Kennedy là sinh viên tiến sĩ khoa học máy tính và đồng tác giả chính của nghiên cứu, được công bố vào ngày 6 tháng 7 tại ACL 2020.

“Chúng tôi muốn đưa việc phát hiện ngôn từ căm thù gần hơn với ứng dụng thực tế,” Kennedy nói.

“Các mô hình phát hiện ngôn từ căm thù thường ‘hỏng’, hoặc tạo ra dự đoán kém, khi được giới thiệu vào dữ liệu thế giới thực, chẳng hạn như truyền thông xã hội hoặc dữ liệu văn bản trực tuyến khác, vì chúng bị thiên vị bởi dữ liệu mà chúng được đào tạo để liên kết sự xuất hiện của các thuật ngữ xác định xã hội với ngôn từ căm thù.”

Lý do tại sao các thuật toán thường không chính xác là vì chúng được đào tạo trên các tập dữ liệu không cân bằng với tỷ lệ ngôn từ căm thù cực cao. Do đó, các thuật toán không thể học cách xử lý những gì truyền thông xã hội thực sự trông như thế nào trong thế giới thực.

Giáo sư Xiang là một chuyên gia về xử lý ngôn ngữ tự nhiên.

“Điều quan trọng là các mô hình không bỏ qua các định danh, mà phải khớp chúng với ngữ cảnh phù hợp,” Ren nói.

“Nếu bạn dạy một mô hình từ một tập dữ liệu không cân bằng, mô hình sẽ bắt đầu nhận ra các mẫu kỳ lạ và chặn người dùng một cách không phù hợp.”

Để kiểm tra thuật toán, các nhà nghiên cứu đã sử dụng một mẫu ngẫu nhiên của văn bản từ hai trang web truyền thông xã hội có tỷ lệ ngôn từ căm thù cao. Văn bản đầu tiên được con người đánh dấu là có thành kiến hoặc phi nhân hóa. Mô hình hiện đại được đo lường so với mô hình của các nhà nghiên cứu về việc đánh dấu không chính xác ngôn từ không căm thù, thông qua việc sử dụng 12.500 bài báo của New York Times không có ngôn từ căm thù. Trong khi mô hình hiện đại có thể đạt được độ chính xác 77% trong việc xác định ngôn từ căm thù so với không căm thù, mô hình của nhà nghiên cứu cao hơn ở mức 90%.

“Công việc này không làm cho việc phát hiện ngôn từ căm thù trở nên hoàn hảo, đó là một dự án lớn mà nhiều người đang làm việc, nhưng nó tạo ra tiến bộ dần dần,” Kennedy nói.

“Ngoài việc ngăn chặn các bài đăng trên truyền thông xã hội của các thành viên trong các nhóm được bảo vệ khỏi bị kiểm duyệt không phù hợp, chúng tôi hy vọng công việc của mình sẽ giúp đảm bảo rằng việc phát hiện ngôn từ căm thù không gây ra tổn hại không cần thiết bằng cách củng cố các mối liên hệ sai lầm giữa thành kiến và phi nhân hóa với các nhóm xã hội.”