Tạo và Xác định Tuyên truyền với Học máy

Nghiên cứu mới từ Hoa Kỳ và Qatar cung cấp một phương pháp mới để xác định tin giả được viết theo cách con người thực sự viết tin giả – bằng cách nhúng các tuyên bố không chính xác vào một bối cảnh chủ yếu đúng và bằng cách sử dụng các kỹ thuật tuyên truyền phổ biến như lôi kéo quyền lực và ngôn ngữ tải trọng.

Dự án đã dẫn đến việc tạo ra một tập dữ liệu đào tạo mới để phát hiện tin giả gọi là PropaNews, bao gồm các kỹ thuật này. Các tác giả của nghiên cứu đã tìm thấy rằng các bộ phát hiện được đào tạo trên tập dữ liệu mới chính xác hơn 7,3-12% trong việc phát hiện thông tin sai lệch được viết bởi con người so với các phương pháp trước đó.

Từ bài báo mới, các ví dụ về ‘lôi kéo quyền lực’ và ‘ngôn ngữ tải trọng’. Source: https://arxiv.org/pdf/2203.05386.pdf

Các tác giả tuyên bố rằng theo kiến thức của họ, dự án này là dự án đầu tiên kết hợp các kỹ thuật tuyên truyền (thay vì sự không chính xác về mặt事 thực) vào các ví dụ văn bản được tạo bởi máy để cung cấp nhiên liệu cho các bộ phát hiện tin giả.

Đa số các công việc gần đây trong lĩnh vực này, họ cho rằng, đã nghiên cứu về sự thiên vị, hoặc reframed ‘dữ liệu tuyên truyền’ trong bối cảnh thiên vị (có thể vì thiên vị trở thành một lĩnh vực học máy có thể tài trợ sau thời kỳ Analytica).

Các tác giả tuyên bố:

‘Ngược lại, công việc của chúng tôi tạo ra tin giả bằng cách kết hợp các kỹ thuật tuyên truyền và bảo tồn phần lớn thông tin chính xác. Do đó, phương pháp của chúng tôi phù hợp hơn để nghiên cứu về việc phòng thủ chống lại tin giả được viết bởi con người.’

Họ进一步 minh họa sự cấp thiết của các kỹ thuật phát hiện tuyên truyền tinh vi hơn*:

‘[Thông tin sai lệch] được viết bởi con người, thường được sử dụng để thao túng một số dân tộc, đã có tác động thảm khốc đến nhiều sự kiện, chẳng hạn như bầu cử tổng thống Hoa Kỳ năm 2016, Brexit, đại dịch COVID-19, và cuộc tấn công gần đây của Nga vào Ukraine. Do đó, chúng tôi cần một cơ chế phòng thủ chống lại thông tin sai lệch được viết bởi con người.’

Bài báo này có tiêu đề Tạo ra Tin giả cho Phát hiện Tin giả Thực sự: Tạo dữ liệu đào tạo tuyên truyền, và đến từ năm nhà nghiên cứu tại Đại học Illinois Urbana-Champaign, Đại học Columbia, Đại học Hamad Bin Khalifa tại Qatar, Đại học Washington, và Viện Trí tuệ Nhân tạo Allen.

Định nghĩa Sự không trung thực

Thử thách của việc định lượng tuyên truyền chủ yếu là một vấn đề hậu cần: nó rất tốn kém để thuê con người để nhận ra và chú thích tài liệu thực tế với các đặc điểm giống như tuyên truyền để đưa vào một tập dữ liệu đào tạo, và có thể rẻ hơn để trích xuất và sử dụng các tính năng cấp cao có khả năng hoạt động trên ‘dữ liệu không nhìn thấy’, dữ liệu trong tương lai.

Để phục vụ một giải pháp có thể mở rộng hơn, các nhà nghiên cứu ban đầu đã thu thập các bài viết disinformation do con người tạo từ các nguồn tin tức được coi là thấp về độ chính xác, thông qua trang web Kiểm tra thiên vị truyền thông.

Họ tìm thấy rằng 33% các bài viết được nghiên cứu sử dụng các kỹ thuật tuyên truyền không trung thực, bao gồm các thuật ngữ kích động cảm xúc, những sai lầm logic, và lôi kéo quyền lực. Thêm 55% các bài viết chứa thông tin không chính xác trộn với thông tin chính xác.

Tạo ra Lôi kéo Quyền lực

Phương pháp lôi kéo quyền lực có hai trường hợp sử dụng: trích dẫn các tuyên bố không chính xác và trích dẫn các tuyên bố hoàn toàn giả. Nghiên cứu tập trung vào trường hợp thứ hai.

Từ dự án mới, khuôn khổ suy luận ngôn ngữ tự nhiên RoBERTa xác định hai ví dụ khác về lôi kéo quyền lực và ngôn ngữ tải trọng.

Với mục tiêu tạo ra tuyên truyền máy móc cho tập dữ liệu mới, các nhà nghiên cứu sử dụng kiến trúc seq2seq được đào tạo trước BART để xác định các câu quan trọng có thể sau đó được thay đổi thành tuyên truyền. Vì không có tập dữ liệu công khai nào liên quan đến nhiệm vụ này, các tác giả sử dụng một mô hình tóm tắt trích xuất được đề xuất vào năm 2019 để ước tính sự quan trọng của câu.

Đối với một bài viết từ mỗi cơ quan truyền thông được nghiên cứu, các nhà nghiên cứu thay thế các ‘câu được đánh dấu’ này bằng các lập luận giả từ ‘cơ quan’ được dẫn xuất từ cả Dịch vụ Truy vấn Wikidata và từ các cơ quan được đề cập trong các bài viết (tức là người và/hoặc tổ chức).

Tạo ra Ngôn ngữ Tải trọng

Ngôn ngữ tải trọng bao gồm các từ, thường là các trạng từ và tính từ được cảm tính hóa (như trong ví dụ được minh họa ở trên), chứa các phán xét giá trị ngầm trong bối cảnh cung cấp một sự kiện.

Để suy ra dữ liệu về ngôn ngữ tải trọng, các tác giả sử dụng một tập dữ liệu từ một nghiên cứu năm 2019 chứa 2.547 ngôn ngữ tải trọng thể hiện. Vì không tất cả các ví dụ trong dữ liệu năm 2019 bao gồm các trạng từ hoặc tính từ kích động cảm xúc, các nhà nghiên cứu sử dụng SpaCy để thực hiện phân tích phụ thuộc và thẻ từ (PoS) và chỉ giữ lại các ví dụ phù hợp cho khuôn khổ.

Quá trình lọc kết quả trong 1.017 mẫu ngôn ngữ tải trọng hợp lệ. Một phiên bản khác của BART được sử dụng để che và thay thế các câu quan trọng trong tài liệu nguồn bằng ngôn ngữ tải trọng.

Tập dữ liệu PropaNews

Sau khi đào tạo mô hình trung gian trên tập dữ liệu CNN/DM năm 2015 từ Google Deep Mind và Đại học Oxford, các nhà nghiên cứu đã tạo ra tập dữ liệu PropaNews, chuyển đổi các bài viết không tầm thường từ ‘nguồn đáng tin cậy’ như The New York Times và The Guardian thành ‘phiên bản sửa đổi’ chứa tuyên truyền thuật toán được tạo ra.

Thí nghiệm được mô hình hóa theo một nghiên cứu năm 2013 từ Hanover, tự động tạo ra tóm tắt thời gian của các câu chuyện tin tức trên 17 sự kiện tin tức, và tổng cộng 4.535 câu chuyện.

Thông tin sai lệch được tạo ra được gửi đến 400 công nhân độc nhất tại Amazon Mechanical Turk (AMT), bao gồm 2000 Nhiệm vụ Trí tuệ Con người (HIT). Chỉ các bài viết tuyên truyền được công nhân coi là chính xác mới được đưa vào phiên bản cuối cùng của PropaNews. Việc phân xử về các bất đồng được tính điểm bằng phương pháp Worker Agreement With Aggregate (WAWA).

Phiên bản cuối cùng của PropaNews chứa 2.256 bài viết, cân bằng giữa đầu ra giả và thực, 30% trong số đó sử dụng lôi kéo quyền lực, với 30% khác sử dụng ngôn ngữ tải trọng. Phần còn lại chỉ chứa thông tin không chính xác thuộc loại đã chủ yếu chiếm ưu thế trong các tập dữ liệu trước đó trong lĩnh vực nghiên cứu này.

Dữ liệu được chia 1.256:500:500 trên các phân phối đào tạo, kiểm tra và xác thực.

Tập dữ liệu HumanNews

Để đánh giá hiệu quả của các quy trình phát hiện tuyên truyền được đào tạo, các nhà nghiên cứu đã biên soạn 200 bài viết tin tức được viết bởi con người, bao gồm các bài viết được chứng minh là sai bởi Politifact, và được xuất bản giữa năm 2015-2020.

Dữ liệu này được tăng cường với các bài viết bị chứng minh là sai khác từ các cơ quan truyền thông không đáng tin cậy, và tổng số được kiểm tra thực tế bởi một sinh viên tốt nghiệp chuyên ngành khoa học máy tính.

Tập dữ liệu cuối cùng, có tên là HumanNews, cũng bao gồm 100 bài viết từ Los Angeles Times.

Thử nghiệm

Quá trình phát hiện được so sánh với các khuôn khổ trước đó trong hai hình thức: PN-Silver, bỏ qua việc xác thực của người đánh giá AMT, và PN-Gold, bao gồm việc xác thực như một tiêu chí.

Các khuôn khổ cạnh tranh bao gồm Grover-GEN năm 2019, Fact-GEN năm 2020, và FakeEvent, trong đó các bài viết từ PN-Silver được thay thế bằng tài liệu được tạo bởi các phương pháp cũ hơn.

Các biến thể của Grover và RoBERTa đã chứng minh là hiệu quả nhất khi được đào tạo trên tập dữ liệu PropaNews mới, với các nhà nghiên cứu kết luận rằng ‘các bộ phát hiện được đào tạo trên PROPANEWS hoạt động tốt hơn trong việc xác định thông tin sai lệch được viết bởi con người so với đào tạo trên các tập dữ liệu khác’.

Các nhà nghiên cứu cũng quan sát thấy rằng ngay cả tập dữ liệu PN-Silver bị suy giảm một phần cũng vượt trội so với các phương pháp cũ hơn trên các tập dữ liệu khác.

Lỗi thời?

Các tác giả lặp lại sự thiếu hụt nghiên cứu về việc tạo ra và xác định tự động tin giả tập trung vào tuyên truyền, và cảnh báo rằng việc sử dụng các mô hình được đào tạo trên dữ liệu trước các sự kiện quan trọng (chẳng hạn như COVID hoặc tình hình hiện tại ở Đông Âu) không thể được mong đợi để hoạt động tối ưu:

‘Khoảng 48% thông tin sai lệch được viết bởi con người bị phân loại sai là do sự không thể có được kiến thức động từ các nguồn tin tức mới. Ví dụ, các bài viết liên quan đến COVID thường được xuất bản sau năm 2020, trong khi ROBERTA được đào tạo trước trên các bài viết tin tức được phát hành trước năm 2019. Rất khó cho ROBERTA để phát hiện thông tin sai lệch về các chủ đề này trừ khi bộ phát hiện được trang bị khả năng có được kiến thức động từ các bài viết tin tức.’

Các tác giả lưu ý thêm rằng RoBERTa đạt được độ chính xác 69,0% trong việc phát hiện tin giả đối với các bài viết được xuất bản trước năm 2019, nhưng giảm xuống 51,9% độ chính xác khi áp dụng cho các bài viết được xuất bản sau ngày này.

Nói dối và Bối cảnh

Mặc dù nghiên cứu không giải quyết trực tiếp vấn đề này, nhưng có thể rằng loại phân tích sâu về ảnh hưởng ngữ nghĩa này cuối cùng có thể giải quyết các hình thức tinh vi hơn của việc vũ khí hóa ngôn ngữ, chẳng hạn như nói dối – việc sử dụng có chọn lọc và tự phục vụ các tuyên bố trung thực để đạt được một kết quả mong muốn có thể trái với tinh thần và ý định của bằng chứng hỗ trợ được sử dụng.

Một lĩnh vực nghiên cứu liên quan và hơi phát triển hơn trong NLP, tầm nhìn máy tính và nghiên cứu đa phương tiện là nghiên cứu về bối cảnh như một phụ trợ của ý nghĩa, nơi việc tái sắp xếp và tái ngữ cảnh hóa có chọn lọc các sự kiện thực sự trở nên tương đương với một nỗ lực để evince một phản ứng khác với những gì các sự kiện có thể ảnh hưởng thông thường, nếu chúng được trình bày một cách rõ ràng và tuyến tính hơn.

* Tôi đã chuyển đổi các chú thích trong dòng của các tác giả thành các liên kết trực tiếp.

Được xuất bản lần đầu vào ngày 11 tháng 3 năm 2022.