Một Phương Pháp NLP Để Phát Hiện Sự Thổi Phồng Trong Báo Chí Khoa Học

Những nhà nghiên cứu từ Đan Mạch đã phát triển một hệ thống ‘phát hiện sự thổi phồng’ được thiết kế để giảm thiểu tác động của việc các nhà báo phóng đại ý nghĩa của các bài nghiên cứu khoa học mới khi tóm tắt và báo cáo chúng. Công việc này đã được thúc đẩy bởi mức độ mà các nghiên cứu mới được công bố về COVID-19 đã bị bóp méo trong các kênh báo cáo, mặc dù các tác giả thừa nhận rằng nó có thể áp dụng được cho một phạm vi rộng lớn của lĩnh vực báo chí khoa học nói chung.

Bài báo này, có tiêu đề Phát Hiện Sự Thổi Phồng Bán Giám Sát Của Thông Cáo Báo Chí Khoa Học Sức Khỏe, đến từ Đại học Copenhagen, và lưu ý rằng vấn đề này được làm trầm trọng thêm bởi xu hướng của các ấn phẩm không bao gồm liên kết nguồn đến nghiên cứu gốc – một thực hành báo chí ngày càng phổ biến nhằm thay thế bài báo gốc và thay thế tóm tắt được báo cáo lại thành ‘kiến thức nguồn’ – ngay cả khi bài báo là công khai.

Từ bài báo, một hiện tượng điển hình của sự thổi phồng các bài báo khoa học. Nguồn: https://arxiv.org/pdf/2108.13493.pdf

Vấn đề này không chỉ giới hạn ở phản ứng của các nhà báo bên ngoài đối với các bài báo mới, mà còn có thể mở rộng sang các loại tóm tắt khác, bao gồm cả nỗ lực quan hệ công chúng nội bộ của các trường đại học và cơ quan nghiên cứu; tài liệu quảng cáo nhằm thu hút sự chú ý của các kênh báo chí; và các liên kết tham khảo hữu ích (và có thể là vũ khí cho các vòng tài trợ) khi các nhà báo ‘cắn’.

Công việc này tận dụng Xử Lý Ngôn Ngữ Tự Nhiên (NLP) chống lại một tập dữ liệu mới của các thông cáo báo chí và tóm tắt, với các nhà nghiên cứu tuyên bố đã phát triển ‘[một] nhiệm vụ mới, thực tế hơn’ cho việc phát hiện sự thổi phồng khoa học. Các tác giả đã cam kết sẽ công bố mã và dữ liệu cho công việc tại GitHub sớm.

Đấu Tranh Với Sự Thổi Phồng

Một số nghiên cứu đã giải quyết vấn đề của sự thổi phồng khoa học trong khoảng ba mươi năm qua, và đã chỉ ra sự thông tin sai lệch mà điều này có thể dẫn đến. Nhà xã hội học khoa học người Mỹ Dorothy Nelkin đã giải quyết vấn đề này đáng chú ý trong cuốn sách năm 1987 Bán Khoa Học; báo cáo Embo năm 2006 Bad science in the headlines đã nhấn mạnh nhu cầu về các nhà báo được đào tạo về khoa học, ngay khi internet đang gây áp lực tài chính quan trọng đối với truyền thông truyền thống.

Thêm vào đó, vào năm 2014, Tạp chí Y học Anh đã đưa vấn đề này vào焦 điểm trong một báo cáo; và một nghiên cứu năm 2019 từ Wellcome Open Research thậm chí đã thiết lập rằng sự thổi phồng của các bài báo khoa học không mang lại lợi ích (về phạm vi hoặc lưu lượng) cho các kênh báo chí và các hệ thống báo cáo khác thực hiện việc này.

Tuy nhiên, sự xuất hiện của đại dịch đã đưa tác động tiêu cực của sự thổi phồng này vào焦 điểm quan trọng, với một loạt các nền tảng thông tin, bao gồm trang kết quả tìm kiếm của Google và kho lưu trữ khoa học Arxiv của Đại học Cornell, hiện đã tự động thêm cảnh báo vào bất kỳ nội dung nào dường như liên quan đến COVID.

Giao diện sửa đổi cho tìm kiếm và nội dung liên quan đến COVID, từ trang kết quả tìm kiếm của Google và từ kho lưu trữ khoa học Arxiv có ảnh hưởng của Đại học Cornell.

Các dự án trước đây đã cố gắng tạo ra các hệ thống phát hiện sự thổi phồng cho các bài báo khoa học bằng cách tận dụng NLP, bao gồm một hợp tác giữa các nhà nghiên cứu từ Hồng Kông và Trung Quốc, và một dự án khác (không liên quan) từ Đan Mạch năm 2017.

Các nhà nghiên cứu của bài báo mới lưu ý rằng những nỗ lực trước đây đã phát triển các tập dữ liệu của các tuyên bố từ tóm tắt và tổng kết từ PubMed và EurekAlert, được dán nhãn cho ‘độ mạnh’, và sử dụng chúng để đào tạo các mô hình học máy để dự đoán độ mạnh của tuyên bố trong dữ liệu không nhìn thấy.

MT-PET

Nghiên cứu mới kết hợp một thông cáo báo chí và tóm tắt như một thực thể dữ liệu kết hợp, và khai thác tập dữ liệu kết quả trong MT-PET, một phiên bản có khả năng đa nhiệm của công nghệ đào tạo Pattern Exploiting đầu tiên trình bày vào năm 2020 như Khai Thác Câu Hỏi Cloze Cho Phân Loại Văn Bản và Sự Khả Dĩ Tự Nhiên, một nỗ lực nghiên cứu kết hợp từ hai cơ quan nghiên cứu của Đức.

Không có tập dữ liệu hiện có nào được tìm thấy phù hợp cho nhiệm vụ này, và nhóm nghiên cứu đã tạo một tập dữ liệu mới của các câu từ tóm tắt và thông cáo báo chí liên quan, được đánh giá bởi ‘chuyên gia’ về xu hướng thổi phồng của chúng.

Các nhà nghiên cứu sử dụng khuôn khổ phân loại văn bản vài-shot PETAL như một phần của đường ống để tự động tạo ra các cặp mẫu-verbalizer, sau đó lặp lại qua dữ liệu cho đến khi tìm thấy các cặp tương đương cho hai chất lượng: phát hiện sự thổi phồng và độ mạnh của tuyên bố.

‘Dữ liệu vàng’ để kiểm tra đã được tái sử dụng từ các dự án nghiên cứu trước đó, bao gồm 823 cặp tóm tắt và thông cáo báo chí. Các nhà nghiên cứu từ chối sử dụng dữ liệu BMJ năm 2014, vì nó được viết lại.

Quá trình này đã thu được một tập dữ liệu của 663 cặp tóm tắt/thông cáo báo chí được dán nhãn cho sự thổi phồng và độ mạnh của tuyên bố. Các nhà nghiên cứu đã lấy mẫu ngẫu nhiên 100 trong số chúng như dữ liệu đào tạo vài-shot, với 553 ví dụ được đặt sang một bên để kiểm tra. Ngoài ra, một tập dữ liệu đào tạo nhỏ đã được tạo ra bao gồm 1.138 câu, được phân loại là liệu chúng có đại diện cho kết luận chính của tóm tắt hoặc thông cáo báo chí hay không. Những câu này đã được sử dụng để xác định ‘câu kết luận’ trong các cặp không được dán nhãn.

Thử Nghiệm

Các nhà nghiên cứu đã thử nghiệm phương pháp này trong ba cấu hình: một môi trường được giám sát hoàn toàn với dữ liệu được dán nhãn độc quyền; một kịch bản PET đơn nhiệm; và trên MT-PET mới, thêm một luồng nhiệm vụ phụ như một nhiệm vụ phụ (vì mục tiêu của dự án là kiểm tra hai chất lượng riêng biệt từ một tập dữ liệu có các cấu trúc dữ liệu được kết hợp).

Các nhà nghiên cứu đã tìm thấy rằng MT-PET đã cải thiện kết quả cơ sở PET trên các môi trường kiểm tra, và phát hiện ra rằng việc xác định độ mạnh của tuyên bố giúp tạo ra dữ liệu đào tạo được dán nhãn mềm cho việc phát hiện sự thổi phồng. Tuy nhiên, bài báo lưu ý rằng trong một số cấu hình trong một loạt các thử nghiệm phức tạp, đặc biệt là liên quan đến độ mạnh của tuyên bố, sự hiện diện của dữ liệu được dán nhãn chuyên nghiệp có thể là một yếu tố trong việc cải thiện kết quả (so với các dự án nghiên cứu trước đó giải quyết vấn đề này). Điều này có thể có ý nghĩa đối với mức độ mà đường ống có thể được tự động hóa, tùy thuộc vào trọng tâm dữ liệu của nhiệm vụ.

Dù vậy, các nhà nghiên cứu kết luận rằng MT-PET ‘giúp trong các trường hợp khó hơn của việc xác định và phân biệt các tuyên bố nguyên nhân trực tiếp với các tuyên bố yếu hơn, và rằng phương pháp hiệu suất cao nhất bao gồm việc phân loại và so sánh độ mạnh của tuyên bố cá nhân từ các tài liệu nguồn và đích’.

Để kết thúc, công việc này suy đoán rằng MT-PET không chỉ có thể được áp dụng cho một loạt các bài báo khoa học rộng lớn hơn (ngoài lĩnh vực sức khỏe), mà còn có thể hình thành cơ sở của các công cụ mới để giúp các nhà báo tạo ra các bản tóm tắt tốt hơn của các bài báo khoa học (mặc dù điều này, có thể ngây thơ, giả định rằng các nhà báo đang thổi phồng độ mạnh của tuyên bố do sự thiếu hiểu biết), cũng như hỗ trợ cộng đồng nghiên cứu trong việc hình thành một cách sử dụng ngôn ngữ rõ ràng hơn để giải thích các ý tưởng phức tạp. Hơn nữa, bài báo lưu ý:

‘[nó] nên được lưu ý rằng kết quả hiệu suất dự đoán được báo cáo trong bài báo này là cho các thông cáo báo chí được viết bởi các nhà báo khoa học – người ta có thể mong đợi kết quả tồi tệ hơn cho các thông cáo báo chí mà thổi phồng mạnh mẽ các bài báo khoa học.’