Một Phương Pháp NLP Để Phát Hiện Sự Kể Tăng Trong Báo Chí Khoa Học

Các nhà nghiên cứu từ Đan Mạch đã phát triển một hệ thống ‘phát hiện sự kể tăng’ được thiết kế để giảm thiểu tác động của các nhà báo khi phóng đại ý nghĩa của các bài nghiên cứu khoa học mới khi tóm tắt và báo cáo chúng. Công việc này đã được thúc đẩy bởi mức độ mà các nghiên cứu mới được công bố về COVID-19 đã bị bóp méo trong các kênh báo cáo, mặc dù các tác giả thừa nhận rằng nó có thể được áp dụng trên một phạm vi rộng lớn của lĩnh vực báo chí khoa học chung.

Bài viết bài báo, có tiêu đề Phát Hiện Sự Kể Tăng Bán Giám Sát Của Thông Cáo Báo Chí Khoa Học Sức Khỏe, đến từ Đại học Copenhagen, và lưu ý rằng vấn đề này được làm trầm trọng hơn bởi xu hướng của các ấn phẩm không bao gồm liên kết nguồn đến nghiên cứu gốc – một thực hành báo chí ngày càng phổ biến cố gắng thay thế giấy tờ gốc và thay thế tóm tắt được báo cáo lại thành ‘kiến thức nguồn’ – ngay cả khi giấy tờ đó có sẵn công khai.

Từ bài báo, một biểu hiện điển hình của sự kể tăng của các bài báo khoa học. Nguồn: https://arxiv.org/pdf/2108.13493.pdf

Vấn đề này không chỉ giới hạn ở phản ứng báo chí bên ngoài đối với các bài báo mới, mà còn có thể mở rộng sang các loại tóm tắt khác, bao gồm cả nỗ lực quan hệ công chúng nội bộ của các trường đại học và cơ sở nghiên cứu; tài liệu quảng cáo nhằm thu hút sự chú ý của các kênh tin tức; và các liên kết giới thiệu hữu ích (và tiềm năng đạn dược cho các vòng tài trợ) khi các nhà báo ‘cắn’.

Công việc này tận dụng Xử lý Ngôn ngữ Tự nhiên (NLP) chống lại một tập dữ liệu mới của các thông cáo báo chí và tóm tắt được ghép đôi, với các nhà nghiên cứu tuyên bố đã phát triển ‘[một] nhiệm vụ mới, thực tế hơn’ để phát hiện sự kể tăng khoa học. Các tác giả đã cam kết sẽ xuất bản mã và dữ liệu cho công việc tại GitHub sớm.

Đấu Tranh Với Sự Phóng Đại

Một số nghiên cứu đã giải quyết vấn đề của sự phóng đại khoa học trong khoảng ba mươi năm qua, và đã chỉ ra sự thông tin sai lệch mà điều này có thể dẫn đến. Nhà xã hội học khoa học người Mỹ đã qua đời Dorothy Nelkin đã giải quyết vấn đề này đáng chú ý trong cuốn sách cuốn sách Bán Khoa Học: Làm Thế Nào Báo Chí Phóng Sự Khoa Học Và Công Nghệ năm 1987; báo cáo Embo năm 2006 Khoa Học Xấu Trong Tiêu Đề đã nhấn mạnh nhu cầu về các nhà báo được đào tạo khoa học hơn, ngay khi internet đang mang lại áp lực ngân sách quan trọng đối với truyền thông truyền thống.

Ngoài ra, vào năm 2014, Tạp chí Y học Anh đã đưa vấn đề này vào焦 điểm trong một báo cáo; và một nghiên cứu năm 2019 từ Wellcome Open Research thậm chí đã thiết lập rằng sự kể tăng của các bài báo khoa học không mang lại lợi ích (về phạm vi hoặc lưu lượng) cho các kênh tin tức và các hệ thống báo cáo khác thực hiện hành vi này.

Tuy nhiên, sự xuất hiện của đại dịch đã đưa các tác động tiêu cực của sự phóng đại này vào焦 điểm quan trọng, với một loạt các nền tảng thông tin, bao gồm cả trang kết quả tìm kiếm của Google và kho lưu trữ khoa học Arxiv của Đại học Cornell, hiện tự động thêm cảnh báo vào bất kỳ nội dung nào dường như liên quan đến COVID.

Giao diện sửa đổi cho tìm kiếm và nội dung liên quan đến COVID, từ trang kết quả tìm kiếm của Google và từ kho lưu trữ khoa học Arxiv có ảnh hưởng của Đại học Cornell.

Các dự án trước đây đã cố gắng tạo ra hệ thống phát hiện sự kể tăng cho các bài báo khoa học bằng cách tận dụng NLP, bao gồm một hợp tác giữa các nhà nghiên cứu từ Hồng Kông và Trung Quốc, và một (không liên quan) bài báo Đan Mạch năm 2017.

Các nhà nghiên cứu của bài báo mới lưu ý rằng những nỗ lực trước đây đã phát triển tập dữ liệu các tuyên bố từ tóm tắt và tổng kết từ PubMed và EurekAlert, được dán nhãn cho ‘độ mạnh’, và đã sử dụng chúng để đào tạo các mô hình học máy để dự đoán độ mạnh của tuyên bố trong dữ liệu không nhìn thấy.

MT-PET

Nghiên cứu mới kết hợp một thông cáo báo chí và tóm tắt như một thực thể dữ liệu kết hợp, và khai thác tập dữ liệu kết quả trong MT-PET, một phiên bản đa nhiệm của nghiên cứu đào tạo khai thác mẫu đầu tiên trình bày vào năm 2020 như Khai Thác Câu Hỏi Cloze Để Phân Loại Văn Bản Và Sự Khả Dụng Tự Nhiên, một nỗ lực nghiên cứu kết hợp từ hai cơ sở nghiên cứu Đức.

Không có tập dữ liệu hiện có nào được tìm thấy phù hợp cho nhiệm vụ, và nhóm đã tạo ra một tập dữ liệu mới của các câu ghép từ tóm tắt và thông cáo báo chí liên quan, được đánh giá bởi ‘chuyên gia’ về xu hướng phóng đại của chúng.

Các nhà nghiên cứu đã sử dụng khuôn khổ phân loại văn bản vài-shot PETAL như một phần của đường ống để tự động tạo ra các cặp mẫu-verbalizer, sau đó lặp lại qua dữ liệu cho đến khi tìm thấy các cặp tương đương gần như cho hai chất lượng: phát hiện sự kể tăng và độ mạnh của tuyên bố.

Dữ liệu ‘vàng’ để kiểm tra đã được tái sử dụng từ các dự án nghiên cứu trước, bao gồm 823 cặp tóm tắt và thông cáo báo chí. Các nhà nghiên cứu đã từ chối việc sử dụng dữ liệu BMJ năm 2014, vì nó được viết lại.

Quá trình này đã thu được một tập dữ liệu của 663 cặp tóm tắt/thông cáo báo chí được dán nhãn cho sự kể tăng và độ mạnh của tuyên bố. Các nhà nghiên cứu đã lấy mẫu ngẫu nhiên 100 trong số chúng như dữ liệu đào tạo vài-shot, với 553 ví dụ được đặt sang một bên để kiểm tra. Ngoài ra, một tập dữ liệu đào tạo nhỏ đã được tạo ra, bao gồm 1.138 câu, được phân loại theo việc liệu chúng có đại diện cho kết luận chính của tóm tắt hoặc thông cáo báo chí hay không. Những câu này đã được sử dụng để xác định ‘câu kết luận’ trong các cặp không được dán nhãn.

Kiểm Tra

Các nhà nghiên cứu đã kiểm tra phương pháp này trong ba cấu hình: một môi trường được giám sát đầy đủ với dữ liệu được dán nhãn độc quyền; một kịch bản PET đơn nhiệm; và trên MT-PET mới, thêm một luồng nhiệm vụ phụ như một nhiệm vụ phụ (vì mục tiêu của dự án là kiểm tra hai chất lượng riêng biệt từ một tập dữ liệu với các cấu trúc dữ liệu ghép đôi).

Các nhà nghiên cứu đã tìm thấy rằng MT-PET đã cải thiện trên kết quả PET cơ bản trên các môi trường kiểm tra, và đã tìm thấy rằng việc xác định độ mạnh của tuyên bố giúp tạo ra dữ liệu đào tạo mềm cho phát hiện sự kể tăng. Tuy nhiên, bài báo lưu ý rằng trong một số cấu hình trong một loạt các kiểm tra phức tạp, đặc biệt là liên quan đến độ mạnh của tuyên bố, sự hiện diện của dữ liệu được dán nhãn chuyên nghiệp có thể là một yếu tố trong kết quả được cải thiện (so với các dự án nghiên cứu trước đây giải quyết vấn đề này). Điều này có thể có ý nghĩa đối với mức độ mà đường ống có thể được tự động hóa, tùy thuộc vào trọng tâm dữ liệu của nhiệm vụ.

Dù vậy, các nhà nghiên cứu kết luận rằng MT-PET ‘giúp trong các trường hợp khó hơn của việc xác định và phân biệt các tuyên bố nguyên nhân trực tiếp từ các tuyên bố yếu hơn, và rằng cách tiếp cận hiệu suất cao nhất liên quan đến việc phân loại và so sánh độ mạnh của tuyên bố cá nhân từ các tài liệu nguồn và đích’.

Khi kết thúc, công việc suy đoán rằng MT-PET không chỉ có thể được áp dụng cho một loạt các bài báo khoa học rộng lớn hơn (ngoài lĩnh vực sức khỏe), mà còn có thể hình thành cơ sở của các công cụ mới để giúp các nhà báo tạo ra các bản tóm tắt tốt hơn của các bài báo khoa học (mặc dù điều này, có thể ngây thơ, giả định rằng các nhà báo đang phóng đại độ mạnh của tuyên bố thông qua sự thiếu hiểu biết), cũng như hỗ trợ cộng đồng nghiên cứu trong việc tạo ra một ngôn ngữ rõ ràng hơn để giải thích các ý tưởng phức tạp. Hơn nữa, bài báo quan sát:

‘[nó] nên được lưu ý rằng kết quả hiệu suất dự đoán được báo cáo trong bài báo này là cho các thông cáo báo chí được viết bởi các nhà báo khoa học – người ta có thể mong đợi kết quả tồi tệ hơn cho các thông cáo báo chí mà简化 mạnh mẽ các bài báo khoa học.’