Phương pháp tiếp cận NLP để phát hiện phóng đại trong báo chí khoa học

Các nhà nghiên cứu từ Đan Mạch đã phát triển một hệ thống 'phát hiện phóng đại' được thiết kế để giảm thiểu tác động của việc các nhà báo nói quá mức về ý nghĩa của các bài báo nghiên cứu khoa học mới khi tóm tắt và báo cáo chúng. Nghiên cứu đã được thúc đẩy bởi mức độ mà nghiên cứu mới được công bố về COVID-19 đã bị bóp méo trong các kênh báo cáo, mặc dù các tác giả thừa nhận rằng nó có thể áp dụng trên một loạt các lĩnh vực báo cáo khoa học nói chung.

Sản phẩm giấy, được phép Phát hiện phóng đại bán giám sát của thông cáo báo chí về khoa học sức khỏe, đến từ Đại học Copenhagen, và lưu ý rằng vấn đề trở nên trầm trọng hơn do xu hướng xuất bản không bao gồm các liên kết nguồn tới nghiên cứu ban đầu – một thông lệ báo chí ngày càng phổ biến nhằm thay thế bài báo gốc và thay thế phần tóm tắt được báo cáo lại như 'kiến thức nguồn' - ngay cả khi bài báo được công khai.

Từ bài báo, một biểu hiện điển hình của sự phóng đại các bài báo khoa học. Nguồn: https://arxiv.org/pdf/2108.13493.pdf

Vấn đề không chỉ giới hạn ở phản ứng báo chí bên ngoài đối với các bài báo mới, mà còn có thể mở rộng sang các loại tóm tắt khác, bao gồm các nỗ lực PR nội bộ của các trường đại học và tổ chức nghiên cứu; tài liệu quảng cáo nhằm thu hút sự chú ý của các hãng tin tức; và các liên kết giới thiệu hữu ích (và cơ sở tiềm năng cho các vòng tài trợ) đòi hỏi khi các nhà báo 'cắn'.

Công trình thúc đẩy Xử lý ngôn ngữ tự nhiên (NLP) dựa trên một tập dữ liệu mới gồm các thông cáo báo chí và tóm tắt được ghép nối, với các nhà nghiên cứu tuyên bố đã phát triển '[a] công thức nhiệm vụ mới, thực tế hơn' để phát hiện sự cường điệu khoa học. Các tác giả đã hứa sẽ xuất bản mã và dữ liệu cho tác phẩm tại GitHub sớm.

Giải quyết chủ nghĩa giật gân

Một số nghiên cứu đã đề cập đến vấn đề chủ nghĩa giật gân khoa học trong hơn ba mươi năm qua và thu hút sự chú ý đến thông tin sai lệch mà điều này có thể dẫn đến. Nhà xã hội học khoa học quá cố người Mỹ Dorothy Nelkin đã đề cập đến vấn đề này một cách đáng chú ý vào năm 1987 cuốn sách Bán khoa học: Báo chí đưa tin về khoa học và công nghệ như thế nào; báo cáo Embo năm 2006 Khoa học tồi trong các tiêu đề nhấn mạnh sự cần thiết của các nhà báo được đào tạo khoa học hơn, giống như internet đang gây áp lực ngân sách nghiêm trọng lên các phương tiện truyền thông truyền thống.

Ngoài ra, vào năm 2014, Tạp chí Y học Anh đã đưa vấn đề này vào trọng tâm báo cáo; và một nghiên cứu năm 2019 từ Wellcome Open Research thậm chí còn thiết lập sự phóng đại đó của các bài báo khoa học không mang lại lợi ích (về phạm vi tiếp cận hoặc lưu lượng truy cập) tới các hãng tin tức và các hệ thống báo cáo khác thực hiện hoạt động này.

Tuy nhiên, sự xuất hiện của đại dịch đã khiến những tác động tiêu cực của sự cường điệu này trở thành tiêu điểm quan trọng, với một loạt nền tảng thông tin, bao gồm trang kết quả của Công cụ tìm kiếm Google và Đại học Cornell. ArXiv chỉ mục các bài báo khoa học hiện tự động thêm tuyên bố từ chối trách nhiệm vào bất kỳ nội dung nào có vẻ như đang xử lý COVID.

Các giao diện được sửa đổi cho các tìm kiếm và nội dung liên quan đến COVID, từ trang kết quả tìm kiếm của Google và từ kho lưu trữ bài báo khoa học Arxiv có ảnh hưởng của Đại học Cornell.

Các dự án trước đây đã cố gắng tạo ra các hệ thống phát hiện phóng đại cho các bài báo khoa học bằng cách tận dụng NLP, bao gồm cả một năm 2019 hợp tác giữa các nhà nghiên cứu từ Hồng Kông và Trung Quốc, và một bài báo khác (không liên quan) của Đan Mạch trong 2017.

Các nhà nghiên cứu của bài báo mới lưu ý rằng những nỗ lực trước đó đã phát triển các tập dữ liệu về các tuyên bố từ các bản tóm tắt và tóm tắt từ PubMed và EurekAlert, được gắn nhãn là 'sức mạnh' và sử dụng chúng để đào tạo các mô hình học máy để dự đoán. khẳng định sức mạnh trong dữ liệu không nhìn thấy.

MT-PET

Thay vào đó, nghiên cứu mới kết hợp thông cáo báo chí và tóm tắt dưới dạng một thực thể dữ liệu kết hợp và khai thác tập dữ liệu kết quả trong MT-PET, phiên bản có khả năng đa tác vụ của nghiên cứu Đào tạo khai thác mẫu trước tiên trình bày trong 2020 như Khai thác các câu hỏi Cloze để phân loại văn bản ngắn gọn và suy luận ngôn ngữ tự nhiên, một nỗ lực nghiên cứu kết hợp từ hai tổ chức nghiên cứu của Đức.

Không có bộ dữ liệu hiện có nào phù hợp với nhiệm vụ và do đó, nhóm đã tuyển chọn một bộ dữ liệu mới gồm các câu được ghép nối từ các bản tóm tắt và thông cáo báo chí liên quan, được đánh giá bởi 'các chuyên gia' về xu hướng phóng đại của chúng.

Các nhà nghiên cứu đã sử dụng khung phân loại văn bản vài lần THÚ CƯNG như một phần của quy trình để tự động tạo các cặp mẫu-từ ngữ, sau đó lặp lại dữ liệu cho đến khi tìm thấy các bộ gần như tương đương về hai phẩm chất: phát hiện phóng đại và cường độ xác nhận quyền sở hữu.

Dữ liệu 'vàng' để thử nghiệm đã được sử dụng lại từ các dự án nghiên cứu trước đó đã nói ở trên, bao gồm 823 cặp tóm tắt và thông cáo báo chí. Các nhà nghiên cứu đã từ chối khả năng sử dụng dữ liệu BMJ năm 2014, vì nó đã được diễn giải.

Quá trình này đã thu được một bộ dữ liệu gồm 663 cặp bản tóm tắt/bản phát hành được gắn nhãn cho độ phóng đại và độ mạnh của yêu cầu. Các nhà nghiên cứu đã lấy mẫu ngẫu nhiên 100 người trong số họ như học vài lần dữ liệu đào tạo, với 553 ví dụ dành cho thử nghiệm. Ngoài ra, một bộ huấn luyện nhỏ đã được tạo ra bao gồm 1,138 câu, được phân loại xem chúng có đại diện cho kết luận chính của bản tóm tắt hoặc thông cáo báo chí hay không. Chúng được sử dụng để xác định 'câu kết luận' trong các cặp không được gắn nhãn.

Kiểm tra

Các nhà nghiên cứu đã thử nghiệm phương pháp này theo ba cấu hình: cài đặt được giám sát đầy đủ với dữ liệu được dán nhãn riêng; kịch bản PET một nhiệm vụ; và trên MT-PET mới, bổ sung chuỗi công thức thứ cấp làm nhiệm vụ phụ trợ (vì mục đích của dự án là kiểm tra hai phẩm chất riêng biệt từ tập dữ liệu có cấu trúc dữ liệu được ghép nối).

Các nhà nghiên cứu phát hiện ra rằng MT-PET đã cải thiện kết quả PET cơ bản trong các môi trường thử nghiệm và nhận thấy rằng việc xác định cường độ xác nhận quyền sở hữu đã giúp tạo ra dữ liệu đào tạo được gắn nhãn mềm để phát hiện sự phóng đại. Tuy nhiên, bài báo lưu ý rằng trong một số cấu hình nhất định trong số một loạt các thử nghiệm phức tạp, đặc biệt liên quan đến cường độ yêu cầu, sự hiện diện của dữ liệu được dán nhãn chuyên nghiệp có thể là một yếu tố giúp cải thiện kết quả (so với các dự án nghiên cứu trước đó giải quyết vấn đề này). Điều này có thể có ý nghĩa đối với mức độ mà quy trình có thể được tự động hóa, tùy thuộc vào mức độ nhấn mạnh của dữ liệu của tác vụ.

Tuy nhiên, các nhà nghiên cứu kết luận rằng MT-PET 'giúp đỡ trong những trường hợp khó khăn hơn trong việc xác định và phân biệt các tuyên bố nhân quả trực tiếp với các tuyên bố yếu hơn và cách tiếp cận hiệu quả nhất liên quan đến việc phân loại và so sánh sức mạnh tuyên bố riêng lẻ của các tuyên bố từ tài liệu nguồn và tài liệu đích'.

Cuối cùng, nghiên cứu suy đoán rằng MT-PET không chỉ có thể được áp dụng cho nhiều bài báo khoa học hơn (ngoài lĩnh vực y tế), mà còn có thể tạo cơ sở cho các công cụ mới giúp các nhà báo đưa ra những cái nhìn tổng quan hơn về các bài báo khoa học (mặc dù điều này, có lẽ một cách ngây thơ, cho rằng các nhà báo đang phóng đại sức mạnh của yêu sách thông qua sự thiếu hiểu biết), cũng như hỗ trợ cộng đồng nghiên cứu hình thành cách sử dụng ngôn ngữ rõ ràng hơn để giải thích các ý tưởng phức tạp. Hơn nữa, bài báo quan sát:

'[cần lưu ý rằng kết quả hiệu suất dự đoán được báo cáo trong bài báo này là dành cho các thông cáo báo chí được viết bởi các nhà báo khoa học – người ta có thể mong đợi kết quả tồi tệ hơn đối với các thông cáo báo chí đơn giản hóa các bài báo khoa học nhiều hơn.'