Pendekatan NLP untuk Mendeteksi Eksagerasi dalam Jurnalisme Sains

Peneliti dari Denmark telah mengembangkan sistem ‘pendeteksi eksagerasi’ yang dirancang untuk mengurangi dampak jurnalis yang melebih-lebihkan implikasi dari penelitian ilmiah baru ketika meringkas dan melaporkannya. Pekerjaan ini dipicu oleh seberapa jauh penelitian baru tentang COVID-19 telah dibesar-besarkan dalam saluran pelaporan, meskipun penulis mengakui bahwa ini berlaku untuk sektor pelaporan sains umum.

Makalah ini, berjudul Deteksi Eksagerasi Semi-Supervised dari Rilis Pers Ilmu Kesehatan, berasal dari Universitas Kopenhagen, dan mencatat bahwa masalah ini diperburuk oleh kecenderungan publikasi untuk tidak menyertakan tautan sumber ke penelitian asli – praktik jurnalistik yang semakin umum yang mencoba menggantikan makalah asli dan menggantikan ringkasan yang dilaporkan kembali sebagai ‘pengetahuan sumber’ – bahkan ketika makalah tersebut tersedia secara publik.

Dari makalah, manifestasi khas eksagerasi makalah ilmiah. Sumber: https://arxiv.org/pdf/2108.13493.pdf

Masalah ini tidak terbatas pada reaksi jurnalistik eksternal terhadap makalah baru, tetapi dapat meluas ke jenis ringkasan lainnya, termasuk upaya PR internal universitas dan lembaga penelitian; bahan promosi yang ditujukan untuk meminta perhatian outlet berita; dan tautan referensi yang berguna (dan potensi amunisi untuk putaran pendanaan) yang menyertainya ketika jurnalis ‘menggigit’.

Pekerjaan ini menggunakan Proses Bahasa Alami (NLP) terhadap dataset baru pasangan rilis pers dan abstrak, dengan peneliti yang mengklaim telah mengembangkan ‘[suatu] tugas formulasi baru yang lebih realistis’ untuk deteksi eksagerasi ilmiah. Penulis telah berjanji untuk menerbitkan kode dan data untuk pekerjaan di GitHub segera.

Mengatasi Sensasionalisme

Beberapa studi telah menangani masalah sensasionalisme ilmiah selama tiga puluh tahun terakhir, dan menarik perhatian pada kesalahan informasi yang dapat terjadi. Ahli sosiologi ilmiah Amerika yang sudah meninggal, Dorothy Nelkin, menangani masalah ini secara mencolok dalam buku 1987 Menjual Sains: Bagaimana Pers Meliput Sains dan Teknologi; laporan Embo 2006 Sains Buruk di Judul Berita menekankan kebutuhan akan lebih banyak jurnalis yang terlatih secara ilmiah, sama seperti internet membawa tekanan anggaran kritis pada media tradisional.

Selain itu, pada 2014, British Medical Journal membawa masalah ini ke dalam fokus dalam laporan; dan studi 2019 dari Wellcome Open Research bahkan menetapkan bahwa eksagerasi makalah ilmiah tidak memberikan keuntungan (dalam hal jangkauan atau lalu lintas) kepada outlet berita dan sistem pelaporan lain yang melakukan praktik ini.

Namun, kedatangan pandemi telah membawa dampak negatif dari hiperbola ini ke dalam fokus kritis, dengan berbagai platform informasi, termasuk halaman hasil pencarian Google dan indeks makalah ilmiah Arxiv Universitas Cornell, sekarang secara otomatis menambahkan peringatan pada konten yang tampaknya berkaitan dengan COVID.

Antarmuka yang dimodifikasi untuk pencarian dan konten terkait COVID, dari halaman hasil pencarian Google dan repositori makalah ilmiah Arxiv Universitas Cornell yang berpengaruh.

Proyek sebelumnya telah mencoba membuat sistem deteksi eksagerasi untuk makalah ilmiah dengan menggunakan NLP, termasuk kolaborasi 2019 antara peneliti dari Hong Kong dan Cina, dan proyek Denmark lainnya pada 2017.

Peneliti makalah baru mencatat bahwa upaya sebelumnya ini mengembangkan dataset klaim dari abstrak dan ringkasan dari PubMed dan EurekAlert, yang dilabeli untuk ‘kekuatan’, dan digunakan untuk melatih model pembelajaran mesin untuk memprediksi kekuatan klaim dalam data yang tidak terlihat.

MT-PET

Penelitian baru ini menggabungkan rilis pers dan abstrak sebagai entitas data yang digabungkan, dan mengeksploitasi dataset yang dihasilkan dalam MT-PET, versi multi-tugas dari Pelatihan Pola yang dipresentasikan pertama kali pada 2020 sebagai Memanfaatkan Pertanyaan Cloze untuk Klasifikasi Teks dan Inferensi Bahasa Alami, upaya penelitian gabungan dari dua lembaga penelitian Jerman.

Tidak ada dataset yang ada yang ditemukan cocok untuk tugas ini, dan tim tersebut kemudian mengkurasi dataset baru pasangan kalimat dari abstrak dan rilis pers terkait, yang dinilai oleh ‘ahli’ dalam hal kecenderungan untuk melebih-lebihkan.

Peneliti menggunakan kerangka klasifikasi teks few-shot PETAL sebagai bagian dari pipa untuk secara otomatis menghasilkan pasangan pola-verbalizer, kemudian mengulangi kembali melalui data sampai ditemukan tuplet yang sebanding untuk dua kualitas: deteksi eksagerasi dan kekuatan klaim.

‘Data emas’ untuk pengujian digunakan kembali dari proyek penelitian sebelumnya, yang terdiri dari 823 pasang abstrak dan rilis pers. Peneliti menolak kemungkinan penggunaan data BMJ 2014, karena telah diparafrasikan.

Proses ini menghasilkan dataset 663 pasang abstrak/rilis yang dilabeli untuk eksagerasi dan kekuatan klaim. Peneliti secara acak mengambil 100 di antaranya sebagai data pelatihan few-shot, dengan 553 contoh disisihkan untuk pengujian. Selain itu, sebuah set pelatihan kecil dibuat yang terdiri dari 1.138 kalimat, yang diklasifikasikan berdasarkan apakah mereka mewakili kesimpulan utama dari ringkasan atau rilis pers. Ini digunakan untuk mengidentifikasi ‘kalimat kesimpulan’ dalam pasangan yang tidak dilabeli.

Pengujian

Peneliti menguji pendekatan ini dalam tiga konfigurasi: pengaturan terawasi penuh dengan data yang dilabeli secara eksklusif; skenario PET tunggal; dan pada MT-PET baru, yang menambahkan thread formulasi sekunder sebagai tugas bantu (karena tujuan proyek ini adalah untuk memeriksa dua kualitas terpisah dari dataset dengan konstruk data yang berpasangan).

Peneliti menemukan bahwa MT-PET memperbaiki hasil PET dasar di seluruh lingkungan pengujian, dan menemukan bahwa mengidentifikasi kekuatan klaim membantu menghasilkan data pelatihan yang dilabeli lunak untuk deteksi eksagerasi. Namun, makalah tersebut mencatat bahwa dalam beberapa konfigurasi di antara array tes yang kompleks, terutama yang terkait dengan kekuatan klaim, kehadiran data yang dilabeli secara profesional mungkin menjadi faktor dalam hasil yang diperbaiki (dibandingkan dengan proyek penelitian sebelumnya yang menangani masalah ini). Ini bisa memiliki implikasi untuk seberapa jauh pipa dapat diotomatisasi, tergantung pada penekanan data tugas.

Meskipun demikian, peneliti menyimpulkan bahwa MT-PET ‘membantu dalam kasus yang lebih sulit untuk mengidentifikasi dan membedakan klaim langsung dari klaim yang lebih lemah, dan bahwa pendekatan yang paling efektif melibatkan mengklasifikasikan dan membandingkan kekuatan klaim individu dari pernyataan dokumen sumber dan target’.

Dalam penutup, pekerjaan ini berspekulasi bahwa MT-PET tidak hanya dapat diterapkan pada berbagai makalah ilmiah (di luar sektor kesehatan), tetapi juga dapat membentuk dasar alat baru untuk membantu jurnalis menghasilkan gambaran yang lebih baik dari makalah ilmiah (meskipun ini, mungkin dengan polos, menganggap bahwa jurnalis melebih-lebihkan kekuatan klaim karena ketidaktahuan), serta membantu komunitas penelitian dalam merumuskan penggunaan bahasa yang lebih jelas untuk menjelaskan ide kompleks. Selanjutnya, makalah tersebut mengamati:

‘[ini] harus dicatat bahwa hasil kinerja prediktif yang dilaporkan dalam makalah ini adalah untuk rilis pers yang ditulis oleh jurnalis sains – seseorang dapat mengharapkan hasil yang lebih buruk untuk rilis pers yang lebih kuat menyederhanakan artikel ilmiah.’