Pendekatan NLP untuk Deteksi Exaggeration dalam Jurnalisme Sains

Peneliti dari Denmark telah mengembangkan sistem ‘deteksi exaggeration’ yang dirancang untuk mengurangi dampak jurnalis yang melebih-lebihkan implikasi dari penelitian ilmiah baru ketika meringkas dan melaporkannya. Pekerjaan ini dipicu oleh seberapa besar penelitian baru tentang COVID-19 yang telah dibesar-besarkan dalam saluran pelaporan, meskipun penulis mengakui bahwa ini berlaku di seluruh sektor pelaporan sains umum.

Makalah ini, berjudul Deteksi Exaggeration Semi-Supervised dari Rilis Pers Ilmu Kesehatan, berasal dari Universitas Kopenhagen, dan mencatat bahwa masalah ini diperparah oleh kecenderungan publikasi untuk tidak menyertakan tautan sumber ke penelitian asli – suatu praktik jurnalistik yang semakin umum yang mencoba menggantikan makalah asli dan menggantikan ringkasan yang dilaporkan kembali sebagai ‘pengetahuan sumber’ – bahkan ketika makalah tersebut tersedia secara publik.

Dari makalah, manifestasi tipikal dari exaggeration makalah ilmiah. Sumber: https://arxiv.org/pdf/2108.13493.pdf

Masalah ini tidak terbatas pada reaksi jurnalistik eksternal terhadap makalah baru, tetapi dapat memperluas ke jenis ringkasan lainnya, termasuk upaya PR internal universitas dan lembaga penelitian; bahan promosi yang ditujukan untuk meminta perhatian outlet berita; dan tautan referensi yang berguna (dan potensi amunisi untuk putaran pendanaan) yang melekat ketika jurnalis ‘menggigit’.

Pekerjaan ini menggunakan Natural Language Processing (NLP) terhadap dataset baru yang terdiri dari rilis pers dan abstrak, dengan peneliti yang mengklaim telah mengembangkan ‘[sebuah] tugas baru, lebih realistis’ untuk deteksi exaggerasi ilmiah. Penulis telah berjanji untuk menerbitkan kode dan data untuk pekerjaan di GitHub segera.

Mengatasi Sensasionalisme

Beberapa studi telah menangani masalah sensasionalisme ilmiah selama tiga puluh tahun terakhir, dan menarik perhatian pada kesalahpahaman yang dapat menyebabkannya. Ahli sosiologi ilmiah Amerika Dorothy Nelkin secara terkenal menangani masalah ini dalam buku tahun 1987 Menjual Sains: Bagaimana Pers Meliput Sains dan Teknologi; laporan Embo tahun 2006 Sains Buruk dalam Berita Utama menyoroti kebutuhan akan jurnalis yang terlatih secara ilmiah, sama seperti internet membawa tekanan anggaran kritis pada media tradisional.

Selain itu, pada tahun 2014, British Medical Journal membawa masalah ini ke fokus dalam laporan; dan studi tahun 2019 dari Wellcome Open Research bahkan menetapkan bahwa exaggerasi makalah ilmiah tidak memberikan manfaat (dalam hal jangkauan atau lalu lintas) bagi outlet berita dan sistem pelaporan lain yang melakukan praktik ini.

Namun, kedatangan pandemi telah membawa efek negatif dari hiperbola ini ke dalam fokus kritis, dengan berbagai platform informasi, termasuk halaman hasil pencarian Google dan repositori makalah ilmiah Arxiv Universitas Cornell sekarang secara otomatis menambahkan peringatan pada konten yang tampaknya berhubungan dengan COVID.

Antarmuka yang diubah untuk pencarian dan konten terkait COVID, dari halaman hasil pencarian Google, dan dari repositori makalah ilmiah Arxiv Universitas Cornell yang berpengaruh.

Proyek sebelumnya telah mencoba membuat sistem deteksi exaggerasi untuk makalah ilmiah dengan menggunakan NLP, termasuk kolaborasi pada tahun 2019 antara peneliti dari Hong Kong dan Cina, dan makalah lain (tidak terkait) dari Denmark pada tahun 2017.

Peneliti makalah baru mencatat bahwa upaya sebelumnya ini mengembangkan dataset klaim dari abstrak dan ringkasan dari PubMed dan EurekAlert, yang diberi label untuk ‘kekuatan’, dan digunakan untuk melatih model pembelajaran mesin untuk memprediksi kekuatan klaim dalam data yang tidak terlihat.

MT-PET

Penelitian baru ini menggabungkan rilis pers dan abstrak sebagai entitas data yang digabung, dan mengeksploitasi dataset yang dihasilkan dalam MT-PET, versi multi-tugas dari Pattern Exploiting Training yang pertama kali dipresentasikan pada tahun 2020 sebagai Menggunakan Pertanyaan Cloze untuk Klasifikasi Teks dan Inferensi Bahasa Alam, upaya penelitian gabungan dari dua lembaga penelitian Jerman.

Tidak ada dataset yang ada yang ditemukan cocok untuk tugas ini, dan tim tersebut kemudian mengkurasi dataset baru yang terdiri dari kalimat yang dipasangkan dari abstrak dan rilis pers terkait, yang dinilai oleh ‘ahli’ dalam hal kecenderungan untuk melebih-lebihkan.

Peneliti menggunakan kerangka kerja klasifikasi teks few-shot PETAL sebagai bagian dari pipeline untuk secara otomatis menghasilkan pasangan pola-verbalizer, kemudian mengulangi data sampai tuplet yang hampir setara ditemukan untuk dua kualitas: deteksi exaggerasi dan kekuatan klaim.

Data ’emas’ untuk pengujian digunakan kembali dari proyek penelitian sebelumnya, yang terdiri dari 823 pasang abstrak dan rilis pers. Peneliti menolak kemungkinan menggunakan data BMJ tahun 2014, karena telah diparafrasikan.

Proses ini menghasilkan dataset 663 pasang abstrak/rilis yang diberi label untuk exaggerasi dan kekuatan klaim. Peneliti secara acak mengambil 100 di antaranya sebagai data pelatihan few-shot, dengan 553 contoh disisihkan untuk pengujian. Selain itu, sebuah set pelatihan kecil dibuat yang terdiri dari 1.138 kalimat, yang diklasifikasikan berdasarkan apakah mereka mewakili kesimpulan utama dari ringkasan atau rilis pers. Ini digunakan untuk mengidentifikasi ‘kalimat kesimpulan’ dalam pasangan yang tidak berlabel.

Pengujian

Peneliti menguji pendekatan ini dalam tiga konfigurasi: pengaturan yang sepenuhnya terawasi dengan data yang diberi label secara eksklusif; skenario PET tunggal; dan pada MT-PET baru, yang menambahkan thread formulasi sekunder sebagai tugas bantu (karena tujuan proyek ini adalah untuk memeriksa dua kualitas yang terpisah dari dataset dengan konstruk data yang dipasangkan).

Peneliti menemukan bahwa MT-PET memperbaiki hasil dasar PET di seluruh lingkungan pengujian, dan menemukan bahwa mengidentifikasi kekuatan klaim membantu menghasilkan data pelatihan yang diberi label lunak untuk deteksi exaggerasi. Namun, makalah tersebut mencatat bahwa dalam beberapa konfigurasi di antara array pengujian yang kompleks, terutama yang terkait dengan kekuatan klaim, kehadiran data yang diberi label secara profesional mungkin menjadi faktor dalam hasil yang diperbaiki (dibandingkan dengan proyek penelitian sebelumnya yang menangani masalah ini). Ini dapat memiliki implikasi untuk seberapa besar pipeline dapat diotomatisasi, tergantung pada penekanan data tugas.

Namun, peneliti menyimpulkan bahwa MT-PET ‘membantu dalam kasus yang lebih sulit untuk mengidentifikasi dan membedakan klaim penyebab langsung dari klaim yang lebih lemah, dan bahwa pendekatan yang paling efektif melibatkan mengklasifikasikan dan membandingkan kekuatan klaim individu dari pernyataan dokumen sumber dan target’.

Dalam penutup, pekerjaan ini berspekulasi bahwa MT-PET tidak hanya dapat diterapkan pada berbagai makalah ilmiah (di luar sektor kesehatan), tetapi juga dapat membentuk dasar alat baru untuk membantu jurnalis menghasilkan gambaran yang lebih baik dari makalah ilmiah (meskipun ini, mungkin dengan polos, menganggap bahwa jurnalis melebih-lebihkan kekuatan klaim karena ketidaktahuan), serta membantu komunitas penelitian dalam merumuskan penggunaan bahasa yang lebih jelas untuk menjelaskan ide kompleks. Selanjutnya, makalah tersebut mengamati:

‘[ini] harus dicatat bahwa hasil kinerja prediktif yang dilaporkan dalam makalah ini adalah untuk rilis pers yang ditulis oleh jurnalis sains – seseorang dapat mengharapkan hasil yang lebih buruk untuk rilis pers yang lebih kuat menyederhanakan artikel ilmiah.’