Menghilangkan ‘Kebenaran’ yang Ketinggalan Zaman dengan Machine Learning

Terkadang kebenaran memiliki tanggal kedaluwarsa. Ketika klaim yang memiliki batas waktu (seperti ‘mengenakan masker di transportasi umum adalah wajib’) muncul di peringkat mesin pencari, solusi yang tampaknya ‘berwenang’ dapat bertahan lebih lama dari yang seharusnya, bahkan selama beberapa tahun, dan mengalahkan konten yang lebih akurat dan lebih baru pada topik yang sama.

Ini adalah hasil dari algoritma mesin pencari yang bertujuan untuk mengidentifikasi dan mempromosikan solusi ‘jangka panjang’ yang definitif, dan kecenderungan mereka untuk memprioritaskan konten yang terhubung dengan baik yang mempertahankan lalu lintas selama waktu – dan sikap yang semakin hati-hati terhadap konten baru di era berita palsu yang muncul.

Di sisi lain, menghilangkan nilai konten web yang berharga hanya karena timestamp yang terkait dengan itu telah melewati ‘jendela validitas’ yang sewenang-wenang berisiko bahwa generasi konten yang benar-benar berguna akan dihapus secara otomatis demi bahan yang lebih baru yang mungkin memiliki kualitas yang lebih rendah.

Untuk mengatasi sindrom ini, sebuah makalah baru dari peneliti di Italia, Belgia, dan Denmark telah menggunakan berbagai teknik machine learning untuk mengembangkan metode untuk time-aware evidence ranking.

Melampaui Jawaban yang Ketinggalan Zaman

Makalah ini ditulis oleh peneliti dari Komisi Eropa di Pusat Penelitian Bersama (JRC) di Ispra, Universitas Katolik di Leuven, dan Universitas Kopenhagen.

Penelitian ini mempertimbangkan empat metode peringkat temporal yang diterapkan pada tiga metode fact-checking, masing-masing dengan pendekatan yang berbeda untuk peringkat bukti, dan menawarkan metode baru untuk peringkat yang menggunakan timestamp bukti sebagai ‘standar emas’. Penelitian ini menunjukkan bahwa peringkat bukti yang sadar waktu meningkatkan ketajaman hasil, dan juga meningkatkan prediksi otoritas dan kebenaran dari fakta dan klaim yang sensitif waktu.

Penelitian ini ditawarkan sebagai kemungkinan tambahan untuk sistem yang ada atau yang akan datang, dan dirancang untuk membantu dalam penelitian, dan sebagai faktor tambahan yang mungkin untuk dimasukkan dalam mengembangkan algoritma mesin pencari yang baru dan lebih maju.

Penelitian ini memodelkan dinamika temporal dari bukti untuk fact-checking berbasis konten, dan mengungguli pendekatan ‘kesamaan semantik’ yang diadopsi oleh algoritma peringkat mesin pencari yang biasa. Model yang dilatih oleh peneliti menggunakan fungsi learning-to-rank yang dioptimalkan yang dapat dengan mudah disuperimposisikan ke dalam arsitektur fact-checking yang ada. Peneliti berpendapat bahwa sistem ini adalah kontribusi baru pada fact-checking otomatis.

Mengubah Arsitektur Fact-Checking yang Berbeda

Peneliti menerapkan faktor waktu yang terbatas pada tiga arsitektur fact-checking yang ada. Yang pertama adalah model Bidirectional Long Short Term Memory (BiLSTM) yang diusulkan dalam dataset MultiFC yang dirilis pada 2019.

Yang kedua adalah modifikasi dari yang pertama, dengan jaringan saraf berulang (RNN) unidireksional yang menggantikan komponen LSTM.

Model ketiga yang digunakan oleh peneliti adalah transformer DistilBERT dari perpustakaan Hugging Faces, versi yang disuling dari model NLP BERT Google.

Di seluruh tiga arsitektur, peneliti menerapkan kerugian ListMLE, dari penelitian yang dipimpin oleh Microsoft, yang telah secara konsisten memberikan kontribusi pada penelitian fact-checking yang baru selama dua dekade terakhir.

Dua model fact-checking utama yang telah ditambahkan komponen temporal sebagai filter untuk nilai otoritas dan peringkat selanjutnya. Sumber: https://arxiv.org/pdf/2009.06402.pdf

Nilai timestamp diekstrak dari metadata pelatihan, dan dimasukkan sebagai faktor peringkat dalam setiap model.

Pengujian

Evaluasi eksperimental untuk sistem ini melibatkan penggunaan dataset MultiFC, karena saat ini merupakan satu-satunya dataset sumber terbuka yang tersedia untuk minat penelitian ini. MultiFC berisi 34.924 klaim nyata yang diperoleh dari 26 domain fact-checking yang berbeda, termasuk Snopes dan Washington Post.

Prediksi kebenaran setiap klaim diperkuat oleh sepuluh potongan bukti yang disediakan oleh API Pencarian Google, dan prediksi yang diperoleh melalui konvergensi elemen, termasuk pembicara, tag, dan kategori.

Sangat sering, timestamp yang relevan tidak selalu yang terkandung dalam metadata; sebuah artikel mungkin merujuk pada peristiwa dari waktu sebelumnya, dan dalam kasus ini sistem peneliti harus berhati-hati untuk mengekstrak dan mengonversi data tersebut langsung dari teks. Tanpa proses ini, ‘pengulangan’ berita ketinggalan zaman akan cenderung memberinya kesan baru, terutama dalam kasus situs otoritas tinggi, sehingga menghasilkan data usang.

Tanggal-tanggal tersebut diekstrak dengan rutinitas Python, dan tanggal metadata resmi diuji untuk konsistensi format (karena, misalnya, format tanggal-stempel AS dan Inggris berbeda). Ketika diverifikasi secara manual, tidak ditemukan kesalahan dalam metadata timestamp.

Hasil

Melawan pemeriksaan manual dari hasil otomatis, peneliti menemukan bahwa peringkat bukti yang sadar waktu meningkatkan secara signifikan asumsi relevansi yang didasarkan pada kesamaan semantik murni atau peringkat SERPs. Mereka juga menentukan bahwa metode mereka meningkatkan prediksi kebenaran untuk klaim yang sensitif waktu (yaitu keadaan di mana situasi berita dapat berubah dengan cepat, dan di mana sangat penting bahwa informasi yang mutakhir diprioritaskan tanpa hanya memaksa prioritas hasil terbaru pada topik).

Peneliti mencatat bahwa pendekatan ini akan sangat berharga dalam meningkatkan model peringkat untuk topik yang mudah berubah seperti politik dan hiburan, di mana informasi berubah dengan cepat, dan pengembangan peringkat tinggi memerlukan kerangka kerja untuk demosi otomatis dari posisi teratas dalam peringkat yang mereka capai pada rilis.