Model Statistik Membantu Mendeteksi Informasi Palsu di Media Sosial

Seorang profesor matematika dari American University, bersama dengan tim kolaboratornya, mengembangkan model statistik yang dapat mendeteksi informasi palsu dalam postingan media sosial.

Pembelajaran mesin semakin banyak digunakan untuk menghentikan penyebaran informasi palsu, tetapi masih ada hambatan besar yang melibatkan masalah kotak hitam yang terjadi. Ini merujuk pada saat peneliti tidak memahami bagaimana mesin mengambil keputusan yang sama dengan pelatih manusia.

Mendeteksi Informasi Palsu dengan Model Statistik

Zois Boukouvalas, asisten profesor di Departemen Matematika dan Statistik AU, menggunakan dataset Twitter dengan tweet informasi palsu tentang COVID-19 untuk menunjukkan bagaimana model statistik dapat mendeteksi informasi palsu di media sosial selama peristiwa besar seperti pandemi atau bencana.

Boukouvalas dan rekan-rekannya, termasuk mahasiswa AU Caitlin Moroney dan Profesor Ilmu Komputer Nathalie Japkowics, menunjukkan bagaimana keputusan model sesuai dengan keputusan manusia dalam penelitian yang baru diterbitkan.

“Kami ingin tahu apa yang dipikirkan mesin ketika membuat keputusan, dan bagaimana serta mengapa mesin tersebut setuju dengan manusia yang melatihnya,” kata Boukouvalas. “Kami tidak ingin memblokir akun media sosial seseorang karena model membuat keputusan yang bias.”

Metode yang digunakan oleh tim adalah jenis pembelajaran mesin yang bergantung pada statistik. Model statistik efektif dan menyediakan cara lain untuk melawan informasi palsu.

Model tersebut mencapai kinerja prediksi yang tinggi dan mengklasifikasikan set pengujian 112 tweet nyata dan informasi palsu dengan akurasi hampir 90%.

“Apa yang signifikan tentang temuan ini adalah model kami mencapai akurasi sambil menawarkan transparansi tentang bagaimana model mendeteksi tweet yang merupakan informasi palsu,” lanjut Boukouvalas. “Metode pembelajaran dalam tidak dapat mencapai akurasi seperti itu dengan transparansi.”

Melatih dan Mempersiapkan Model

Para peneliti mempersiapkan model sebelum mengujinya pada dataset karena informasi yang diberikan oleh manusia dapat memperkenalkan bias dan kotak hitam.

Tweet diberi label oleh peneliti sebagai informasi palsu atau nyata berdasarkan pada set aturan yang telah ditentukan sebelumnya tentang bahasa yang digunakan dalam informasi palsu. Tim juga mempertimbangkan nuansa dalam bahasa manusia dan fitur linguistik yang terkait dengan informasi palsu.

Sebelum melatih model, Profesor Sosiolinguistik Christine Mallinson dari University of Maryland Baltimore County mengidentifikasi tweet untuk gaya penulisan yang terkait dengan informasi palsu, bias, dan sumber yang kurang dapat dipercaya dalam media berita.

“Setelah kami menambahkan input tersebut ke dalam model, model tersebut mencoba memahami faktor-faktor yang mendasari pemisahan antara informasi yang baik dan buruk,” kata Japkowicz. “Model tersebut belajar tentang konteks dan bagaimana kata-kata berinteraksi.”

Para peneliti sekarang akan mencari cara untuk meningkatkan antarmuka pengguna untuk model, serta kemampuan model untuk mendeteksi informasi palsu dalam postingan media sosial yang mencakup gambar atau multimedia lainnya. Model statistik akan dipaksa untuk belajar bagaimana berbagai elemen berinteraksi satu sama lain untuk menciptakan informasi palsu.

Baik Boukouvalas maupun Japkowicz mengatakan bahwa kecerdasan manusia dan literasi berita sangat penting untuk menghentikan penyebaran informasi palsu.

“Melalui pekerjaan kami, kami merancang alat berbasis pembelajaran mesin untuk mengingatkan dan mendidik masyarakat untuk menghilangkan informasi palsu, tetapi kami sangat percaya bahwa manusia perlu berperan aktif dalam tidak menyebarkan informasi palsu dari awal,” kata Boukouvalas.