Menghasilkan dan Mengidentifikasi Propaganda dengan Machine Learning

Penelitian baru dari Amerika Serikat dan Qatar menawarkan metode baru untuk mengidentifikasi berita palsu yang ditulis dengan cara yang sama seperti manusia sebenarnya menulis berita palsu – dengan menyematkan pernyataan tidak akurat ke dalam konteks yang sebagian besar benar, dan dengan menggunakan teknik propaganda populer seperti bandingkan dengan otoritas dan bahasa yang dimuat.

Proyek ini telah menghasilkan dataset pelatihan deteksi berita palsu baru yang disebut PropaNews, yang menggabungkan teknik-teknik ini. Penulis penelitian menemukan bahwa detektor yang dilatih pada dataset baru ini 7,3-12% lebih akurat dalam mendeteksi disinformasi yang ditulis oleh manusia daripada pendekatan sebelumnya.

Dari kertas baru, contoh ‘bandingkan dengan otoritas’ dan ‘bahasa yang dimuat’. Sumber: https://arxiv.org/pdf/2203.05386.pdf

Penulis mengklaim bahwa sepengetahuan mereka, proyek ini adalah yang pertama untuk menggabungkan teknik propaganda (bukan hanya ketidakakuratan faktual) ke dalam contoh teks mesin yang dihasilkan untuk memicu detektor berita palsu.

Sebagian besar pekerjaan terbaru di bidang ini, mereka berpendapat, telah mempelajari bias, atau mengubah ‘propaganda’ data dalam konteks bias (karena bias menjadi sektor mesin pembelajaran yang sangat dibiayai di era post-Analytica).

Penulis menyatakan:

‘Dalam kontras, pekerjaan kami menghasilkan berita palsu dengan menggabungkan teknik propaganda dan mempertahankan sebagian besar informasi yang benar. Oleh karena itu, pendekatan kami lebih sesuai untuk mempelajari pertahanan melawan berita palsu yang ditulis oleh manusia.’

Mereka lebih lanjut menggambarkan urgensi yang semakin meningkat untuk teknik deteksi propaganda yang lebih canggih*:

‘[Disinformasi yang ditulis oleh manusia], yang sering digunakan untuk memanipulasi populasi tertentu, memiliki dampak yang sangat besar pada beberapa peristiwa, seperti Pemilihan Presiden AS 2016, Brexit, pandemi COVID-19, dan serangan Rusia terhadap Ukraina baru-baru ini. Oleh karena itu, kita sangat membutuhkan mekanisme pertahanan melawan disinformasi yang ditulis oleh manusia.’

Kertas penelitian ini berjudul Menghasilkan Berita Palsu untuk Deteksi Berita Palsu yang Sebenarnya: Pembuatan Data Pelatihan yang Dimuat dengan Propaganda, dan berasal dari lima peneliti di University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University di Qatar, University of Washington, dan Allen Institute for AI.

Mendefinisikan Ketidakbenaran

Tantangan dalam mengkuantifikasi propaganda sebagian besar adalah masalah logistik: sangat mahal untuk mempekerjakan manusia untuk mengenali dan menandai materi dunia nyata dengan karakteristik seperti propaganda untuk dimasukkan dalam dataset pelatihan, dan potensial lebih murah untuk mengekstrak dan menggunakan fitur tingkat tinggi yang kemungkinan akan bekerja pada data ‘tidak terlihat’, di masa depan.

Untuk mendapatkan solusi yang lebih skalabel, peneliti awalnya mengumpulkan artikel disinformasi yang dibuat oleh manusia dari sumber berita yang dianggap memiliki akurasi faktual yang rendah, melalui situs Media Bias Fact Check.

Mereka menemukan bahwa 33% dari artikel yang dipelajari menggunakan teknik propaganda yang tidak jujur, termasuk kata-kata yang memicu emosi, kesalahan logika, dan bandingkan dengan otoritas. Tambahan 55% dari artikel tersebut mengandung informasi yang tidak akurat yang dicampur dengan informasi yang akurat.

Menghasilkan Bandingkan dengan Otoritas

Pendekatan bandingkan dengan otoritas memiliki dua kasus penggunaan: kutipan pernyataan yang tidak akurat, dan kutipan pernyataan yang sepenuhnya fiksi. Penelitian ini berfokus pada kasus penggunaan kedua.

Dari proyek baru, kerangka Natural Language Inference RoBERTa mengidentifikasi dua contoh lagi dari bandingkan dengan otoritas dan bahasa yang dimuat.

Dengan tujuan menghasilkan propaganda mesin untuk dataset baru, peneliti menggunakan arsitektur seq2seq pra-dilatih BART untuk mengidentifikasi kalimat yang penting yang dapat diubah menjadi propaganda. Karena tidak ada dataset yang tersedia secara publik untuk tugas ini, penulis menggunakan model ringkasan ekstraktif yang diusulkan pada 2019 untuk memperkirakan kepentingan kalimat.

Untuk satu artikel dari setiap outlet berita yang dipelajari, peneliti menggantikan kalimat ‘ditandai’ ini dengan argumen palsu dari ‘otoritas’ yang berasal dari Layanan Kueri Wikidata dan dari otoritas yang disebutkan dalam artikel (yaitu orang dan/atau organisasi).

Menghasilkan Bahasa yang Dimuat

Bahasa yang dimuat termasuk kata-kata, sering kali kata sifat dan kata keterangan yang sensasional, yang mengandung penilaian nilai implisit yang terjalin dalam konteks penyampaian fakta.

Untuk mendapatkan data tentang bahasa yang dimuat, penulis menggunakan dataset dari penelitian 2019 yang mengandung 2.547 contoh bahasa yang dimuat. Karena tidak semua contoh dalam data 2019 termasuk kata sifat atau kata keterangan yang memicu emosi, peneliti menggunakan SpaCy untuk melakukan parsing ketergantungan dan penandaan Bagian dari Kalimat (PoS), hanya menyimpan contoh yang sesuai untuk dimasukkan dalam kerangka.

Proses penyaringan ini menghasilkan 1.017 sampel bahasa yang dimuat yang valid. Contoh lain dari BART digunakan untuk menyembunyikan dan menggantikan kalimat penting dalam dokumen sumber dengan bahasa yang dimuat.

Dataset PropaNews

Setelah pelatihan model intermediate yang dilakukan pada dataset CNN/DM 2015 dari Google Deep Mind dan Oxford University, peneliti menghasilkan dataset PropaNews, mengubah artikel non-trivial dari sumber ‘tepercaya’ seperti The New York Times dan The Guardian menjadi versi ‘direvisi’ yang mengandung propaganda algoritmik yang dibuat.

Eksperimen ini dimodelkan pada penelitian 2013 dari Hanover, yang secara otomatis menghasilkan ringkasan timeline dari cerita berita di seluruh 17 peristiwa berita, dan total 4.535 cerita.

Disinformasi yang dihasilkan diserahkan kepada 400 pekerja unik di Amazon Mechanical Turk (AMT), mencakup 2000 Tugas Intelijen Manusia (HIT). Hanya artikel propaganda yang dianggap akurat oleh pekerja yang dimasukkan dalam versi final dari PropaNews. Penyelesaian perselisihan dinilai dengan metode Worker Agreement With Aggregate (WAWA).

Versi final dari PropaNews mengandung 2.256 artikel, seimbang antara output palsu dan nyata, 30% di antaranya menggunakan bandingkan dengan otoritas, dengan 30% lagi menggunakan bahasa yang dimuat. Sisanya hanya mengandung informasi yang tidak akurat dari jenis yang telah banyak memenuhi dataset sebelumnya dalam bidang penelitian ini.

Data ini dibagi 1.256:500:500 di seluruh distribusi pelatihan, pengujian, dan validasi.

Dataset HumanNews

Untuk mengevaluasi efektivitas rutin deteksi propaganda yang dilatih, peneliti mengompilasi 200 artikel berita yang ditulis oleh manusia, termasuk artikel yang dibantah oleh Politifact, dan diterbitkan antara 2015-2020.

Data ini diperkuat dengan artikel yang dibantah tambahan dari outlet berita yang tidak tepercaya, dan totalnya diperiksa oleh seorang mahasiswa pascasarjana ilmu komputer.

Dataset final, yang disebut HumanNews, juga mengandung 100 artikel dari Los Angeles Times.

Pengujian

Proses deteksi dipertandingkan dengan kerangka sebelumnya dalam dua bentuk: PN-Silver, yang mengabaikan validasi annotator AMT, dan PN-Gold, yang memasukkan validasi sebagai kriteria.

Kerangka yang bersaing termasuk penawaran 2019 Grover-GEN, 2020 Fact-GEN, dan FakeEvent, di mana artikel dari PN-Silver digantikan dengan dokumen yang dihasilkan oleh metode yang lebih lama.

Variasi Grover dan RoBERTa terbukti paling efektif ketika dilatih pada dataset PropaNews baru, dengan peneliti menyimpulkan bahwa ‘detektor yang dilatih pada PROPANEWS bekerja lebih baik dalam mengidentifikasi disinformasi yang ditulis oleh manusia dibandingkan dengan pelatihan pada dataset lain’.

Peneliti juga mengamati bahwa bahkan dataset ablasi PN-Silver yang setengah rusak outperforms metode yang lebih lama pada dataset lain.

Ketinggalan Zaman?

Penulis mengulangi kurangnya penelitian hingga saat ini tentang generasi dan identifikasi otomatis berita palsu yang berfokus pada propaganda, dan memperingatkan bahwa penggunaan model yang dilatih pada data sebelum peristiwa kritis (seperti COVID, atau, secara argumentatif, situasi saat ini di Eropa Timur) tidak dapat diharapkan untuk berkinerja optimal:

‘Sekitar 48% dari disinformasi yang ditulis oleh manusia yang salah diklasifikasikan disebabkan oleh ketidakmampuan untuk memperoleh pengetahuan dinamis dari sumber berita baru. Misalnya, artikel terkait COVID biasanya diterbitkan setelah 2020, sedangkan ROBERTA dilatih sebelumnya pada artikel berita yang dirilis sebelum 2019. Sangat sulit bagi ROBERTA untuk mendeteksi disinformasi tentang topik tersebut kecuali detektor dilengkapi dengan kemampuan untuk memperoleh pengetahuan dinamis dari artikel berita.’

Penulis lebih lanjut mencatat bahwa RoBERTa mencapai akurasi 69,0% untuk deteksi artikel berita palsu di mana materi dipublikasikan sebelum 2019, tetapi turun menjadi 51,9% akurasi ketika diterapkan pada artikel berita yang dipublikasikan setelah tanggal ini.

Paltering dan Konteks

Meskipun penelitian ini tidak secara langsung membahasnya, memungkinkan bahwa jenis penyelidikan mendalam tentang efek semantik ini akhirnya dapat menangani senjata bahasa yang lebih halus, seperti paltering – penggunaan selektif dan egois dari pernyataan yang benar untuk mencapai hasil yang diinginkan yang mungkin bertentangan dengan semangat dan niat yang sebenarnya dari bukti yang digunakan.

Garisan penelitian yang terkait dan sedikit lebih maju dalam NLP, visi komputer, dan penelitian multimodal adalah penelitian tentang konteks sebagai bagian dari makna, di mana pengaturan ulang atau pengkontekstualisasi kembali fakta yang benar menjadi setara dengan upaya untuk memicu reaksi yang berbeda dari fakta yang mungkin secara normal mempengaruhi, jika fakta tersebut disajikan dalam bentuk yang lebih jelas dan linier.

* Konversi saya dari kutipan inline penulis ke tautan langsung.

Pertama kali diterbitkan 11 Maret 2022.