Penggunaan AI untuk Pemeriksa Bias pada Artikel Berita, Tersedia dalam Python

Peneliti di Kanada, India, Cina, dan Australia telah berkolaborasi untuk menghasilkan paket Python yang dapat digunakan secara efektif untuk mendeteksi dan menggantikan ‘bahasa yang tidak adil’ dalam artikel berita.

Sistem ini, yang disebut Dbias, menggunakan berbagai teknologi pembelajaran mesin dan database untuk mengembangkan alur kerja tiga tahap yang dapat memperbaiki teks yang bias hingga menghasilkan versi yang lebih netral.

Bahasa yang dimuat dalam cuplikan berita diidentifikasi sebagai ‘bias’ dan diubah menjadi versi yang kurang kontroversial oleh Dbias. Sumber: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Sistem ini mewakili pipa yang dapat digunakan kembali dan mandiri yang dapat diinstal melalui Pip dari Hugging Face dan diintegrasikan ke dalam proyek yang ada sebagai tahap tambahan, add-on, atau plugin.

Pada April, fungsionalitas serupa yang diimplementasikan dalam Google Docs menghadapi kritik, terutama karena kurangnya kemampuan diedit. Dbias, di sisi lain, dapat dilatih secara lebih selektif pada korpus berita yang diinginkan oleh pengguna akhir, sehingga mempertahankan kemampuan untuk mengembangkan pedoman keadilan yang disesuaikan.

Perbedaan kritis adalah bahwa pipa Dbias dimaksudkan untuk secara otomatis mengubah ‘bahasa yang dimuat’ (kata-kata yang menambahkan lapisan kritis pada komunikasi faktual) menjadi bahasa netral atau prosais, bukan untuk melatih pengguna secara terus-menerus. Secara esensial, pengguna akhir akan menentukan filter etis dan melatih sistem sesuai dengan itu; dalam pendekatan Google Docs, sistem sedang – secara sah – melatih pengguna, dalam cara unilateral.

Arsitektur konseptual untuk alur kerja Dbias.

Menurut peneliti, Dbias adalah paket deteksi bias yang pertama kali dapat dikonfigurasi, berbeda dengan proyek-proyek perakitan yang ada sebelumnya di sub-sektor ini dari Pemrosesan Bahasa Alami (NLP).

The makalah baru berjudul Pendekatan untuk Memastikan Keadilan dalam Artikel Berita, dan berasal dari kontributor di Universitas Toronto, Universitas Metropolitan Toronto, Environmental Resources Management di Bangalore, DeepBlue Academy of Sciences di Cina, dan Universitas Sydney.

Metode

Modul pertama dalam Dbias adalah Deteksi Bias, yang menggunakan paket DistilBERT – versi yang sangat dioptimalkan dari BERT milik Google yang cukup intensif mesin. Untuk proyek ini, DistilBERT diperhalus pada dataset Media Bias Annotation (MBIC).

MBIC terdiri dari artikel berita dari berbagai sumber media, termasuk Huffington Post, USA Today, dan MSNBC. Peneliti menggunakan versi yang diperluas dari dataset.

Meskipun data asli dianotasi oleh pekerja crowdsourced (metode yang menghadapi kritik pada akhir 2021), peneliti makalah baru dapat mengidentifikasi contoh tambahan yang tidak diberi label dari bias dalam dataset, dan menambahkannya secara manual. Kasus bias yang diidentifikasi terkait dengan ras, pendidikan, etnis, bahasa, agama, dan jenis kelamin.

Modul berikutnya, Pengenalan Bias, menggunakan Named Entity Recognition (NER) untuk memisahkan kata-kata yang bias dari teks input. Makalah tersebut menyatakan:

‘Sebagai contoh, berita “Jangan membeli hype pseudo-ilmiah tentang tornado dan perubahan iklim” telah diklasifikasikan sebagai bias oleh modul deteksi bias sebelumnya, dan modul pengenalan bias dapat mengidentifikasi istilah “hype pseudo-ilmiah” sebagai kata yang bias.’

NER tidak secara khusus dirancang untuk tugas ini, tetapi telah digunakan sebelumnya untuk identifikasi bias, terutama untuk proyek 2021 dari Universitas Durham di Inggris.

Untuk tahap ini, peneliti menggunakan RoBERTa yang dikombinasikan dengan pipa NER Transformer Inggris SpaCy.

Tahap berikutnya, Pemaskanan Bias, melibatkan pemakaian masker ganda dari kata-kata bias yang diidentifikasi, yang beroperasi secara berurutan dalam kasus kata-kata bias yang diidentifikasi secara berganda.

Bahasa yang dimuat digantikan dengan bahasa pragmatis dalam tahap ketiga Dbias. Perhatikan bahwa ‘mengucapkan’ dan ‘menggunakan’ setara dengan tindakan yang sama, meskipun yang pertama dianggap merendahkan.

Apabila perlu, umpan balik dari tahap ini akan dikirim kembali ke awal pipa untuk evaluasi lebih lanjut hingga sejumlah alternatif frasa atau kata yang sesuai telah dihasilkan. Tahap ini menggunakan Masked Language Modeling (MLM) sepanjang garis yang ditetapkan oleh kolaborasi 2021 yang dipimpin oleh Facebook Research.

Normalnya, tugas MLM akan memasker 15% kata secara acak, tetapi alur kerja Dbias menginstruksikan proses untuk mengambil kata-kata bias yang diidentifikasi sebagai input.

Arsitektur ini diimplementasikan dan dilatih pada Google Colab Pro pada NVIDIA P100 dengan 24GB VRAM pada ukuran batch 16, menggunakan hanya dua label (bias dan tidak bias).

Uji

Peneliti menguji Dbias melawan lima pendekatan yang setara: LG-TFIDF dengan Regresi Logistik dan TfidfVectorizer (TFIDF) embedding kata; LG-ELMO; MLP-ELMO (jaringan saraf tiruan feed-forward yang berisi embedding ELMO); BERT; dan RoBERTa.

Metri yang digunakan untuk uji adalah akurasi (ACC), presisi (PREC), recall (Rec), dan skor F1. Karena peneliti tidak memiliki pengetahuan tentang sistem yang ada yang dapat menyelesaikan ketiga tugas dalam satu pipa, dispensasi dibuat untuk kerangka kerja yang bersaing, dengan mengevaluasi hanya tugas utama Dbias – deteksi bias dan pengenalan.

Hasil dari uji Dbias.

Dbias berhasil melampaui hasil dari semua kerangka kerja yang bersaing, termasuk yang memiliki jejak pemrosesan yang lebih berat

Makalah tersebut menyatakan:

‘Hasil juga menunjukkan bahwa embedding saraf dalam yang umum dapat mengungguli metode embedding tradisional (misalnya, TFIDF) dalam tugas klasifikasi bias. Ini ditunjukkan oleh kinerja yang lebih baik dari embedding saraf dalam (yaitu, ELMO) dibandingkan dengan vektorisasi TFIDF ketika digunakan dengan LG.

‘Ini mungkin karena embedding saraf dalam dapat lebih baik menangkap konteks kata-kata dalam teks dalam konteks yang berbeda. Embedding saraf dalam dan metode saraf dalam (MLP, BERT, RoBERTa) juga berkinerja lebih baik daripada metode ML tradisional (LG).’

Peneliti juga mencatat bahwa metode berbasis Transformer mengungguli metode yang bersaing dalam deteksi bias.

Uji tambahan melibatkan perbandingan antara Dbias dan berbagai varian dari SpaCy Core Web, termasuk core-sm (kecil), core-md (sedang), dan core-lg (besar). Dbias mampu memimpin papan juga dalam uji ini:

Peneliti menyimpulkan dengan mengamati bahwa tugas pengenalan bias umumnya menunjukkan akurasi yang lebih baik dalam model yang lebih besar dan lebih mahal, karena – mereka spekulasi – peningkatan jumlah parameter dan titik data. Mereka juga mengamati bahwa efektivitas pekerjaan di masa depan dalam bidang ini akan bergantung pada upaya yang lebih besar untuk mengannotasi dataset berkualitas tinggi.

Hutan dan Pohon

Semoga proyek pengenalan bias yang halus seperti ini akan dimasukkan ke dalam kerangka kerja pencarian bias yang dapat mengambil pandangan yang kurang miopik, dan mempertimbangkan bahwa memilih untuk meliput cerita tertentu adalah tindakan bias itu sendiri yang berpotensi didorong oleh lebih dari sekadar statistik tontonan yang dilaporkan.

Dipublikasikan pertama kali pada 14 Juli 2022.