Pemeriksa Bias Berbasis AI untuk Artikel Berita, Tersedia dalam Python

Para peneliti di Kanada, India, Cina, dan Australia telah berkolaborasi untuk menghasilkan paket Python yang tersedia secara bebas yang dapat digunakan secara efektif untuk mengenali dan mengganti 'bahasa yang tidak adil' dalam salinan berita.

Sistem, berjudul bias, menggunakan berbagai teknologi pembelajaran mesin dan database untuk mengembangkan alur kerja melingkar tiga tahap yang dapat disempurnakan teks bias sampai mengembalikan versi yang tidak bias, atau setidaknya lebih netral.

Bahasa yang dimuat dalam cuplikan berita yang diidentifikasi sebagai 'bias' diubah menjadi versi yang tidak terlalu menghasut oleh Dbias. Sumber: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Sistem ini mewakili pipa yang dapat digunakan kembali dan mandiri diinstal melalui Pip dari Hugging Face, dan diintegrasikan ke dalam proyek yang sudah ada sebagai tahap tambahan, add-on, atau plugin.

Pada bulan April, fungsi serupa diterapkan di Google Docs mendapat kritik, paling tidak karena kurangnya kemampuan untuk diedit. Dbias, di sisi lain, dapat dilatih secara lebih selektif pada kumpulan berita apa pun yang diinginkan pengguna akhir, mempertahankan kemampuan untuk mengembangkan pedoman keadilan yang dipesan lebih dahulu.

Perbedaan kritisnya adalah bahwa pipa Dbias dimaksudkan untuk secara otomatis mengubah 'bahasa yang dimuat' (kata-kata yang menambahkan lapisan kritis pada komunikasi faktual) menjadi bahasa netral atau biasa, daripada mendidik pengguna secara berkelanjutan. Pada dasarnya, pengguna akhir akan menentukan filter etika dan melatih sistem sesuai dengan itu; dalam pendekatan Google Docs, sistem ini – bisa dibilang – melatih pengguna, secara sepihak.

Arsitektur konseptual untuk alur kerja Dbias.

Menurut para peneliti, Dbias adalah paket pendeteksi bias pertama yang benar-benar dapat dikonfigurasi, berbeda dengan proyek perakitan siap pakai yang menjadi ciri sub-sektor Pemrosesan Bahasa Alami (NLP) ini hingga saat ini.

Grafik kertas baru berjudul Pendekatan untuk Menjamin Kewajaran dalam Artikel Berita, dan berasal dari para kontributor di University of Toronto, Toronto Metropolitan University, Environmental Resources Management di Bangalore, DeepBlue Academy of Sciences di China, dan The University of Sydney.

metode

Modul pertama di Dbias adalah Deteksi Bias, yang memanfaatkan DistilasiBERT paket – versi yang sangat dioptimalkan dari mesin Google yang cukup intensif BERTI. Untuk proyek tersebut, DistilBERT disesuaikan dengan Media Bias Annotation (MBIC) Himpunan data.

MBIC terdiri dari artikel berita dari berbagai sumber media, termasuk Huffington Post, USA Today, dan MSNBC. Para peneliti menggunakan versi dataset yang diperluas.

Padahal data asli dianotasi oleh pekerja crowdsourced (metode yang datang di bawah api di akhir tahun 2021), para peneliti makalah baru dapat mengidentifikasi contoh bias tambahan yang tidak berlabel dalam kumpulan data, dan menambahkannya secara manual. Insiden bias yang teridentifikasi terkait dengan ras, pendidikan, etnis, bahasa, agama, dan jenis kelamin.

Modul berikutnya, Pengakuan Bias, menggunakan Pengakuan Entitas Bernama (NER) untuk memisahkan kata-kata bias dari teks masukan. Makalah itu menyatakan:

'Misalnya, berita "Jangan membeli hype pseudo-ilmiah tentang tornado dan perubahan iklim" telah diklasifikasikan sebagai bias oleh modul deteksi bias sebelumnya, dan modul pengenalan bias sekarang dapat mengidentifikasi istilah "hype pseudo-ilmiah" sebagai kata yang bias.'

NER tidak dirancang khusus untuk tugas ini, tetapi telah digunakan sebelum untuk identifikasi bias, terutama untuk a Proyek 2021 dari Universitas Durham di Inggris.

Untuk tahap ini, peneliti menggunakan RobertTa dikombinasikan dengan pipa SpaCy English Transformer NER.

Tahap berikutnya, Penyamaran Bias, melibatkan banyak topeng baru dari kata-kata bias yang diidentifikasi, yang beroperasi secara berurutan dalam kasus beberapa kata bias yang teridentifikasi.

Bahasa yang dimuat diganti dengan bahasa pragmatis pada tahap ketiga Dbias. Perhatikan bahwa 'mengucapkan' dan 'menggunakan' sama dengan tindakan yang sama, meskipun yang pertama dianggap mengejek.

Jika diperlukan, umpan balik dari tahap ini akan dikirim kembali ke awal alur untuk evaluasi lebih lanjut hingga sejumlah frasa atau kata alternatif yang sesuai dihasilkan. Tahapan ini menggunakan Masked Language Modeling (MLM) sepanjang garis yang ditetapkan oleh a Kolaborasi 2021 dipimpin oleh Riset Facebook.

Biasanya tugas MLM akan menutupi 15% kata secara acak, tetapi alur kerja Dbias malah memberi tahu proses untuk mengambil kata bias yang teridentifikasi sebagai masukan.

Arsitekturnya diimplementasikan dan dilatih di Google Colab Pro pada NVIDIA P100 dengan VRAM 24 GB dengan ukuran batch 16, hanya menggunakan dua label (bias dan tidak bias).

Tes

Para peneliti menguji Dbias terhadap lima pendekatan yang sebanding: LG-TFIDF dengan Regresi logistik dan TfidfVektorizer (TFIDF) penyematan kata; LG-ELMO; MLP-ELMO (jaringan saraf tiruan feed-forward yang berisi embeddings ELMO); BERT; dan Roberta.

Metrik yang digunakan untuk tes adalah akurasi (ACC), presisi (PREC), daya ingat (Rec) dan skor F1. Karena para peneliti tidak memiliki pengetahuan tentang sistem yang ada yang dapat menyelesaikan ketiga tugas dalam satu pipa, dispensasi dibuat untuk kerangka kerja yang bersaing, dengan hanya mengevaluasi tugas utama Dbias – deteksi dan pengenalan bias.

Hasil dari uji coba Dbias.

Dbias berhasil mengungguli hasil dari semua framework yang bersaing, termasuk yang memiliki footprint pemrosesan yang lebih berat

Makalah tersebut menyatakan:

'Hasilnya juga menunjukkan bahwa deep neural embeddings, secara umum, dapat mengungguli metode embedding tradisional (misalnya, TFIDF) dalam tugas klasifikasi bias. Hal ini ditunjukkan oleh kinerja yang lebih baik dari penyematan jaringan syaraf dalam (yaitu, ELMO) dibandingkan dengan vektorisasi TFIDF saat digunakan dengan LG.

'Ini mungkin karena penyematan saraf yang dalam dapat lebih baik menangkap konteks kata-kata dalam teks dalam konteks yang berbeda. Penyematan saraf dalam dan metode saraf dalam (MLP, BERT, RoBERTa) juga bekerja lebih baik daripada metode ML tradisional (LG).'

Para peneliti juga mencatat bahwa metode berbasis Transformer mengungguli metode pesaing dalam deteksi bias.

Tes tambahan melibatkan perbandingan antara Dbias dan berbagai rasa SpaCy Core Web, termasuk core-sm (kecil), core-md (sedang), dan core-lg (besar). Dbias juga dapat memimpin dewan dalam uji coba ini:

Para peneliti menyimpulkan dengan mengamati bahwa tugas pengenalan bias umumnya menunjukkan akurasi yang lebih baik dalam model yang lebih besar dan lebih mahal, karena – mereka berspekulasi – dengan peningkatan jumlah parameter dan poin data. Mereka juga mengamati bahwa kemanjuran pekerjaan masa depan di bidang ini akan bergantung pada upaya yang lebih besar untuk membubuhi keterangan kumpulan data berkualitas tinggi.

Hutan dan Pohon

Mudah-mudahan proyek pengenalan bias berbutir halus semacam ini pada akhirnya akan dimasukkan ke dalam kerangka kerja pencarian bias yang dapat mengambil pandangan yang tidak terlalu rabun, dan untuk mempertimbangkan bahwa memilih untuk meliput cerita tertentu dengan sendirinya merupakan tindakan bias yang berpotensi. didorong oleh lebih dari sekadar statistik penayangan yang dilaporkan.

Pertama kali diterbitkan 14 Juli 2022.