Sudut Anderson

Pemeriksa Bias Berbasis AI untuk Artikel Berita, Tersedia dalam Python

Martin Anderson
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaDbias adalah paket deteksi bias pertama yang dapat dikonfigurasi untuk artikel berita.
Lihat selengkapnya
  • Dbias adalah paket deteksi bias pertama yang dapat dikonfigurasi untuk artikel berita.
  • Pipeline secara otomatis mengubah bahasa yang dimuat menjadi teks netral daripada melatih pengguna.
  • Dbias mengungguli semua kerangka kerja pesaing termasuk BERT dan RoBERTa dalam deteksi bias.

Peneliti di Kanada, India, Cina, dan Australia telah berkolaborasi untuk menghasilkan paket Python yang tersedia secara gratis dan dapat digunakan secara efektif untuk mendeteksi dan menggantikan ‘bahasa yang tidak adil’ dalam artikel berita.

Sistem ini, yang disebut Dbias, menggunakan berbagai teknologi pembelajaran mesin dan database untuk mengembangkan alur kerja berulang tiga tahap yang dapat memperbaiki teks yang bias hingga menghasilkan versi yang tidak bias atau setidaknya lebih netral.

Bahasa bermuatan penilaian dalam cuplikan berita diidentifikasi sebagai 'bias' dan diubah menjadi versi yang kurang kontroversial oleh Dbias. Sumber: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Bahasa bermuatan penilaian dalam cuplikan berita diidentifikasi sebagai ‘bias’ dan diubah menjadi versi yang kurang kontroversial oleh Dbias. Sumber: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Sistem ini merupakan alur pemrosesan yang dapat digunakan kembali dan berdiri sendiri, yang dapat diinstal melalui Pip dari Hugging Face dan diintegrasikan ke dalam proyek yang ada sebagai tahap tambahan, add-on, atau plugin.

Pada April, fungsionalitas serupa yang diimplementasikan dalam Google Docs menghadapi kritik, terutama karena kurangnya kemampuan diedit. Dbias, di sisi lain, dapat dilatih secara lebih selektif pada korpus berita yang diinginkan oleh pengguna akhir, sehingga mempertahankan kemampuan untuk mengembangkan pedoman keadilan yang disesuaikan.

Perbedaan kritis adalah bahwa pipa Dbias dimaksudkan untuk secara otomatis mengubah ‘bahasa bermuatan penilaian’ (kata-kata yang menambahkan lapisan kritis pada komunikasi faktual) menjadi bahasa netral atau prosais, bukan untuk melatih pengguna secara terus-menerus. Secara esensial, pengguna akhir akan menentukan filter etis dan melatih sistem sesuai dengan itu; dalam pendekatan Google Docs, sistem sedang – bisa dikatakan – melatih pengguna, dalam cara unilateral.

Arsitektur konseptual untuk alur kerja Dbias.

Arsitektur konseptual untuk alur kerja Dbias.

Menurut peneliti, Dbias adalah paket deteksi bias yang pertama kali dapat dikonfigurasi, berbeda dengan proyek-proyek perakitan yang ada sebelumnya di sub-sektor ini dari Pemrosesan Bahasa Alami (NLP).

makalah baru berjudul Pendekatan untuk Memastikan Keadilan dalam Artikel Berita, dan berasal dari kontributor di Universitas Toronto, Universitas Metropolitan Toronto, Environmental Resources Management di Bangalore, DeepBlue Academy of Sciences di Cina, dan Universitas Sydney.

Metode

Modul pertama dalam Dbias adalah Deteksi Bias, yang menggunakan paket DistilBERT – versi yang sangat dioptimalkan dari BERT milik Google yang membutuhkan sumber daya komputasi cukup besar. Untuk proyek ini, DistilBERT dilatih lebih lanjut pada dataset Media Bias Annotation (MBIC).

MBIC terdiri dari artikel berita dari berbagai sumber media, termasuk Huffington Post, USA Today, dan MSNBC. Peneliti menggunakan versi yang diperluas dari dataset.

Meskipun data asli dianotasi oleh pekerja crowdsourced (metode yang menghadapi kritik pada akhir 2021), peneliti makalah baru dapat mengidentifikasi contoh tambahan yang tidak diberi label dari bias dalam dataset, dan menambahkannya secara manual. Kasus bias yang diidentifikasi terkait dengan ras, pendidikan, etnis, bahasa, agama, dan jenis kelamin.

Modul berikutnya, Pengenalan Bias, menggunakan Named Entity Recognition (NER) untuk memisahkan kata-kata yang bias dari teks input. Makalah tersebut menyatakan:

‘Sebagai contoh, berita “Jangan percaya kehebohan pseudoilmiah tentang tornado dan perubahan iklim” telah diklasifikasikan sebagai bias oleh modul deteksi bias sebelumnya, dan modul pengenalan bias dapat mengidentifikasi istilah “kehebohan pseudoilmiah” sebagai kata yang bias.’

NER tidak secara khusus dirancang untuk tugas ini, tetapi telah digunakan sebelumnya untuk identifikasi bias, terutama untuk proyek 2021 dari Universitas Durham di Inggris.

Untuk tahap ini, peneliti menggunakan RoBERTa yang dikombinasikan dengan pipa NER Transformer Inggris SpaCy.

Tahap berikutnya, Pemaskanan Bias, melibatkan metode baru dengan beberapa mask untuk menutupi kata-kata bias yang telah diidentifikasi. Jika terdapat beberapa kata bias, pemrosesannya dilakukan secara berurutan.

Bahasa bermuatan penilaian digantikan dengan bahasa pragmatis dalam tahap ketiga Dbias. Perhatikan bahwa 'mouthing' dan 'using' setara dengan tindakan yang sama, meskipun yang pertama dianggap merendahkan.

Bahasa bermuatan penilaian digantikan dengan bahasa pragmatis dalam tahap ketiga Dbias. Perhatikan bahwa ‘mouthing’ dan ‘using’ setara dengan tindakan yang sama, meskipun yang pertama dianggap merendahkan.

Apabila perlu, umpan balik dari tahap ini akan dikirim kembali ke awal pipa untuk evaluasi lebih lanjut hingga sejumlah alternatif frasa atau kata yang sesuai telah dihasilkan. Tahap ini menggunakan Masked Language Modeling (MLM) sesuai pendekatan yang ditetapkan melalui kolaborasi 2021 yang dipimpin oleh Facebook Research.

Normalnya, tugas MLM akan memasker 15% kata secara acak, tetapi alur kerja Dbias menginstruksikan proses untuk mengambil kata-kata bias yang diidentifikasi sebagai input.

Arsitektur ini diimplementasikan dan dilatih pada Google Colab Pro pada NVIDIA (NVDA ) P100 dengan 24GB VRAM pada ukuran batch 16, menggunakan hanya dua label (bias dan tidak bias).

Uji

Peneliti menguji Dbias melawan lima pendekatan yang setara: LG-TFIDF dengan Regresi Logistik dan TfidfVectorizer (TFIDF) embedding kata; LG-ELMO; MLP-ELMO (jaringan saraf tiruan feed-forward yang berisi embedding ELMO); BERT; dan RoBERTa.

Metrik yang digunakan untuk uji adalah akurasi (ACC), presisi (PREC), recall (Rec), dan skor F1. Karena peneliti tidak memiliki pengetahuan tentang sistem yang ada yang dapat menyelesaikan ketiga tugas dalam satu pipa, dispensasi dibuat untuk kerangka kerja yang bersaing, dengan mengevaluasi hanya tugas utama Dbias – deteksi bias dan pengenalan.

Hasil dari uji Dbias.

Hasil dari uji Dbias.

Dbias berhasil melampaui hasil dari semua kerangka kerja yang bersaing, termasuk yang memiliki jejak pemrosesan yang lebih berat

Makalah tersebut menyatakan:

‘Hasil juga menunjukkan bahwa embedding saraf dalam secara umum dapat mengungguli metode embedding tradisional (misalnya, TFIDF) dalam tugas klasifikasi bias. Ini ditunjukkan oleh kinerja yang lebih baik dari embedding saraf dalam (yaitu, ELMO) dibandingkan dengan vektorisasi TFIDF ketika digunakan dengan LG.’

‘Ini mungkin karena embedding saraf dalam dapat lebih baik menangkap konteks kata-kata dalam teks dalam konteks yang berbeda. Embedding saraf dalam dan metode saraf dalam (MLP, BERT, RoBERTa) juga berkinerja lebih baik daripada metode ML tradisional (LG).’

Peneliti juga mencatat bahwa metode berbasis Transformer mengungguli metode yang bersaing dalam deteksi bias.

Uji tambahan melibatkan perbandingan antara Dbias dan berbagai varian dari SpaCy Core Web, termasuk core-sm (kecil), core-md (sedang), dan core-lg (besar). Dbias mampu meraih hasil terbaik juga dalam uji ini:

Peneliti menyimpulkan dengan mengamati bahwa tugas pengenalan bias umumnya menunjukkan akurasi yang lebih baik dalam model yang lebih besar dan lebih mahal, karena – mereka spekulasi – peningkatan jumlah parameter dan titik data. Mereka juga mengamati bahwa efektivitas pekerjaan di masa depan dalam bidang ini akan bergantung pada upaya yang lebih besar untuk mengannotasi dataset berkualitas tinggi.

Hutan dan Pohon

Semoga proyek pengenalan bias yang halus seperti ini akan dimasukkan ke dalam kerangka kerja pencarian bias yang dapat mengambil pandangan yang lebih luas, dan mempertimbangkan bahwa memilih untuk meliput cerita tertentu adalah tindakan bias itu sendiri yang berpotensi didorong oleh lebih dari sekadar statistik tontonan yang dilaporkan.

 

Dipublikasikan pertama kali pada 14 Juli 2022.

Penulis tentang pembelajaran mesin, spesialis domain dalam sintesis gambar manusia. Mantan kepala konten riset di Metaphysic.ai, hingga dibubarkannya menjadi Brahma.ai milik DNEG.
Website: martinanderson.ai
Kontak: martin@martinanderson.ai