มุมมองของ Anderson

เครื่องมือตรวจสอบอคติในบทความข่าวด้วย AI ที่ใช้งานได้ใน Python

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญDbias เป็นแพ็คเกจตรวจจับอคติที่ปรับแต่งได้เป็นตัวแรกสำหรับบทความข่าว
ดูเพิ่มเติม
  • Dbias เป็นแพ็คเกจตรวจจับอคติที่ปรับแต่งได้เป็นตัวแรกสำหรับบทความข่าว
  • ไปป์ไลน์จะแปลงภาษาที่มีอคติให้เป็นข้อความที่เป็นกลางโดยอัตโนมัติ แทนที่จะฝึกผู้ใช้
  • Dbias มีประสิทธิภาพเหนือกว่าเฟรมเวิร์กคู่แข่งทั้งหมด รวมถึง BERT และ RoBERTa ในการตรวจจับอคติ

นักวิจัยจากแคนาดา อินเดีย จีน และออสเตรเลียร่วมกันพัฒนาแพ็กเกจ Python ที่เปิดให้ใช้ฟรี ซึ่งสามารถตรวจหาและแทนที่ ”ภาษาที่ไม่เป็นธรรม” ในข้อความข่าวได้อย่างมีประสิทธิภาพ

ระบบชื่อ Dbias ใช้เทคโนโลยีการเรียนรู้ของเครื่องและฐานข้อมูลหลายชนิด เพื่อสร้างกระบวนการวนซ้ำสามขั้นตอนที่สามารถปรับแก้ ข้อความที่มีอคติ จนได้ข้อความที่ไม่มีอคติ หรืออย่างน้อยก็เป็นกลางมากขึ้น

ภาษาชี้นำในข้อความข่าวที่ระบุว่ามีอคติถูก Dbias ปรับให้เป็นถ้อยคำที่ยั่วยุน้อยลง ที่มา: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

ภาษาชี้นำในข้อความข่าวที่ระบุว่ามีอคติถูก Dbias ปรับให้เป็นถ้อยคำที่ยั่วยุน้อยลง ที่มา: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

ระบบนี้เป็นกระบวนการประมวลผลที่นำกลับมาใช้ซ้ำได้และทำงานได้ในตัว สามารถ ติดตั้งผ่าน Pip จาก Hugging Face และผนวกเข้ากับโครงการที่มีอยู่เป็นขั้นตอนเสริม ส่วนขยาย หรือปลั๊กอิน

ในเดือนเมษายน ฟังก์ชันลักษณะใกล้เคียงกันใน Google Docs ถูกวิพากษ์วิจารณ์ โดยเฉพาะเรื่องที่ไม่สามารถปรับแก้ได้ ในทางกลับกัน Dbias สามารถเลือกฝึกด้วยคลังข้อความข่าวใดก็ได้ที่ผู้ใช้ปลายทางต้องการ จึงยังเปิดให้กำหนดแนวทางความเป็นธรรมเฉพาะของตนเองได้

ความแตกต่างสำคัญคือ กระบวนการ Dbias มีจุดประสงค์เพื่อเปลี่ยน ”ภาษาที่แฝงการชี้นำ” ซึ่งเป็นคำที่เพิ่มน้ำเสียงวิพากษ์ลงในการสื่อสารข้อเท็จจริง ให้เป็นภาษาที่เป็นกลางหรือธรรมดาโดยอัตโนมัติ แทนที่จะคอยสั่งสอนผู้ใช้อย่างต่อเนื่อง กล่าวคือ ผู้ใช้ปลายทางเป็นผู้กำหนดตัวกรองทางจริยธรรมและฝึกระบบตามนั้น ส่วนแนวทางของ Google Docs อาจกล่าวได้ว่าระบบเป็นฝ่ายฝึกผู้ใช้โดยกำหนดอยู่ฝ่ายเดียว

สถาปัตยกรรมแนวคิดของกระบวนการ Dbias

สถาปัตยกรรมแนวคิดของกระบวนการ Dbias

นักวิจัยระบุว่า Dbias เป็นแพ็กเกจตรวจจับอคติชุดแรกที่ปรับแต่งได้อย่างแท้จริง ต่างจากโครงการที่นำส่วนประกอบสำเร็จรูปมาประกอบกัน ซึ่งเป็นลักษณะที่พบในงานสาขาย่อยด้านการประมวลผลภาษาธรรมชาติ (NLP) นี้จนถึงปัจจุบัน

งานวิจัยใหม่ ชื่อ แนวทางเพื่อรับรองความเป็นธรรมในบทความข่าว มาจากผู้ร่วมวิจัยที่มหาวิทยาลัยโตรอนโต Toronto Metropolitan University, Environmental Resources Management ในบังกาลอร์, DeepBlue Academy of Sciences ในจีน และมหาวิทยาลัยซิดนีย์

วิธีการ

โมดูลแรกของ Dbias คือ การตรวจจับอคติ ซึ่งใช้แพ็กเกจ DistilBERT ที่ปรับให้มีประสิทธิภาพสูงจาก BERT ของ Google ซึ่งต้องใช้ทรัพยากรประมวลผลค่อนข้างมาก สำหรับโครงการนี้ DistilBERT ถูกปรับฝึกเพิ่มเติมด้วยชุดข้อมูล Media Bias Annotation (MBIC)

MBIC ประกอบด้วยบทความข่าวจากสื่อหลายแห่ง รวมทั้ง Huffington Post, USA Today และ MSNBC นักวิจัยใช้ชุดข้อมูลฉบับขยาย

แม้ข้อมูลเดิมจะได้รับการกำกับป้ายโดยผู้ทำงานแบบคราวด์ซอร์ส ซึ่งเป็นวิธีที่ ถูกวิพากษ์วิจารณ์ ในช่วงปลายปี 2021 แต่นักวิจัยของงานใหม่นี้สามารถระบุกรณีอคติที่ยังไม่มีป้ายกำกับเพิ่มเติมในชุดข้อมูล และเพิ่มเข้าไปด้วยตนเอง กรณีที่พบเกี่ยวข้องกับเชื้อชาติ การศึกษา ชาติพันธุ์ ภาษา ศาสนา และเพศ

โมดูลต่อมา การระบุถ้อยคำที่มีอคติ ใช้ การรู้จำเอนทิตีที่มีชื่อ (NER) เพื่อแยกแยะคำที่มีอคติแต่ละคำจากข้อความนำเข้า งานวิจัยระบุว่า:

”ตัวอย่างเช่น ข่าวที่ว่า ‘อย่าหลงเชื่อการโหมกระแสแบบวิทยาศาสตร์เทียมเกี่ยวกับทอร์นาโดและการเปลี่ยนแปลงสภาพภูมิอากาศ’ ถูกโมดูลตรวจจับอคติก่อนหน้าจัดว่าเป็นข้อความที่มีอคติ จากนั้นโมดูลระบุถ้อยคำที่มีอคติสามารถระบุคำว่า ‘การโหมกระแสแบบวิทยาศาสตร์เทียม’ ว่าเป็นถ้อยคำที่มีอคติได้”

NER ไม่ได้ออกแบบมาสำหรับงานนี้โดยเฉพาะ แต่เคยถูกใช้ มาก่อน เพื่อระบุอคติ โดยเฉพาะใน โครงการปี 2021 ของมหาวิทยาลัยเดอรัมในสหราชอาณาจักร

ในขั้นตอนนี้ นักวิจัยใช้ RoBERTa ร่วมกับกระบวนการ SpaCy English Transformer NER

ขั้นตอนถัดไป การปิดบังถ้อยคำที่มีอคติ ใช้วิธีใหม่ที่ปิดบังคำที่ระบุว่ามีอคติด้วยหลายมาสก์ โดยประมวลผลตามลำดับเมื่อมีคำที่มีอคติหลายคำ

ภาษาชี้นำถูกแทนที่ด้วยภาษาที่เป็นกลางในขั้นตอนที่สามของ Dbias คำว่า mouthing และ using กล่าวถึงการกระทำเดียวกัน แต่คำแรกถือว่ามีน้ำเสียงดูหมิ่น

ภาษาชี้นำถูกแทนที่ด้วยภาษาที่เป็นกลางในขั้นตอนที่สามของ Dbias คำว่า mouthing และ using กล่าวถึงการกระทำเดียวกัน แต่คำแรกถือว่ามีน้ำเสียงดูหมิ่น

เมื่อจำเป็น ผลป้อนกลับจากขั้นตอนนี้จะถูกส่งย้อนกลับไปยังจุดเริ่มต้นของกระบวนการเพื่อประเมินเพิ่มเติม จนกว่าจะสร้างคำหรือวลีทางเลือกที่เหมาะสมได้จำนวนหนึ่ง ขั้นตอนนี้ใช้การสร้างแบบจำลองภาษาแบบปิดบังคำ (MLM) ตามแนวทางที่กำหนดโดย ความร่วมมือในปี 2021 ที่นำโดย Facebook Research

โดยปกติงาน MLM จะสุ่มปิดบังคำ 15% แต่กระบวนการ Dbias จะกำหนดให้ใช้คำที่ระบุว่ามีอคติเป็นข้อมูลนำเข้าแทน

สถาปัตยกรรมนี้พัฒนาและฝึกบน Google Colab Pro ด้วย NVIDIA (NVDA ) P100 ที่มี VRAM 24GB ใช้ขนาดแบตช์ 16 และมีเพียงสองป้ายกำกับ คือ มีอคติ และ ไม่มีอคติ

การทดสอบ

นักวิจัยทดสอบ Dbias เทียบกับห้าแนวทางที่ใกล้เคียงกัน ได้แก่ LG-TFIDF ที่ใช้ การถดถอยโลจิสติก และเวกเตอร์ฝังคำ TfidfVectorizer (TFIDF); LG-ELMO; MLP-ELMO ซึ่งเป็นโครงข่ายประสาทเทียมแบบป้อนไปข้างหน้าที่มีเวกเตอร์ฝังคำ ELMO; BERT; และ RoBERTa

ตัวชี้วัดที่ใช้ในการทดสอบคือความถูกต้อง (ACC) ความแม่นยำ (PREC) อัตราการค้นคืน (Rec) และคะแนน F1 เนื่องจากนักวิจัยไม่ทราบว่ามีระบบใดที่ทำงานทั้งสามอย่างได้ในกระบวนการเดียว จึงผ่อนเกณฑ์ให้ระบบคู่เปรียบเทียบ โดยประเมินเฉพาะงานหลักของ Dbias คือการตรวจจับอคติและการระบุถ้อยคำที่มีอคติ

ผลการทดสอบ Dbias

ผลการทดสอบ Dbias

Dbias ให้ผลลัพธ์เหนือกว่าระบบคู่เปรียบเทียบทั้งหมด รวมถึงระบบที่ใช้ทรัพยากรประมวลผลมากกว่า

งานวิจัยระบุว่า:

”ผลยังแสดงให้เห็นว่า โดยทั่วไปเวกเตอร์ฝังจากโครงข่ายประสาทเชิงลึกสามารถทำงานได้ดีกว่าวิธีฝังแบบดั้งเดิม เช่น TFIDF ในงานจำแนกอคติ เห็นได้จากผลที่ดีกว่าของเวกเตอร์ฝังจากโครงข่ายประสาทเชิงลึก นั่นคือ ELMO เมื่อเทียบกับการแปลงเป็นเวกเตอร์แบบ TFIDF เมื่อนำมาใช้ร่วมกับ LG”

”สาเหตุอาจเป็นเพราะเวกเตอร์ฝังเชิงลึกสามารถจับบริบทของคำในข้อความได้ดีกว่าในบริบทต่าง ๆ ทั้งเวกเตอร์ฝังเชิงลึกและวิธีโครงข่ายประสาทเชิงลึก ได้แก่ MLP, BERT และ RoBERTa ยังทำงานได้ดีกว่าวิธีการเรียนรู้ของเครื่องแบบดั้งเดิม LG ด้วย”

นักวิจัยยังสังเกตว่าวิธีที่ใช้ Transformer ทำงานได้ดีกว่าวิธีคู่เปรียบเทียบในการตรวจจับอคติ

การทดสอบเพิ่มเติมเปรียบเทียบ Dbias กับ SpaCy Core Web หลายรุ่น ได้แก่ core-sm ขนาดเล็ก core-md ขนาดกลาง และ core-lg ขนาดใหญ่ Dbias ได้ผลลัพธ์ดีที่สุดในการทดสอบเหล่านี้เช่นกัน:

นักวิจัยสรุปว่าโดยทั่วไปงานระบุถ้อยคำที่มีอคติมีความถูกต้องสูงขึ้นเมื่อใช้โมเดลที่ใหญ่และมีต้นทุนสูงกว่า โดยสันนิษฐานว่าเป็นเพราะมีพารามิเตอร์และจุดข้อมูลมากขึ้น นอกจากนี้ยังสังเกตว่าประสิทธิผลของงานในอนาคตด้านนี้จะขึ้นอยู่กับการทุ่มเทกำกับป้ายให้ชุดข้อมูลคุณภาพสูงมากขึ้น

ป่าและต้นไม้

หวังว่าโครงการระบุอคติอย่างละเอียดเช่นนี้จะถูกรวมเข้ากับระบบตรวจหาอคติที่มองภาพได้กว้างขึ้น และคำนึงว่าการเลือกนำเสนอเรื่องใดเรื่องหนึ่งก็เป็นการตัดสินใจที่มีอคติในตัวเอง ซึ่งอาจมีแรงจูงใจจากปัจจัยอื่นนอกเหนือจากสถิติยอดเข้าชมที่รายงาน

 

เผยแพร่ครั้งแรกเมื่อวันที่ 14 กรกฎาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai