ระบบตรวจสอบอคติแบบไดรฟ์ AI สำหรับบทความข่าวที่มีให้ใช้ใน Python

นักวิจัยจากประเทศแคนาดา อินเดีย จีน และออสเตรเลียได้ร่วมมือกันเพื่อสร้างแพ็คเกจ Python ที่สามารถใช้ตรวจสอบและแทนที่ ‘ภาษาที่ไม่ยุติธรรม’ ในข้อความข่าวได้อย่างมีประสิทธิภาพ

ระบบที่มีชื่อว่า Dbias ใช้เทคโนโลยีเครื่องมือการเรียนรู้และฐานข้อมูลต่างๆ เพื่อพัฒนาการทำงานแบบวงจรสามขั้นตอนที่สามารถปรับปรุง ข้อความที่มีอคติ จนกลายเป็นข้อความที่ไม่มีอคติหรือเป็นกลางมากขึ้น

Loaded language in a news snippet identified as ‘biased’ is transformed into a less incendiary version by Dbias. Source: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

ระบบนี้เป็นไปป์ไลน์ที่สามารถใช้ซ้ำและเป็นอิสระที่สามารถติดตั้งผ่าน Pip จาก Hugging Face และรวมเข้ากับโปรเจ็กต์ที่มีอยู่แล้วเป็นขั้นตอนเสริมหรือปลั๊กอิน

ในเดือนเมษายน คุณสมบัติที่คล้ายกันซึ่งใช้ใน Google Docs ถูกวิพากษ์วิจารณ์ ไม่น้อยที่จะขาดการแก้ไข Dbias ด้านข้างสามารถฝึกอบรมได้โดยเฉพาะกับข้อมูลข่าวที่ผู้ใช้ปลายต้องการ และยังคงมีความสามารถในการพัฒนาแนวทางในการสร้างความยุติธรรม

ความแตกต่างที่สำคัญคือ ระบบ Dbias มีจุดมุ่งหมายเพื่อแปลง ‘ภาษาที่มีเนื้อหาที่หนัก’ (คำที่เพิ่มชั้นสำคัญในการสื่อสารที่เป็นข้อเท็จจริง) เป็นภาษาที่เป็นกลางหรือเป็นภาษาที่ใช้ในชีวิตประจำวัน ไม่ใช่เพื่อฝึกอบรมผู้ใช้อย่างต่อเนื่อง

Conceptual architecture for the Dbias workflow.

ตามที่นักวิจัยระบุ Dbias เป็นแพ็คเกจตรวจสอบอคติที่สามารถกำหนดค่าได้จริงๆ ซึ่งไม่เหมือนกับโครงการประกอบที่มีอยู่ในกลุ่มนี้ของการประมวลผลภาษาธรรมชาติ (NLP) ในปัจจุบัน

บทความวิจัยใหม่ ใหม่ มีชื่อว่า วิธีการรับรองความยุติธรรมในบทความข่าว และมาจากผู้ร่วมให้ข้อมูลจากมหาวิทยาลัยโตรอนโต มหาวิทยาลัยเมโทรโพลิแทนโตรอนโต Environmental Resources Management ที่บังกาลอร์ DeepBlue Academy of Sciences ในจีน และมหาวิทยาลัยซิดนีย์

วิธีการ

โมดูลแรกใน Dbias คือ การตรวจสอบอคติ ซึ่งใช้ DistilBERT ซึ่งเป็นรูปแบบที่ได้รับการปรับให้เหมาะสมสูงของ BERT ของ Google ที่มีการใช้ทรัพยากรเครื่องจักรมาก สำหรับโครงการนี้ DistilBERT ได้รับการปรับให้เหมาะสมบนชุดข้อมูล MBIC

MBIC ประกอบด้วยบทความข่าวจากแหล่งข่าวต่างๆ รวมถึง Huffington Post USA Today และ MSNBC นักวิจัยใช้เวอร์ชันที่ขยายของชุดข้อมูล

แม้ว่าข้อมูลดั้งเดิมจะถูกทำเครื่องหมายโดยผู้ทำงานร่วมกัน (วิธีการที่ ถูกวิพากษ์วิจารณ์ ในปลายปี 2021) นักวิจัยของบทความใหม่สามารถระบุกรณีอคติที่ไม่ได้ทำเครื่องหมายเพิ่มเติมในชุดข้อมูล และเพิ่มเข้าไปด้วยตนเอง กรณีอคติที่พบเกี่ยวข้องกับเชื้อชาติ การศึกษา ชาติพันธุ์ ภาษา ศาสนา และเพศ

โมดูลถัดไป การรับรู้อคติ ใช้ การรับรู้ชื่อของสิ่ง (NER) เพื่อแยกคำที่มีอคติออกจากข้อความที่เข้ามา

กระบวนการนี้ไม่ได้ถูกออกแบบมาโดยเฉพาะสำหรับงานนี้ แต่ได้ถูกใช้ มาก่อน สำหรับการระบุอคติ โดยเฉพาะสำหรับ โครงการในปี 2021 จากมหาวิทยาลัยเดอรัมในสหราชอาณาจักร

สำหรับขั้นตอนนี้ นักวิจัยใช้ RoBERTa ร่วมกับ SpaCy English Transformer NER pipeline

ขั้นตอนต่อไป การปิดบังอคติ เกี่ยวข้องกับการปิดบังหลายครั้งของคำที่มีอคติที่ถูกระบุ ซึ่งทำงานแบบลำดับในกรณีที่มีคำที่มีอคติหลายคำที่ถูกระบุ

Loaded language is replaced with pragmatic language in the third stage of Dbias. Note that ‘mouthing’ and ‘using’ equate to the same action, though the former is considered derisive.

ตามความจำเป็น ข้อเสนอแนะจากขั้นตอนนี้จะถูกส่งกลับไปที่จุดเริ่มต้นของกระบวนการเพื่อประเมินผลอีกครั้งจนกว่าจะมีการสร้างคำหรือวลีทางเลือกที่เหมาะสมหลายคำ

โดยปกติแล้วงาน MLM จะปิดบังคำ 15% ของคำที่เข้ามาแบบสุ่ม แต่กระบวนการ Dbias บอกให้กระบวนการนี้ใช้คำที่มีอคติที่ถูกระบุเป็นข้อมูลเข้า

การทดสอบ

นักวิจัยทดสอบ Dbias กับวิธีการที่เทียบเท่ากัน 5 วิธี

Dbias ประสบความสำเร็จในการทดสอบและให้ผลลัพธ์ที่ดีกว่าวิธีการที่มีแนวทางเดียวกัน

ป่าและต้นไม้

หวังว่าโครงการที่มีการระบุอคติแบบละเอียดเช่นนี้จะถูกนำไปรวมกับกรอบการทำงานที่สามารถมองเห็นภาพรวมได้มากขึ้น และพิจารณาว่าการเลือกที่จะรายงานเรื่องใดเรื่องหนึ่งเป็นการกระทำที่มีอคติซึ่งอาจถูกขับเคลื่อนด้วยสิ่งที่มากกว่าแค่สถิติการดูสื่อเท่านั้น

โครงการนี้จะถูกเผยแพร่ครั้งแรกเมื่อวันที่ 14 กรกฎาคม 2022