การศึกษาใหม่พยายามปรับปรุงอัลกอริทึมการตรวจจับคำพูดที่เกลียดชัง

บริษัทโซเชียลมีเดีย โดยเฉพาะ Twitter ได้รับการวิพากษ์วิจารณ์มานานเกี่ยวกับวิธีการที่พวกเขาติดป้ายกำกับคำพูดและตัดสินใจว่าบัญชีใดที่จะถูกแบน ปัญหาเบื้องหลังเกือบทั้งหมดมักจะเกี่ยวข้องกับอัลกอริทึมที่พวกเขาใช้เพื่อตรวจสอบโพสต์ออนไลน์ ระบบอินเทลลิเจนต์ของเครื่องจักรยังไม่สมบูรณ์แบบเมื่อพูดถึงงานนี้ แต่มีการทำงานอย่างต่อเนื่องเพื่อปรับปรุงพวกเขา

รวมถึงงานที่ การศึกษาใหม่ จากมหาวิทยาลัยเซาท์เทิร์นแคลิฟอร์เนียที่พยายามลดข้อผิดพลาดบางอย่างที่อาจส่งผลให้เกิดความลำเอียงทางเชื้อชาติ

ความล้มเหลวในการรับรู้บริบท

หนึ่งในประเด็นที่ไม่ได้รับความสนใจมากนักเกี่ยวข้องกับอัลกอริทึมที่มีจุดมุ่งหมายเพื่อหยุดการแพร่กระจายของคำพูดที่เกลียดชัง แต่จริงๆ แล้วเพิ่มความลำเอียงทางเชื้อชาติ สิ่งนี้เกิดขึ้นเมื่ออัลกอริทึมล้มเหลวในการรับรู้บริบทและจุดหรือบล็อกทวีตจากกลุ่มน้อย

ปัญหาใหญ่ที่สุดของอัลกอริทึมในเรื่องบริบทคือความไวต่อเทอมที่ระบุกลุ่ม เช่น “ดำ”, “เกย์” และ “คนข้ามเพศ” อัลกอริทึมพิจารณาเทอมเหล่านี้ว่าเป็นคลาสสิฟายเออร์ของคำพูดที่เกลียดชัง แต่บ่อยครั้งถูกใช้โดยสมาชิกของกลุ่มเหล่านั้น และการกำหนดบริบทมีความสำคัญ

ในความพยายามที่จะแก้ไขปัญหาความบอดต่อบริบทนี้ นักวิจัยได้สร้างคลาสสิฟายเออร์คำพูดที่เกลียดชังที่ไวต่อบริบทมากขึ้น อัลกอริทึมใหม่นี้มีโอกาสน้อยที่จะเข้าใจผิดว่าโพสต์เป็นคำพูดที่เกลียดชัง

อัลกอริทึม

นักวิจัยได้พัฒนาอัลกอริทึมใหม่ด้วยปัจจัยสองประการในใจ: บริบทในเรื่องของตัวระบุกลุ่ม และการมีลักษณะอื่นๆ ของคำพูดที่เกลียดชังที่มีอยู่ในโพสต์ เช่น ภาษาที่ทำให้คนเสียคน

เบรนดัน เคนเนดี้เป็นนักศึกษาระดับ博士 ในสาขาวิทยาการคอมพิวเตอร์และเป็นผู้นำร่วมของการศึกษา ซึ่งได้รับการตีพิมพ์เมื่อวันที่ 6 กรกฎาคมที่ ACL 2020

“เราต้องการนำการตรวจจับคำพูดที่เกลียดชังให้ใกล้เคียงกับการใช้งานจริงมากขึ้น” เคนเนดี้กล่าว

“แบบจำลองการตรวจจับคำพูดที่เกลียดชังบ่อยครั้ง ‘แตกหัก’ หรือสร้างการคาดการณ์ที่ไม่ดี เมื่อถูกนำไปใช้กับข้อมูลในโลกแห่งความเป็นจริง เช่น ข้อมูลโซเชียลมีเดียหรือข้อความออนไลน์อื่นๆ เนื่องจากพวกมันถูกทำให้ลำเอียงโดยข้อมูลที่พวกมันถูกฝึกให้เชื่อมโยงการปรากฏตัวของเทอมที่ระบุกลุ่มกับคำพูดที่เกลียดชัง”

สาเหตุที่อัลกอริทึมมักไม่แม่นยำคือพวกมันถูกฝึกด้วยชุดข้อมูลที่ไม่สมดุล โดยมีอัตราคำพูดที่เกลียดชangs สูงมาก เนื่องจากสิ่งนี้ อัลกอริทึมจึงไม่สามารถเรียนรู้วิธีการจัดการกับสิ่งที่โซเชียลมีเดียดูเหมือนในโลกแห่งความเป็นจริง

ศาสตราจารย์ เซียง เป็นผู้เชี่ยวชาญด้านการประมวลผลภาษาธรรมชาติ

“เป็นกุญแจสำคัญสำหรับแบบจำลองที่จะไม่เพิกเฉยต่อตัวระบุ แต่จะจับคู่มันกับบริบทที่ถูกต้อง” เรน กล่าว

“หากคุณสอนแบบจำลองจากชุดข้อมูลที่ไม่สมดุล แบบจำลองจะเริ่มรับพATTERn ที่แปลกๆ และบล็อกผู้ใช้ในทางที่ไม่เหมาะสม”

เพื่อทดสอบอัลกอริทึม นักวิจัยได้ใช้ตัวอย่างข้อความสุ่มจากสองไซต์โซเชียลมีเดียที่มีอัตราคำพูดที่เกลียดชangs สูง ข้อความถูกติดป้ายกำกับโดยมนุษย์ว่าเป็นคำพูดที่ลำเอียงหรือทำให้คนเสียคน แบบจำลองที่มีคุณภาพสูงสุดถูกวัดกับแบบจำลองของนักวิจัยสำหรับการติดป้ายกำกับคำพูดที่ไม่ใช่คำพูดที่เกลียดชังอย่างไม่เหมาะสม โดยใช้บทความ 12,500 บทความจาก New York Times ที่ไม่มีคำพูดที่เกลียดชัง ในขณะที่แบบจำลองที่มีคุณภาพสูงสุดสามารถบรรลุความแม่นยำ 77% ในการระบุคำพูดที่เกลียดชังและไม่ใช่คำพูดที่เกลียดชัง แบบจำลองของนักวิจัยมีความแม่นยำสูงกว่าที่ 90%

“งานนี้โดยตัวมันเองไม่ได้ทำให้การตรวจจับคำพูดที่เกลียดชังสมบูรณ์แบบ นั่นคือโครงการขนาดใหญ่ที่หลายคนกำลังทำงาน แต่จะก้าวหน้าอย่างต่อเนื่อง” เคนเนดี้กล่าว

“นอกจากการป้องกันไม่ให้โพสต์โซเชียลมีเดียของสมาชิกในกลุ่มที่ได้รับการคุ้มครองถูกเซ็นเซอร์อย่างไม่เหมาะสมแล้ว เราหวังว่างานของเราจะช่วยให้แน่ใจว่าการตรวจจับคำพูดที่เกลียดชังจะไม่ทำอันตรายโดยไม่จำเป็นโดยการเสริมสร้างความสัมพันธ์ที่ไม่มีเหตุผลของความลำเอียงและความไม่มีมนุษยธรรมกับกลุ่มสังคม”