นักวิทยาศาสตร์คอมพิวเตอร์แก้ไขปัญหาความลำเอียงใน AI

นักวิทยาศาสตร์คอมพิวเตอร์จากมหาวิทยาลัยพรินซ์ตันและมหาวิทยาลัยสแตนฟอร์ดกำลัง แก้ไขปัญหาความลำเอียงในระบบปัญญาประดิษฐ์ (AI) โดยทำงานเกี่ยวกับวิธีการที่จะทำให้ข้อมูลมีความยุติธรรมมากขึ้น โดยเฉพาะข้อมูลที่เกี่ยวข้องกับรูปภาพของคน นักวิจัยทำงานอย่างใกล้ชิดกับ ImageNet ซึ่งเป็นฐานข้อมูลที่มีรูปภาพมากกว่า 13 ล้านภาพ ในช่วงสิบปีที่ผ่านมา ImageNet ได้ช่วยให้การมองเห็นของคอมพิวเตอร์สามารถพัฒนาขึ้นได้ โดยใช้วิธีการของนักวิจัย และแนะนำการปรับปรุงฐานข้อมูล

ImageNet มีรูปภาพของวัตถุ ทิวทัศน์ และคน นักวิจัยที่สร้างอัลกอริทึมการเรียนรู้ของเครื่องจักรที่จำแนกรูปภาพใช้ ImageNet เป็นแหล่งข้อมูล เนื่องจากฐานข้อมูลมีขนาดใหญ่มาก จึงจำเป็นต้องมีการรวบรวมรูปภาพโดยอัตโนมัติและบันทึกคำอธิบายรูปภาพโดยผู้คน ตอนนี้ ทีม ImageNet กำลังทำงานเพื่อแก้ไขปัญหาความลำเอียงและปัญหาอื่นๆ รูปภาพมักจะมีคนซึ่งเป็นผลพลอยได้ที่ไม่ได้ตั้งใจจากการที่ ImageNet ถูกสร้างขึ้น

Olga Russakovsky เป็นผู้เขียนร่วมและเป็นอาจารย์ผู้ช่วยสอนวิชาวิทยาการคอมพิวเตอร์ที่มหาวิทยาลัยพรินซ์ตัน

“การมองเห็นของคอมพิวเตอร์ทำงานได้ดีแล้ว ซึ่งหมายความว่ามันถูกใช้ในทุกๆ สถานการณ์” เขากล่าว “ซึ่งหมายความว่าตอนนี้เป็นเวลาที่จะพูดถึงผลกระทบที่มีต่อโลกและคิดเกี่ยวกับปัญหาความยุติธรรมเหล่านี้”

ในบทความใหม่ ทีม ImageNet ได้ระบุแนวคิดที่ไม่ใช่ภาพและหมวดหมู่ที่ไม่เหมาะสม โดยรวมถึงการจำแนกตามเชื้อชาติและเพศ และทีมได้เสนอให้ลบหมวดหมู่เหล่านั้นออกจากฐานข้อมูล ทีมได้พัฒนาตัวเครื่องมือที่ช่วยให้ผู้ใช้สามารถระบุและดึงรูปภาพของคนได้ตามอายุ เพศ และสีผิว เป้าหมายคือการสร้างอัลกอริทึมที่สามารถจำแนกรูปภาพของคนได้อย่างยุติธรรมมากขึ้น

งานวิจัยที่ทำโดยนักวิจัยถูกนำเสนอเมื่อวันที่ 30 มกราคมที่การประชุมของ Association for Computing Machinery เกี่ยวกับความยุติธรรม ความรับผิดชอบ และความโปร่งใสในบาร์เซโลนา ประเทศสเปน

“มีความจำเป็นอย่างมากสำหรับนักวิจัยและห้องปฏิบัติการที่มีความเชี่ยวชาญทางเทคนิคในการมีส่วนร่วมในการสนทนาเหล่านี้” Russakovsky กล่าว “เมื่อพิจารณาว่าเราต้องรวบรวมข้อมูลในระดับใหญ่ และเมื่อพิจารณาว่ามันจะทำโดยการให้คนช่วยเพราะว่ามันเป็นกระบวนการที่มีประสิทธิภาพและเป็นที่ยอมรับมากที่สุด แล้วเราจะทำมันอย่างไรเพื่อให้เที่ยงธรรมมากขึ้น — เพื่อให้ไม่ตกอยู่ในหลุมพรางเดิมๆ สิ่งสำคัญของบทความนี้คือการมีคำตอบที่สร้างสรรค์”

ImageNet ถูกเปิดตัวในปี 2009 โดยกลุ่มนักวิทยาศาสตร์คอมพิวเตอร์จากมหาวิทยาลัยพรินซ์ตันและมหาวิทยาลัยสแตนฟอร์ด มันถูกออกแบบมาเพื่อเป็นทรัพยากรสำหรับนักวิจัยและผู้ศึกษา การสร้างระบบนี้ถูกนำโดย Fei-Fei Li ซึ่งเป็นศิษย์เก่าและสมาชิกของมหาวิทยาลัยพรินซ์ตัน

ImageNet สามารถเติบโตเป็นฐานข้อมูลที่มีขนาดใหญ่ของรูปภาพที่มีคำอธิบายได้โดยใช้การให้คนช่วยในการรวบรวมและบันทึกคำอธิบายรูปภาพ หนึ่งในแพลตฟอร์มที่ใช้หลักๆ คือ Amazon Mechanical Turk (MTurk) และคนงานถูกจ่ายเงินเพื่อยืนยันรูปภาพที่เป็นไปได้ ซึ่งทำให้เกิดปัญหาหลายอย่าง และมีความลำเอียงและหมวดหมู่ที่ไม่เหมาะสมมากมาย

Kaiyu Yang เป็นนักศึกษาระดับบัณฑิตศึกษาในสาขาวิทยาการคอมพิวเตอร์ และเป็นผู้เขียนหลัก

“เมื่อคุณขอให้คนยืนยันรูปภาพโดยเลือกรูปภาพที่ถูกต้องจากชุดรูปภาพที่มีขนาดใหญ่ คนจะรู้สึกว่าถูกกดดันให้เลือกรูปภาพบางรูป และรูปภาพเหล่านั้นมักจะเป็นรูปภาพที่มีลักษณะเด่นหรือเป็นแบบฉบับ” เขากล่าว

ส่วนแรกของการศึกษาเกี่ยวข้องกับการกรองหมวดหมู่บุคคลที่อาจจะไม่เหมาะสมหรือไวต่อความรู้สึกออกจาก ImageNet หมวดหมู่ที่ไม่เหมาะสมถูกกำหนดให้เป็นหมวดหมู่ที่มีคำหยาบคายหรือคำดูถูกเชื้อชาติหรือเพศ หนึ่งในหมวดหมู่ที่ไวต่อความรู้สึกคือการจำแนกบุคคลตามเพศหรือศาสนา นักศึกษาระดับบัณฑิตศึกษาที่มีภูมิหลังที่หลากหลายถูกนำมาเพื่อบันทึกคำอธิบายหมวดหมู่ และได้รับคำสั่งให้ทำเครื่องหมายหมวดหมู่ที่ไม่แน่ใจว่าเป็นหมวดหมู่ที่ไวต่อความรู้สึก ประมาณ 54% ของหมวดหมู่ถูกกำจัดออก หรือ 1,593 จาก 2,932 หมวดหมู่บุคคลใน ImageNet

คนงาน MTurk จัดอันดับ “ความสามารถในการมองเห็น” ของหมวดหมู่ที่เหลืออยู่ในระดับ 1 ถึง 5 158 หมวดหมู่ถูกจัดให้เป็นหมวดหมู่ที่ปลอดภัยและสามารถมองเห็นได้ โดยได้รับคะแนน 4 หรือมากกว่า ชุดหมวดหมู่ที่กรองแล้วรวมถึงรูปภาพมากกว่า 133,000 รูป ซึ่งสามารถใช้ในการฝึกอัลกอริทึมการมองเห็นของคอมพิวเตอร์ได้อย่างมีประสิทธิภาพ

นักวิจัยศึกษาการแสดงภาพของคนในภาพ และประเมินระดับความลำเอียงใน ImageNet เนื้อหาที่มาจากเครื่องมือค้นหาบนอินเทอร์เน็ตมักจะให้ผลลัพธ์ที่มีการนำเสนอชายคนผิวขาวและคนอายุ 18-40 ปีมากเกินไป

“คนพบว่าการกระจายของประชากรในผลลัพธ์ของการค้นหาบนอินเทอร์เน็ตมีความลำเอียงอย่างมาก และนี่คือเหตุผลที่การกระจายใน ImageNet ก็มีความลำเอียงเช่นกัน” Yang กล่าว “ในบทความนี้ เราพยายามที่จะเข้าใจว่ามันลำเอียงแค่ไหน และยังเสนอวิธีการที่จะทำให้การกระจายสมดุล”

นักวิจัยพิจารณาลักษณะสามประการที่ได้รับการคุ้มครองตามกฎหมายต่อต้านการเลือกปฏิบัติของสหรัฐฯ ได้แก่ สีผิว การแสดงออกทางเพศ และอายุ คนงาน MTurk บันทึกคำอธิบายแต่ละลักษณะของคนในภาพ

ผลลัพธ์แสดงให้เห็นว่า ImageNet มีความลำเอียงอย่างมาก กลุ่มที่มีการนำเสนอที่น้อยที่สุดคือคนผิวดำ ผู้หญิง และผู้ใหญ่ที่มีอายุเกิน 40 ปี

เครื่องมือบนเว็บถูกออกแบบให้สามารถให้ผู้ใช้ได้รับชุดรูปภาพที่มีการกระจายประชากรที่สมดุลตามที่ผู้ใช้ต้องการ

“เราไม่ต้องการบอกว่าวิธีการกระจายประชากรที่ถูกต้องคืออะไร เพราะมันไม่ใช่เรื่องที่ง่าย” Yang กล่าว “การกระจายอาจแตกต่างกันในภูมิภาคต่างๆ ของโลก — การกระจายสีผิวในสหรัฐฯ แตกต่างจากประเทศในเอเชีย ตัวอย่างเช่น ดังนั้นเราจึงปล่อยให้ผู้ใช้ตัดสินใจ และเราจะให้เครื่องมือในการดึงรูปภาพที่มีการกระจายสมดุล”

ทีม ImageNet กำลังทำงานเกี่ยวกับการปรับปรุงทางเทคนิคของฮาร์ดแวร์และฐานข้อมูลของพวกเขา และพวกเขากำลังพยายามนำการกรองหมวดหมู่บุคคลและการกระจายสมดุลเครื่องมือที่พัฒนาในงานวิจัยนี้ไปใช้ ImageNet จะถูกเปิดตัวใหม่พร้อมกับการปรับปรุงเหล่านี้ และจะมีการเรียกให้ผู้ใช้ให้คำแนะนำจากชุมชนการวิจัยการมองเห็นของคอมพิวเตอร์

บทความนี้ยังเขียนร่วมโดย Klint Qinami นักศึกษาระดับบัณฑิตศึกษาจากมหาวิทยาลัยพรินซ์ตัน และ Jia Deng อาจารย์ผู้ช่วยสอนวิชาวิทยาการคอมพิวเตอร์ การวิจัยนี้ได้รับการสนับสนุนจาก National Science Foundation