มุมมองของ Anderson

ความท้าทายด้านการจัดหมวดหมู่เชื้อชาติในระบบสังเคราะห์ภาพที่ใช้ CLIP

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญCLIP แสดงอคติแบบ hypodescent…
ดูเพิ่มเติม
  • CLIP แสดงอคติแบบ hypodescent โดยจัดประเภทใบหน้าที่มีเชื้อชาติผสมเป็นชนกลุ่มน้อยที่อัตราส่วนการผสม 50%
  • ผู้เข้าร่วมที่เป็นเพศหญิงเผชิญกับอคติแบบ hypodescent จาก CLIP มากกว่าผู้เข้าร่วมที่เป็นเพศชายในการศึกษา
  • CLIP เชื่อมโยงป้ายกำกับเชื้อชาติของชนกลุ่มน้อยกับความหมายเชิงลบมากกว่าป้ายกำกับของคนผิวขาว

การวิจัยใหม่จากสหรัฐพบว่าหนึ่งในโมเดลการมองเห็นของคอมพิวเตอร์ที่เป็นที่นิยมซึ่งอยู่เบื้องหลังซีรีส์ DALL-E ที่ได้รับการยกย่องอย่างมาก รวมทั้งโมเดลการสร้างและจำแนกภาพอื่นๆ มีความโน้มเอียงที่จะแสดง hypodescent – กฎการแบ่งประเภทเชื้อชาติ (หรือที่เรียกว่า ‘กฎหนึ่งหยด’) ซึ่งแบ่งบุคคลที่มีเชื้อสายผสมแม้เพียงส่วนน้อย (เช่น ไม่ใช่เชื้อสายคอเคเซียน) ทั้งหมดออกเป็นหมวดหมู่เชื้อชาติชนกลุ่มน้อย

เนื่องจาก hypodescent มีลักษณะ ลักษณะที่น่าเกลียด ในประวัติศาสตร์ของมนุษย์ ผู้เขียนของเอกสารใหม่แนะนำว่าแนวโน้มดังกล่าวในงานวิจัยและใช้งานด้านการมองเห็นของคอมพิวเตอร์ควรได้รับการพิจารณาเพิ่มเติม ไม่ใช่แค่เพราะว่าโครงสร้างที่รองรับซึ่งถูกดาวน์โหลดเกือบหนึ่งล้านครั้งต่อเดือนอาจกระจายและเผยแพร่ความลำเอียงทางเชื้อชาติในโครงสร้างทางด้านล่างได้

สถาปัตยกรรมที่กำลังศึกษาในงานใหม่นี้คือ Contrastive Language Image Pretraining (CLIP) ซึ่งเป็นโมเดลการเรียนรู้ของเครื่องแบบหลายโหมดที่เรียนรู้ความสัมพันธ์เชิงความหมายโดยการฝึกฝนจากคู่ภาพและคำบรรยายจากอินเทอร์เน็ต – แนวทางการเรียนรู้แบบกึ่งกำกับดูแลที่ลดค่าใช้จ่ายในการทำเครื่องหมายลงอย่างมาก แต่ซึ่งอาจสะท้อนถึงความลำเอียงของผู้ที่สร้างคำบรรยาย

จากเอกสาร:

‘ผลการวิจัยของเราให้หลักฐานเกี่ยวกับ hypodescent ในปริภูมิเวกเตอร์ฝังตัวของ CLIP ความลำเอียงที่ใช้กับภาพของสตรีมากกว่า ผลการวิจัยยังชี้ให้เห็นว่า CLIP สัมพันธ์ภาพกับป้ายกำกับเชื้อชาติหรือชาติพันธุ์ตามการเบี่ยงเบนจากคนผิวขาว โดยมีคนผิวขาวเป็นค่าเริ่มต้น

เอกสารยังพบว่าความสัมพันธ์ของภาพกับ ‘สิ่งที่ดี’ หรือ ‘สิ่งที่ไม่ดี’ มีค่าสูงกว่าสำหรับป้ายกำกับเชื้อชาติชนกลุ่มน้อยมากกว่าสำหรับคนผิวขาว และชี้ให้เห็นว่าความลำเอียงของ CLIP สะท้อนถึงคอร์ปัสของวรรณกรรมที่มีศูนย์กลางอยู่ที่สหรัฐ (วิกิพีเดียภาษาอังกฤษ) ที่โครงสร้างนี้ถูกฝึกฝน

เมื่อแสดงความคิดเห็นเกี่ยวกับผลกระทบของการสนับสนุน hypodescent ที่เห็นได้ชัดเจนของ CLIP ผู้เขียนระบุว่า*:

‘การใช้ CLIP ในการฝึกโมเดลการสร้างภาพแบบไม่ต้องมีตัวอย่าง DALL-E เป็นหนึ่งในการใช้งานแรกๆ ของ CLIP โมเดล CLIP ขนาดใหญ่ที่ไม่เปิดเผยต่อสาธารณะถูกใช้ในการฝึก DALL-E 2 การใช้งานเหล่านี้สอดคล้องกับผลการวิจัยของเรา และหมายเหตุเกี่ยวกับความเสี่ยงและข้อจำกัดที่อธิบายไว้ในการ์ดโมเดล DALL-E 2 ระบุว่า “สร้างภาพที่มีสัดส่วนของบุคคลที่ถูกมองว่าเป็นคนผิวขาวมากเกินไป”

‘การใช้งานเหล่านี้แสดงให้เห็นถึงศักยภาพในการกระจายความลำเอียงที่ CLIP เรียนรู้ออกไปนอกเหนือจากปริภูมิเวกเตอร์ฝังตัวของโมเดล เนื่องจากคุณลักษณะของ CLIP ถูกนำมาใช้ในการสร้างความหมายในโมเดล AI รุ่นใหม่ๆ

‘นอกจากนี้ เนื่องจากความก้าวหน้าที่เกิดขึ้นจาก CLIP และโมเดลที่คล้ายกันในการสร้างความสัมพันธ์ระหว่างภาพและข้อความในสถานการณ์แบบไม่ต้องมีตัวอย่าง โมเดลหลายโหมดถูกอธิบายว่าเป็นพื้นฐานสำหรับอนาคตของแอปพลิเคชันบนอินเทอร์เน็ตที่ใช้กันอย่างแพร่หลาย รวมถึงเครื่องมือค้นหา

‘ผลการวิจัยของเราแสดงให้เห็นว่าควรให้ความสนใจเพิ่มเติมกับสิ่งที่โมเดลเหล่านี้เรียนรู้จากคำแนะนำภาษาธรรมชาติ’

เอกสาร เรื่องนี้ มีชื่อเรื่องว่า หลักฐานของ hypodescent ใน AI ที่มีเชิงความหมายภาพ และมาจากนักวิจัยสามคนจากมหาวิทยาลัยวอชิงตันและมหาวิทยาลัยฮาร์วาร์ด

CLIP และอิทธิพลที่ไม่ดี

แม้ว่านักวิจัยจะยืนยันว่างานของพวกเขาคือการวิเคราะห์ hypodescent ใน CLIP ครั้งแรก แต่งานก่อนหน้านี้ได้แสดงให้เห็นว่ากระบวนการทำงานของ CLIP ซึ่งพึ่งพาการฝึกฝนแบบไม่ดูแลจากข้อมูลที่มาจากเว็บ ที่ไม่ได้รับการดูแล อาจ แสดงภาพของผู้หญิงน้อยกว่าสัดส่วนที่ควรเป็น สามารถสร้าง เนื้อหาที่ไม่เหมาะสม และสามารถแสดง ความลำเอียงเชิงความหมาย (เช่น ความรู้สึกต่อต้านมุสลิม) ในตัวเข้ารหัสภาพ

เอกสารต้นฉบับที่นำเสนอ CLIP ยอมรับว่าในสถานการณ์แบบไม่ต้องมีตัวอย่าง CLIP สัมพันธ์ภาพกับคนผิวขาวเพียง 58.3% ในชุดข้อมูล FairFace ผู้เขียนตั้งข้อสังเกตว่าป้ายกำกับ FairFace ที่จัดทำโดยผู้ปฏิบัติงาน Amazon Mechanical Turk อาจมีอคติ และระบุว่า ‘คนส่วนน้อยที่สำคัญที่ถูกมองว่าเป็นคนผิวขาวโดยมนุษย์ถูกสัมพันธ์ภาพกับเชื้อชาติอื่นที่ไม่ใช่คนผิวขาวโดย CLIP’

พวกเขาให้คำอธิบายเพิ่มเติม:

‘สิ่งที่ตรงกันข้ามไม่ดูเหมือนจะเป็นจริง เนื่องจากบุคคลที่ถูกมองว่าเป็นเชื้อชาติอื่นในข้อมูล FairFace ถูกสัมพันธ์ภาพกับป้ายกำกับเหล่านั้นโดย CLIP ผลลัพธ์นี้ชี้ให้เห็นว่า CLIP อาจได้เรียนรู้กฎของ “hypodescent” ตามที่นักวิทยาศาสตร์ทางสังคมได้อธิบาย: บุคคลที่มีบรรพบุรุษหลายเชื้อชาติมีแนวโน้มจะถูกมองและจัดอยู่ในกลุ่มของพ่อหรือแม่ที่เป็นชนกลุ่มน้อยหรือเสียเปรียบ มากกว่ากลุ่มของพ่อหรือแม่ที่เป็นชนกลุ่มใหญ่หรือได้เปรียบ ทั้งที่ทั้งสองกลุ่มล้วนเป็นส่วนหนึ่งของเชื้อสายอย่างเท่าเทียมกัน

‘ในอีกคำหนึ่ง ลูกของพ่อแม่ที่เป็นคนผิวดำและคนผิวขาวมักถูกมองว่าเป็นคนผิวดำมากกว่าคนผิวขาว และลูกของพ่อแม่ที่เป็นคนเอเชียและคนผิวขาวมักถูกมองว่าเป็นคนเอเชียมากกว่าคนผิวขาว’

เอกสารนี้มีผลการวิจัยหลักสามประการ: CLIP แสดง hypodescent โดย ‘รวม’ คนมีเชื้อสายผสมเข้ากับหมวดหมู่เชื้อชาติที่ไม่ใช่คนผิวขาว; ‘คนผิวขาวเป็นเชื้อชาติเริ่มต้นใน CLIP’ และเชื้อชาติอื่นถูกนิยามจากการเบี่ยงเบนไปจากหมวดหมู่คนผิวขาว; และความลำเอียงของ valence (ความสัมพันธ์กับ ‘สิ่งที่ไม่ดี’) สัมพันธ์กับการจัดหมวดหมู่บุคคลเข้ากับเชื้อชาติชนกลุ่มน้อย

วิธีการและข้อมูล

เพื่อกำหนดวิธีการที่ CLIP จัดการกับบุคคลที่มีเชื้อสายผสม นักวิจัยใช้เทคนิค ที่นำมาใช้ก่อนหน้านี้ เพื่อเปลี่ยนแปลงเชื้อชาติของภาพบุคคล ภาพถ่ายมาจาก ฐานข้อมูลใบหน้า Chicago Face Database ซึ่งเป็นชุดข้อมูลที่พัฒนาไว้สำหรับการศึกษาทางจิตวิทยาเกี่ยวกับเชื้อชาติ

ตัวอย่างภาพ CFD ที่ปรับเปลี่ยนเชื้อชาติจากเอกสารเสริมของงานวิจัยใหม่ แหล่งที่มา: https://arxiv.org/pdf/2205.10764.pdf

ตัวอย่างภาพ CFD ที่ปรับเปลี่ยนเชื้อชาติจากเอกสารเสริมของงานวิจัยใหม่ แหล่งที่มา: https://arxiv.org/pdf/2205.10764.pdf

นักวิจัยเลือกใช้ภาพ ‘ที่มีการแสดงออกที่เป็นกลาง’ จากชุดข้อมูลเพื่อให้แน่ใจว่าผลการวิจัยสอดคล้องกับงานก่อนหน้านี้ พวกเขาใช้ StyleGAN2-ADA (ที่ฝึกฝนจาก FFHQ) เพื่อเปลี่ยนแปลงเชื้อชาติของภาพใบหน้า และสร้างภาพระหว่างที่แสดงถึงการเปลี่ยนแปลงจากเชื้อชาติหนึ่งไปเป็นอีกเชื้อชาติหนึ่ง (ดูตัวอย่างภาพด้านบน)

สอดคล้องกับงานก่อนหน้า นักวิจัยเปลี่ยนแปลงใบหน้าของผู้ที่ระบุตัวเองว่าเป็นคนผิวดำ คนเอเชีย และคนละตินอเมริกันในฐานข้อมูลให้เป็นคนผิวขาว มี 19 ระยะกลางที่สร้างขึ้นในกระบวนการนี้ มีทั้งหมด 21,000 ภาพขนาด 1024×1024 พิกเซลที่สร้างขึ้นสำหรับโครงการนี้โดยวิธีนี้

นักวิจัยได้รับเวกเตอร์ฝังตัวของภาพที่ผ่านการฉายสำหรับ CLIP สำหรับภาพทั้ง 21 ภาพในแต่ละชุดเปลี่ยนแปลงเชื้อชาติ หลังจากนั้นพวกเขาขอเครื่องหมายป้ายกำกับสำหรับภาพแต่ละภาพจาก CLIP: ‘ผสมเชื้อชาติ’, ‘สองเชื้อชาติ’, ‘ผสม’, และ ‘บุคคล’ (ป้ายกำกับสุดท้ายที่ไม่รวมเชื้อชาติ)

รุ่น CLIP ที่ใช้คือ CLIP-ViT-Base-Patch32 ผู้เขียนระบุว่าโมเดลนี้ถูกดาวน์โหลดมากกว่าหนึ่งล้านครั้งในเดือนที่แล้ว และคิดเป็น 98% ของการดาวน์โหลด CLIP ทั้งหมดจาก ไลบรารี Transformers

การทดสอบ

เพื่อทดสอบความโน้มเอียงที่อาจเกิดขึ้นของ CLIP ต่อ hypodescent นักวิจัยสังเกตป้ายกำกับเชื้อชาติที่ CLIP ระบุให้กับภาพแต่ละภาพในเส้นโครงของภาพที่เปลี่ยนแปลงเชื้อชาติ

ตามผลการวิจัย CLIP มีแนวโน้มที่จะจัดกลุ่มคนในหมวดหมู่ ‘ชนกลุ่มน้อย’ ที่ประมาณเครื่องหมายการเปลี่ยนแปลง 50%

ที่อัตราส่วนผสม 50% ซึ่งบุคคลมีส่วนของเชื้อชาติต้นทางและปลายทางเท่ากัน จากภาพผู้หญิงที่ปรับเปลี่ยน 1,000 ภาพ CLIP จับคู่กับป้ายกำกับเอเชีย (89.1%) ลาตินอเมริกา (75.8%) และคนผิวดำ (69.7%) มากกว่าป้ายกำกับคนผิวขาวที่เทียบเท่ากัน

ที่อัตราส่วนผสม 50% ซึ่งบุคคลมีส่วนของเชื้อชาติต้นทางและปลายทางเท่ากัน จากภาพผู้หญิงที่ปรับเปลี่ยน 1,000 ภาพ CLIP จับคู่กับป้ายกำกับเอเชีย (89.1%) ลาตินอเมริกา (75.8%) และคนผิวดำ (69.7%) มากกว่าป้ายกำกับคนผิวขาวที่เทียบเท่ากัน

ผลการวิจัยแสดงให้เห็นว่าผู้หญิงมีแนวโน้มที่จะถูกจัดหมวดหมู่ใน hypodescent มากกว่าผู้ชายภายใต้ CLIP แม้ว่าผู้เขียนจะคาดเดาว่านี่อาจเป็นเพราะว่าป้ายกำกับที่มาจากเว็บและไม่ได้รับการดูแลที่อธิบายภาพของผู้หญิงมักจะเน้นไปที่รูปลักษณ์ของบุคคลมากกว่าในกรณีของผู้ชาย และอาจมีผลกระทบต่อการเบี่ยงเบน

hypodescent ที่ 50% การเปลี่ยนแปลงเชื้อชาติไม่สังเกตเห็นในซีรีส์ชายเอเชีย-คนผิวขาวหรือซีรีส์ชายลาตินอเมริกา-คนผิวขาว ในขณะที่ CLIP ให้ค่าความคล้ายคลึงแบบโคไซน์สูงกว่าสำหรับป้ายกำกับคนผิวดำใน 67.5% ของกรณีที่อัตราส่วนผสม 55%

ค่าความคล้ายคลึงแบบโคไซน์เฉลี่ยของป้ายกำกับ Multiracial, Biracial และ Mixed Race ผลลัพธ์ชี้ว่า CLIP ใช้จุดแบ่งประเภทที่อัตราส่วนผสมต่างกัน โดยจัดเชื้อสายผสมเหล่านี้เป็นคนผิวขาว (บุคคล ในเหตุผลของการทดลอง) น้อยกว่าจัดเป็นชาติพันธุ์ที่รับรู้ได้จากภาพ

ค่าความคล้ายคลึงแบบโคไซน์เฉลี่ยของป้ายกำกับ Multiracial, Biracial และ Mixed Race ผลลัพธ์ชี้ว่า CLIP ใช้จุดแบ่งประเภทที่อัตราส่วนผสมต่างกัน โดยจัดเชื้อสายผสมเหล่านี้เป็นคนผิวขาว (บุคคล ในเหตุผลของการทดลอง) น้อยกว่าจัดเป็นชาติพันธุ์ที่รับรู้ได้จากภาพ

วัตถุประสงค์หลักตามที่ระบุไว้ในเอกสารคือ CLIP ควรจัดหมวดหมู่การผสมเชื้อชาติระหว่างอย่างถูกต้องเป็น ‘ผสมเชื้อชาติ’ แทนที่จะกำหนด ‘จุดเปลี่ยน’ ที่บุคคลถูกส่งเข้าหมวดหมู่ที่ไม่ใช่คนผิวขาวทั้งหมด

ในระดับหนึ่ง CLIP จัดหมวดหมู่ขั้นตอนการเปลี่ยนแปลงเชื้อชาติระหว่างเป็น ‘ผสมเชื้อชาติ’ (ดูกราฟด้านบน) แต่สุดท้ายแสดงให้เห็นถึงความชอบในการจัดหมวดหมู่บุคคลเป็นเชื้อชาติที่ไม่ใช่คนผิวขาวที่มีส่วนร่วม

ในแง่ของ valence ผู้เขียนระบุว่า CLIP มีการตัดสินที่เอนเอียง:

‘ความสัมพันธ์ของ valence (ความสัมพันธ์กับ ‘สิ่งที่ไม่ดี’ หรือ ‘สิ่งที่ไม่น่าพึงพอใจ’ เทียบกับ ‘สิ่งที่ดี’ หรือ ‘สิ่งที่น่าพึงพอใจ’) มีการเปลี่ยนแปลงตามอัตราส่วนผสมในซีรีส์ชายผิวดำ-คนผิวขาว เช่น CLIP ระบุความสัมพันธ์กับสิ่งที่ไม่น่าพึงพอใจสำหรับใบหน้าที่คล้ายกับอาสาสมัคร CFD ที่ระบุว่าตัวเองเป็นคนผิวดำ’

ผลด้าน valence แสดงว่ากลุ่มชนกลุ่มน้อยสัมพันธ์กับแนวคิดเชิงลบในสถาปัตยกรรมคู่ภาพมากกว่าบุคคลที่ติดป้ายกำกับคนผิวขาว ผู้เขียนระบุว่าความเชื่อมโยงของภาพกับความไม่น่าพึงพอใจเพิ่มขึ้นตามความน่าจะเป็นที่โมเดลจัดภาพไว้กับป้ายกำกับคนผิวดำ

ผลด้าน valence แสดงว่ากลุ่มชนกลุ่มน้อยสัมพันธ์กับแนวคิดเชิงลบในสถาปัตยกรรมคู่ภาพมากกว่าบุคคลที่ติดป้ายกำกับคนผิวขาว ผู้เขียนระบุว่าความเชื่อมโยงของภาพกับความไม่น่าพึงพอใจเพิ่มขึ้นตามความน่าจะเป็นที่โมเดลจัดภาพไว้กับป้ายกำกับคนผิวดำ

เอกสารระบุ:

‘หลักฐานบ่งชี้ว่าค่า valence ของภาพสัมพันธ์กับการจัดหมวดหมู่เชื้อชาติ มากกว่านั้น ผลการวิจัยของเราชี้ว่า ยิ่งโมเดลมั่นใจว่าภาพเป็นบุคคลผิวดำมากเท่าไร ภาพนั้นยิ่งเชื่อมโยงกับปริภูมิเวกเตอร์ฝังตัวที่แสดงความไม่น่าพึงพอใจมากขึ้นเท่านั้น’

อย่างไรก็ตาม ผลการวิจัยยังชี้ให้เห็นว่ามีความสัมพันธ์เชิงลบในกรณีของคนเอเชีย ผู้เขียนแนะนำว่านี่อาจเป็นเพราะการผ่าน (ผ่านข้อมูลจากเว็บ) ของการรับรู้เชิงบวกของวัฒนธรรมอเมริกันต่อคนเอเชียและชุมชน ผู้เขียนระบุว่า*:

‘การมองเห็นความสัมพันธ์ระหว่างความน่าพึงพอใจและความน่าจะเป็นของป้ายกำกับคนเอเชียอาจสอดคล้องกับภาพลักษณ์ของ ‘ชนกลุ่มน้อยที่ประสบความสำเร็จ’ ซึ่งคนเอเชียมักถูกยกย่องสำหรับการเคลื่อนไหวขึ้นและรวมเข้ากับวัฒนธรรมอเมริกัน และเชื่อมโยงกับ “พฤติกรรมที่ดี”

เกี่ยวกับวัตถุประสงค์สุดท้ายในการตรวจสอบว่าคนผิวขาวเป็น ‘อัตลักษณ์เริ่มต้น’ ในมุมมองของ CLIP ผลการวิจัยชี้ให้เห็นว่ามีการแบ่งแยกที่ฝังลึก ซึ่งบ่งชี้ว่าภายใต้สถาปัตยกรรมนี้ มันค่อนข้างยากที่จะเป็น ‘คนผิวขาวเล็กน้อย’

ความคล้ายคลึงกันของคอซีนต่อเนื่องใน 21,000 ภาพที่สร้างขึ้นสำหรับการทดสอบ

ความคล้ายคลึงกันของคอซีนต่อเนื่องใน 21,000 ภาพที่สร้างขึ้นสำหรับการทดสอบ

ผู้เขียนแสดงความคิดเห็นว่า:

‘หลักฐานบ่งชี้ว่า CLIP ระบุคนผิวขาวเป็นเชื้อชาติเริ่มต้น ซึ่งได้รับการสนับสนุนจากความสัมพันธ์ที่แข็งแกร่งระหว่างความคล้ายคลึงกันของคอซีนของคนผิวขาวและความคล้ายคลึงกันของคอซีนของบุคคลมากกว่าสำหรับกลุ่มเชื้อชาติหรือชาติพันธุ์อื่นๆ ‘

 

*การแปลงอ้างอิงในบรรทัดของฉันให้เป็นลิงก์

เผยแพร่ครั้งแรกเมื่อวันที่ 24 พฤษภาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai