‘การแบ่งประเภทเชื้อชาติ’ ที่ท้าทายสำหรับระบบสังเคราะห์ภาพ CLIP

การวิจัยใหม่จากสหรัฐพบว่าหนึ่งในโมเดลการมองเห็นของคอมพิวเตอร์ที่เป็นที่นิยมซึ่งอยู่เบื้องหลังซีรีส์ DALL-E ที่ได้รับการยกย่องอย่างมาก รวมทั้งโมเดลการสร้างและจำแนกภาพอื่นๆ มีความโน้มเอียงที่จะแสดง hypodescent – กฎการแบ่งประเภทเชื้อชาติ (หรือที่เรียกว่า ‘กฎหนึ่งหยด’) ซึ่งแบ่งบุคคลที่มีเชื้อสายผสม (เช่น ไม่ใช่เชื้อสายคอเคเซียน) ทั้งหมดออกเป็นหมวดหมู่เชื้อชาติชนกลุ่มน้อย

เนื่องจาก hypodescent มีลักษณะ ลักษณะที่น่าเกลียด ในประวัติศาสตร์ของมนุษย์ ผู้เขียนของเอกสารใหม่แนะนำว่าแนวโน้มดังกล่าวในงานวิจัยและใช้งานด้านการมองเห็นของคอมพิวเตอร์ควรได้รับการพิจารณาเพิ่มเติม ไม่ใช่แค่เพราะว่าโครงสร้างที่รองรับซึ่งถูกดาวน์โหลดเกือบหนึ่งล้านครั้งต่อเดือนอาจกระจายและเผยแพร่ความลำเอียงทางเชื้อชาติในโครงสร้างทางด้านล่างได้

สถาปัตยกรรมที่กำลังศึกษาในงานใหม่นี้คือ การฝึกฝนภาษาและภาพแบบตัดตอน (CLIP) ซึ่งเป็นโมเดลการเรียนรู้ของเครื่องแบบหลายโหมดที่เรียนรู้ความสัมพันธ์เชิงความหมายโดยการฝึกฝนจากคู่ภาพและคำบรรยายจากอินเทอร์เน็ต – การเข้าใกล้แบบกึ่งดูแลที่ลดค่าใช้จ่ายในการทำเครื่องหมายลงอย่างมาก แต่ซึ่งอาจสะท้อนถึงความลำเอียงของผู้ที่สร้างคำบรรยาย

จากเอกสาร:

‘ผลการวิจัยของเราให้หลักฐานเกี่ยวกับ hypodescent ในพื้นที่การฝึกฝนของ CLIP ความลำเอียงที่ใช้กับภาพของสตรีมากกว่า ผลการวิจัยยังชี้ให้เห็นว่า CLIP สัมพันธ์ภาพกับป้ายกำกับเชื้อชาติหรือชาติพันธุ์ตามการเบี่ยงเบนจากคนผิวขาว โดยมีคนผิวขาวเป็นค่าเริ่มต้น

เอกสารยังพบว่าความสัมพันธ์ของภาพกับ ‘สิ่งที่ดี’ หรือ ‘สิ่งที่ไม่ดี’ มีค่าสูงกว่าสำหรับป้ายกำกับเชื้อชาติชนกลุ่มน้อยมากกว่าสำหรับคนผิวขาว และชี้ให้เห็นว่าความลำเอียงของ CLIP สะท้อนถึงคอร์ปัสของวรรณกรรมที่มีศูนย์กลางอยู่ที่สหรัฐ (วิกิพีเดียภาษาอังกฤษ) ที่โครงสร้างนี้ถูกฝึกฝน

เมื่อแสดงความคิดเห็นเกี่ยวกับผลกระทบของการสนับสนุน hypodescent ที่เห็นได้ชัดเจนของ CLIP ผู้เขียนระบุว่า*:

‘การใช้ CLIP ในการฝึกโมเดลการสร้างภาพแบบไม่ต้องมีตัวอย่าง DALL-E เป็นหนึ่งในการใช้งานแรกๆ ของ CLIP โมเดล CLIP ขนาดใหญ่ที่ไม่เปิดเผยต่อสาธารณะถูกใช้ในการฝึก DALL-E 2 การใช้งานเหล่านี้สอดคล้องกับผลการวิจัยของเรา และหมายเหตุเกี่ยวกับความเสี่ยงและข้อจำกัดที่อธิบายไว้ในการ์ดโมเดล DALL-E 2 ระบุว่า “สร้างภาพที่มีคนผิวขาวมากกว่าคนผิวขาว”

‘การใช้งานเหล่านี้แสดงให้เห็นถึงศักยภาพในการกระจายความลำเอียงที่ CLIP เรียนรู้ออกไปนอกเหนือจากพื้นที่การฝึกฝนของโมเดล เนื่องจากคุณลักษณะของ CLIP ถูกนำมาใช้ในการสร้างความหมายในโมเดล AI รุ่นใหม่ๆ

‘นอกจากนี้ เนื่องจากความก้าวหน้าที่เกิดขึ้นจาก CLIP และโมเดลที่คล้ายกันในการสร้างความสัมพันธ์ระหว่างภาพและข้อความในสถานการณ์แบบไม่ต้องมีตัวอย่าง โมเดลหลายโหมดถูกอธิบายว่าเป็นพื้นฐานสำหรับอนาคตของแอปพลิเคชันบนอินเทอร์เน็ตที่ใช้กันอย่างแพร่หลาย รวมถึงเครื่องมือค้นหา

‘ผลการวิจัยของเราแสดงให้เห็นว่าควรให้ความสนใจเพิ่มเติมกับสิ่งที่โมเดลเหล่านี้เรียนรู้จากคำแนะนำภาษาธรรมชาติ’

เอกสาร เรื่องนี้ มีชื่อเรื่องว่า หลักฐานของ hypodescent ใน AI ที่มีเชิงความหมายภาพ และมาจากนักวิจัยสามคนจากมหาวิทยาลัยวอชิงตันและมหาวิทยาลัยฮาร์วาร์ด

CLIP และอิทธิพลที่ไม่ดี

แม้ว่านักวิจัยจะยืนยันว่างานของพวกเขาคือการวิเคราะห์ hypodescent ใน CLIP ครั้งแรก แต่งานก่อนหน้านี้ได้แสดงให้เห็นว่ากระบวนการทำงานของ CLIP ซึ่งพึ่งพาการฝึกฝนแบบไม่ดูแลจากข้อมูลที่มาจากเว็บ ที่ไม่ได้รับการดูแล อาจ ไม่แสดงภาพของผู้หญิง สามารถสร้าง เนื้อหาที่ไม่เหมาะสม และสามารถแสดง ความลำเอียงเชิงความหมาย (เช่น ความรู้สึกต่อต้านมุสลิม) ในตัวเข้ารหัสภาพ

เอกสารต้นฉบับที่นำเสนอ CLIP ยอมรับว่าในสถานการณ์แบบไม่ต้องมีตัวอย่าง CLIP สัมพันธ์ภาพกับคนผิวขาวเพียง 58.3% ในชุดข้อมูล FairFace ผู้เขียนของเอกสารใหม่ระบุว่า ‘คนส่วนน้อยที่สำคัญที่ถูกมองว่าเป็นคนผิวขาวโดยมนุษย์ถูกสัมพันธ์ภาพกับเชื้อชาติอื่นที่ไม่ใช่คนผิวขาวโดย CLIP’

พวกเขาให้คำอธิบายเพิ่มเติม:

‘สิ่งที่ตรงกันข้ามไม่ดูเหมือนจะเป็นจริง เนื่องจากบุคคลที่ถูกมองว่าเป็นเชื้อชาติอื่นในข้อมูล FairFace ถูกสัมพันธ์ภาพกับป้ายกำกับเหล่านั้นโดย CLIP ผลลัพธ์นี้ชี้ให้เห็นว่า CLIP อาจได้เรียนรู้กฎของ “hypodescent” ตามที่นักวิทยาศาสตร์ทางสังคมได้อธิบาย: บุคคลที่มีเชื้อสายผสมมีแนวโน้มที่จะถูกมองและจัดหมวดหมู่ว่าเป็นกลุ่มที่ไม่ดีหรือไม่ดีมากกว่า

‘ในอีกคำหนึ่ง ลูกของพ่อแม่ที่เป็นคนผิวดำและคนผิวขาวมักถูกมองว่าเป็นคนผิวดำมากกว่าคนผิวขาว และลูกของพ่อแม่ที่เป็นคนเอเชียและคนผิวขาวมักถูกมองว่าเป็นคนเอเชียมากกว่าคนผิวขาว’

เอกสารนี้มีผลการวิจัยหลักสามประการ: CLIP แสดง hypodescent โดย ‘รวม’ คนมีเชื้อสายผสมเข้ากับหมวดหมู่เชื้อชาติที่ไม่ใช่คนผิวขาว; ‘คนผิวขาวเป็นเชื้อชาติเริ่มต้นใน CLIP’; และความลำเอียงของ valence (ความสัมพันธ์กับ ‘สิ่งที่ไม่ดี’) สัมพันธ์กับการจัดหมวดหมู่บุคคลเข้ากับเชื้อชาติชนกลุ่มน้อย

วิธีการและข้อมูล

เพื่อกำหนดวิธีการที่ CLIP จัดการกับหัวข้อที่มีเชื้อสายผสม นักวิจัยใช้เทคนิค ที่นำมาใช้ก่อนหน้านี้ เพื่อเปลี่ยนแปลงเชื้อชาติของภาพบุคคล ภาพถ่ายมาจาก ฐานข้อมูลใบหน้า芝加哥 ซึ่งเป็นชุดข้อมูลที่พัฒนาไว้สำหรับการศึกษาทางจิตวิทยาเกี่ยวกับเชื้อชาติ

ตัวอย่างจากภาพ CFD ที่เปลี่ยนแปลงเชื้อชาติในเอกสารใหม่

นักวิจัยเลือกใช้ภาพ ‘ที่มีการแสดงออกที่เป็นกลาง’ จากชุดข้อมูลเพื่อให้แน่ใจว่าผลการวิจัยสอดคล้องกับงานก่อนหน้านี้ พวกเขาใช้ StyleGAN2-ADA (ที่ฝึกฝนจาก FFHQ) เพื่อเปลี่ยนแปลงเชื้อชาติของภาพใบหน้า และสร้างภาพระหว่างที่แสดงถึงการเปลี่ยนแปลงจากเชื้อชาติหนึ่งไปเป็นอีกเชื้อชาติหนึ่ง (ดูตัวอย่างภาพด้านบน)

สอดคล้องกับงานก่อนหน้า นักวิจัยเปลี่ยนแปลงใบหน้าของผู้ที่ระบุตัวเองว่าเป็นคนผิวดำ คนเอเชีย และคนละตินอเมริกันในฐานข้อมูลให้เป็นคนผิวขาว มี 19 ระยะกลางที่สร้างขึ้นในกระบวนการนี้ มีทั้งหมด 21,000 ภาพขนาด 1024×1024 พิกเซลที่สร้างขึ้นสำหรับโครงการนี้โดยวิธีนี้

นักวิจัยได้รับเครื่องหมายการฝึกฝนภาพที่ถูกฉายภาพสำหรับ CLIP สำหรับภาพทั้ง 21 ภาพในแต่ละชุดเปลี่ยนแปลงเชื้อชาติ หลังจากนั้นพวกเขาขอเครื่องหมายป้ายกำกับสำหรับภาพแต่ละภาพจาก CLIP: ‘ผสมเชื้อชาติ’, ‘สองเชื้อชาติ’, ‘ผสม’, และ ‘บุคคล’ (ป้ายกำกับสุดท้ายที่ไม่รวมเชื้อชาติ)

รุ่น CLIP ที่ใช้คือ CLIP-ViT-Base-Patch32 ผู้เขียนระบุว่าโมเดลนี้ถูกดาวน์โหลดมากกว่าหนึ่งล้านครั้งในเดือนที่แล้ว และคิดเป็น 98% ของการดาวน์โหลด CLIP ทั้งหมดจาก ห้องสมุด Transformers

การทดสอบ

เพื่อทดสอบความโน้มเอียงที่อาจเกิดขึ้นของ CLIP ต่อ hypodescent นักวิจัยสังเกตป้ายกำกับเชื้อชาติที่ CLIP ระบุให้กับภาพแต่ละภาพในเส้นโครงของภาพที่เปลี่ยนแปลงเชื้อชาติ

ตามผลการวิจัย CLIP มีแนวโน้มที่จะจัดกลุ่มคนในหมวดหมู่ ‘ชนกลุ่มน้อย’ ที่ประมาณเครื่องหมายการเปลี่ยนแปลง 50%

ที่อัตราส่วนผสม 50% CLIP สัมพันธ์ภาพกับป้ายกำกับเอเชีย (89.1%) ลาตินอเมริกา (75.8%) และคนผิวดำ (69.7%) มากกว่าป้ายกำกับคนผิวขาวที่เทียบเท่า

ผลการวิจัยแสดงให้เห็นว่าผู้หญิงมีแนวโน้มที่จะถูกจัดหมวดหมู่ใน hypodescent มากกว่าผู้ชายภายใต้ CLIP แม้ว่าผู้เขียนจะคาดเดาว่านี่อาจเป็นเพราะว่าป้ายกำกับที่มาจากเว็บและไม่ได้รับการดูแลที่อธิบายภาพของผู้หญิงมักจะเน้นไปที่การแสดงออกมากกว่าในกรณีของผู้ชาย และอาจมีผลกระทบต่อการเบี่ยงเบน

hypodescent ที่ 50% การเปลี่ยนแปลงเชื้อชาติไม่สังเกตเห็นในซีรีส์ชายเอเชีย-คนผิวขาวหรือซีรีส์ชายลาตินอเมริกา-คนผิวขาว ในขณะที่ CLIP ระบุป้ายกำกับคนผิวดำใน 67.5% ของกรณีที่อัตราส่วนผสม 55%

ค่าความคล้ายคลึงกันเฉลี่ยของป้ายกำกับ Multiracial, Biracial และ Mixed Race

วัตถุประสงค์หลักตามที่ระบุไว้ในเอกสารคือ CLIP ควรจัดหมวดหมู่การผสมเชื้อชาติระหว่างอย่างถูกต้องเป็น ‘ผสมเชื้อชาติ’ แทนที่จะกำหนด ‘จุดเปลี่ยน’ ที่บุคคลถูกส่งเข้าหมวดหมู่ที่ไม่ใช่คนผิวขาวทั้งหมด

ในระดับหนึ่ง CLIP จัดหมวดหมู่ขั้นตอนการเปลี่ยนแปลงเชื้อชาติระหว่างเป็น ‘ผสมเชื้อชาติ’ (ดูกราฟด้านบน) แต่สุดท้ายแสดงให้เห็นถึงความชอบในการจัดหมวดหมู่บุคคลเป็นเชื้อชาติที่ไม่ใช่คนผิวขาวที่มีส่วนร่วม

ในแง่ของ valence ผู้เขียนระบุว่า CLIP มีการตัดสินที่เอนเอียง:

‘ความสัมพันธ์ของ valence (ความสัมพันธ์กับ ‘สิ่งที่ไม่ดี’ หรือ ‘สิ่งที่ไม่น่าพึงพอใจ’ เทียบกับ ‘สิ่งที่ดี’ หรือ ‘สิ่งที่น่าพึงพอใจ’) มีการเปลี่ยนแปลงตามอัตราส่วนผสมในซีรีส์ชายผิวดำ-คนผิวขาว เช่น CLIP ระบุความสัมพันธ์กับสิ่งที่ไม่น่าพึงพอใจสำหรับใบหน้าที่คล้ายกับอาสาสมัคร CFD ที่ระบุว่าตัวเองเป็นคนผิวดำ’

ผลการวิจัยเกี่ยวกับ valence – การทดสอบแสดงให้เห็นว่ากลุ่มชนกลุ่มน้อยมีความสัมพันธ์กับแนวคิดที่ไม่ดีในโครงสร้างภาพ/คู่มากกว่าสำหรับคนผิวขาว

เอกสารระบุ:

‘หลักฐานบ่งชี้ว่าค่า valence ของภาพสัมพันธ์กับการจัดหมวดหมู่เชื้อชาติ มากกว่านั้น ผลการวิจัยของเราแสดงให้เห็นว่าค่า valence ของภาพสัมพันธ์กับการที่โมเดลสัมพันธ์ภาพกับคนผิวดำ’

อย่างไรก็ตาม ผลการวิจัยยังชี้ให้เห็นว่ามีความสัมพันธ์เชิงลบในกรณีของคนเอเชีย ผู้เขียนแนะนำว่านี่อาจเป็นเพราะการผ่าน (ผ่านข้อมูลจากเว็บ) ของการรับรู้เชิงบวกของวัฒนธรรมอเมริกันต่อคนเอเชียและชุมชน ผู้เขียนระบุว่า*:

‘การมองเห็นความสัมพันธ์ระหว่างความน่าพึงพอใจและความน่าจะเป็นของป้ายกำกับคนเอเชียอาจสอดคล้องกับภาพลักษณ์ของ ‘ชนกลุ่มน้อยที่ประสบความสำเร็จ’ ซึ่งคนเอเชียมักถูกยกย่องสำหรับการเคลื่อนไหวขึ้นและรวมเข้ากับวัฒนธรรมอเมริกัน และถูกมองว่าเป็น ‘พฤติกรรมที่ดี’

เกี่ยวกับวัตถุประสงค์สุดท้ายในการตรวจสอบว่าคนผิวขาวเป็น ‘อัตลักษณ์เริ่มต้น’ ในมุมมองของ CLIP ผลการวิจัยชี้ให้เห็นว่ามีการแบ่งแยกที่ฝังลึก ซึ่งบ่งชี้ว่าภายใต้สถาปัตยกรรมนี้ มันค่อนข้างยากที่จะเป็น ‘คนผิวขาวเล็กน้อย’

ความคล้ายคลึงกันของคอซีนต่อเนื่องใน 21,000 ภาพที่สร้างขึ้นสำหรับการทดสอบ

ผู้เขียนแสดงความคิดเห็นว่า:

‘หลักฐานบ่งชี้ว่า CLIP ระบุคนผิวขาวเป็นเชื้อชาติเริ่มต้น ซึ่งได้รับการสนับสนุนจากความสัมพันธ์ที่แข็งแกร่งระหว่างความคล้ายคลึงกันของคอซีนของคนผิวขาวและความคล้ายคลึงกันของคอซีนของบุคคลมากกว่าสำหรับกลุ่มเชื้อชาติหรือชาติพันธุ์อื่นๆ ‘

*การแปลงอ้างอิงในบรรทัดของฉันให้เป็นลิงก์

เผยแพร่ครั้งแรกเมื่อวันที่ 24 พฤษภาคม 2022