زاوية Anderson
تحدي «التصنيف العرقي» لأنظمة توليد الصور القائمة على CLIP

النقاط الرئيسيةيُظهر نموذج CLIP تحيزًا في التصنيف الهرمي (hypodescent bias) من خلال تصنيف الوجوه…
عرض المزيد
- يُظهر نموذج CLIP تحيزًا في التصنيف الهرمي (hypodescent bias) من خلال تصنيف الوجوه متعددة الأعراق كأقلية عند نسب مزج تبلغ 50%.
- تواجه الإناث تحيزًا أقوى في التصنيف الهرمي من نموذج CLIP مقارنةً بالذكور في الدراسة.
- يربط نموذج CLIP التصنيفات العرقية للأقليات بدلالة سلبية أكثر من التصنيفات البيضاء.
تشير الأبحاث الجديدة من الولايات المتحدة إلى أن أحد النماذج الشهيرة للرؤية الحاسوبية التي تقف وراء سلسلة DALL-E الشهيرة، وكذلك العديد من نماذج توليد الصور وتصنيفها الأخرى، تظهر ميلًا واضحًا نحو التصنيف وفق الأصل الأقل حظًا (hypodescent) – قاعدة تصنيف العرق (المعروفة أيضًا باسم قاعدة القطرة الواحدة) التي تصنف شخصًا لديه حتى نسبة صغيرة من السلالة الجينية “المختلطة” (أي غير القوقازية) بالكامل في تصنيف عرقي “أقليتي”.
نظرًا إلى أن قاعدة التصنيف وفق الأصل الأقل حظًا (hypodescent) ميّزت بعض أسوأ الفصول في التاريخ البشري، يُشير مؤلفو الورقة الجديدة إلى أن هذه الميول في أبحاث الرؤية الحاسوبية وتنفيذها يجب أن تلقى اهتمامًا أكبر، لا سيما لأن الإطار الداعم المذكور، الذي تم تنزيله ما يقرب من مليون مرة في الشهر، قد يزيد من انتشار وتناقل التحيز العرقي في الإطارات المستقبلية.
الهيكل الذي يتم دراسته في العمل الجديد هو التدريب المسبق التبايني للغة والصورة (CLIP)، وهو نموذج تعلم متعدد الوسائط يتعلم الارتباطات الدلالية من خلال التدريب على أزواج الصورة والتعليق المستخرجة من الإنترنت – نهج شبه إشرافي يقلل من التكلفة الكبيرة للتسمية، ولكن من المحتمل أن يعكس التحيز للأشخاص الذين أنشأوا التعليقات.
من الورقة:
‘تُظهر نتائجنا دليلًا على التصنيف وفق الأصل الأقل حظًا (hypodescent) في فضاء التضمين CLIP، وهو تحيز يتم تطبيقه بشكل أقوى على الصور النسائية. تشير النتائج أيضًا إلى أن CLIP يرتبط بالصور مع التسميات العرقية أو الإثنية بناءً على الانحراف عن البياض، مع البياض كافتراضي.
تُشير الورقة أيضًا إلى أن ارتباط الصورة مع القيم (ميلها إلى الارتباط مع أشياء “جيدة” أو “سيئة”) هو أعلى بكثير للتسميات العرقية “الأقليتي” أكثر من التسميات القوقازية، وتُقترح أن التحيزات في CLIP تعكس مجموعة النصوص المتمركزة حول الولايات المتحدة (ويكيبيديا اللغة الإنجليزية) الذي تم تدريبه عليه.
في تعليق على الآثار المترتبة على دعم CLIP الواضح للتنازل عن الهوية، يُشير المؤلفون إلى*:
‘من بين الاستخدامات الأولى لـ CLIP كان تدريب نموذج توليد الصور دون أمثلة للمهمة المستهدفة (zero-shot) DALL-E. تم استخدام نسخة أكبر غير عامة من هيكل CLIP في تدريب DALL-E 2. واتساقًا مع نتائج البحث الحالي، تذكر فقرة المخاطر والقيود في بطاقة نموذج DALL-E 2 أنه «يولّد صورًا تميل إلى الإفراط في تمثيل الأشخاص الذين يُنظر إليهم على أنهم بيض».
‘تُظهر هذه الاستخدامات إمكانية انتشار التحيزات المكتسبة بواسطة CLIP إلى ما وراء فضاء التضمين الخاص بالنموذج، حيث يتم استخدام ميزاته لتوجيه تشكيل الدلالات في نماذج الذكاء الاصطناعي الأخرى الأحدث تقنيًا.
‘علاوة على ذلك، بسبب التقدم المحقق بواسطة CLIP ونماذج مماثلة لارتباط الصور والنص في إعداد zero-shot دون أمثلة للمهمة المستهدفة، وُصفت الهياكل المتعددة الوسائط بأنها أساس لمستقبل التطبيقات الشائعة على الإنترنت، بما في ذلك محركات البحث.
‘تشير نتائجنا إلى أن الانتباه الإضافي لما يتعلمه مثل هذه النماذج من الإشراف اللغوي الطبيعي مبرر.’
تحمل الورقة عنوان دليل على التصنيف وفق الأصل الأقل حظًا (hypodescent) في الذكاء الاصطناعي الدلالي البصري، ويأتي من ثلاثة باحثين في جامعة واشنطن وجامعة هارفارد.
CLIP والتحيزات السيئة
على الرغم من أن الباحثين يؤكدون أن عملهم هو أول تحليل للتنازل عن الهوية في CLIP، فقد أظهرت الأعمال السابقة أن تدفق CLIP، الذي يعتمد على تدريب غير خاضع للإشراف في الغالب على بيانات الويب غير المنتقاة بعناية كافية، يقلل من تمثيل النساء، يمكن أن ينتج محتوى مسيئًا، ويمكن أن يظهر تحيزًا دلاليًا (مثل التحيز ضد المسلمين) في ترميز الصورة.
يُشير البحث الأصلي الذي قدم CLIP إلى أنه في إعداد zero-shot يربط CLIP فقط 58.3٪ من الأشخاص بالتسمية العرقية البيضاء في قاعدة بيانات FairFace. وبالإشارة إلى أن بيانات FairFace صنفها عاملون في Amazon Mechanical Turk مع احتمال وجود تحيز، يقول مؤلفو الورقة الجديدة إن ‘أقلية كبيرة من الأشخاص الذين يُعتبرون من قبل البشر الآخرين بيضًا يرتبطون بعرق آخر غير البياض بواسطة CLIP.’
يُضيفون:
‘العكس لا يبدو صحيحًا، حيث يتم ربط الأفراد الذين يُنسبون إلى تسميات عرقية أخرى في قاعدة بيانات FairFace بتلك التسميات بواسطة CLIP. يشير هذا النتيجة إلى إمكانية أن يتعلم CLIP قاعدة “التصنيف وفق الأصل الأقل حظًا (hypodescent)” كما هو موصوف بواسطة علماء الاجتماع: الأفراد ذوو الأنساب متعددة الأعراق أكثر احتمالًا لأن يُعتبروا ويتصنفوا على أنهم ينتمون إلى مجموعة الأصل الأقلوية أو الأقل حظًا، بدلًا من مجموعة الأصل التي تنتمي إلى الأغلبية أو الأكثر حظًا، والتي يصح الانتساب إليها بالقدر نفسه.
‘بمعنى آخر، طفل أبوين أسود وأبيض يُعتبر أكثر أسودًا من أبيض؛ وطفل أبوين آسيوي وأبيض يُعتبر أكثر آسيويًا من أبيض.’
تُشير الورقة إلى ثلاثة نتائج مركزية: أن CLIP يُظهر التصنيف وفق الأصل الأقل حظًا (hypodescent)، من خلال “الرعي” للأشخاص ذوي الهويات متعددة الأعراق إلى الفئة العرقية الأقلية المساهمة؛ أن “البياض هو العرق الافتراضي في CLIP”، وأن العرقيات المنافسة يتم تعريفها بواسطة انحرافها عن فئة البياض؛ وأن تحيز القيمة (ارتباط مع مفاهيم “سيئة”) يرتبط بالمدى الذي يتم تصنيف الفرد فيه في فئة عرقية أقلية.
المنهج والبيانات
من أجل تحديد كيفية تعامل CLIP مع الأشخاص متعددي الأعراق، استخدم الباحثون تقنية تم تبنيها مسبقًا لتحويل عرق الصور الفردية. تم أخذ الصور من قاعدة بيانات Chicago Face، وهي مجموعة تم تطويرها لدراسات نفسية تتعلق بالعرق.

أمثلة من الصور المورفة عرقيًا في المادة التكميلية للورقة الجديدة. مصدر: https://arxiv.org/pdf/2205.10764.pdf
اختار الباحثون فقط صورًا بـ “تعابير محايدة” من القاعدة البيانية، من أجل الحفاظ على الاتساق مع العمل السابق. استخدموا الشبكة العصبية التوليدية المتعارضة StyleGAN2-ADA (المدربة على FFHQ) لتحقيق تغيير العرق في صور الوجه، وقاموا بإنشاء صور وسيطة تُظهر تقدم التحول من عرق إلى آخر (انظر الصور أعلاه).
تماشيًا مع العمل السابق، حوّل الباحثون وجوه أشخاص عرّفوا أنفسهم في البيانات بأنهم سود وآسيويون ولاتينيون إلى وجوه أشخاص عرّفوا أنفسهم بأنهم بيض. نتجت عن العملية تسع عشرة مرحلة وسيطة. وباستخدام هذه الطريقة، أُنشئت للمشروع 21,000 صورة بقياس 1024×1024 بكسل.
بعد ذلك، حصل الباحثون على تمثيل متجهي مسقط للصورة لـ CLIP لكل صورة من الصور 21 في كل مجموعة مورف عرقية. ثم طلبوا تسمية لكل صورة من CLIP: “متعددة الأعراق”، “ثنائية العرق”، “مختلطة العرق”، و “شخص” (التسمية الأخيرة التي تتجاهل العرق).
النسخة المستخدمة من CLIP كانت تنفيذ CLIP-ViT-Base-Patch32. يشير المؤلفون إلى أن هذا النموذج تم تنزيله أكثر من مليون مرة في الشهر السابق لكتابة بحثهم، ويشكل 98٪ من التنزيلات لأي نموذج CLIP من مكتبة Transformers.
الاختبارات
من أجل اختبار ميل CLIP المحتمل نحو التصنيف وفق الأصل الأقل حظًا (hypodescent)، لاحظ الباحثون التسمية العرقية المخصصة بواسطة CLIP لكل صورة في التدرج المحول للصور لكل فرد.
وفقًا للنتائج، يُفضل CLIP تصنيف الأشخاص في فئات “الأقليتي” عند علامة التحول بنسبة 50٪.

عند نسبة خلط 50٪، حيث يكون الموضوع متساويًا بين العرق الأصلي والهدف، يرتبط CLIP بنسبة أكبر من بين 1000 صورة نسائية محوّلة بالتسميات الآسيوية (89.1٪) واللاتينية (75.8٪) والسوداء (69.7٪) أكثر من التسمية البيضاء المكافئة.
تُظهر النتائج أن صور النساء أكثر عرضة للتنازل عن الهوية تحت CLIP أكثر من الرجال، على الرغم من أن المؤلفين يفترضون أن هذا قد يكون بسبب أن التسميات المشتقة من الويب وغير المنتقاة بعناية التي تتميز بالصور الأنثوية تميل إلى التأكيد على مظهر الموضوع أكثر من في حالة الرجال، وقد يكون لهذا التأثير المائل.
لم يتم ملاحظة التصنيف وفق الأصل الأقل حظًا (hypodescent) عند نسبة تحول 50٪ للسلسلة المورفة الآسيوية-البيضاء للرجال أو السلسلة المورفة اللاتينية-البيضاء للرجال، بينما يخصص CLIP تشابهًا كوزينيًا أعلى للتسمية السوداء في 67.5٪ من الحالات عند نسبة خلط 55٪.

متوسط تشابه جيب التمام لتسميات متعددة الأعراق وثنائية العرق ومختلطة العرق. تشير النتائج إلى أن CLIP يستخدم نوعًا من عتبة التصنيف عند نسب مختلفة من المزج العرقي، وينسب هذا المزج إلى التسمية البيضاء («شخص» في منطق التجارب) بوتيرة أقل من نسبته إلى التسمية الإثنية التي يُنظر إليها في الصورة.
الهدف المثالي، وفقًا للورقة، هو أن يصنف CLIP الخلطات العرقية المتوسطة بدقة على أنها “مختلطة العرق”، بدلاً من تعريف “نقطة انعطاف” يُرسل فيها الموضوع بشكل متكرر إلى التصنيف غير الأبيض.
ينسب CLIP الخطوات المتوسطة إلى حد ما إلى التسمية “مختلطة العرق” (انظر الرسم البياني أعلاه)، ولكن في النطاق المتوسط يُظهر تفضيلًا لتصنيف الأشخاص على أنهم عرق الأقليتي المساهم.
فيما يتعلق بالقيمة، يلاحظ المؤلفون حكم CLIP المائل:
‘تختلف القيمة المتوسطة (ارتباط بالسيئ أو غير السار مقابل الجيد أو السار) مع نسبة الخلط على السلسلة المورفة السوداء-البيضاء للرجال، بحيث يرمز CLIP إلى ارتباطات غير سارة للوجوه الأكثر شبهًا بمتطوعي CFD الذين يحددون أنفسهم على أنهم سود.

نتائج القيمة – تُظهر الاختبارات أن الأقليات أكثر ارتباطًا بمفاهيم سلبية في هيكل الصورة/النص أكثر من المواضيع المسمى بالبياض. يُؤكد المؤلفون أن ارتباط غير سار للصورة يزيد مع احتمال أن يرتبط النموذج بالصورة مع التسمية السوداء.
تُشير الورقة إلى:
‘تشير الأدلة إلى أن القيمة الوجدانية للصورة ترتبط بالارتباط العرقي. وبصورة أدق، تشير نتائجنا إلى أنه كلما ازداد يقين النموذج بأن الصورة تمثل شخصًا أسود، ازدادت صلة تمثيل الصورة المتجهي بالمفاهيم غير السارة.’
ومع ذلك، تشير النتائج أيضًا إلى علاقة سلبية في حالة الوجوه الآسيوية. يُقترح المؤلفون أن هذا قد يكون بسبب المرور (من خلال البيانات المشتقة من الويب) لتصورات الثقافة الأمريكية الإيجابية للأشخاص والجاليات الآسيوية. يُشير المؤلفون إلى*:
‘مراقبة ارتباط بين السرور والاحتمال للتسمية النصية الآسيوية قد يتوافق مع نمط “الأقليتي النموذجية”، حيث يتم مدح الأشخاص من أصل آسيوي لحركتهم الصاعدة والاندماج في الثقافة الأمريكية، وحتى ارتباطهم بسلوك “جيد”.’
فيما يتعلق بالهدف النهائي، لتحديد ما إذا كان البياض هو “الهوية الافتراضية” من وجهة نظر CLIP، تشير النتائج إلى وجود قطبية مدمجة، مما يشير إلى أن من الصعب أن يكون “قليلاً أبيض” في هذا الهيكل.

تشابه كوزيني عبر 21,000 صورة تم إنشاؤها للاختبارات.
يُشير المؤلفون إلى:
‘الدليل يشير إلى أن CLIP يرمز البياض كعرق افتراضي. وهذا مدعوم بالارتباطات الأقوى بين تشابهات البياض الكوزينية وتشابهات الشخص الكوزينية أكثر من أي مجموعة عرقية أو إثنية أخرى.’
*حوّلت مراجع المؤلفين الواردة داخل النص إلى روابط تشعبية.
نُشر لأول مرة في 24 مايو 2022.












