تحدي “التصنيف العرقي” لنظم合성 الصور التي تعتمد على CLIP

تشير الأبحاث الجديدة من الولايات المتحدة إلى أن أحد النماذج الشهيرة للرؤية الحاسوبية التي تقف وراء سلسلة DALL-E الشهيرة، وكذلك العديد من نماذج التصنيف والتحليل الأخرى، تظهر ميلًا واضحًا نحو التنازل عن الهوية – قاعدة تصنيف العرق (المعروفة أيضًا باسم قاعدة القطرة الواحدة) التي تصنف شخصًا لديه حتى نسبة صغيرة من السلالة الجينية “المختلطة” (أي غير القوقازية) بالكامل في تصنيف عرقي “أقليتي”.

منذ أن تميزت قاعدة التنازل عن الهوية بعضًا من أسوأ الفصول في التاريخ البشري، يُشير مؤلفو الورقة الجديدة إلى أن هذه الميول في أبحاث الرؤية الحاسوبية وتنفيذها يجب أن تلقى اهتمامًا أكبر، لا سيما لأن الإطار الداعم المذكور، الذي تم تنزيله ما يقرب من مليون مرة في الشهر، قد يزيد من انتشار وتناقل التحيز العرقي في الإطارات المستقبلية.

الهيكل الذي يتم دراسته في العمل الجديد هو التمييز اللغوي للصورة المسبقة (CLIP)، وهو نموذج تعلم متعدد الوسائط يتعلم الارتباطات الدلالية من خلال التدريب على أزواج الصورة والتعليق المستخرجة من الإنترنت – نهج شبه إشرافي يقلل من التكلفة الكبيرة للتسمية، ولكن من المحتمل أن يعكس التحيز للأشخاص الذين أنشأوا التعليقات.

من الورقة:

‘تُظهر نتائجنا دليلًا على التنازل عن الهوية في فضاء التضمين CLIP، وهو تحيز يتم تطبيقه بشكل أقوى على الصور النسائية. تشير النتائج أيضًا إلى أن CLIP يرتبط بالصور مع التسميات العرقية أو العرقية بناءً على الانحراف عن البياض، مع البياض كافتراضي.

تُشير الورقة أيضًا إلى أن ارتباط الصورة مع القيم (ميلها إلى الارتباط مع أشياء “جيدة” أو “سيئة”) هو أعلى بكثير للتسميات العرقية “الأقليتي” أكثر من التسميات القوقازية، وتُقترح أن التحيزات في CLIP تعكس الجاذبية الأمريكية المركزية للمحتوى (ويكيبيديا اللغة الإنجليزية) الذي تم تدريبه عليه.

في تعليق على الآثار المترتبة على دعم CLIP الواضح للتنازل عن الهوية، يُشير المؤلفون إلى*:

‘من بين الاستخدامات الأولى لـ CLIP كان تدريب نموذج التوليد الصوري بدون صفر DALL-E. تم استخدام نسخة أكبر غير عامة من هيكل CLIP في تدريب DALL-E 2. يتماشى مع نتائج البحث الحالي، تُشير إلى أن نموذج DALL-E 2 “يولد صورًا تميل إلى تمثيل الأشخاص البيض بشكل مبالغ فيه”.

‘تُظهر هذه الاستخدامات إمكانية انتشار التحيزات المكتسبة بواسطة CLIP إلى ما وراء فضاء التضمين الخاص بالنموذج، حيث يتم استخدام ميزاته لتوجيه تشكيل الدلالات في نماذج الذكاء الاصطناعي الأخرى.

‘علاوة على ذلك، بسبب التقدم المحقق بواسطة CLIP ونماذج مماثلة لارتباط الصور والنص في الإعداد بدون صفر، تم وصف الهياكل المتعددة الوسائط بأنها أساس لمستقبل التطبيقات الشائعة على الإنترنت، بما في ذلك محركات البحث.

‘تشير نتائجنا إلى أن الانتباه الإضافي لما يتعلمه مثل هذه النماذج من الإشراف اللغوي الطبيعي مبرر.’

تُسمى الورقة دليل على التنازل عن الهوية في الذكاء الاصطناعي الدلالي البصري، ويأتي من ثلاثة باحثين في جامعة واشنطن وجامعة هارفارد.

CLIP والتحيزات السيئة

على الرغم من أن الباحثين يؤكدون أن عملهم هو أول تحليل للتنازل عن الهوية في CLIP، فقد أظهرت الأعمال السابقة أن تدفق CLIP، الذي يعتمد على تدريب شبه إشرافي في الغالب من البيانات المشتقة من الويب، يقلل من تمثيل النساء، يمكن أن ينتج محتوى مسيئًا، ويمكن أن يظهر تحيزًا دلاليًا (مثل التحيز ضد المسلمين) في ترميز الصورة.

يُشير البحث الأصلي الذي قدم CLIP إلى أن CLIP يرتبط فقط بـ 58.3٪ من الأشخاص بالتسمية العرقية البيضاء في قاعدة بيانات FairFace. يشير مؤلفو الورقة الجديدة إلى أن ‘أغلبية كبيرة من الأشخاص الذين يُعتبرون من قبل البشر الآخرين بيضًا يرتبطون بعرق آخر غير البياض بواسطة CLIP.’

يُضيفون:

‘ال逆 لا يبدو صحيحًا، حيث يتم ربط الأفراد الذين يُنسبون إلى تسميات عرقية أخرى في قاعدة بيانات FairFace بتلك التسميات بواسطة CLIP. يشير هذا النتيجة إلى إمكانية أن يتعلم CLIP قاعدة “التنازل عن الهوية” كما هو موصوف بواسطة علماء الاجتماع: الأفراد ذوو الأنساب متعددة الأعراق أكثر احتمالًا لأن يُعتبروا ويتصنفوا على أنهم ينتمون إلى مجموعة الوالدين الأقل حظًا أو المتميزة.

‘بمعنى آخر، طفل أبوين أسود وأبيض يُعتبر أكثر أسودًا من أبيض؛ وطفل أبوين آسيوي وأبيض يُعتبر أكثر آسيويًا من أبيض.’

تُشير الورقة إلى ثلاثة نتائج مركزية: أن CLIP يُظهر التنازل عن الهوية، من خلال “الرعي” للأشخاص ذوي الهويات متعددة الأعراق إلى الفئة العرقية الأقلية المساهمة؛ أن “البياض هو العرق الافتراضي في CLIP”، وأن العرقيات المنافسة يتم تعريفها بواسطة انحرافها عن فئة البياض؛ وأن تحيز القيمة (ارتباط مع مفاهيم “سيئة”) يرتبط بالمدى الذي يتم تصنيف الفرد فيه في فئة عرقية أقلية.

المنهج والبيانات

为了 تحديد كيفية تعامل CLIP مع الموضوعات متعددة الأعراق، استخدم الباحثون تقنية تم تبنيها مسبقًا لتحويل عرق الصور الفردية. تم أخذ الصور من قاعدة بيانات Chicago Face، وهي مجموعة تم تطويرها لدراسات نفسية تتعلق بالعرق.

أمثلة من الصور المورفة عرقيًا في المادة التكميلية للورقة الجديدة. مصدر: https://arxiv.org/pdf/2205.10764.pdf

اختار الباحثون فقط صورًا بـ “تعابير محايدة” من القاعدة البيانية، من أجل الحفاظ على الاتساق مع العمل السابق. استخدموا الشبكة العصبية التوليدية المتعارضة StyleGAN2-ADA (المدربة على FFHQ) لتحقيق تغيير العرق في صور الوجه، وقاموا بإنشاء صور وسيطة تُظهر تقدم التحول من عرق إلى آخر (انظر الصور أعلاه).

تم إنشاء 21,000 صورة بقياس 1024×1024 بكسل للهذا المشروع باستخدام هذه الطريقة.

بعد ذلك، حصل الباحثون على تضمين صورة مشروع لـ CLIP لكل صورة من الصور 21 في كل مجموعة مورف عرقية. ثم طلبوا تسمية لكل صورة من CLIP: “متعددة الأعراق”، “ثنائية العرق”، “مختلطة العرق”، و “شخص” (التسمية الأخيرة التي تتجاهل العرق).

النسخة المستخدمة من CLIP كانت تنفيذ CLIP-ViT-Base-Patch32. يشير المؤلفون إلى أن هذا النموذج تم تنزيله أكثر من مليون مرة في الشهر السابق لكتابة بحثهم، ويشكل 98٪ من التنزيلات لأي نموذج CLIP من مكتبة المتحولات.

الاختبارات

为了 اختبار ميل CLIP المحتمل نحو التنازل عن الهوية، لاحظ الباحثون التسمية العرقية المخصصة بواسطة CLIP لكل صورة في التدرج المحول للصور لكل فرد.

وفقًا للنتائج، يُفضل CLIP تصنيف الأشخاص في فئات “الأقليتي” عند علامة التحول بنسبة 50٪.

عند نسبة خلط 50٪، حيث يكون الموضوع متساويًا بين العرق الأصلي والهدف، يرتبط CLIP برقم أعلى من 1000 صورة مورفة أنثوية بالتسميات الآسيوية (89.1٪) واللاتينية (75.8٪) وال سوداء (69.7٪) أكثر من التسمية البيضاء المكافئة.

تُظهر النتائج أن المواضيع الأنثوية أكثر عرضة للتنازل عن الهوية تحت CLIP أكثر من الرجال، على الرغم من أن المؤلفين يفترضون أن هذا قد يكون بسبب أن التسميات المشتقة من الويب والغير منضبطة التي تتميز بالصور الأنثوية تميل إلى التأكيد على مظهر الموضوع أكثر من في حالة الرجال، وقد يكون لهذا التأثير المائل.

لم يتم ملاحظة التنازل عن الهوية عند نسبة تحول 50٪ للسلسلة المورفة الآسيوية-البيضاء للرجال أو السلسلة المورفة اللاتينية-البيضاء للرجال، بينما يخصص CLIP تشابهًا كوزينيًا أعلى للتسمية السوداء في 67.5٪ من الحالات عند نسبة خلط 55٪.

متوسط التشابه الكوزيني للتسميات متعددة الأعراق وثنائية العرق و مختلطة العرق. تشير النتائج إلى أن CLIP يعمل بمثابة نوع من التصنيف “المنحدر” عند نسب خلط مختلفة، وأقل في كثير من الأحيان يخصص مثل هذا الخلط إلى البياض (“شخص”، في منطق التجارب) أكثر من العرق الذي يُدرك في الصورة.

الهدف المثالي، وفقًا للورقة، هو أن يصنف CLIP الخلطات العرقية المتوسطة بدقة على أنها “مختلطة العرق”، بدلاً من تعريف “نقطة انعطاف” يُرسل فيها الموضوع بشكل متكرر إلى التصنيف غير الأبيض.

ينسب CLIP الخطوات المتوسطة إلى حد ما إلى التسمية “مختلطة العرق” (انظر الرسم البياني أعلاه)، ولكن في النهاية يُظهر تفضيلًا لتصنيف المواضيع على أنهم عرق الأقليتي المساهم.

فيما يتعلق بالقيمة، يلاحظ المؤلفون حكم CLIP المائل:

‘تختلف القيمة المتوسطة (ارتباط بالسيئ أو غير السار مقابل الجيد أو السار) مع نسبة الخلط على السلسلة المورفة السوداء-البيضاء للرجال، بحيث يرمز CLIP إلى ارتباطات غير سارة لأجمل الأوجه التي تشبه المتطوعين الذين يحددون أنفسهم على أنهم سود.

نتائج القيمة – تُظهر الاختبارات أن الأقليات أكثر ارتباطًا بمفاهيم سلبية في هيكل الصورة/النص أكثر من المواضيع المسمى بالبياض. يُؤكد المؤلفون أن ارتباط غير سار للصورة يزيد مع احتمال أن يرتبط النموذج بالصورة مع التسمية السوداء.

تُشير الورقة إلى:

‘الدليل يشير إلى أن قيمة الصورة ترتبط بالتسمية العرقية. وبشكل أكثر具体ية، تشير نتائجنا إلى أن قيمة الصورة تزيد مع اليقين الذي يمتلكه النموذج بأن الصورة تعكس فردًا أسود.

ومع ذلك، تشير النتائج أيضًا إلى علاقة سلبية في حالة الوجوه الآسيوية. يُقترح المؤلفون أن هذا قد يكون بسبب المرور (من خلال البيانات المشتقة من الويب) لتصورات الثقافة الأمريكية الإيجابية للأشخاص والجاليات الآسيوية. يُشير المؤلفون إلى*:

‘مراقبة ارتباط بين السرور والاحتمال للتسمية النصية الآسيوية قد يتوافق مع نمط “الأقليتي النموذجية”، حيث يتم مدح الأشخاص من أصل آسيوي لحركتهم الصاعدة والاندماج في الثقافة الأمريكية، وحتى ارتباطهم بسلوك “جيد”.’

فيما يتعلق بالهدف النهائي، لتحديد ما إذا كان البياض هو “الهوية الافتراضية” من وجهة نظر CLIP، تشير النتائج إلى وجود قطبية مدمجة، مما يشير إلى أن من الصعب أن يكون “قليلاً أبيض” في هذا الهيكل.

تشابه كوزيني عبر 21,000 صورة تم إنشاؤها للاختبارات.

يُشير المؤلفون إلى:

‘الدليل يشير إلى أن CLIP يرمز البياض كعرق افتراضي. وهذا مدعوم بالارتباطات الأقوى بين تشابهات البياض الكوزينية وتشابهات الشخص الكوزينية أكثر من أي مجموعة عرقية أو عرقية أخرى.’

*تحويلي للتسميات بين النصوص إلى روابط.

نُشر لأول مرة في 24 مايو 2022.