يفحص تقرير GEPI «كيف يخذل الذكاء الاصطناعي النساء: حين يتفاقم التحيز» كيفية تضخيم الخوارزميات للتحيز القائم على النوع الاجتماعي

قد تبدو درجة التوظيف أو التقييم الائتماني أو التوصية السريرية محايدة، فيما تواصل نقل أوجه عدم المساواة الكامنة في البيانات التي تستند إليها. وهذا هو التحذير المحوري في التقرير الجديد الصادر عن Gender Equity Policy Institute، كيف يخذل الذكاء الاصطناعي النساء: حين يتفاقم التحيز، الذي يجمع أبحاثًا حول كيفية إعادة إنتاج الأنظمة الآلية للتمييز على أساس النوع الاجتماعي، بل وتكثيفه أحيانًا.

أعدّت التقرير عالمة تعلّم الآلة والزميلة البارزة في GEPI Myriam Shiran، الحاصلة على الدكتوراه. ويستعرض التقرير الأدبيات الأكاديمية والرمادية في مجالات الفرص الاقتصادية والرعاية الصحية والعدالة الجنائية والمحتوى المُنشأ وتصميم الذكاء الاصطناعي الموجّه للمستهلكين والاعتداء الجنسي القائم على الصور والمُمكَّن بالذكاء الاصطناعي. وهو تركيب للأدلة القائمة، لا تجربة جديدة تقيس كل نظام ذكاء اصطناعي وفق معيار موحّد.

تتمثل أهم حجج التقرير في ما يحدث بعد خروج نتيجة متحيزة من النموذج. فالتوصيات تؤثر في القرارات، والمحتوى المُنشأ يشكّل التوقعات، ويصبح بعض المخرجات مادةً للتدريب في المستقبل. لذلك، قد يصعب التعرّف على نمط غير منصف مع انتقاله عبر أنظمة متعاقبة.

المدخلات التي تتجاهل النوع الاجتماعي لا تضمن نتائج منصفة

يبدو حذف خانة النوع الاجتماعي استجابةً بديهية للتمييز. لكن مراجعة GEPI توضح أن هذه الخطوة وحدها لا تكفي: فالأسماء والتعليم والسجل الوظيفي وغيرها من التفاصيل قد تظل حاملةً لمؤشرات مرتبطة بالنوع الاجتماعي. وقد تُجسّد النتائج التاريخية أيضًا معاملةً غير متكافئة قبل أن يطّلع عليها أي نموذج.

شمل أحد تدقيقات التوظيف التي أوردها التقرير، وأجراه Wilson وCaliskan عام 2024، أكثر من ثلاثة ملايين مقارنة لسير ذاتية محاكية عبر تسعة مجالات مهنية. وأظهرت نماذج الفرز التي خضعت للاختبار تفضيلًا ملحوظًا للأسماء المرتبطة بالرجال في 51.9% من المقارنات، وللأسماء المرتبطة بالنساء في 11.1% منها. أما نسبة 37% المتبقية، فلم تُظهر تفضيلًا ملحوظًا. وهذه نتائج اختبارات مضبوطة للنماذج، وليست نسبًا للمتقدمين الفعليين الذين رُفضوا في وظائف.

تختلف الأدلة أيضًا باختلاف تصميم الاختبار. ويصف التقرير تدقيقًا منفصلًا أُجري عام 2025، لم تُظهر فيه عدة نماذج لغوية فروقًا مرتبطة بالنوع الاجتماعي عندما اقتصر الباحثون على تغيير الأسماء، بينما أثّر تغيير تفاصيل التعليم في الدرجات. وقد يغفل الاختبار المحدود معلومات مهمة في مواضع أخرى من مسار العمل نفسه.

وفي مجال الإقراض، تشير المراجعة إلى بحث تناول نحو 80,000 قرض شخصي غير مضمون من جهة إقراض أمريكية كبرى في مجال التكنولوجيا المالية. وحققت قروض النساء عوائد أعلى للمُقرض، وربطت الدراسة هذه النتيجة بنموذج بالغ في تقدير مخاطر تعثرهن، فسعّر القروض على هذا الأساس. وتتمثل المسألة هنا في العلاقة بين المخاطر المتوقعة والسداد الفعلي والسعر الذي يدفعه المقترض، لا في مجرد ظهور النوع الاجتماعي في طلب القرض.

الذكاء الاصطناعي الطبي يحتاج إلى ما هو أكثر من درجة إجمالية مرتفعة

تقدم الرعاية الصحية مثالًا واضحًا على الكيفية التي قد يخفي بها الأداء على مستوى السكان فروقًا مهمة. فقد يحقق نموذج أداءً جيدًا إجمالًا، بينما يرتكب أخطاء أكثر بحق أشخاص لا تمثلهم بيانات تدريبه أو التحقق من صلاحيته تمثيلًا كافيًا.

تشير GEPI إلى دراسة أُجريت عام 2024 على يد Zack وزملائه، عُرضت فيها على GPT-4 حالات متطابقة من ألم الصدر، مع وصف المريض في إحداها بأنه رجل وفي الأخرى بأنها امرأة. وعلى امتداد 200 تشغيل لكل وصف، قيّم النموذج اختبار الإجهاد القلبي على أنه مهم للغاية في 71% من حالات الرجال و58% من حالات النساء، أي بفارق قدره 13 نقطة مئوية.

تتعلق هذه النتيجة بتوصيات النموذج في تقييم مضبوط، لا بقرارات علاجية مرصودة أو بنتائج المرضى. وهذا التمييز مهم، ولا سيما أن التقرير يتضمن دراسات استكشافية لنماذج وأمراض ومهام سريرية مختلفة، أُجريت في أوقات متباينة.

وتضيف المراجعة توضيحًا أساسيًا: لا ينبغي محو الفروق بين الجنسين ذات الأهمية السريرية ببساطة. ويتمثل التحدي في تحديد ما إذا كان اختلاف نصيحة النموذج يعكس جوانب بيولوجية ذات صلة أم افتراضًا لا يسنده دليل. ويتطلب ذلك بيانات تقييم تمثيلية وفحصًا دقيقًا للأخطاء، لا اشتراط تطابق كل توصية.

قد يشكّل التحيز التمثيل كما يشكّل القرارات

يميّز التقرير بين الضرر الذي يلحق بإمكانية وصول الفرد إلى الموارد، مثل القرض أو الرعاية الطبية، والضرر الناجم عن تصوير المجموعات. فقد تعزز خطابات التوصية والمقالات الإخبارية والصور المهنية المُنشأة القوالب النمطية، حتى عندما لا يعقبها قرار فوري بتخصيص الموارد.

وجدت أبحاث لخصتها GEPI أن النماذج اللغوية تصف النساء بصفات تتعلق أكثر بالعلاقات الشخصية، والرجال بصفات تتصل أكثر بالقيادة أو القدرات. كما وجدت دراسات لمولّدات الصور فصلًا مبالغًا فيه بين الجنسين عبر المهن. وتنطبق هذه النتائج على النماذج والإصدارات التي خضعت للدراسة؛ ولا ينبغي اعتبارها تدقيقًا جديدًا لكل نظام متاح حاليًا.

وتثير المساعدات والمرافقون الافتراضيون الموجّهون للمستهلكين سؤالًا مختلفًا. فأصواتهم وشخصياتهم وردودهم على التحرش خيارات مقصودة في تصميم المنتج. وقد يؤدي الاقتصار على تقييم التوازن الإحصائي لإجاباتهم إلى إغفال الافتراضات المتضمنة في طبيعة المنتج التي صُمّم ليكون عليها.

يتناول الاستعراض أيضًا الصور الجنسية الاصطناعية المنشأة دون موافقة، إذ يمكن للذكاء الاصطناعي أن يسهّل إنتاج الإساءة وتوزيعها. وهذا يتجاوز مجرد تصوير غير دقيق: فاستخدام صورة شخص حقيقي أو ملامحه من دون موافقته قد يسبب ضررًا مباشرًا. ويتطلب ذلك استجابة مختلفة عن الاستجابة اللازمة لتصحيح صورة نمطية مهنية في عمل فني مولّد.

لماذا يُعدّ الاختبار المستقل مهمًا

تصف GEPI أربع آليات متكررة: التعلّم من السجلات التاريخية غير المتكافئة، وإعادة إنتاج الصور النمطية، وتقديم الأحكام على أنها قياسات موضوعية، والسماح للمخرجات المتحيزة بالتأثير في قرارات أو نماذج لاحقة.

تساعد عمليات التدقيق المستقلة على إظهار هذه الآليات. ويمكن للباحثين تغيير سمة واحدة في مدخلات متشابهة من نواحٍ أخرى، ثم فحص كيفية تغير المخرجات، حتى من دون الوصول إلى البنية الداخلية لنموذج مملوك. لكن نجاح اختبار على مُدخل واحد أو معيار قياس مرجعي لا يثبت تحقق الإنصاف في عملية نشر كاملة.

بالنسبة إلى المؤسسات التي تعتمد الذكاء الاصطناعي، تتمثل الخطوة العملية في اختبار حالة الاستخدام الفعلية. إذ ينبغي لفريق التوظيف فحص المسار من درجات الفرز إلى اختيار المرشحين للمقابلات. وعلى الجهة المُقرضة مقارنة تقديرات المخاطر بنتائج السداد. كما ينبغي للمؤسسة الصحية أن تفهم فئات المرضى الممثلة في بيانات التحقق، والمواضع التي تتركز فيها الأخطاء. وتجيب هذه الفحوص عن أسئلة تختلف عن السؤال المتعلق بمدى طلاقة النموذج أو دقته في المتوسط.

ما الذي يثبته التقرير، وما الذي لا يزال مجهولًا

يستند التقرير أساسًا إلى أدلة من الولايات المتحدة، مع الإشارة إلى الدراسات الدولية حيثما كان ذلك مناسبًا. وتشمل مصادره تقنيات وفترات زمنية ومناهج مختلفة. يوثّق بعضها النتائج، فيما يكشف بعضها الآخر عن سلوك مثير للقلق في عمليات المحاكاة. ولا يحدد الاستعراض معدلًا موحدًا للتمييز، كما لا يثبت أن كل نظام ينتج التحيز نفسه.

ويشير التقرير أيضًا إلى مشكلة في القياس: فكثيرًا ما يتعذر على الباحثين الوصول إلى البيانات المؤسسية اللازمة لربط مخرج ما بعواقبه. ورصد التفاوت مهم، لكن فهم كلفته في الواقع قد يتطلب سجلات تحتفظ بها جهات التوظيف أو الموردون أو الجهات المُقرضة أو مقدمو الرعاية الصحية.

تتمثل مساهمة GEPI في الربط بين نتائج غالبًا ما تُناقش كلٌّ على حدة، وفي التساؤل عما إذا كانت الاختبارات والمساءلة تواكبان الذكاء الاصطناعي في القرارات التي يؤثر فيها. ويتضمن التقرير الكامل، كيف يُخفق الذكاء الاصطناعي مع النساء: حين يتفاقم التحيز، المنهجية ومراجع الدراسات والأدلة الخاصة بكل قطاع التي يستند إليها هذا الطرح.