القوة العاملة ‘الغير مرئية’، غالبًا ما تكون غير سعيدة، التي تقرر مستقبل الذكاء الاصطناعي

تعبير عن تقارير جديدتين، بما في ذلك ورقة بقيادة بحث جوجل، عن القلق من أن الاتجاه الحالي للاعتماد على مجموعة من العمال المستأجرين رخيصة الثمن وغير ممثلة في السوق العالمي لإنشاء الحقيقة الأرضية لأنظمة التعلم الآلي قد يكون له آثار مهمة على الذكاء الاصطناعي.

من بين مجموعة من الاستنتاجات، وجدت دراسة جوجل أن تحيزات العمال في الحشود قد تدمج في أنظمة الذكاء الاصطناعي التي ستكون حقيقة أرضيتها مستندة إلى استجاباتهم؛ وأن الممارسات غير العادلة على نطاق واسع (بما في ذلك في الولايات المتحدة) على منصات العمل في الحشود قد تؤدي إلى تدهور جودة الاستجابات؛ وأن نظام “الإجماع” (الذي يعمل بشكل فعال كـ “انتخابات صغيرة” لبعض الحقائق الأرضية التي سوف تؤثر على أنظمة الذكاء الاصطناعي في المستقبل) الذي يحل حاليًا النزاعات يمكن أن “يطرح” في الواقع أفضل الاستجابات وأو أكثرها إطلاعا.

هذا هو الخبر السيئ؛ الخبر الأسوأ هو أن معظم العلاجات مكلفة أو تستغرق وقتًا أو كلاهما.

عدم الأمان، الرفض العشوائي، والكراهية

الورقة الأولى، من قبل خمسة باحثين في جوجل، بعنوان حقيقة من؟ حساب الهويات الفردية والجماعية الكامنة وراء تعليم البيانات؛ والورقة الثانية، من قبل باحثين في جامعة سيراكيوز في نيويورك، بعنوان أصل قيمة الخلاف بين ملحقي البيانات: دراسة حالة للفروق الفردية في تعليم خطاب الكراهية.

تلاحظ ورقة جوجل أن العمال في الحشود – الذين تقييماتهم غالبًا ما تشكل الأساس المحدد لأنظمة التعلم الآلي التي قد تؤثر في حياتنا في النهاية – يعملون في كثير من الأحيان في ظل مجموعة من القيود التي قد تؤثر على الطريقة التي يستجيبون بها للمهام التجريبية.

على سبيل المثال، تسمح سياسات أمازون ميكانيكال تيرك الحالية للمطلوبين (أولئك الذين يمنحون المهام) برفض عمل معلم الحشود دون مسؤولية:

‘[غالبية العمال في الحشود (94%) قد تم رفض عملهم أو لم يتم دفع أجرهم. ومع ذلك، يحتفظ المطلوبون بالحصول الكامل على البيانات التي يتلقونها بغض النظر عما إذا قبلوها أو رفضوها؛ يصف روبرتس (2016) هذا النظام على أنه “يسمح بالسرقة الأجور”. ‘

‘علاوة على ذلك، رفض العمل وامتناع الدفع مؤلم لأن الرفض غالبًا ما يحدث بسبب تعليمات غير واضحة وعدم وجود قنوات ملموسة لتقديم الملاحظات؛ يبلغ العديد من العمال في الحشود أن الاتصالات السيئة تؤثر سلبًا على عملهم.’

يوصي المؤلفون الباحثين الذين يستخدمون خدمات خارجية لتطوير مجموعات البيانات بالاعتبار لكيفية معاملة منصة العمل في الحشود للعمال.

السياق يهم

كما ينتقد البحث استخدام العمالة العالمية العشوائية لمهام التعليم، دون اعتبار لخلفية المعلم.

عندما يسمح الميزانية، من الشائع أن يمنح الباحثون الذين يستخدمون منصة أمازون ميكانيكال تيرك وأ似ها نفس المهمة لأربعة معلمين، ويتابعون قاعدة “الأغلبية تحكم” في النتائج.

يجادل البحث بأن الخبرة السياقية ملحوظة غير محسوبة. على سبيل المثال، إذا كانت سؤال المهمة يتعلق بـ التمييز على أساس الجنس يتم توزيعه عشوائيًا بين ثلاثة رجال متفقين من مختلف الأعمار وامرأة غير متفقة عمرها 29 عامًا، فإن حكم الرجال يفوز، إلا في الحالات النادرة التي يدفع فيها الباحثون اهتمامًا بتصنيف معلميهم.

كما يذكر الباحثون:

‘[فكرة] “الحقيقة الواحدة” في استجابات الحشود هي خرافة؛ الخلاف بين معلمي الحشود، الذي يُعتبر غالبًا سلبيًا، يمكن أن يوفر في الواقع إشارة قيمة. ثانيًا،由于 أن العديد من مجموعات معلمي الحشود غير متوازنة اجتماعيًا وديموغرافيًا، هناك آثار على السكان الذين يتم تمثيلهم في مجموعات البيانات وأيضا السكان الذين يواجهون تحديات العمل في الحشود.

‘حساب الانحرافات في демغرافية معلمي الحشود أمر حاسم لسياق مجموعات البيانات وضمان استخدامها المسؤول في المستقبل. باختصار، هناك قيمة في الاعتراف بالخلفية الثقافية الاجتماعية للعامل – من وجهة نظر جودة البيانات والتأثير الاجتماعي.’

لا آراء ‘محايدة’ حول المواضيع الساخنة

حتى حيث آراء أربعة معلمين غير منحازة، سواء من الناحية الديموغرافية أو بمقياس آخر، يعبر بحث جوجل عن قلق من أن الباحثين لا يأخذون في الاعتبار تجارب الحياة أو الميل الفلسفي لمعلمي الحشود:

‘في حين أن بعض المهام تطرح أسئلة موضوعية مع إجابة صحيحة (هل هناك وجه إنساني في الصورة?)، غالبًا ما تهدف مجموعات البيانات إلى التقاط حكم على مهام موضوعية مع عدم وجود إجابة صحيحة عالمية (هل هذا النص مؤذ?). من المهم أن نكون مقصدين فيما إذا كنا نعتمد على أحكام معلمي الحشود الذاتية.’

قد يكون القاضي متحيزًا أيضًا

من المحتمل أن يكرر هذا عدم الموضوعية أيضًا، وفقًا لورقة سيراكيوز، والتي تدعي أن التدخل اليدوي (أو السياسة الآلية، التي تقررها أيضًا إنسان) الذي يحدد “الفائز” في تصويت الإجماع يجب أن يكون خاضعًا للفحص أيضًا.

‘[مدير المجتمع] يمكن أن يقرر مصير المنشورات والمستخدمين في مجتمعه من خلال تعزيز أو إخفاء المنشورات، وكذلك تكريم أو إهانة المستخدمين أو حظرهم. تؤثر قرارات المدير على المحتوى الذي يتم تسليمه إلى أعضاء المجتمع وجماهيره ومن خلال ذلك أيضًا على تجربة المجتمع في المناقشة. ‘

تنقية مجموعة معلمي الحشود

يفترض كل هذا أن هناك ميزانية في مشروع البحث لتعليمات متعددة ستؤدي إلى تصويت إجماعي. في nhiều الحالات، يحاول الباحثون “تنقية” مجموعة تعليم الحشود بطرق أقل تكلفة من خلال تحديد سمات يجب أن يمتلكها العمال، مثل الموقع الجغرافي أو الجنس أو عوامل ثقافية أخرى، معادلة التنوع بالتحديد.

يجادل بحث جوجل بأن الطريق الأمام من هذه التحديات يمكن أن يكون من خلال إنشاء إطارات اتصال موسعة مع معلمي الحشود، مشابهة للإطارات اللازمة التي تسهل تطبيق أوبر الاتصال بين السائق وراكب.

‘المرضى بالرغبة في إرضاء الناس’ في تعليم مجموعات البيانات المُستأجرة

مع قوة عمل متاحة تُدفع أجرًا أقل من 40% من الحد الأدنى للأجور في الولايات المتحدة، وتخضع لمنافسة شديدة لتحقيق المهام المتاحة، ومحبطة بسبب فرص وظيفية محدودة، يُحفز معلمو الحشود لتقديم الإجابة “الصحيحة” بسرعة وانتقال إلى المهمة التالية.

‘كلا التصورات البديلة المتعددة والأساليب البسيطة الشائعة تعيق تقدم البحث حول خطاب الكراهية على الإنترنت. على سبيل المثال، وجد روس وآخرون أن عرض تعريف تويتر للconduct المُكره على معلمي الحشود أدى إلى محاذاة آرائهم جزئيًا مع التعريف. أدى هذا إلى انخفاض كبير في موثوقية التصنيفات.’

* تحويلي لمراجع الورقة إلى روابط.

نشر في 13 ديسمبر 2021 – تم تحديثه في 18 ديسمبر 2021: أضيف علامات