القوة العاملة ‘الخفيّة’، التي غالباً ما تكون غير سعيدة، وتحديد مستقبل الذكاء الاصطناعي

تقدم تقريران جديدان، بما في ذلك ورقة قادها بحث جوجل، تعبران عن القلق إزاء الاتجاه الحالي للاعتماد على مجموعة رخيصة وغالبًا ما تكون غير ممثلة للعاملين في الوظائف العالمية لإنشاء حقيقة أساسية لأنظمة التعلم الآلي قد يكون لها عواقب كبيرة على مستوى النهر لذكاء اصطناعي.

من بين مجموعة من الاستنتاجات، وجدت دراسة جوجل أن تحيزات العاملين في الحشود من المرجح أن تصبح متأصلة في أنظمة الذكاء الاصطناعي التي ستكون حقيقة أساسية لها استناداً إلى استجاباتهم؛ وأن الممارسات العملية غير العادلة على نطاق واسع (بما في ذلك في الولايات المتحدة) على منصات العمل في الحشود قد تؤدي إلى تدهور جودة الاستجابات؛ وأن نظام “الإجماع” (الذي يعمل بشكل فعال كـ “انتخابات صغيرة” لبعض القطع من الحقيقة الأساسية التي سوف تؤثر على أنظمة الذكاء الاصطناعي في المستقبل) الذي يحل حالياً النزاعات يمكن أن يلقى بالفعل يلقي أفضل وأو أكثر إطلاعاً على الاستجابات.

هذا هو الخبر السيئ؛ الخبر الأسوأ هو أن جميع العلاجات تقريباً مكلفة أو تستغرق وقتاً طويلاً أو كلاهما.

عدم الأمان والرفض العشوائي والمرارة

الورقة الأولى ، من خمسة باحثين في جوجل، تسمى حقيقة من؟ تحديد الهويات الفردية والجماعية الأساسية لتعليم البيانات؛ والورقة الثانية ، من两个 باحثين في جامعة سيراكيوز في نيويورك، تسمى منشأ وقيمة الخلاف بين معلمي البيانات: دراسة حالة للفرق الفردية في تعليم كلام الكراهية.

تلاحظ ورقة جوجل أن العاملين في الحشود – الذين غالباً ما تكون تقييماتهم تشكل الأساس المحدد لأنظمة التعلم الآلي التي قد تؤثر في النهاية على حياتنا – يعملون غالباً تحت مجموعة من القيود التي قد تؤثر على الطريقة التي يستجيبون بها للمهام التجريبية.

على سبيل المثال، تسمح سياسات الأمازون ميكانيكال ترك現在 للطالب (أولئك الذين يعطون المهام) برفض عمل معلم بدون مساءلة*:

‘[ي] đaغلبية كبيرة من العاملين في الحشود (94%) قد تم رفض عملهم أو لم يتم دفع أجرهم. ومع ذلك، يحتفظ الطالبون بالحصول الكامل على البيانات التي يتلقونها بغض النظر عما إذا كانوا يقبلون أو يرفضونها؛ يصف روبرتس (2016) هذا النظام على أنه “يسمح بالسرقة الأجور”.

‘علاوة على ذلك، رفض العمل وامتناع عن الدفع مؤلم لأن الرفض غالباً ما يحدث بسبب التوجيهات الغامضة وعدم وجود قنوات ملموسة للتغذية الراجعة؛ يبلغ العديد من العاملين في الحشود أن الاتصالات السيئة تؤثر سلباً على عملهم.’

يوصي المؤلفون بأن يعتبر الباحثون الذين يستخدمون خدمات خارجية لتطوير مجموعات البيانات كيفية معاملة منصة العمل في الحشود للعاملين.
ويشيرون أيضاً إلى أن العاملين في الحشود في الولايات المتحدة يتم تصنيفهم على أنهم “مستقلون”، وبالتالي لا يتم تنظيم العمل ولا يتم تغطيته بأجور الحد الأدنى المحددة بموجب قانون معايير العمل العادل.

السياق يهم

كما ينتقد الورقة استخدام العمالة العالمية العشوائية لمهام التعليم، دون اعتبار لخلفية المعلم.

عندما يسمح الميزانية، من الشائع أن يمنح الباحثون الذين يستخدمون منصات العمل في الحشود مثل الأمازون ميكانيكال ترك الآن نفس المهمة إلى أربعة معلمين، ويتابعون “القاعدة الغالبة” في النتائج.

يجادل الورقة بأن الخبرة السياقية ملحوظة وغير محسوبة.
على سبيل المثال، إذا كانت سؤال متعلق بـ الجنسانية يتم توزيعه عشوائياً بين ثلاثة رجال يؤيدون وامرأة واحدة تعارض، فانتصار الرجال، إلا في الحالات النادرة التي يلتفت فيها الباحثون إلى مؤهلات معلميهم.

لا توجد آراء ‘محايدة’ في الموضوعات الساخنة

حتى حيث آراء أربعة معلمين ليست مشوهة، إما من الناحية السكانية أو بأي مقياس آخر، تعبر ورقة جوجل عن القلق إزاء أن الباحثين لا يأخذون في الاعتبار خبرات الحياة أو الميول الفلسفية للمعلمين:

‘في حين أن بعض المهام تميل إلى طرح أسئلة موضوعية مع إجابة صحيحة (هل هناك وجه بشري في الصورة?)، غالباً ما تهدف مجموعات البيانات إلى التقاط الحكم على مهام موضوعية مع عدم وجود إجابة صحيحة عالمياً (هل هذا النص مؤذي?). من المهم أن نكون مقصدين فيما إذا كنا نعتمد على الأحكام الذاتية للمعلمين.’

بخصوص نطاقها المحدد لمعالجة مشاكل تعليم كلام الكراهية، تشير ورقة سيراكيوز إلى أن الأسئلة الأكثر تصنيفاً مثل هل هناك قطة في هذه الصورة؟ تختلف بشكل ملحوظ عن سؤال عامل في الحشود عما إذا كان الجملة “سمية”:

‘إذا اخذنا في الاعتبار فوضى الواقع الاجتماعي، تختلف تصورات الناس لسمية بشكل كبير. تسمياتهم لمحتوى سمي تقوم على تصوراتهم الخاصة.’

تجد أن الشخصية والعمر لهما تأثير كبير على التسمية البعدية لكلام الكراهية، ويخلص الباحثون في سيراكيوز إلى:

‘تظهر هذه النتائج أن الجهود المبذولة لتحقيق التماسك في التسمية بين المعلمين من خلفيات و شخصيات مختلفة لكلام الكراهية قد لا تنجح أبداً.’

القاضي قد يكون متحيزاً أيضاً

من المرجح أن يتكرر هذا نقص الموضوعية أيضاً naar الأعلى، وفقاً لورقة سيراكيوز، التي تدعي أن التدخل اليدوي (أو السياسة الآلية، التي تقرر أيضاً من قبل إنسان) الذي يحدد “الفائز” في تصويت الإجماع يجب أن يخضع أيضاً للفحص.
تتشابه هذه العملية مع تحرير المنتدى، ويعلن المؤلفون*:

‘[م]oderators يمكنهم تحديد مصير المنشورات والمستخدمين في مجتمعاتهم من خلال تعزيز أو إخفاء المنشورات، وكذلك تكريم أو إهانة أو حظر المستخدمين. تؤثر قرارات المحررين على المحتوى الذي يتم تسليمه إلى أعضاء المجتمع والجماهير ومن ثم أيضاً يؤثرون على تجربة المجتمع في المناقشة.

‘إفتراض أن المحرر البشري هو عضو في المجتمع الذي لديه التجانس السكاني مع أعضاء المجتمع الآخرين، يبدو أنه من الممكن أن يتماشى الإطار الذهني الذي يستخدمه لتقييم المحتوى مع إطار أعضاء المجتمع الآخرين.’

هذا يعطي بعض الدلالات على لماذا وصل الباحثون في سيراكيوز إلى استنتاج如此 يائس بشأن مستقبل تعليم كلام الكراهية؛ الدلالة هي أن السياسات والقرارات القضائية على آراء العمل في الحشود لا يمكن أن تطبق عشوائياً وفقاً لمبادئ “مقبولة” لا يتم التأسيس عليها في أي مكان (أو لا يمكن تقييدها بschema قابل للتطبيق، حتى لو كانت موجودة).

الcurating مجموعة معلمي الحشود

جميع هذه افتراضات تفترض أن هناك ميزانية في مشروع البحث لتعليقات متعددة من شأنها أن تؤدي إلى تصويت إجماعي.
في العديد من الحالات، يحاول الباحثون “تحضير” مجموعة العمل في الحشود بشكل أقل تكلفة من خلال تحديد سمات يجب أن يمتلكها العاملون، مثل الموقع الجغرافي أو الجنس أو العوامل الثقافية الأخرى، ويتاجرون التنوع مقابل التحديد.
تجادل ورقة جوجل بأن الطريق الأمام من هذه التحديات يمكن أن يكون من خلال إنشاء إطارات اتصال موسعة مع المعلمين، مشابهة للإتصالات الدنيا التي تسهلها تطبيق أوبير بين سائق وراكب.

‘المرضى’ في تعليم مجموعة البيانات الخارجية

مع قوة عمل متاحة بأجر منخفض، أقل من 40٪ من أجر الحد الأدنى في الولايات المتحدة، تحت التنافس الشديد على المهام المتاحة، ومنكسة بسبب فرص وظيفية قليلة، يحفز المعلمون على تقديم الإجابة “الصحيحة” بسرعة وانتقال إلى المهمة التالية.

‘[ب]oth انتشار مفاهيم بديلة واستخدام أساليب التعليم البسيطة على نطاق واسع يُعتبران عائقاً أمام تقدم البحث حول كلام الكراهية على الإنترنت. على سبيل المثال، وجد روس وآخرون أن عرض تعريف تويتر ل Conduct الهجوم على المعلمين تسبب في أن يطابقوا آراءهم جزئياً مع التعريف. أدى هذا إلى انخفاض كبير في موثوقية التصنيفات.’

* تحويلي لمراجع الورقة إلى روابط.

نشر في 13 ديسمبر 2021 – تم تحديثه في 18 ديسمبر 2021: أضيف علامات