عيوب أمازون ميكانيكال تيرك قد تهدد أنظمة توليد اللغة الطبيعية

دراسة جديدة من جامعة ماساتشوستس أمهرست قامت بمقارنة معلمي اللغة الإنجليزية مع عمال التكتل في أمازون ميكانيكال تيرك في تقييم مخرجات أنظمة توليد اللغة الطبيعية (NLG)، وخلصت إلى أن معايير التكتل المريحة والمتعمدة في المهام المهمة بين عمال التكتل يمكن أن تعيق تطوير هذا القطاع.

تصل الدراسة إلى استنتاجات قاسية بشأن مدى تأثير التكتل الصناعي الرخيص للمهام المفتوحة لتقييم NLG على النتائج والخوارزميات في هذا القطاع.

كما قام الباحثون بتحليل قائمة من 45 ورقة بحثية حول توليد النص المفتوح حيث استخدمت الأبحاث خدمة التكتل، ووجدوا أن “الغالبية العظمى” لم تبلغ عن التفاصيل الحاسمة حول استخدام خدمة التكتل، مما يجعل من الصعب إعادة إنتاج نتائج الأوراق.

عمل التكتل

تنتقد الدراسة طبيعة التكتل في أمازون ميكانيكال تيرك، والمشاريع الأكاديمية التي تمنح التكتل مصداقية إضافية من خلال استخدامها كموارد بحث صالحة ومستمرة. ويلاحظ المؤلفون:

‘في حين أن التكتل هو حل مريح وميسور التكلفة، نلاحظ أن هناك تباينًا كبيرًا بين العمال، وضبط سيئ، ومهام معقدة يمكن أن تؤدي إلى استنتاجات علمية خاطئة (على سبيل المثال، أن النص المكتوب من قبل الإنسان هو “أسوأ” من GPT-2)’

تتهم الدراسة اللعبة وليس اللاعبين، حيث يلاحظ الباحثون:

‘عمال التكتل غالبًا ما يتم دفعهم أجر منخفض مقابل عملهم، مما يضر بجودة البحث، وأهم من ذلك، قدرة هؤلاء العمال على كسب رزق كافٍ’

الورقة، التي تحمل عنوان أخطار استخدام ميكانيكال تيرك لتقييم توليد النص المفتوح، توصلت إلى أن ‘المحكمين الخبراء’ مثل معلمي اللغة وخبراء اللغات يجب أن يستخدموا لتقييم المحتوى الاصطناعي المفتوح، حتى لو كان التكتل أرخص.

مهام الاختبار

في مقارنة أداء التكتل مع قراء محترفين أقل تقييدًا، أنفق الباحثون 144 دولارًا على خدمات التكتل المستخدمة في الاختبارات (على الرغم من أن المزيد تم إنفاقه على نتائج “غير قابلة للاستخدام” – انظر أدناه)، مما يتطلب من “تركيين” عشوائيين تقييم واحد من 200 نص، مقسمة بين المحتوى النصي الذي أنشأه الإنسان والمحتوى النصي الذي تم إنشاؤه اصطناعيًا.

كلف تعيين معلمي اللغة المحترفين للقيام بنفس العمل 187.50 دولارًا، وتأكيد أدائهم الأفضل (مقارنة بعمال التكتل) من خلال توظيف محترفين من فرييلانس لتنفيذ المهام بنفس الطريقة تكلفت 262.50 دولارًا إضافيًا.

تألفت كل مهمة من أربعة معايير تقييمية: قواعد اللغة (‘ما مدى صحة النص من حيث القواعد؟’); الاتساق (‘ما مدى اتساق النص؟’); الجاذبية (‘ما مدى جاذبية النص؟’); والصلة (‘ما مدى صلة النص بالموضوع؟’).

توليد النصوص

为了获取 مواد NLG للاختبارات، استخدم الباحثون مجموعة بيانات الهرمية للقصص التي تم إنشاؤها بواسطة المستخدمين من Facebook AI Research في عام 2018، والتي تتكون من 303,358 قصة باللغة الإنجليزية تم إنشاؤها بواسطة المستخدمين على منصة r/writingprompts الشهيرة (التي تضم أكثر من 15 مليون مستخدم)، حيث يتم إنشاء قصص المشتركين بواسطة جمل مقترحة في طريقة مماثلة لتوليد الصور النصية الحالية – وفي توليد اللغة الطبيعية المفتوح النظم.

تم اختيار 200 مقترح عشوائيًا من مجموعة البيانات وتمريرها عبر نموذج GPT-2 متوسط الحجم باستخدام مكتبة Hugging-Face Transformers. وبالتالي، تم الحصول على مجموعتين من النتائج من نفس المقترحات: المقالات النصية التي كتبها الإنسان من مستخدمي Reddit، والنصوص التي تم إنشاؤها بواسطة GPT-2.

为了防止 نفس عمال التكتل من تقييم نفس القصة عدة مرات، تم طلب ثلاثة أحكام من عمال التكتل لكل مثال. وبالإضافة إلى ذلك، تم إجراء تجارب تتعلق بالقدرات اللغوية للعمال (انظر نهاية المقال) وتم استبعاد النتائج من عمال التكتل الذين يقضون وقتًا قصيرًا في كل مهمة، مما زاد من الإنفاق الإجمالي على التكتل إلى حوالي 1,500 دولار.

为了 خلق ساحة لعب عادلة، تم إجراء جميع الاختبارات في أيام الأسبوع بين الساعة 11:00 صباحًا و 11:30 صباحًا بالتوقيت 太平洋.

النتائج والاستنتاجات

تغطي الدراسة الشاملة الكثير من الموضوعات، ولكن النقاط الرئيسية هي كما يلي:

زمن قصير

وجدت الدراسة أن متوسط زمن المهمة الذي تم الإبلاغ عنه من قبل أمازون يبلغ 360 ثانية، انخفض إلى زمن عمل فعلي يبلغ 22 ثانية فقط، وزمن عمل trung يبلغ 13 ثانية فقط – ربع الوقت الذي استغرقته أسرع معلمة لغة إنجليزية في إعادة تنفيذ المهمة.

منذ أن لا يفرض التكتل أي حد لعدد المهام التي يمكن للعامل الفردي أن يأخذها، ظهر “اللاعبون الكبار” في التكتل، الذين لديهم سمعة ربحية لاستكمال عدد كبير من المهام في كل تجربة. و为了 تعويض عن المهام المقبولة من نفس العامل، قاس الباحثون الزمن بين المهام المقدمة بشكل متتالي، ومقارنة بداية و نهاية كل مهمة. وبهذا، أصبح النقص بين زمن العمل الذي تم الإبلاغ عنه من قبل التكتل والزمن الفعلي الذي تم إنفاقه على المهمة واضحًا.

منذ أن لا يمكن إنجاز مثل هذا العمل في هذه الأطر الزمنية، كان على الباحثين أن يتعويضوا عن ذلك:

‘من المستحيل قراءة نص طويل بعناية وتقييم جميع الخواص في زمن قصير مثل 13 ثانية، لذلك نقيس تأثير التقييمات المتوسطة عند استبعاد العمال الذين يقضون وقتًا قصيرًا لكل مهمة… على سبيل المثال، نزيل الأحكام من العمال الذين يقضون وقتًا أقل من 40 ثانية (وهو معيار منخفض)، ونجد أن حوالي 42% من التقييمات يتم استبعادها (تتراوح بين 20% و 72% في جميع التجارب)’

تعتبر الدراسة أن زمن العمل الفعلي الذي تم الإبلاغ عنه في التكتل هو “مشكلة كبيرة” غالبًا ما يتم تجاهلها من قبل الباحثين الذين يستخدمون الخدمة.

الحاجة إلى توجيه يدي

تشير النتائج أيضًا إلى أن عمال التكتل لا يستطيعون تمييز النصوص المكتوبة من قبل الإنسان والنصوص المكتوبة بواسطة الآلة، إلا إذا رأوا كلا النصين جنبًا إلى جنب، مما سيكون بمثابة تعريض سيناريو التقييم النموذجي (حيث يجب على القارئ أن يكون قادرًا على إصدار حكم بناءً على نموذج نصي واحد، “حقيقي” أو منشأ اصطناعيًا).

قبول النصوص الاصطناعية منخفضة الجودة بسهولة

قيم عمال التكتل النصوص الاصطناعية منخفضة الجودة التي تم إنشاؤها بواسطة GPT-2 على قدم المساواة مع النصوص عالية الجودة والمتناسقة التي كتبها الإنسان، على عكس معلمي اللغة الإنجليزية الذين كانوا قادرين بسهولة على التمييز بين الفرق في الجودة.

لا وقت للتحضير، لا سياق

الدخول إلى الحالة الذهنية الصحيحة لمثل هذه المهمة المجردة مثل تقييم الصحة لا يأتي بشكل طبيعي؛ wymaga معلمي اللغة الإنجليزية 20 مهمة لتحسين حساسيتهم للبيئة التقييمية، بينما عمال التكتل لا يحصلون على “زمن للتوجيه” على الإطلاق، مما يقلل من جودة مدخلاتهم.

اللعب بالنظام

تؤكد الدراسة أن زمن المهام الفردية الذي يقضيه عمال التكتل يتم تضخيمه من قبل العمال الذين يقبلون مهام متعددة في نفس الوقت، ويتحركون عبر المهام في علامات تبويب مختلفة في متصفحاتهم، بدلاً من التركيز على مهمة واحدة لمدة زمن المهمة المسجلة.

بلد المنشأ مهم

تلاحظ الدراسة أن إعدادات التكتل الافتراضية لا تفرض أي قيود على العمال حسب بلد المنشأ، وتشير إلى دراسة سابقة تُظهر أن عمال التكتل يستخدمون VPNs للعمل حول القيود الجغرافية، مما يسمح للمتحدثين غير الأصليين بالتمثيل كمتحدثين أصليين (في نظام يعتبر، ربما ببساطة، لغة العامل مع موقعه الجغرافي حسب IP).

لذلك، أعاد الباحثون إجراء الاختبارات التقييمية على التكتل مع مرشحات تقيد المتقدمين بالبلدان غير الناطقة باللغة الإنجليزية، ووجدوا أن “عمال من بلدان غير ناطقة باللغة الإنجليزية قيموا الاتساق والصلة وقواعد اللغة… بأقل من عمال متشابهين من بلدان ناطقة باللغة الإنجليزية”.

تخلصت الدراسة إلى:

‘يجب استخدام محكمين خبراء مثل اللغويين أو معلمي اللغة كلما كان ذلك ممكنًا، لأنهم قد تم تدريبهم بالفعل على تقييم النص المكتوب، وليس أكثر تكلفة…’

نشر في 16 سبتمبر 2021 – تم تحديثه في 18 ديسمبر 2021: تمت إضافة علامات