أدوبي وميتا ينددان إساءة استخدام دراسات المستخدم في أبحاث الرؤية الحاسوبية

أدوبي وميتا، إلى جانب جامعة واشنطن، نشرتا نقدًا شاملاً حول ما يُدعى زيادة إساءة استخدام دراسات المستخدم في أبحاث الرؤية الحاسوبية (CV).

كانت دراسات المستخدم في الماضي تقتصر على السكان المحليين أو الطلاب حول حرم الجامعة أو أكثر من المؤسسات الأكاديمية المشاركة، ولكنها انتقلت الآن تقريبًا بالكامل إلى منصات التمويل الجماعي عبر الإنترنت مثل أمازون ميكانيكال تورك (AMT).

من بين مجموعة واسعة من الشكاوى، يُدعي البحث الجديد أن مشاريع البحث تُضغط لتقديم دراسات من قبل مراجعي الأوراق؛ وغالبًا ما تُصمم الدراسات بشكل سيئ؛ وتُكلف الدراسات حيث لا تدعم منطق المشروع هذا النهج؛ وأحيانًا ما يتم “لعب” الدراسات بواسطة عمال التمويل الجماعي المتشائمين الذين “يفهمون” الإجابات المرغوبة بدلاً من التفكير真正ًا في المشكلة.

الورقة البحثية التي تُشكل الجسم المركزي للورقة الجديدة تُدين العديد من الانتقادات الأخرى لطريقة دراسات المستخدم المموَّلة جماعيًا، والتي قد تعيق في الواقع تقدم قطاعات الرؤية الحاسوبية، مثل التعرف على الصور وتوليد الصور.

على الرغم من أن الورقة تتناول مجموعة واسعة من القضايا المتعلقة بدراسات المستخدم، فإن أشد انتقاداتها موجهة نحو كيفية تقييم الإخراج في دراسات المستخدم (أي عندما يتم دفع المال للموظفين المموَّلين جماعيًا لتقديم أحكام قيمة على – على سبيل المثال – إخراج خوارزميات توليد الصور الجديدة) قد يؤثر سلبًا على القطاع بأكمله.

دعونا نلقي نظرة على بعض النقاط المركزية.

تفسيرات مثيرة

من بين اقتراحات الورقة لأولئك الذين ينشرون في قطاع الرؤية الحاسوبية، هناك تحذير ل “تفسير النتائج بعناية”. تشير الورقة إلى مثال من عام 2021، عندما أُعلن عن بحث جديد يُدعي أن “الأفراد غير قادرين على تحديد الفنون التي أنتجها الذكاء الاصطناعي بدقة”، وتم تداوله على نطاق واسع في الصحافة الشعبية.

ينص المؤلفون على ما يلي:

‘في أحد الدراسات في مجلة نفسية، تم جمع صور من الأعمال الفنية التقليدية والصور التي أنتجها التكنولوجيا الاصطناعية من الويب، وتم طلب من العمال المموَّلين جماعيًا التمييز بين الصور من مصادر مختلفة. وتم استنتاج أن “الأفراد غير قادرين على تحديد الفنون التي أنتجها الذكاء الاصطناعي بدقة”، وهو استنتاج واسع لا يتبع مباشرة من التجارب.

‘علاوة على ذلك، لا تقدم الورقة تفاصيل حول المجموعات المحددة من الصور التي تم جمعها أو استخدامها، مما يجعل المطالبات صعبة أو مستحيلة للتأكيد والتحقق.

‘ما هو أكثر قلقًا هو أن الصحافة الشعبية أبلغت عن هذه النتائج مع مطالبات خادعة بأن الذكاء الاصطناعي يمكن أن ينتج فنًا مستقلًا مثل البشر.’

تعامل مع العمال المموَّلين جماعيًا الذين يخدعون

لا يتم دفع رواتب كبيرة عادةً للعمال المموَّلين جماعيًا مقابل جهودهم. نظرًا لأن فرصهم محدودة، وأفضل فرص كسبهم هي من خلال إكمال عدد كبير من المهام، فإن العديد منهم يعتمدون على أي “قصر طريق” سريع لتحقيق المهمة الحالية حتى يتمكنوا من الانتقال إلى المهمة التالية الصغيرة.

يشير البحث إلى أن العمال المموَّلين جماعيًا، مثل أنظمة التعلم الآلي، سيتعلمون الأنماط المتكررة في دراسات المستخدم التي يصممها الباحثون، وسيستدلون ببساطة الإجابة “الصحيحة” أو “المرغوبة”، بدلاً من إنتاج استجابة حقيقية وعضوية للمادة.

ينصح البحث بإجراء فحوصات على العمال المموَّلين جماعيًا، والمعروفة باسم “محاكمة التحقق” أو “المراقبين” – بشكل فعال، أقسام مزيفة من الاختبار المصمم لتحديد ما إذا كان العامل يهتم أو ي点击 عشوائيًا أو يتبع نمطًا استنتجه من الاختبارات، بدلاً من التفكير في اختياراته.

ينص المؤلفون على ما يلي:

‘على سبيل المثال، في حالة أزواج من الصور المزخرفة، يمكن أن تكون إحدى الصور في الزوج نتيجة ذات جودة سيئة مقصودة. خلال التحليل، يمكن إهمال البيانات من المشاركين الذين فشلوا في عدد معين من الفحوصات، وافتراض أنهم غير منتبهين أو متناقضين.

‘يجب إدراج هذه الفحوصات بشكل عشوائي في الدراسة، وينبغي أن تظهر مثل باقي التجارب؛ وإلا قد يكتشف المشاركون أي التجارب هي الفحوصات.’

تعامل مع الباحثين الذين يخدعون

بغض النظر عما إذا كان ذلك متعمدًا أو غير متعمد، يمكن للباحثين أن يكونوا متواطئين في هذا النوع من “الخداع”؛ هناك العديد من الطرق التي يمكنهم من خلالها، ربما دون قصد، “إرسال إشارات” إلى اختياراتهم المرغوبة للعمال المموَّلين جماعيًا.

على سبيل المثال، يشير البحث إلى أن الباحثين يمكنهم، من خلال اختيار العمال المموَّلين جماعيًا ذوي الملفات التي قد تكون مواتية للحصول على الإجابات “المثالية” في الدراسة، إثبات الفرضية التي قد فشلت إذا تم اختبارها على مجموعة أقل انتقائية.

كما أن الصياغة هي قضية رئيسية:

‘يجب أن تعكس الصياغة الأهداف على مستوى عال، على سبيل المثال “أي صورة تحتوي على أقل تشوهات؟” بدلاً من “أي صورة تحتوي على أقل عيوب لونية في منطقة الوجه؟” وعلى العكس من ذلك، تترك كلمات الواجب غير دقيقة الكثير للتفاسير، على سبيل المثال “أي صورة أفضل؟” قد يفهم على أنها “أيها أكثر جاذبية؟” بينما قد يكون القصد هو تقييم “أيها أكثر واقعية؟”‘

ينص المؤلفون على ما يلي:

‘قد يرد المشاركون بالإجابات التي يعتقدون أن الباحثين يريدونها، إما بشكل واع أو غير واع، وهو ما يعرف باسم “تأثير الموضوع الجيد”. لا يجب وضع علامات على الإخراجات بأسماء مثل “طريقةنا” أو “الطريقة الحالية”. يمكن أن يُحيز المشاركون بسبب ديناميات القوة (أي الباحث الذي يدير جلسة البحث)، والباحثون الذين يستخدمون اللغة لتحفيز المشاركين (على سبيل المثال “كم تحب هذه الأداة التي بنيتها بالأمس؟”)، والعلاقة بين الباحثين والمشاركين (على سبيل المثال إذا كانوا يعملون في نفس المختبر أو الشركة).’

يمكن أن تؤثر صياغة المهمة في دراسة المستخدم على حيادية الدراسة. يشير المؤلفون إلى أن إذا تم تقديم المهمة في عرض جانبي، ووضع البaseline دائمًا على اليسار (أي “صورة أ”) والإخراج الجديد للخوارزمية على اليمين، يمكن للمشاركين في الدراسة أن يفترضوا أن ب هو الخيار “الأفضل”، بناءً على افتراضهم المتزايد لنتائج الباحثين.

‘قد تؤثر جوانب أخرى من العرض، مثل حجم الصور على الشاشة، ومسافة بينها، وما إلى ذلك، على استجابات المشاركين. قد تساعد اختبار الدراسة مع إعدادات مختلفة في تحديد هذه العوامل المحتملة في وقت مبكر.’

الأشخاص الخاطئون لمنتج خاطئ

يشير المؤلفون في عدة نقاط في الورقة إلى أن العمال المموَّلين جماعيًا هم مورد أكثر “عامية” مما كان متوقعًا في العقود السابقة، عندما كان الباحثون يضطرون إلى طلب المساعدة محليًا، غالبًا من طلاب الكلية الذين يضيفون إلى دخلهم من خلال المشاركة في الدراسات.

يتطلب المشاركة الفعالة من العمال المموَّلين جماعيًا القليل من الفرص ليكونوا غير منتبهين تجاه المنتج الذي يتم اختباره، وينصح المؤلفون الباحثين بتحديد مستخدميهم المستهدفين قبل تطوير واختبار دراسة لمنتج أو خدمة محتملة – وإلا فإنهم يخاطرون بإنتاج شيء صعب الإنشاء، لكن لا يريده أحد.

‘في الواقع، لقد شهدنا في كثير من الأحيان باحثي الرسومات الحاسوبية أو الرؤية يحاولون الحصول على بحثهم لتحويله إلى الممارسين في الصناعة، فقط ليكتشفوا أن البحث لا يعالج احتياجات المستخدمين المستهدفين. قد يفاجأ الباحثون الذين لا يؤدون عملية تحديد الاحتياجات في البداية باكتشاف أن المستخدمين لا يحتاجون إلى أو لا يهتمون بالأداة التي قضو meses أو سنوات في تطويرها.’

‘قد تؤدي مثل هذه الأدوات إلى أداء سيئ في دراسات التقييم، لأن المستخدمين قد يجدون أن التكنولوجيا تنتج نتائج غير مفيدة أو غير ذات صلة أو غير متوقعة.’

يشير البحث إلى أن المستخدمين الذين من المحتمل أن يستخدموا المنتج يجب أن يتم اختيارهم للدراسات، حتى لو لم يكونوا سهلين في العثور عليهم (أو، على الأرجح، رخيصين).

‘على سبيل المثال، قد يكون هناك منتدى نشط على الإنترنت أو مجتمع وسائل التواصل الاجتماعي ذو صلة يمكن الاستفادة منه. حتى لقاء عضو واحد في المجتمع قد يؤدي إلى عينة كروية، حيث يقدم المستخدمون ذوو الصلة اتصالات بأفراد آخرين مشابهين في شبكتهم.’

طلب الملاحظات

ينصح البحث أيضًا بطلب الملاحظات النوعية من أولئك الذين شاركوا في دراسات المستخدم، لا سيما لأن هذا يمكن أن يكشف عن افتراضات خاطئة من قبل الباحثين.

‘قد تساعد هذه الملاحظات في تصحيح الدراسة، ولكنها قد تكشف أيضًا عن جوانب غير متوقعة من الإخراج التي أثرت على تقييمات المستخدمين. هل كان المشارك “غير راضٍ للغاية” عن الإخراج لأنها كانت غير واقعية، أو غير جمالية، أو متحيزة، أو لسبب آخر؟’

‘بدون معلومات نوعية، قد يعمل الباحث على تحسين الخوارزمية لجعلها أكثر واقعية، بدلاً من معالجة مشكلة المستخدم الأساسية.’

مفرط في الدراسة

يشير البحث إلى أن دراسات المستخدم أصبحت نوعًا من “الحد الأدنى المطلوب” في مجتمع الرؤية الحاسوبية قبل النشر، حتى في الحالات التي لا يمكن فيها صياغة دراسة بشكل معقول (على سبيل المثال، مع فكرة جديدة أو هامشية بحيث لا توجد تحليلات مثل للمثل، والتي قد لا تكون قابلة للقياس بمقياس معقول يمكن أن ينتج عنه نتائج معنوية في دراسة مستخدم).

كما يشير البحث إلى أن دراسات المستخدم أصبحت نوعًا من “الحد الأدنى المطلوب” في مجتمع الرؤية الحاسوبية قبل النشر، حتى في الحالات التي لا يمكن فيها صياغة دراسة بشكل معقول.

ينتهي المؤلفون بالقول:

‘[إذا] كان الهدف الرئيسي من चलrunning دراسات المستخدم هو تلبية متطلبات المراجعين بدلاً من توليد معرفة جديدة، فيجب وضع فائدة وصدق مثل هذه الدراسات موضع تساؤل من قبل المؤلفين والمراجعين على حد سواء. يعاقب عمل لا يحتوي على تقييم المستخدم على حث البحث السيئ، والبحث السيئ سيستمر إذا استمر المراجعون في طلب ذلك.’

‘يجب أن نضع في اعتبارنا أن “البحث السيئ عن المستخدم يؤدي إلى نتائج سيئة”، وسيستمر هذا البحث إذا استمر المراجعون في طلبه.’

* تحويلي لمراجع الورقة إلى روابط ذات صلة^† تأكيدي، وليس تأكيد المؤلفين.

نُشر لأول مرة في 24 يونيو 2022.