زاوية Anderson
أدوبي وميتا تنتقدان سوء استخدام دراسات المستخدمين في أبحاث الرؤية الحاسوبية

النقاط الرئيسيةغالبًا ما يتم التلاعب بالدراسات الجماعية للمستخدمين في مجال الرؤية الحاسوبية من قبل…
عرض المزيد
- غالبًا ما يتم التلاعب بالدراسات الجماعية للمستخدمين في مجال الرؤية الحاسوبية من قبل العمال الذين يستنتجون الإجابات المطلوبة بدلاً من التفكير النقدي.
- يطالب المراجعون بشكل متزايد بدراسات المستخدمين كعكاز، مما يضغط على المؤلفين لإنتاج تقييمات لا معنى لها لأوراق بحثية ضعيفة.
- يجب على الباحثين تجنيد المستخدمين المستهدفين في البيئة الطبيعية وتجنب تسمية المخرجات باسم 'طريقتنا' لمنع التحيز في نتائج الدراسة.
نشرت Adobe (ADBE ) وMeta، بالتعاون مع جامعة واشنطن، نقدًا موسعًا لما تصفه بتزايد سوء استخدام دراسات المستخدمين وإساءة توظيفها في أبحاث الرؤية الحاسوبية (CV).
كانت هذه الدراسات تقتصر عادة على سكان المنطقة أو الطلاب حول حرم مؤسسة أكاديمية مشاركة أو أكثر، لكنها انتقلت منذ ذلك الحين شبه كليًا إلى منصات التعهيد الجماعي عبر الإنترنت، مثل Amazon Mechanical Turk (AMT).
تقول الورقة الجديدة إن مشاريع البحث تتعرض لضغط من محكّمي الأوراق لإجراء دراسات، وإن تصميمها يكون رديئًا في أحيان كثيرة، أو تُطلب حين لا يدعم منطق المشروع هذا النهج. كما قد يتلاعب بها عمال التعهيد الجماعي الذين يستنتجون الإجابات المرغوبة بدل التفكير الحقيقي في المشكلة.
وتقدم المعالجة البحثية المؤلفة من خمس عشرة صفحة، بعنوان نحو دراسات مستخدمين أفضل في الرسوميات الحاسوبية والرؤية، والتي تشكل صلب الورقة الجديدة، انتقادات أخرى لاحتمال أن تكون دراسات التعهيد الجماعي تعيق تقدم مجالات فرعية كالتعرف على الصور وتركيبها.
ومع أن الورقة تتناول نطاقًا أوسع من المسائل، فإن أشد انتقاداتها يتعلق بطريقة تقييم المخرجات في دراسات المستخدمين، أي دفع أجر لمشاركين كي يصدروا أحكامًا قيمية على مخرجات خوارزميات تركيب الصور مثلًا، واحتمال تأثير هذه الطريقة سلبًا في المجال بأكمله.
لنستعرض بعض النقاط الرئيسية.
تفسيرات مثيرة
من توصيات الورقة للباحثين الذين ينشرون في مجال الرؤية الحاسوبية تفسير النتائج بحذر. وتستشهد بمثال من عام 2021، حين ادعت دراسة جديدة أن الأفراد لا يستطيعون تحديد الأعمال الفنية المولدة بالذكاء الاصطناعي بدقة، ثم حُرّفت نتائجها على نطاق واسع في الصحافة الجماهيرية.

أحد التقارير الإعلامية البارزة عن ورقة Harsha Gangadharbatla لعام 2021، بعنوان «The Role of AI Attribution Knowledge in the Evaluation of Artwork»، والتي تستشهد بها الورقة الجديدة. ومصدر Daily Mail هنا هو The Times (خلف جدار دفع). المصادر: Daily Mail (رابط مؤرشف) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf
يقول المؤلفون*:
«في إحدى الدراسات المنشورة في مجلة لعلم النفس، جُمعت من الويب صور لأعمال فنية تقليدية وصور أنشأتها تقنيات الذكاء الاصطناعي، وطُلب من عمال التعهيد الجماعي تمييز مصادرها. واستُنتج من النتائج أن الأفراد لا يستطيعون تحديد الأعمال الفنية المولدة بالذكاء الاصطناعي بدقة، وهو استنتاج واسع جدًا لا ينبثق مباشرة من التجارب.»
«ولا تحدد الورقة مجموعات الصور التي جُمعت أو استُخدمت، مما يجعل التحقق من الادعاءات وإعادة إنتاج النتائج أمرًا صعبًا، إن لم يكن مستحيلًا.»
«والأكثر إثارة للقلق أن الصحافة الجماهيرية عرضت النتائج بادعاءات مضللة مفادها أن الذكاء الاصطناعي يستطيع إنتاج الفن باستقلالية وبمستوى يضاهي البشر.»
التعامل مع عمال التعهيد الجماعي الذين يغشون
عمال التعهيد الجماعي لا يحصلون عادة على أجور مرتفعة مقابل جهدهم. وآفاقهم المهنية محدودة، وأفضل سبيل لزيادة دخلهم هو إنجاز عدد كبير من المهام. لذلك يميل كثير منهم، كما تشير الأبحاث، إلى أي اختصار يسرّع المهمة الحالية للانتقال إلى المهمة الصغيرة التالية.
وتلاحظ الورقة أنهم، مثل أنظمة التعلم الآلي، يتعلمون الأنماط المتكررة في الدراسات التي يصوغها الباحثون، ويستنتجون الإجابة الصحيحة أو المرغوبة بدل تقديم استجابة تلقائية حقيقية للمادة.
ولهذا توصي بإجراء اختبارات تحقق، تسمى أيضًا اختبارات حارسة، وهي أجزاء ضابطة تُدرج في الاختبار لمعرفة هل ينتبه العامل، أم ينقر عشوائيًا، أم يتبع نمطًا استنتجه بنفسه من الاختبارات دون التفكير في اختياراته.
يقول المؤلفون:
«في أزواج الصور ذات الأسلوب الفني، مثلًا، يمكن أن تكون إحدى الصورتين نتيجة رديئة عمدًا وبشكل موضوعي. وخلال التحليل يمكن استبعاد بيانات المشاركين الذين أخفقوا في عدد محدد مسبقًا من اختبارات التحقق، على افتراض أنهم لم ينتبهوا أو لم يتسقوا في الإجابة.»
«يجب إدراج هذه الاختبارات عشوائيًا، وأن تبدو كغيرها من المحاولات؛ وإلا فقد يكتشف المشاركون أيها مخصص للتحقق.»
التعامل مع الباحثين الذين يغشون
يمكن للباحثين أن يشاركوا في هذا التلاعب بقصد أو بغير قصد؛ فهناك طرق كثيرة للإيحاء للعمال بالاختيارات المرغوبة، وربما دون أن ينتبه الباحث نفسه لذلك.
مثلًا، يمكن اختيار عمال ذوي خصائص ملائمة للحصول على الإجابات المثالية، فيبدو أن الدراسة تثبت فرضية ربما لم تصمد أمام مجموعة أقل انتقائية وأكثر عشوائية.
وصياغة الأسئلة أيضًا مسألة أساسية:
«ينبغي أن تعكس الصياغة الأهداف العامة، مثل: أي صورة تحتوي على تشوهات بصرية أقل؟ بدلًا من: أي صورة تحتوي على عيوب لونية أقل في منطقة الوجه؟ وبالعكس، تترك الصياغة غير الدقيقة مجالًا واسعًا للتفسير؛ فسؤال أي صورة أفضل؟ قد يُفهم على أنه أيها أجمل؟ بينما المقصود هو تقييم أيها أكثر واقعية؟»
ومن طرق التأثير الذي يبدو بريئًا إبلاغ المشاركين، صراحة أو ضمنًا، أي الخيارات المعروضة يمثل طريقة المؤلف بدل طريقة سابقة أو عينة عشوائية.
وتقول الورقة*:
«قد يقدم المشاركون الإجابات التي يظنون أن الباحثين يريدونها، بوعي أو دون وعي، فيما يعرف باسم تأثير المشارك الجيد. لا تسموا المخرجات بطريقة مثل طريقتنا أو الطريقة الحالية. وقد تؤثر في المشاركين علاقات القوة، كسلطة الباحث الذي يدير الجلسة، واللغة التي يستخدمها لتهيئتهم، مثل: ما مدى إعجابك بهذه الأداة التي صنعتها أمس؟ وكذلك العلاقة بين الباحث والمشارك، كعملهما في المختبر أو الشركة نفسها.»
وقد يؤثر تنسيق المهمة كذلك في حياد الدراسة. فإذا وُضع الأسلوب المرجعي دائمًا على اليسار بوصفه الصورة أ، ومخرج الخوارزمية الجديدة على اليمين، فقد يستنتج المشاركون أن ب هو الخيار الأفضل بناءً على تخمينهم المتزايد للنتيجة التي يرجوها الباحثون.
«قد تؤثر جوانب عرض أخرى، كحجم الصور على الشاشة والمسافة بينها، في الاستجابات. وقد تساعد دراسة تجريبية بعدة إعدادات على كشف هذه العوامل المربكة المحتملة مبكرًا.»
المشاركون غير المناسبين للمنتج
يشير المؤلفون إلى أن عمال التعهيد الجماعي مورد أكثر عمومية مما كان متوقعًا في العقود السابقة، عندما كان الباحثون يطلبون المساعدة محليًا، وكثيرًا ما شارك طلاب المؤسسات الأكاديمية لاستكمال دخلهم.
يترك اشتراط المشاركة النشطة مجالًا ضيقًا للعامل المأجور كي يحتار أمام المنتج أو لا ينبهر به. ويوصي المؤلفون الباحثين بأن يحددوا المستخدمين المستهدفين قبل تطوير منتج أو خدمة واختبارهما في دراسة؛ وإلا خاطروا بصنع شيء صعب الإنشاء لا يريده أحد فعلًا.
«شهدنا مرارًا باحثي الرسوميات الحاسوبية أو الرؤية يحاولون إقناع المتخصصين في الصناعة بتبني أبحاثهم، ثم يكتشفون أنها لا تلبي احتياجات المستخدمين المستهدفين. ومن لا يستكشف الاحتياجات منذ البداية قد يفاجأ بأن المستخدمين لا يحتاجون إلى أداة أمضى شهورًا أو سنوات في تطويرها ولا يهتمون بها.»
«وقد تسوء نتائج هذه الأدوات في دراسات التقييم لأن المستخدمين يرون أنها تنتج نتائج غير مفيدة أو غير ذات صلة أو غير متوقعة.»
وترى الورقة ضرورة اختيار من يُرجح أن يستخدموا المنتج فعلًا، حتى إن كان العثور عليهم صعبًا أو كانت تكلفة مشاركتهم أعلى.
وبدل العودة إلى التجنيد في الحرم الجامعي، وهو رجوع إلى أسلوب قديم، تقترح التعامل مع المجتمعات المعنية واستقطاب المستخدمين في بيئتهم الفعلية.
«قد يوجد منتدى نشط أو مجتمع مناسب على وسائل التواصل الاجتماعي يمكن الاستفادة منه. وحتى لقاء عضو واحد قد يقود إلى أخذ العينات بطريقة كرة الثلج، حيث يعرّف المستخدمون المعنيون الباحثين بأشخاص مشابهين ضمن شبكاتهم.»
طلب التغذية الراجعة
توصي الورقة أيضًا بجمع تعليقات نوعية من المشاركين، لا سيما أنها قد تكشف افتراضات خاطئة لدى الباحثين.
«قد تساعد هذه التعليقات في كشف أخطاء تصميم الدراسة، وقد تكشف جوانب غير متوقعة من المخرجات أثرت في تقييم المستخدمين. هل كان المشارك غير راضٍ جدًا لأن الناتج غير واقعي، أو غير جميل، أو متحيز، أم لسبب آخر؟»
«من دون معلومات نوعية قد ينشغل الباحث بتحسين الخوارزمية لتصبح أكثر واقعية، بدل معالجة مشكلة المستخدم الأساسية.»
وكثير من توصيات الورقة، تتطلب هذه التوصية وقتًا ومالًا إضافيين من الباحثين، في ثقافة ترى الورقة أنها تتجه افتراضيًا إلى دراسات تعهيد جماعي سريعة وشبه إلزامية، عادة ما تكون رخيصة، بما ينسجم مع ثقافة تقودها المطالبة بالدراسات وتنتقدها الورقة باستمرار.
الإفراط في طلب الدراسات
تشير الورقة إلى أن دراسات المستخدمين تتحول إلى حد أدنى مطلوب في مجتمع المسودات البحثية للرؤية الحاسوبية، حتى حيث يصعب تصميم دراسة معقولة، كفكرة جديدة أو هامشية لا تتوافر لها مقارنة مكافئة أو مقياس معقول ينتج نتائج ذات معنى.
ومثالًا على الضغط لإجراء الدراسات، وهو ليس تعبير المؤلفين أنفسهم، يستشهد الباحثون بورقة من ICLR 2022 تتوافر مراجعاتها على الإنترنت (نسخة مؤرشفة في 24 يونيو 2022، والرابط من الورقة الجديدة مباشرة)†:
«أعطى مراجعان درجات سلبية جدًا، يعود جزء منها إلى غياب دراسات المستخدمين. وقُبلت الورقة في النهاية مع ملخص يوبخ المراجعين لاستخدامهم دراسات المستخدمين ذريعة لسوء التحكيم، ويتهمهم بوضع حواجز أمام النشر. والنقاش الكامل جدير بالقراءة.»
«أشار القرار النهائي إلى أن العمل يصف مكتبة برمجية مستخدمة بالفعل منذ سنوات، ولها آلاف المستخدمين، وهي معلومات لم تُكشف للمراجعين حفاظًا على إخفاء الهوية. فهل كانت الورقة، التي تصف نظامًا بالغ التأثير، ستُرفض لو لم تعرف اللجنة هذه المعلومات؟»
«ولو بذل المؤلفون جهدًا إضافيًا لتصميم دراسة مستخدمين وتنفيذها، فهل كانت ستكون ذات معنى وكافية لإقناع المراجعين؟»
يقول المؤلفون إنهم شاهدوا مراجعين ومحررين يفرضون متطلبات تقييم مرهقة، بصرف النظر عما إذا كان لهذه التقييمات معنى أو قيمة فعلية.
«شاهدنا أيضًا استخدام المؤلفين والمراجعين لتقييمات MTurk كعكاز لتجنب القرارات الصعبة. فتعليقات مثل: لا أستطيع معرفة هل الصور أفضل، وربما تساعد دراسة مستخدمين، قد تكون مؤذية لأنها تحفز عملًا إضافيًا لن يحسّن ورقة ضعيفة.»
ويختم المؤلفون بنداء لمجتمعي الرؤية والرسوميات الحاسوبية إلى التأني في طلب الدراسات، بدل ترك الثقافة المدفوعة بها تتحول إلى إجراء آلي افتراضي. فبعض الأعمال الأكثر إثارة للاهتمام تقع في حالات حدية لا تتناسب مع مسارات البحث والنشر الأكثر ربحًا أو إنتاجية.
ويخلصون إلى ما يلي:
«إذا كان الهدف الأساسي إرضاء المراجعين بدل توليد معرفة جديدة، فعلى المؤلفين والمراجعين معًا مساءلة فائدة تلك الدراسات وصحتها. ومعاقبة العمل الذي لا يحتوي على تقييم للمستخدمين تحفز، دون قصد، أبحاثًا متعجلة وضعيفة التنفيذ.»
«والمبدأ الذي يجب تذكره هو أن البحث السيئ عن المستخدمين يؤدي إلى نتائج سيئة، وسيستمر هذا البحث ما دام المراجعون يطلبونه.»
* حوّل كاتب هذا المقال الاستشهادات داخل الورقة إلى روابط ذات صلة.
† هذا التوكيد من كاتب المقال وليس من مؤلفي الورقة.
نُشر أول مرة في 24 يونيو 2022.












