Anderson का एंगल

एडोब और मेटा ने कंप्यूटर विजन रिसर्च में यूजर स्टडीज के दुरुपयोग की निंदा की

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Source: 'Evacuated King's College London students at the University of Bristol in 1940' - https://www.hmoob.press/nn/Bristol_University#wiki-2
मुख्य बिंदुकंप्यूटर विज़न में क्राउडसोर्स किए गए उपयोगकर्ता अध्ययनों में अक्सर वे कर्मचारी धोखा…
और देखें
  • कंप्यूटर विज़न में क्राउडसोर्स किए गए उपयोगकर्ता अध्ययनों में अक्सर वे कर्मचारी धोखा देते हैं जो गंभीरता से सोचने के बजाय अपेक्षित उत्तरों का अनुमान लगाते हैं।
  • समीक्षक तेजी से उपयोगकर्ता अध्ययनों को एक सहारे के रूप में मांग रहे हैं, जिससे लेखकों पर औसत दर्जे के पेपरों के लिए अर्थहीन मूल्यांकन उत्पन्न करने का दबाव बढ़ रहा है।
  • शोधकर्ताओं को वास्तविक दुनिया में लक्षित उपयोगकर्ताओं को भर्ती करना चाहिए और अध्ययन परिणामों में पूर्वाग्रह से बचने के लिए आउटपुट को 'हमारी विधि' के रूप में लेबल करने से बचना चाहिए।

एडोब (ADBE ) और मेटा, वाशिंगटन विश्वविद्यालय के साथ मिलकर, कंप्यूटर विजन (सीवी) रिसर्च में यूजर स्टडीज के बढ़ते दुरुपयोग और दुर्व्यवहार के बारे में एक व्यापक आलोचना प्रकाशित की है।

यूजर स्टडीज पहले आमतौर पर स्थानीय लोगों या एक या एक से अधिक भाग लेने वाले अकादमिक संस्थानों के आसपास के छात्रों तक सीमित थीं, लेकिन अब वे लगभग पूरी तरह से ऑनलाइन क्राउडसोर्सिंग प्लेटफॉर्म जैसे अमेज़ॅन मैकेनिकल टर्क (एएमटी) पर स्थानांतरित हो गई हैं।

अनेक शिकायतों के बीच, नए शोध पत्र में दावा किया गया है कि शोध परियोजनाओं पर समीक्षकों द्वारा उपयोगकर्ता अध्ययन करने का दबाव डाला जा रहा है; अक्सर अध्ययनों को गलत तरीके से तैयार किया जा रहा है; अध्ययनों को कमीशन किया जा रहा है जहां परियोजना के तर्क इस दृष्टिकोण का समर्थन नहीं करते हैं; और अक्सर ‘गेम्ड’ होते हैं जो वास्तव में समस्या के बारे में सोचने के बजाय वांछित उत्तरों का पता लगाने वाले दुर्भावनापूर्ण क्राउडवर्कर्स द्वारा।

पंद्रह-पृष्ठ का निबंध (जिसका शीर्षक कंप्यूटर ग्राफिक्स और विजन में बेहतर यूजर स्टडीज की ओर) जो नए शोध पत्र के केंद्रीय भाग को बनाता है, वह क्राउडसोर्स्ड यूजर स्टडीज के तरीके से कंप्यूटर विजन के उप-क्षेत्रों जैसे कि इमेज रिकग्निशन और इमेज सिंथेसिस की प्रगति को बाधित कर सकता है।

हालांकि पत्र यूजर स्टडीज से संबंधित कई मुद्दों को संबोधित करता है, इसकी सबसे मजबूत आलोचना यूजर स्टडीज में आउटपुट मूल्यांकन (यानी, जब क्राउडसोर्स्ड मानवों को यूजर स्टडीज में मूल्य निर्णय लेने के लिए भुगतान किया जाता है, जैसे कि नए इमेज सिंथेसिस अल्गोरिदम के आउटपुट पर) के तरीके से पूरे क्षेत्र पर नकारात्मक प्रभाव डाल सकता है।

आइए कुछ केंद्रीय बिंदुओं पर नजर डालते हैं।

सनसनीखेज व्याख्याएँ

पत्र में कंप्यूटर विजन क्षेत्र में प्रकाशित करने वालों के लिए सुझावों में से एक यह है कि ‘परिणामों की व्याख्या सावधानी से की जाए।’ पत्र 2021 का एक उदाहरण उद्धृत करता है, जब एक नई शोध कार्य ने दावा किया था कि ‘व्यक्ति एआई-जनित कला को सटीक रूप से पहचान नहीं सकते हैं’ जो व्यापक रूप से लोकप्रिय प्रेस में स्पिन किया गया था।

एक उच्च-प्रोफाइल मीडिया रिपोर्ट 2021 के पत्र 'द रोल ऑफ एआई एट्रिब्यूशन नॉलेज इन द इवैल्यूएशन ऑफ आर्टवर्क' पर, हर्षा गंगाधरबटला द्वारा, नए पत्र में उद्धृत किया गया है। यहां, द डेली मेल का स्रोत द टाइम्स (पेवॉल) है। स्रोत: द डेली मेल (आर्काइव लिंक) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

एक उच्च-प्रोफाइल मीडिया रिपोर्ट 2021 के पत्र ‘द रोल ऑफ एआई एट्रिब्यूशन नॉलेज इन द इवैल्यूएशन ऑफ आर्टवर्क’ पर, हर्षा गंगाधरबटला द्वारा, नए पत्र में उद्धृत किया गया है। यहां, द डेली मेल का स्रोत द टाइम्स (पेवॉल) है। स्रोत: द डेली मेल (आर्काइव लिंक) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

लेखकों का कहना है*:

‘[एक] अध्ययन में, मनोविज्ञान पत्रिका में पारंपरिक कला और एआई प्रौद्योगिकियों द्वारा बनाई गई छवियों को वेब से एकत्र किया गया था, और क्राउडवर्कर्स से पूछा गया था कि वे कौन सी छवियां किन स्रोतों से आई थीं। परिणामों से यह निष्कर्ष निकाला गया कि “व्यक्ति एआई-जनित कला को सटीक रूप से पहचान नहीं सकते हैं,” एक बहुत व्यापक निष्कर्ष जो प्रयोगों से सीधे नहीं निकलता है।’

‘इसके अलावा, पत्र में यह विवरण नहीं दिया गया है कि कौन से विशिष्ट छवि सेट एकत्र किए गए थे या उपयोग किए गए थे, जो दावों को सत्यापित और पुनरुत्पादित करना कठिन, यदि नहीं असंभव, बनाता है। ‘

‘और, अधिक चिंताजनक बात यह है कि लोकप्रिय प्रेस ने इन परिणामों को यह दावा करते हुए रिपोर्ट किया कि एआई मानवों की तरह स्वतंत्र रूप से कला बना सकते हैं।’

धोखा देने वाले क्राउडवर्कर्स से निपटना

क्राउडसोर्स्ड कार्यकर्ताओं को आमतौर पर उनके प्रयासों के लिए बहुत अधिक भुगतान नहीं किया जाता है। चूंकि उनकी करियर की संभावनाएँ न्यूनतम हैं, और उनकी सबसे अच्छी कमाई की संभावना कार्यों की एक उच्च मात्रा को पूरा करने से है, इसलिए उनमें से कई, शोध से संकेत मिलता है, किसी भी ‘शॉर्टकट’ को लेने के लिए तैयार हैं जो वर्तमान कार्य को तेज कर देगा ताकि वे अगले छोटे ‘गिग’ पर जा सकें।

पत्र यह बताता है कि क्राउडसोर्स्ड कार्यकर्ता, मशीन लर्निंग सिस्टम की तरह, यूजर स्टडीज में पैटर्न सीखेंगे जो शोधकर्ता तैयार करते हैं, और बस ‘सही’ या ‘वांछित’ उत्तर का अनुमान लगाएंगे, वास्तविक, स्वाभाविक प्रतिक्रिया के बजाय।

इस उद्देश्य से, पत्र क्राउडसोर्स्ड कार्यकर्ताओं पर जांच करने की सिफारिश करता है, जिन्हें ‘वैलिडेशन ट्रायल’ या ‘सेंटिनल’ के रूप में जाना जाता है – वास्तव में एक परीक्षण के नकली खंड जो यह देखने के लिए डिज़ाइन किए गए हैं कि क्या कार्यकर्ता ध्यान दे रहा है, यादृच्छिक रूप से क्लिक कर रहा है, या बस एक पैटर्न का पालन कर रहा है जिसे उन्होंने स्वयं परीक्षणों से अनुमान लगाया है, वास्तविक उत्तरों के बारे में सोचने के बजाय।

लेखकों का कहना है*:

‘उदाहरण के लिए, स्टाइलाइज्ड छवियों के जोड़े के मामले में, एक छवि जोड़े का एक जानबूझकर और वस्तुगत रूप से खराब गुणवत्ता वाला परिणाम हो सकता है। विश्लेषण के दौरान, जो प्रतिभागी पूर्वनिर्धारित संख्या में जाँचों में विफल होते हैं, उनके डेटा को विश्लेषण से हटाया जा सकता है, इस धारणा पर कि वे असावधान या असंगत थे। ‘

‘इन जांचों को अध्ययन में यादृच्छिक रूप से डाला जाना चाहिए, और उन्हें अन्य परीक्षणों की तरह दिखना चाहिए; अन्यथा, प्रतिभागी यह पता लगा सकते हैं कि कौन से परीक्षण जांच हैं। ‘

धोखा देने वाले शोधकर्ताओं से निपटना

जानबूझकर या अनजाने में, शोधकर्ता इस तरह के ‘गेमिंग’ में संलिप्त हो सकते हैं; उनके लिए अपनी वांछित पसंद को क्राउडवर्कर्स को ‘संकेत’ देने के कई तरीके हो सकते हैं।

उदाहरण के लिए, पत्र बताता है कि ऐसे प्रोफाइल वाले क्राउडवर्कर्स चुनना जिनसे वांछित “आदर्श” उत्तर मिलने की संभावना हो, अध्ययन में ऐसी परिकल्पना को सही दिखा सकता है जो कम चयनित या अधिक यादृच्छिक प्रतिभागी समूह में सही सिद्ध न होती।

वाक्य रचना भी एक प्रमुख चिंता का विषय है:

‘वाक्यांश उच्च-स्तरीय लक्ष्यों को प्रतिबिंबित करना चाहिए, जैसे कि “कौन सी छवि में कम दृश्य विकृतियाँ हैं?” इसके बजाय “कौन सी छवि में चेहरे के क्षेत्र में कम रंग दोष हैं?” इसके विपरीत, अस्पष्ट कार्य वाक्यांश बहुत कुछ व्याख्या के लिए छोड़ देता है, जैसे कि “कौन सी छवि बेहतर है?” जिसे “कौन सी अधिक सुंदर है?” के रूप में समझा जा सकता है, जहां इरादा “कौन सी अधिक वास्तविक है?” का मूल्यांकन करना था।’

एक और तरीका है जिससे प्रतिभागियों को ‘सौम्य रूप से प्रभावित’ किया जा सकता है, यह उन्हें बताना है कि सामने में संभावित विकल्पों में से कौन सा लेखक की विधि है, न कि पूर्व विधि या यादृच्छिक नमूना।

पत्र यह कहता है*:

‘[प्रतिभागी] शोधकर्ताओं के वांछित उत्तरों के साथ प्रतिक्रिया कर सकते हैं, जानबूझकर या अनजाने में, जिसे “अच्छा प्रतिभागी बनने की कोशिश के प्रभाव (good subject effect)” के रूप में जाना जाता है। आउटपुट को “हमारी विधि” या “मौजूदा विधि” जैसे नामों से लेबल न करें। प्रतिभागियों को सत्ता-संबंधों (यानी, शोधकर्ता द्वारा शोध सत्र चलाने) द्वारा पूर्वाग्रहित किया जा सकता है, शोधकर्ता भाषा का उपयोग करके प्रतिभागियों को प्राइम कर सकते हैं (जैसे “आपको यह उपकरण कितना पसंद है जिसे मैंने कल बनाया था?”), और शोधकर्ताओं और प्रतिभागियों के संबंध (जैसे कि यदि वे एक ही प्रयोगशाला या कंपनी में काम करते हैं)।’

एक उपयोगकर्ता अध्ययन में एक कार्य का प्रारूप भी अध्ययन की तटस्थता को प्रभावित कर सकता है। लेखकों का कहना है कि यदि एक साइड-बाय-साइड प्रस्तुति में, बेसलाइन बाईं ओर (यानी ‘छवि ए’) और नए अल्गोरिदम का आउटपुट दाईं ओर स्थित है, तो अध्ययन प्रतिभागी यह अनुमान लगा सकते हैं कि बी सबसे अच्छा विकल्प है, उनकी बढ़ती धारणा के आधार पर शोधकर्ताओं की आशित परिणाम।

‘अन्य प्रस्तुति पहलुओं जैसे कि स्क्रीन पर छवियों का आकार, उनके बीच की दूरी, आदि प्रतिभागी प्रतिक्रियाओं को प्रभावित कर सकते हैं। अध्ययन को कुछ अलग सेटिंग्स के साथ पायलट करना इन संभावित पूर्वाग्रहों को जल्दी से पहचानने में मदद कर सकता है।’

गलत लोग गलत उत्पाद के लिए

लेखकों का कहना है कि क्राउडसोर्स्ड कार्यकर्ता पिछले दशकों में अपेक्षित से अधिक ‘सामान्य’ संसाधन हैं, जब शोधकर्ताओं को स्थानीय रूप से मदद लेनी पड़ती थी, अक्सर संकाय के छात्रों से जो अपनी आय को अध्ययन भागीदारी से पूरक करते थे।

अध्ययन में सक्रिय भागीदारी की माँग भुगतान पाने वाले क्राउडवर्कर्स को किसी उत्पाद से अप्रभावित या भ्रमित रहने की बहुत कम गुंजाइश देती है। इसलिए शोधकर्ताओं को उत्पाद या सेवा विकसित करने और उसका अध्ययन करने से पहले अपने लक्षित उपयोगकर्ताओं की पहचान करनी चाहिए; अन्यथा वे कठिन मेहनत से ऐसी चीज़ बना सकते हैं जिसकी किसी को वास्तव में आवश्यकता ही न हो।

‘वास्तव में, हमने अक्सर देखा है कि कंप्यूटर ग्राफिक्स या दृष्टि शोधकर्ता उद्योग के पेशेवरों द्वारा अपने शोध को अपनाने का प्रयास करते हैं, केवल यह पता लगाने के लिए कि शोध लक्ष्य उपयोगकर्ताओं की जरूरतों को संबोधित नहीं करता है। शोधकर्ता जो शुरू में जरूरतों का पता लगाने नहीं करते हैं, उन्हें यह पता लगाने के लिए आश्चर्य हो सकता है कि उपयोगकर्ताओं को उनके द्वारा विकसित उपकरण में कोई जरूरत या रुचि नहीं है। ‘

‘ऐसे उपकरण मूल्यांकन अध्ययनों में खराब प्रदर्शन कर सकते हैं, क्योंकि उपयोगकर्ता यह पाते हैं कि प्रौद्योगिकी अप्रभावी, अप्रासंगिक या अप्रत्याशित परिणाम उत्पन्न करती है।’

पत्र यह आगे कहता है कि जो उपयोगकर्ता वास्तव में उत्पाद का उपयोग करने की संभावना रखते हैं उन्हें अध्ययनों के लिए चुना जाना चाहिए, भले ही उन्हें ढूँढ़ना कठिन या महँगा हो। शोधकर्ताओं को केवल परिसर के सुविधाजनक प्रतिभागियों पर निर्भर रहने के बजाय उन वास्तविक समुदायों से प्रतिभागी भर्ती करने चाहिए जिनके लिए उत्पाद बनाया गया है।

‘उदाहरण के लिए, एक प्रासंगिक ऑनलाइन मैसेज बोर्ड या सोशल मीडिया समुदाय हो सकता है जिसे लाभ उठाया जा सकता है। समुदाय के एक सदस्य से मिलना भी स्नोबॉल सैंपलिंग में परिणत हो सकता है, जिसमें प्रासंगिक उपयोगकर्ता अपने नेटवर्क में समान व्यक्तियों से संपर्क प्रदान कर सकते हैं। ‘

प्रतिक्रिया मांगना

पत्र यह भी सिफारिश करता है कि यूजर स्टडीज में भाग लेने वालों से गुणात्मक प्रतिक्रिया मांगी जाए, विशेष रूप से इसलिए कि इससे शोधकर्ताओं की गलत धारणाएँ उजागर हो सकती हैं।

‘वे अध्ययन को डीबग करने में मदद कर सकते हैं, लेकिन वे आउटपुट के उन अप्रत्याशित पहलुओं को भी प्रकट कर सकते हैं जिन्होंने उपयोगकर्ताओं की रेटिंग को प्रभावित किया। क्या प्रतिभागी आउटपुट के साथ “बहुत असंतुष्ट” थे क्योंकि यह अवास्तविक था, सौंदर्य नहीं था, पूर्वाग्रहित था, या किसी अन्य कारण से? ‘

‘गुणात्मक जानकारी के बिना, शोधकर्ता अल्गोरिदम को और अधिक वास्तविक बनाने के लिए परिष्कृत करने पर काम कर सकता है, बजाय इसके कि उपयोगकर्ता की मूल समस्या का समाधान किया जाए।’

पत्र की सिफारिशों में से एक यह है कि यह शोधकर्ताओं के लिए समय और पैसे का अतिरिक्त व्यय है, एक संस्कृति में जो तेजी से और व्यावहारिक रूप से अनिवार्य क्राउडसोर्स्ड यूजर स्टडीज की ओर बढ़ रही है, जो आमतौर पर काफी सस्ते होते हैं और जो एक उभरती हुई अध्ययन-संचालित संस्कृति के अनुरूप होते हैं जिसे पत्र पूरे में आलोचना करता है।

उपयोगकर्ता अध्ययनों की अति

पत्र सुझाव देता है कि यूजर स्टडीज प्री-प्रिंट कंप्यूटर विजन समुदाय में एक तरह की ‘न्यूनतम आवश्यकता’ बन रही हैं, यहां तक कि उन मामलों में भी जहां एक अध्ययन तर्कसंगत रूप से तैयार नहीं किया जा सकता है (जैसे कि एक ऐसा विचार जो इतना नया या हाशिए पर है कि इसका कोई ‘जैसे कि’ विश्लेषण नहीं किया जा सकता है, और जो किसी भी तर्कसंगत मीट्रिक से यूजर स्टडी में अर्थपूर्ण परिणाम प्रदान नहीं कर सकता है)।

एक उदाहरण के रूप में, शोधकर्ता आईसीएलआर 2022 के एक पत्र का हवाला देते हैं जिसकी पीयर रिव्यू ऑनलाइन उपलब्ध हैं (24 जून 2022 को ली गई आर्काइव स्नैपशॉट; लिंक सीधे नए पत्र से लिया गया है)†:

‘दो समीक्षकों ने आंशिक रूप से यूजर स्टडीज की कमी के कारण बहुत नकारात्मक स्कोर दिए। पत्र को अंततः स्वीकार किया गया, जिसमें समीक्षकों को “यूजर स्टडीज” का उपयोग करके खराब समीक्षा के लिए फटकार लगाई गई और उन पर गेटकीपिंग का आरोप लगाया गया। पूरी चर्चा पढ़ने लायक है। ‘

‘अंतिम निर्णय में यह उल्लेख किया गया था कि प्रस्तुति ने एक सॉफ्टवेयर लाइब्रेरी का वर्णन किया था जिसे वर्षों से तैनात किया गया था, जिसमें हजारों उपयोगकर्ता (जानकारी जो अनाम समीक्षा के लिए समीक्षकों को नहीं दी गई थी) शामिल थे। क्या पत्र – जो एक अत्यधिक प्रभावशाली प्रणाली का वर्णन करता है – को अस्वीकार कर दिया जाता, यदि समिति के पास यह जानकारी न होती?’

‘और, यदि लेखकों ने एक यूजर स्टडी तैयार करने और प्रदर्शन करने के लिए अतिरिक्त प्रयास किया होता, तो क्या यह अर्थपूर्ण होता और क्या यह समीक्षकों को आश्वस्त करता?’

लेखकों का कहना है कि उन्होंने देखा है कि समीक्षक और संपादक जमा किए गए पत्रों पर ‘कठिन मूल्यांकन आवश्यकताओं’ को थोपते हैं, चाहे वे वास्तव में कोई अर्थ या मूल्य रखें या नहीं।

‘हमने यह भी देखा है कि लेखक और समीक्षक एमटुर्क मूल्यांकन का उपयोग एक बैसाखी के रूप में करते हैं ताकि वे कठिन निर्णय लेने से बच सकें। समीक्षकों की टिप्पणियां जैसे “मुझे नहीं पता कि छवियां बेहतर हैं या नहीं, शायद एक यूजर स्टडी मदद करेगी” संभावित रूप से हानिकारक हैं, लेखकों को अतिरिक्त काम करने के लिए प्रोत्साहित करती हैं जो एक कमजोर पत्र में सुधार नहीं करेगा।’

लेखक पत्र को एक केंद्रीय ‘कॉल टू एक्शन’ के साथ बंद करते हैं, कंप्यूटर विजन और कंप्यूटर ग्राफिक्स समुदाय से अनुरोध करते हैं कि वे यूजर स्टडीज के लिए अपने अनुरोधों पर अधिक विचार करें, एक अध्ययन-संचालित संस्कृति को विकसित होने देने के बजाय, जो कि एक रूटीन डिफ़ॉल्ट है, इसके ‘एज केस’ के बावजूद जहां सबसे दिलचस्प काम सबसे लाभदायक या सबसे फलदायी शोध और जमा पाइपलाइनों में फिट नहीं हो सकता है।

लेखकों का निष्कर्ष है:

‘[यदि] यूजर स्टडीज चलाने का प्राथमिक उद्देश्य समीक्षकों को प्रसन्न करना है, न कि नए ज्ञान उत्पन्न करना है, तो ऐसी यूजर स्टडीज की उपयोगिता और वैधता को लेखकों और समीक्षकों द्वारा प्रश्न में लाया जाना चाहिए। यूजर मूल्यांकन की अनुपस्थिति के लिए काम को दंडित करने से यह अनजाने परिणाम हो सकते हैं कि जल्दबाजी में, खराब निष्पादित यूजर शोध को प्रोत्साहित किया जाता है। ‘

‘एक सूत्र ध्यान में रखना चाहिए कि “खराब यूजर शोध खराब परिणामों की ओर ले जाता है”, और ऐसा शोध जारी रहेगा यदि समीक्षक इसे मांगते रहते हैं। ‘

 

* मेरा पत्र के इनलाइन उद्धरणों को प्रासंगिक हाइपरलिंक में परिवर्तित करना
† मेरा जोर, लेखकों का नहीं।

पहली बार 24 जून 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai