एडोब और मेटा ने कंप्यूटर विजन रिसर्च में यूजर स्टडीज के दुरुपयोग की निंदा की

एडोब और मेटा, वाशिंगटन विश्वविद्यालय के साथ मिलकर, कंप्यूटर विजन (सीवी) रिसर्च में यूजर स्टडीज के बढ़ते दुरुपयोग और दुर्व्यवहार के बारे में एक व्यापक आलोचना प्रकाशित की है।

यूजर स्टडीज पहले आमतौर पर स्थानीय लोगों या एक या एक से अधिक भाग लेने वाले अकादमिक संस्थानों के आसपास के छात्रों तक सीमित थीं, लेकिन अब वे लगभग पूरी तरह से ऑनलाइन क्राउडसोर्सिंग प्लेटफॉर्म जैसे अमेज़ॅन मैकेनिकल टर्क (एएमटी) पर स्थानांतरित हो गई हैं।

अनेक शिकायतों के बीच, नए शोध पत्र में दावा किया गया है कि शोध परियोजनाओं पर अध्ययन करने के लिए दबाव डाला जा रहा है; अक्सर अध्ययनों को गलत तरीके से तैयार किया जा रहा है; अध्ययनों को कमीशन किया जा रहा है जहां परियोजना के तर्क इस दृष्टिकोण का समर्थन नहीं करते हैं; और अक्सर ‘गेम्ड’ होते हैं जो वास्तव में समस्या के बारे में सोचने के बजाय वांछित उत्तरों का पता लगाने वाले दुर्भावनापूर्ण क्राउडवर्कर्स द्वारा।

पंद्रह-पृष्ठ का निबंध (जिसका शीर्षक कंप्यूटर ग्राफिक्स और विजन में बेहतर यूजर स्टडीज की ओर) जो नए शोध पत्र के केंद्रीय भाग को बनाता है, वह क्राउडसोर्स्ड यूजर स्टडीज के तरीके से कंप्यूटर विजन के उप-क्षेत्रों जैसे कि इमेज रिकग्निशन और इमेज सिंथेसिस की प्रगति को बाधित कर सकता है।

हालांकि पत्र यूजर स्टडीज से संबंधित कई मुद्दों को संबोधित करता है, इसकी सबसे मजबूत आलोचना यूजर स्टडीज में आउटपुट मूल्यांकन (यानी, जब क्राउडसोर्स्ड मानवों को यूजर स्टडीज में मूल्य निर्णय लेने के लिए भुगतान किया जाता है, जैसे कि नए इमेज सिंथेसिस अल्गोरिदम के आउटपुट पर) के तरीके से पूरे क्षेत्र पर नकारात्मक प्रभाव डाल सकता है।

आइए कुछ केंद्रीय बिंदुओं पर नजर डालते हैं।

संवेदनशील व्याख्या

पत्र में कंप्यूटर विजन क्षेत्र में प्रकाशित करने वालों के लिए सुझावों में से एक यह है कि ‘परिणामों की व्याख्या सावधानी से की जाए।’ पत्र 2021 का एक उदाहरण उद्धृत करता है, जब एक नई शोध कार्य ने दावा किया था कि ‘व्यक्ति एआई-जनित कला को सटीक रूप से पहचान नहीं सकते हैं’ जो व्यापक रूप से लोकप्रिय प्रेस में स्पिन किया गया था।

एक उच्च-प्रोफाइल मीडिया रिपोर्ट 2021 के पत्र ‘द रोल ऑफ एआई एट्रिब्यूशन नॉलेज इन द इवैल्यूएशन ऑफ आर्टवर्क’ पर, हर्षा गंगाधरबटला द्वारा, नए पत्र में उद्धृत किया गया है। यहां, द डेली मेल का स्रोत द टाइम्स (पेवॉल) है। स्रोत: द डेली मेल (आर्काइव लिंक) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

लेखकों का कहना है*:

‘[एक] अध्ययन में, मनोविज्ञान पत्रिका में पारंपरिक कला और एआई प्रौद्योगिकियों द्वारा बनाई गई छवियों को वेब से एकत्र किया गया था, और क्राउडवर्कर्स से पूछा गया था कि वे कौन सी छवियां किन स्रोतों से आई थीं। परिणामों से यह निष्कर्ष निकाला गया कि “व्यक्ति एआई-जनित कला को सटीक रूप से पहचान नहीं सकते हैं,” एक बहुत व्यापक निष्कर्ष जो प्रयोगों से सीधे नहीं निकलता है।’

‘इसके अलावा, पत्र में यह विवरण नहीं दिया गया है कि कौन से विशिष्ट छवि सेट एकत्र किए गए थे या उपयोग किए गए थे, जो दावों को सत्यापित और पुनरुत्पादित करना कठिन, यदि नहीं असंभव, बनाता है। ‘

‘और, अधिक चिंताजनक बात यह है कि लोकप्रिय प्रेस ने इन परिणामों को यह दावा करते हुए रिपोर्ट किया कि एआई मानवों की तरह स्वतंत्र रूप से कला बना सकते हैं।’

क्राउडवर्कर्स को धोखा देने वालों से निपटना

क्राउडसोर्स्ड कार्यकर्ताओं को आमतौर पर उनके प्रयासों के लिए बहुत अधिक भुगतान नहीं किया जाता है। चूंकि उनके अवसर न्यूनतम हैं, और उनकी सबसे अच्छी कमाई की संभावना कार्यों की एक उच्च मात्रा को पूरा करने से है, इसलिए उनमें से कई, शोध सुझाव देता है, किसी भी ‘शॉर्टकट’ को लेने के लिए तैयार हैं जो वर्तमान कार्य को तेज कर देगा ताकि वे अगले छोटे ‘गिग’ पर जा सकें।

पत्र यह观察 करता है कि क्राउडसोर्स्ड कार्यकर्ता, मशीन लर्निंग सिस्टम की तरह, यूजर स्टडीज में पैटर्न सीखेंगे जो शोधकर्ता तैयार करते हैं, और बस ‘सही’ या ‘वांछित’ उत्तर का अनुमान लगाएंगे, वास्तविक जैविक प्रतिक्रिया के बजाय।

इस उद्देश्य से, पत्र क्राउडसोर्स्ड कार्यकर्ताओं पर जांच करने की सिफारिश करता है, जिन्हें ‘वैलिडेशन ट्रायल’ या ‘सेंटिनल’ के रूप में जाना जाता है – वास्तव में एक परीक्षण के नकली खंड जो यह देखने के लिए डिज़ाइन किए गए हैं कि क्या कार्यकर्ता ध्यान दे रहा है, यादृच्छिक रूप से क्लिक कर रहा है, या बस एक पैटर्न का पालन कर रहा है जिसे उन्होंने स्वयं परीक्षणों से अनुमान लगाया है, वास्तविक उत्तरों के बारे में सोचने के बजाय।

लेखकों का कहना है*:

‘उदाहरण के लिए, स्टाइलाइज्ड छवियों के जोड़े के मामले में, एक छवि जोड़े का एक जानबूझकर और वस्तुगत रूप से खराब गुणवत्ता वाला परिणाम हो सकता है। विश्लेषण के दौरान, जो प्रतिभागी कुछ पूर्व निर्धारित संख्या में जांच में विफल हो जाते हैं, उन्हें त्याग दिया जा सकता है, माना जाता है कि वे असावधान या असंगत थे। ‘

‘इन जांचों को अध्ययन में यादृच्छिक रूप से डाला जाना चाहिए, और उन्हें अन्य परीक्षणों की तरह दिखना चाहिए; अन्यथा, प्रतिभागी यह पता लगा सकते हैं कि कौन से परीक्षण जांच हैं। ‘

शोधकर्ताओं को धोखा देने वालों से निपटना

सही या गलत तरीके से, शोधकर्ता इस तरह के ‘गेमिंग’ में संलिप्त हो सकते हैं; उनके लिए अपनी वांछित पसंद को क्राउडवर्कर्स को ‘संकेत’ देने के कई तरीके हो सकते हैं।

उदाहरण के लिए, पत्र यह देखता है कि क्राउडवर्कर्स को चुनने से जो उनके प्रोफाइल से ‘आदर्श’ उत्तर प्राप्त करने में मदद कर सकते हैं, एक अध्ययन में एक सिद्धांत को साबित करने के लिए जो अन्यथा विफल हो सकता है।

वाक्य रचना भी एक प्रमुख चिंता का विषय है:

‘वाक्यांश उच्च-स्तरीय लक्ष्यों को प्रतिबिंबित करना चाहिए, जैसे कि “कौन सी छवि में कम कलाकृतियां हैं?” इसके बजाय “कौन सी छवि में चेहरे के क्षेत्र में कम रंग दोष हैं?” इसके विपरीत, अस्पष्ट कार्य वाक्यांश बहुत कुछ व्याख्या के लिए छोड़ देता है, जैसे कि “कौन सी छवि बेहतर है?” जिसे “कौन सी अधिक सुंदर है?” के रूप में समझा जा सकता है, जहां इरादा “कौन सी अधिक वास्तविक है?” का मूल्यांकन करना था।’

एक और तरीका है जिससे प्रतिभागियों को ‘सौम्य रूप से प्रभावित’ किया जा सकता है, यह उन्हें बताना है कि सामने में संभावित विकल्पों में से कौन सा लेखक की विधि है, न कि पूर्व विधि या यादृच्छिक नमूना।

पत्र यह कहता है*:

‘[प्रतिभागी] शोधकर्ताओं के वांछित उत्तरों के साथ प्रतिक्रिया कर सकते हैं, जानबूझकर या अनजाने में, जिसे “सब्जेक्ट प्रभाव” के रूप में जाना जाता है। आउटपुट को “हमारी विधि” या “मौजूदा विधि” जैसे नामों से लेबल न करें। प्रतिभागियों को शक्ति गतिविधियों (यानी, शोधकर्ता द्वारा शोध सत्र चलाने) द्वारा पूर्वाग्रहित किया जा सकता है, शोधकर्ता भाषा का उपयोग करके प्रतिभागियों को प्राइम कर सकते हैं (जैसे “आपको यह उपकरण कितना पसंद है जिसे मैंने कल बनाया था?”), और शोधकर्ताओं और प्रतिभागियों के संबंध (जैसे कि यदि वे एक ही प्रयोगशाला या कंपनी में काम करते हैं)।’

एक उपयोगकर्ता अध्ययन में एक कार्य का प्रारूप भी अध्ययन की तटस्थता को प्रभावित कर सकता है। लेखकों का कहना है कि यदि एक साइड-बाय-साइड प्रस्तुति में, बेसलाइन बाईं ओर (यानी ‘छवि ए’) और नए अल्गोरिदम का आउटपुट दाईं ओर स्थित है, तो अध्ययन प्रतिभागी यह अनुमान लगा सकते हैं कि बी सबसे अच्छा विकल्प है, उनकी बढ़ती धारणा के आधार पर शोधकर्ताओं की आशित परिणाम।

‘अन्य प्रस्तुति पहलुओं जैसे कि स्क्रीन पर छवियों का आकार, उनके बीच की दूरी, आदि प्रतिभागी प्रतिक्रियाओं को प्रभावित कर सकते हैं। अध्ययन को कुछ अलग सेटिंग्स के साथ पायलट करना इन संभावित पूर्वाग्रहों को जल्दी से पहचानने में मदद कर सकता है।’

गलत लोग गलत उत्पाद के लिए

लेखकों का कहना है कि क्राउडसोर्स्ड कार्यकर्ता पिछले दशकों में अपेक्षित से अधिक ‘सामान्य’ संसाधन हैं, जब शोधकर्ताओं को स्थानीय रूप से मदद लेनी पड़ती थी, अक्सर संकाय के छात्रों से जो अपनी आय को अध्ययन भागीदारी से पूरक करते थे।

एक उत्पाद या सेवा को विकसित और अध्ययन करने से पहले शोधकर्ताओं को अपने लक्षित उपयोगकर्ताओं की पहचान करने की सिफारिश की जाती है – अन्यथा कुछ ऐसा बनाने का जोखिम हो सकता है जो बहुत मुश्किल हो सकता है, लेकिन जिसे कोई वास्तव में नहीं चाहता है।

‘वास्तव में, हमने अक्सर देखा है कि कंप्यूटर ग्राफिक्स या दृष्टि शोधकर्ता उद्योग के पेशेवरों द्वारा अपने शोध को अपनाने का प्रयास करते हैं, केवल यह पता लगाने के लिए कि शोध लक्ष्य उपयोगकर्ताओं की जरूरतों को संबोधित नहीं करता है। शोधकर्ता जो शुरू में जरूरतों का पता लगाने नहीं करते हैं, उन्हें यह पता लगाने के लिए आश्चर्य हो सकता है कि उपयोगकर्ताओं को उनके द्वारा विकसित उपकरण में कोई जरूरत या रुचि नहीं है। ‘

‘ऐसे उपकरण मूल्यांकन अध्ययनों में खराब प्रदर्शन कर सकते हैं, क्योंकि उपयोगकर्ता यह पाते हैं कि प्रौद्योगिकी अप्रभावी, अप्रासंगिक या अप्रत्याशित परिणाम उत्पन्न करती है।’

पत्र यह आगे कहता है कि जो उपयोगकर्ता वास्तव में उत्पाद का उपयोग करने की संभावना रखते हैं उन्हें अध्ययनों के लिए चुना जाना चाहिए, भले ही वे खोजने में मुश्किल हों (या संभावित रूप से बहुत सस्ते न हों)।

‘उदाहरण के लिए, एक प्रासंगिक ऑनलाइन मैसेज बोर्ड या सोशल मीडिया समुदाय हो सकता है जिसे लाभ उठाया जा सकता है। समुदाय के एक सदस्य से मिलना भी बर्फबारी नमूनाकरण में परिणत हो सकता है, जिसमें प्रासंगिक उपयोगकर्ता अपने नेटवर्क में समान व्यक्तियों से संपर्क प्रदान कर सकते हैं। ‘

प्रतिक्रिया मांगना

पत्र यह भी सिफारिश करता है कि यूजर स्टडीज में भाग लेने वालों से गुणात्मक प्रतिक्रिया मांगी जाए, न कि इसलिए कि यह गलत धारणाओं को उजागर कर सकता है।

‘वे अध्ययन को डीबग करने में मदद कर सकते हैं, लेकिन वे आउटपुट के उन अप्रत्याशित पहलुओं को भी प्रकट कर सकते हैं जिन्होंने उपयोगकर्ताओं की रेटिंग को प्रभावित किया। क्या प्रतिभागी आउटपुट के साथ “बहुत असंतुष्ट” थे क्योंकि यह अवास्तविक था, सौंदर्य नहीं था, पूर्वाग्रहित था, या किसी अन्य कारण से? ‘

‘गुणात्मक जानकारी के बिना, शोधकर्ता अल्गोरिदम को और अधिक वास्तविक बनाने के लिए परिष्कृत करने पर काम कर सकता है, बजाय इसके कि उपयोगकर्ता की मूल समस्या का समाधान किया जाए।’

पत्र की सिफारिशों में से एक यह है कि यह शोधकर्ताओं के लिए समय और पैसे का अतिरिक्त व्यय है, एक संस्कृति में जो तेजी से और व्यावहारिक रूप से अनिवार्य क्राउडसोर्स्ड यूजर स्टडीज की ओर बढ़ रही है, जो आमतौर पर bastante सस्ते होते हैं और जो एक उभरती हुई अध्ययन-संचालित संस्कृति के अनुरूप होते हैं जिसे पत्र पूरे में आलोचना करता है।

अध्ययन से अधिक

पत्र सुझाव देता है कि यूजर स्टडीज प्री-प्रिंट कंप्यूटर विजन समुदाय में एक तरह की ‘न्यूनतम आवश्यकता’ बन रही हैं, यहां तक कि उन मामलों में भी जहां एक अध्ययन तर्कसंगत रूप से तैयार नहीं किया जा सकता है (जैसे कि एक ऐसा विचार जो इतना नया या हाशिए पर है कि इसका कोई ‘जैसे कि’ विश्लेषण नहीं किया जा सकता है, और जो किसी भी तर्कसंगत मीट्रिक से यूजर स्टडी में अर्थपूर्ण परिणाम प्रदान नहीं कर सकता है)।

एक उदाहरण के रूप में, शोधकर्ता आईसीएलआर 2022 के एक पत्र का हवाला देते हैं जिसकी पीयर रिव्यू ऑनलाइन उपलब्ध हैं (24 जून 2022 को ली गई आर्काइव स्नैपशॉट; लिंक सीधे नए पत्र से लिया गया है)^†:

‘दो समीक्षकों ने यूजर स्टडीज की कमी के कारण बहुत नकारात्मक स्कोर दिए। पत्र को अंततः स्वीकार किया गया, जिसमें समीक्षकों को “यूजर स्टडीज” का उपयोग करके खराब समीक्षा के लिए फटकार लगाई गई और उन पर गेटकीपिंग का आरोप लगाया गया। पूरी चर्चा पढ़ने लायक है। ‘

‘अंतिम निर्णय में यह उल्लेख किया गया था कि प्रस्तुति ने एक सॉफ्टवेयर लाइब्रेरी का वर्णन किया था जिसे वर्षों से तैनात किया गया था, जिसमें हजारों उपयोगकर्ता (जानकारी जो अनाम समीक्षा के लिए समीक्षकों को नहीं दी गई थी) शामिल थे। क्या पत्र – जो एक अत्यधिक प्रभावशाली प्रणाली का वर्णन करता है – को स्वीकार किया जाता अगर समिति के पास यह जानकारी नहीं थी?’

‘और, यदि लेखकों ने एक यूजर स्टडी तैयार करने और प्रदर्शन करने के लिए अतिरिक्त प्रयास किया होता, तो क्या यह अर्थपूर्ण होता और क्या यह समीक्षकों को आश्वस्त करता?’

लेखकों का कहना है कि उन्होंने देखा है कि समीक्षक और संपादक जमा किए गए पत्रों पर ‘कठिन मूल्यांकन आवश्यकताओं’ को थोपते हैं, चाहे वे वास्तव में कोई अर्थ या मूल्य रखें या नहीं।

‘हमने यह भी देखा है कि लेखक और समीक्षक एमटुर्क मूल्यांकन का उपयोग एक क्रैच के रूप में करते हैं ताकि वे कठिन निर्णय लेने से बच सकें। समीक्षकों की टिप्पणियां जैसे “मुझे नहीं पता कि छवियां बेहतर हैं या नहीं, शायद एक यूजर स्टडी मदद करेगी” संभावित रूप से हानिकारक हैं, लेखकों को अतिरिक्त काम करने के लिए प्रोत्साहित करती हैं जो एक कमजोर पत्र में सुधार नहीं करेगा।’

लेखक पत्र को एक केंद्रीय ‘कॉल टू एक्शन’ के साथ बंद करते हैं, कंप्यूटर विजन और कंप्यूटर ग्राफिक्स समुदाय से अनुरोध करते हैं कि वे यूजर स्टडीज के लिए अपने अनुरोधों पर अधिक विचार करें, एक अध्ययन-संचालित संस्कृति को विकसित होने देने के बजाय, जो कि एक रूटीन डिफ़ॉल्ट है, इसके ‘एज केस’ के बावजूद जहां सबसे दिलचस्प काम सबसे लाभदायक या सबसे फलदायी शोध और जमा पाइपलाइनों में फिट नहीं हो सकता है।

लेखकों का निष्कर्ष है:

‘[यदि] यूजर स्टडीज चलाने का प्राथमिक उद्देश्य समीक्षकों को प्रसन्न करना है, न कि नए ज्ञान उत्पन्न करना है, तो ऐसी यूजर स्टडीज की उपयोगिता और वैधता को लेखकों और समीक्षकों द्वारा प्रश्न में लाया जाना चाहिए। यूजर मूल्यांकन की अनुपस्थिति के लिए काम को दंडित करने से यह अनजाने परिणाम हो सकते हैं कि जल्दबाजी में, खराब निष्पादित यूजर शोध को प्रोत्साहित किया जाता है। ‘

‘एक अधिकतम को ध्यान में रखना है कि “खराब यूजर शोध खराब परिणामों की ओर ले जाता है”, और ऐसा शोध जारी रहेगा यदि समीक्षक इसे मांगते रहते हैं। ‘

* मेरा पत्र के इनलाइन उद्धरणों को प्रासंगिक हाइपरलिंक में परिवर्तित करना
^† मेरा जोर, लेखकों का नहीं।

पहली बार 24 जून 2022 को प्रकाशित।