‘अदृश्य’, अक्सर दुखी कार्यबल जो एआई के भविष्य का फैसला कर रहा है

दो नए रिपोर्ट, जिनमें गूगल रिसर्च द्वारा नेतृत्व वाला एक पेपर शामिल है, यह चिंता व्यक्त करते हैं कि मशीन लर्निंग सिस्टम के लिए ग्राउंड ट्रुथ बनाने के लिए सस्ते और अक्सर शक्तिहीन वैश्विक गिग वर्कर्स के पूल पर निर्भर रहने की वर्तमान प्रवृत्ति एआई के लिए महत्वपूर्ण डाउनस्ट्रीम परिणाम हो सकते हैं।

विभिन्न निष्कर्षों के बीच, गूगल अध्ययन में पाया गया कि क्राउडवर्कर्स के अपने पूर्वाग्रह एआई सिस्टम में निहित हो सकते हैं जिनके ग्राउंड ट्रुथ उनकी प्रतिक्रियाओं पर आधारित होंगे; क्राउडवर्किंग प्लेटफ़ॉर्म पर व्यापक अन्यायपूर्ण कार्य अभ्यास (संयुक्त राज्य अमेरिका सहित) प्रतिक्रियाओं की गुणवत्ता को खराब कर सकते हैं; और “सहमति” प्रणाली (प्रभावी रूप से कुछ ग्राउंड ट्रुथ के लिए “मिनी-चुनाव” जो डाउनस्ट्रीम एआई सिस्टम को प्रभावित करेगा) जो वर्तमान में विवादों का समाधान करती है वास्तव में सर्वश्रेष्ठ और/या सबसे सूचित प्रतिक्रियाओं को फेंक सकती है।

यह बुरी खबर है; और भी बुरी खबर यह है कि लगभग सभी उपचार महंगे, समय लेने वाले या दोनों हैं।

असुरक्षा, यादृच्छिक अस्वीकृति, और रंजिश

पहला पेपर, पांच गूगल शोधकर्ताओं से, किसकी ग्राउंड ट्रुथ? डेटासेट एनोटेशन के तहत व्यक्तिगत और सामूहिक पहचान के लिए खाता कहा जाता है; दूसरा, सिरैक्यूज़ यूनिवर्सिटी के दो शोधकर्ताओं से, डेटा लेबलर्स के बीच असहमति की उत्पत्ति और मूल्य: घृणा भाषण एनोटेशन का एक मामला अध्ययन कहा जाता है।

गूगल पेपर में उल्लेख किया गया है कि क्राउड-वर्कर – जिनके मूल्यांकन अक्सर मशीन लर्निंग सिस्टम का आधार बनते हैं जो अंततः हमारे जीवन को प्रभावित कर सकते हैं – अक्सर कई प्रतिबंधों के तहत काम करते हैं जो उनकी प्रतिक्रियाओं को प्रभावित कर सकते हैं।

उदाहरण के लिए, अमेज़न मैकेनिकल टर्क की वर्तमान नीतियां अनुरोधकर्ताओं (जो असाइनमेंट देते हैं) को एक एनोटेटर के काम को अस्वीकार करने की अनुमति देती हैं बिना किसी जवाबदेही के*:

‘[एक] बड़ा बहुमत क्राउडवर्कर्स (94%) को अस्वीकार या भुगतान नहीं किया गया है। फिर भी, अनुरोधकर्ता स्वीकार या अस्वीकार करने के बावजूद प्राप्त डेटा पर पूर्ण अधिकार रखते हैं; रॉबर्ट्स (2016) इस प्रणाली को “वेतन चोरी” के रूप में वर्णित करता है।

‘इसके अलावा, काम को अस्वीकार करना और वेतन रोकना दर्दनाक है क्योंकि अस्वीकृतियां अक्सर अस्पष्ट निर्देशों और अर्थपूर्ण प्रतिक्रिया चैनलों की कमी के कारण होती हैं; कई क्राउडवर्कर्स रिपोर्ट करते हैं कि खराब संचार उनके काम को नकारात्मक रूप से प्रभावित करता है।’

लेखकों का सुझाव है कि डेटासेट विकसित करने के लिए आउटसोर्स सेवाओं का उपयोग करने वाले शोधकर्ताओं को यह विचार करना चाहिए कि एक क्राउडवर्किंग प्लेटफ़ॉर्म अपने श्रमिकों के साथ कैसा व्यवहार करता है। वे आगे बताते हैं कि संयुक्त राज्य अमेरिका में, क्राउडवर्कर्स को ‘स्वतंत्र ठेकेदार’ के रूप में वर्गीकृत किया जाता है, जिसका अर्थ है कि काम नियंत्रित नहीं है और न्यूनतम वेतन के अधीन नहीं है जो न्यायसंगत श्रम मानक अधिनियम द्वारा निर्धारित किया जाता है।

संदर्भ महत्वपूर्ण है

पेपर एनोटेशन कार्यों के लिए वैश्विक श्रम के अधिक उपयोग की आलोचना करता है, अन्नोटेटर की पृष्ठभूमि के बिना।

जहां बजट की अनुमति है, यह शोधकर्ताओं के लिए आम बात है जो एएमटी और समान क्राउडवर्क प्लेटफ़ॉर्म का उपयोग करते हैं, एक ही कार्य को चार अन्नोटेटर्स को देने के लिए, और ‘बहुमत के नियम’ पर परिणामों का पालन करने के लिए।

संदर्भ अनुभव, पेपर का तर्क है, विशेष रूप से कम माना जाता है। उदाहरण के लिए, यदि एक कार्य प्रश्न सेक्सिज़म से संबंधित है जो तीन सहमत पुरुषों (18-57 आयु वर्ग) और एक असहमत महिला (29 आयु वर्ग) के बीच यादृच्छिक रूप से वितरित किया जाता है, तो पुरुषों का फैसला जीतता है, जब तक कि शोधकर्ता अपने अन्नोटेटर्स की योग्यता पर ध्यान नहीं देते।

इसी तरह, यदि शिकागो में गैंग व्यवहार पर एक प्रश्न एक ग्रामीण अमेरिकी महिला (36 आयु वर्ग), एक शिकागो निवासी पुरुष (42 आयु वर्ग), और दो अन्नोटेटर्स के बीच वितरित किया जाता है जो क्रमशः बैंगलोर और डेनमार्क से हैं, तो मुद्दे से सबसे अधिक प्रभावित व्यक्ति (शिकागो पुरुष) केवल एक मानक आउटसोर्सिंग कॉन्फ़िगरेशन में परिणाम में एक चौथाई हिस्सा रखता है।

शोधकर्ता कहते हैं:

‘[एक] “एक सत्य” की धारणा क्राउडसोर्सिंग प्रतिक्रियाओं में एक मिथक है; अन्नोटेटर्स के बीच असहमति वास्तव में एक मूल्यवान संकेत प्रदान कर सकती है। दूसरा, चूंकि कई क्राउडसोर्स्ड अन्नोटेटर पूल सामाजिक-आर्थिक रूप से तिरछे हैं, इसलिए डेटासेट में प्रतिनिधित्व की जाने वाली आबादी और क्राउडवर्क की चुनौतियों का सामना करने वाली आबादी के लिए परिणाम हैं।

‘अन्नोटेटर जनसांख्यिकी में तिरछापन के लिए खाता डेटासेट को संदर्भित करने और जिम्मेदार डाउनस्ट्रीम उपयोग सुनिश्चित करने के लिए महत्वपूर्ण है। संक्षेप में, कार्यकर्ता की सामाजिक-सांस्कृतिक पृष्ठभूमि को स्वीकार करने और उसके लिए खाता देने में मूल्य है – दोनों डेटा गुणवत्ता और सामाजिक प्रभाव के दृष्टिकोण से।’

कोई ‘तटस्थ’ राय नहीं होती है गर्म विषयों पर

यहां तक कि जब चार अन्नोटेटर्स की राय तिरछी नहीं होती है, या तो जनसांख्यिकीय रूप से या किसी अन्य मीट्रिक द्वारा, गूगल पेपर यह चिंता व्यक्त करता है कि शोधकर्ता अन्नोटेटर्स के जीवन के अनुभवों या दार्शनिक विचारों के लिए खाता नहीं दे रहे हैं:

‘जबकि कुछ कार्य वस्तुनिष्ठ प्रश्न प्रस्तुत करते हैं जिनका एक सही उत्तर है (क्या एक छवि में एक मानव चेहरा है?), अक्सर डेटासेट विषयिवे कार्यों पर निर्णय लेने का लक्ष्य रखते हैं जिनका कोई सार्वभौमिक रूप से सही उत्तर नहीं है (क्या यह पाठ अपमानजनक है?)। यह महत्वपूर्ण है कि अन्नोटेटर्स के विषयिवे निर्णयों पर निर्भर करने के बारे में जानबूझकर हो।’

घृणा भाषण लेबलिंग में समस्याओं को संबोधित करने के अपने विशिष्ट दायरे के संबंध में, सिरैक्यूज़ पेपर यह बताता है कि अधिक श्रेणीबद्ध प्रश्न जैसे इस फोटोग्राफ में एक बिल्ली है? घृणित होने के लिए एक क्राउडवर्कर से पूछने से बहुत अलग हैं:

‘सामाजिक वास्तविकता की जटिलता को ध्यान में रखते हुए, लोगों की जहरीली सामग्री की धारणा में काफी भिन्नता है। उनके जहरीले सामग्री के लेबल उनकी अपनी धारणा पर आधारित हैं।’

घृणा भाषण के आयामी लेबलिंग पर व्यक्तित्व और आयु का ‘महत्वपूर्ण प्रभाव’ पाने के बाद, सिरैक्यूज़ शोधकर्ता निष्कर्ष निकालते हैं:

‘इन निष्कर्षों से पता चलता है कि घृणा भाषण के लिए विभिन्न पृष्ठभूमि और व्यक्तित्व वाले लेबलर्स के बीच संगतता प्राप्त करने के प्रयास कभी भी पूरी तरह से सफल नहीं हो सकते हैं।’

न्यायाधीश भी पूर्वाग्रही हो सकता है

यह विषयविस्तार संभवतः ऊपर की ओर भी दोहराया जाएगा, सिरैक्यूज़ पेपर के अनुसार, जो तर्क देता है कि सहमति वोटों का ‘विजेता’ निर्धारित करने वाला मैनुअल हस्तक्षेप (या स्वचालित नीति, जो भी मानव द्वारा निर्धारित की जाती है) भी जांच के अधीन होना चाहिए।

मॉडरेटर के फैसले की तुलना करते हुए, लेखक कहते हैं:

‘[एक] समुदाय के मॉडरेटर समुदाय के सदस्यों और दर्शकों को वितरित की जाने वाली सामग्री और समुदाय के अनुभव को प्रभावित करके पोस्ट और उपयोगकर्ताओं के भाग्य का फैसला कर सकते हैं और साथ ही उपयोगकर्ताओं को सम्मानित, अपमानित या प्रतिबंधित कर सकते हैं।

‘यह मान लेना कि एक मानव मॉडरेटर एक समुदाय का सदस्य है जो अन्य समुदाय के सदस्यों के साथ जनसांख्यिकीय समानता रखता है, यह संभव लगता है कि वे सामग्री का मूल्यांकन करने के लिए जिस मानसिक योजना का उपयोग करते हैं वह अन्य समुदाय के सदस्यों के साथ मेल खाता है।’

यह कुछ संकेत देता है कि सिरैक्यूज़ शोधकर्ता घृणा भाषण एनोटेशन के भविष्य के बारे में इतने निराशाजनक निष्कर्ष पर क्यों पहुंचे हैं; यह धारणा है कि विवादित क्राउडवर्क राय पर नीतियां और निर्णय लेने वाले लोग पूरी तरह से यादृच्छिक रूप से लागू किए जा सकते हैं जो ‘स्वीकार्य’ सिद्धांतों के अनुसार हैं जो कहीं भी नहीं लिखे गए हैं (या लागू योजना में कमी है, भले ही वे मौजूद हों)।

निर्णय लेने वाले लोग (क्राउडवर्कर) पूर्वाग्रही हैं, और यदि वे नहीं पूर्वाग्रही होते तो वे ऐसे कार्यों के लिए उपयोगी नहीं होते क्योंकि कार्य मूल्य निर्णय प्रदान करना है; क्राउडवर्क परिणामों में विवादों पर निर्णय लेने वाले लोग भी नीतियों को निर्धारित करते समय मूल्य निर्णय ले रहे हैं।

केवल एक घृणा भाषण का पता लगाने के ढांचे में सैकड़ों नीतियां हो सकती हैं, और जब तक प्रत्येक और हर एक को सुप्रीम कोर्ट में वापस नहीं ले जाया जाता, तो ‘प्राधिकृत’ सहमति कहां से उत्पन्न हो सकती है?

गूगल शोधकर्ता सुझाव देते हैं कि ‘[अन्नोटेटर्स के बीच] असहमति कार्य के बारे में मूल्यवान बारीकियों को निहित कर सकती है’. पेपर डेटासेट में मेटाडेटा के उपयोग का प्रस्ताव करता है जो विवादों को प्रतिबिंबित करता है और संदर्भित करता है।

हालांकि, यह देखना मुश्किल है कि कैसे ऐसी संदर्भ-विशिष्ट डेटा परत कभी भी समान-जैसे मेट्रिक्स का नेतृत्व कर सकती है, स्थापित मानक परीक्षणों की मांगों को अनुकूलित कर सकती है, या किसी भी निर्णायक परिणामों का समर्थन कर सकती है – एक अवास्तविक परिदृश्य को अपनाने के अलावा कि बाद के काम में शोधकर्ताओं का एक ही समूह अपनाया जाए।

अन्नोटेटर पूल का क्यूरेशन

यह सभी मानता है कि एक शोध परियोजना में एक सहमति वोट का नेतृत्व करने वाली कई एनोटेशन के लिए बजट है।

गूगल पेपर का तर्क है कि इन चुनौतियों से आगे बढ़ने का तरीका अन्नोटेटर्स के साथ विस्तारित संचार ढांचे स्थापित करके हो सकता है, जो कि उबेर ऐप द्वारा एक ड्राइवर और एक सवार के बीच सुविधा प्रदान की जाने वाली न्यूनतम संचार के समान है।

ऐसी सावधानी से अन्नोटेटर्स पर विचार करना स्वाभाविक रूप से हाइपरस्केल एनोटेशन आउटसोर्सिंग के लिए एक बाधा होगा, जिसके परिणामस्वरूप कम सीमित और कम-वॉल्यूम डेटासेट होंगे जिनके परिणामों के लिए एक बेहतर तर्क होगा, या अन्नोटेटर्स का एक ‘रश्ड’ मूल्यांकन, जिसमें उनके बारे में सीमित विवरण प्राप्त किया जाएगा और उन्हें बहुत कम जानकारी के आधार पर ‘कार्य के लिए फिट’ के रूप में वर्णित किया जाएगा।

यह तब है जब अन्नोटेटर्स ईमानदार होते हैं।

आउटसोर्स डेटासेट लेबलिंग में ‘लोगों को खुश करने वाले’

एक उपलब्ध कार्यबल जो कम वेतन प्राप्त करता है, गंभीर प्रतिस्पर्धा के अधीन है, और सीमित करियर की संभावनाओं से पीड़ित है, अन्नोटेटर्स तेजी से ‘सही’ उत्तर प्रदान करने और अगले मिनी-असाइनमेंट पर जाने के लिए प्रेरित होते हैं।

यदि ‘सही उत्तर’ बिल्ली है/बिल्ली नहीं है से ज्यादा जटिल है, तो सिरैक्यूज़ पेपर का तर्क है कि कार्यकर्ता संभवतः प्रश्न और संदर्भ के आधार पर एक ‘स्वीकार्य’ उत्तर का अनुमान लगाने का प्रयास करेगा*:

‘[द] वैकल्पिक अवधारणाओं का प्रसार और सरल लेबलिंग विधियों का व्यापक उपयोग शोध में बाधा डाल रहा है। उदाहरण के लिए, रॉस और सहयोगियों ने पाया कि ट्विटर के घृणित आचरण की परिभाषा को अन्नोटेटर्स को दिखाने से उन्होंने अपनी राय को आंशिक रूप से परिभाषा के साथ संरेखित किया। इस पुनर्संरेखण के परिणामस्वरूप एनोटेशन की बहुत कम अंतर-रेटर विश्वसनीयता हुई।’

* मेरा पेपर के इनलाइन संदर्भों को हाइपरलिंक में बदलना।

13 दिसंबर 2021 को प्रकाशित – 18 दिसंबर 2021 को अपडेट किया गया: टैग जोड़े गए