अंडर-क्यूरेटेड हाइपरस्केल एआई डेटासेट इंटरनेट से भी बदतर हैं?

आयरलैंड, यूके और यूएस के शोधकर्ताओं ने चेतावनी दी है कि हाइपरस्केल एआई प्रशिक्षण डेटासेट की वृद्धि इंटरनेट स्रोतों के सबसे खराब पहलुओं को प्रसारित करने की धमकी देती है, यह दावा करते हुए कि एक हाल ही में जारी शैक्षिक डेटासेट में ‘परेशान करने वाली और स्पष्ट छवियों और पाठ जोड़े, बलात्कार, पोर्नोग्राफी, हानिकारक स्टीरियोटाइप, नस्लवादी और जातीय गालियां, और अन्य अत्यधिक समस्याग्रस्त सामग्री’ हैं।

शोधकर्ताओं का मानना है कि बड़े पैमाने पर अंडर-क्यूरेटेड या गलत तरीके से फ़िल्टर किए गए मल्टीमॉडल (जैसे छवियों और चित्रों) डेटासेट अपने नकारात्मक सामग्री के प्रभावों को मजबूत करने की क्षमता में तर्कसंगत रूप से अधिक हानिकारक हैं, क्योंकि डेटासेट ऑनलाइन प्लेटफ़ॉर्म से हटाए जाने के बाद भी छवियों और अन्य सामग्री को संरक्षित करते हैं।

वे आगे देखते हैं कि यह संबोधन करने में वर्षों लग सकते हैं – इमेजनेट डेटासेट के मामले में, एक पूरे दशक – डेटासेट सामग्री के बारे में लंबे समय से चली आ रही शिकायतों को, और यह कि इन बाद के संशोधनों को हमेशा नए डेटासेट में परिलक्षित नहीं किया जाता है जो उनसे व्युत्पन्न होते हैं।

पत्र, जिसका शीर्षक मल्टीमॉडल डेटासेट: मिसोगyny, पोर्नोग्राफी, और हानिकारक स्टीरियोटाइप है, आयरिश विश्वविद्यालय कॉलेज डबलिन और लेरो, एडिनबर्ग विश्वविद्यालय, और यूनिफ़ाइडआईडी प्रमाणीकरण मंच के मुख्य वैज्ञानिक से शोधकर्ताओं से आता है।

हालांकि काम हाल ही में जारी क्लिप-फ़िल्टर्ड लायोन-400एम डेटासेट पर केंद्रित है, लेखक हाइपरस्केल एआई प्रशिक्षण डेटासेट के सामान्य रुझान के खिलाफ तर्क दे रहे हैं, और दावा करते हैं कि बेहतर अंतर्दृष्टि (और यहां तक कि कृत्रिम सामान्य बुद्धिमत्ता [एजीआई]) की ओर परिणाम-केंद्रित ड्राइव ने हानिकारक डेटा स्रोतों के ad hoc उपयोग को परिणामस्वरूप दिया है; हानि को उत्पन्न करने और बढ़ावा देने की क्षमता; और अवैध डेटा को न केवल प्रसारित करने की क्षमता, जो अन्यथा सार्वजनिक डोमेन से गायब हो सकता था, बल्कि वास्तव में ऐसे डेटा के नैतिक मॉडलों को डाउनस्ट्रीम एआई कार्यान्वयन में शामिल करने की क्षमता भी।

लायोन-400एम

पिछले महीने, लायोन-400एम डेटासेट जारी किया गया था, जो बढ़ती संख्या में मल्टीमॉडल, भाषाई डेटासेट में जोड़ा गया है जो कॉमन क्रॉल रिपॉजिटरी पर निर्भर करता है, जो इंटरनेट को बिना किसी भेदभाव के स्क्रैप करता है और फ़िल्टरिंग और क्यूरेशन की जिम्मेदारी परियोजनाओं पर छोड़ देता है जो इसका उपयोग करते हैं। डेरिव्ड डेटासेट में 400 मिलियन टेक्स्ट/छवि जोड़े हैं।

लायोन-400एम गूगल एआई के बंद विट (वेबइमेजटेक्स्ट) डेटासेट का एक ओपन-सोर्स वेरिएंट है, जो मार्च 2021 में जारी किया गया था, और इसमें टेक्स्ट-इमेज जोड़े हैं, जहां डेटाबेस में एक छवि को साथी विस्तृत या मेटाडेटा पाठ (जैसे कि वेब गैलरी में एक छवि का अल्ट-टेक्स्ट) से जोड़ा गया है। यह उपयोगकर्ताओं को टेक्स्ट-आधारित छवि पुनर्प्राप्ति करने की अनुमति देता है, जो इन डोमेन (यानी ‘जानवर’, ‘बाइक’, ‘व्यक्ति’, ‘पुरुष’, ‘महिला’) के बारे में अंतर्निहित एआई द्वारा बनाए गए संघों को प्रकट करता है।

छवि और पाठ के बीच यह संबंध, और क्वेरी परिणामों में पूर्वाग्रह को एम्बेड करने वाली कोसाइन समानता, पत्र के सुधारित विधियों के आह्वान के केंद्र में हैं, क्योंकि लायोन-400एम डेटाबेस के लिए बहुत सरल क्वेरी पूर्वाग्रह को प्रकट कर सकती हैं।

उदाहरण के लिए, सिटकिट-इमेज लाइब्रेरी में अग्रणी महिला अंतरिक्ष यात्री ईलीन कॉलिन्स की छवि लायोन-400एम में दो संबद्ध कैप्शन पुनर्प्राप्त करती है: ‘यह एक अंतरिक्ष यात्री का एक पोर्ट्रेट है जिसमें अमेरिकी झंडा है’ और ‘यह एक मुस्कुराते हुए गृहिणी की एक तस्वीर है जिसमें अमेरिकी झंडा है’.

अमेरिकी अंतरिक्ष यात्री ईलीन कॉलिन्स को लायोन-400एम के तहत उनकी उपलब्धियों के लिए दो बहुत अलग दृष्टिकोण मिलते हैं। स्रोत: https://arxiv.org/pdf/2110.01963.pdf

रिपोर्ट किए गए कोसाइन समानता जो दोनों कैप्शन को लागू करने की संभावना बनाते हैं एक दूसरे के बहुत करीब हैं, और लेखकों का तर्क है कि ऐसी निकटता लायोन-400एम का उपयोग करने वाले एआई सिस्टम को या तो कैप्शन को एक उपयुक्त कैप्शन के रूप में प्रस्तुत करने की संभावना को अधिक बना देगी।

पोर्नोग्राफी फिर से शीर्ष पर आती है

लायोन-400एम ने एक खोज योग्य इंटरफ़ेस उपलब्ध कर दिया है, जहां ‘सुरक्षित खोज’ बटन को अनचेक करने से लेबल और वर्गों में पोर्नोग्राफिक छवियों और पाठ संबंधों के प्रभुत्व का स्तर प्रकट होता है। उदाहरण के लिए, डेटाबेस में ‘नन’ (एनएसएफडब्ल्यू यदि आप बाद में सुरक्षित मोड को अक्षम करते हैं) की खोज परिणामों में आतंक, कॉसप्ले और पोशाकें से संबंधित परिणामों की अधिकता होती है, जिसमें बहुत कम वास्तविक नन होती हैं।

सुरक्षित मोड को बंद करने से उसी खोज पर ‘नन’ शब्द से संबंधित पोर्नोग्राफिक छवियों की एक श्रृंखला प्रकट होती है, जो गैर-पोर्न छवियों को खोज परिणाम पृष्ठ पर नीचे धकेलती है, जो यह दर्शाती है कि लायोन-400एम ने ‘नन’ शब्द के लिए पोर्नोग्राफिक छवियों को अधिक महत्व दिया है क्योंकि वे ऑनलाइन स्रोतों में शब्द ‘नन’ के लिए प्रचलित हैं।

ऑनलाइन खोज इंटरफ़ेस में सुरक्षित मोड का डिफ़ॉल्ट सक्रियण भ्रामक है, क्योंकि यह एक यूआई क्विर्क है, एक फ़िल्टर जो न केवल व्युत्पन्न एआई प्रणालियों में सक्रिय नहीं होगा, बल्कि ‘नन’ डोमेन में एक तरह से सामान्यीकृत किया गया है जो एसएफडब्ल्यू परिणामों से फ़िल्टर या प्रतिष्ठित होने में इतना आसान नहीं है।

पेपर में विभिन्न खोज शब्दों के लिए अतिरिक्त सामग्री में धुंधली छवियों की विशेषताएं हैं, जिन्हें यहां नहीं दिखाया जा सकता है क्योंकि साथ आने वाले पाठ में भाषा के कारण, लेकिन शोधकर्ता धुंधली छवियों की जांच और धुंधला करने में लगने वाले समय को स्वीकार करते हैं, और बड़े पैमाने पर डेटाबेस के मानव निरीक्षण की चुनौती को स्वीकार करते हैं:

‘हम (साथ ही हमारे सहयोगियों ने जो हमारी सहायता की) डेटासेट की जांच और विश्लेषण की प्रक्रिया के दौरान असुविधा, मतली और सिरदर्द के विभिन्न स्तरों का अनुभव किया। इसके अलावा, इस तरह के काम को शैक्षिक एआई क्षेत्र में रिलीज़ पर महत्वपूर्ण नकारात्मक आलोचना का सामना करना पड़ता है, जो पहले से ही भारी कार्य को और भी भारी बना देता है और इस तरह के डेटासेट के अध्ययन और विश्लेषण के लिए प्रोत्साहित करता है।’

शोधकर्ताओं का तर्क है कि जबकि मानव-इन-द-लूप क्यूरेशन महंगा है और व्यक्तिगत लागतें जुड़ी हुई हैं, हानिकारक सामग्री को हटाने या संबोधित करने के लिए डिज़ाइन किए गए स्वचालित फ़िल्टरिंग सिस्टम स्पष्ट रूप से इस कार्य के लिए पर्याप्त नहीं हैं, क्योंकि एनएलपी सिस्टम आक्रामक सामग्री को अलग करने या छूट देने में कठिनाई होती है जो एक स्क्रैप्ड डेटासेट में प्रभुत्व में हो सकती है, और बाद में इसकी मात्रा के कारण महत्वपूर्ण माना जा सकता है।

प्रतिबंधित सामग्री को प्रतिष्ठापित करना और कॉपीराइट सुरक्षा को हटाना

पेपर का तर्क है कि इस प्रकार के अंडर-क्यूरेटेड डेटासेट ‘अधिक संभावना’ है कि वे अल्पसंख्यक व्यक्तियों के शोषण को बढ़ावा देंगे, और यह पता लगाएंगे कि क्या इसी तरह के ओपन-सोर्स डेटा परियोजनाओं के पास नैतिक या कानूनी रूप से उपयोगकर्ता पर सामग्री के लिए जिम्मेदारी को स्थानांतरित करने का अधिकार है:

‘व्यक्ति अपनी जानकारी को एक वेबसाइट से हटा सकते हैं और मान सकते हैं कि यह हमेशा के लिए चली गई है, जबकि यह कई शोधकर्ताओं और संगठनों के सर्वर पर मौजूद हो सकती है। यह सवाल है कि डेटासेट से डेटा को हटाने के लिए कौन जिम्मेदार है? लायोन-400एम के लिए, निर्माताओं ने इस कार्य को डेटासेट उपयोगकर्ता को सौंप दिया है। दिए गए प्रक्रियाओं को जानबूझकर जटिल बनाया गया है और औसत उपयोगकर्ता के पास अपनी जानकारी को हटाने के लिए तकनीकी ज्ञान की कमी है, तो क्या यह एक उचित दृष्टिकोण है?’

वे आगे तर्क देते हैं कि लायोन-400एम को अपने द्वारा अपनाई गई क्रिएटिव कॉमन सीसी-बाय 4.0 लाइसेंस मॉडल के तहत जारी करने के लिए उपयुक्त नहीं हो सकता है, बड़े पैमाने पर डेटासेट के लोकतंत्रीकरण के संभावित लाभों के बावजूद, जो पहले अच्छी तरह से वित्तपोषित कंपनियों जैसे गूगल और ओपनएआई के विशेषाधिकार क्षेत्र में थे।

लायोन-400एम डोमेन का दावा है कि डेटासेट छवियां ‘अपने स्वयं के कॉपीराइट के तहत हैं’ – एक ‘पास-थ्रू’ तंत्र जो हाल के वर्षों में न्यायालय के फैसलों और सरकारी दिशानिर्देशों द्वारा बड़े पैमाने पर अनुमोदित है, जो शोध उद्देश्यों के लिए वेब स्क्रैपिंग को व्यापक रूप से अनुमोदित करता है। स्रोत: https://rom1504.github.io/clip-retrieval/

लेखक सुझाव देते हैं कि घास-मूल (यानी भीड़-स्रोत स्वयंसेवक) कुछ डेटासेट समस्याओं को संबोधित कर सकते हैं, और शोधकर्ता बेहतर फ़िल्टरिंग तकनीकों को विकसित कर सकते हैं:

‘फिर भी, डेटा विषय के अधिकार अभी भी संबोधित नहीं किए गए हैं। यह जोखिमपूर्ण और खतरनाक है कि बड़े पैमाने पर डेटासेट के उपयोग को उद्योगिक और व्यावसायिक सेटिंग्स में बढ़ावा देना और उनके नुकसान को कम करना। डेटासेट प्रदान करने वाली लाइसेंस योजना की जिम्मेदारी डेटासेट निर्माता पर ही है।’

हाइपरस्केल डेटा को लोकतंत्रीकरण करने की समस्याएं

पेपर का तर्क है कि लायोन-400एम जैसे विशाल विसियो-भाषाई डेटासेट पहले बड़ी टेक कंपनियों और सीमित संख्या में शोध संस्थानों के अलावा अन्य किसी के लिए उपलब्ध नहीं थे, जो उन्हें इकट्ठा करने, क्यूरेट करने और प्रोसेस करने के लिए संसाधनों का दावा करते हैं। वे नए रिलीज़ की भावना का सम्मान करते हैं, जबकि इसके कार्यान्वयन की आलोचना करते हैं।

लेखकों का तर्क है कि ‘लोकतंत्रीकरण’ की स्वीकृत परिभाषा, जैसा कि यह ओपन-सोर्स हाइपरस्केल डेटासेट पर लागू होता है, बहुत सीमित है, और ‘वल्नरेबल व्यक्तियों और समुदायों के अधिकारों, कल्याण, और हितों के लिए खाता नहीं है, जिनमें से कई इस डेटासेट और इसके ऊपर प्रशिक्षित मॉडल के डाउनस्ट्रीम प्रभावों से सबसे ज्यादा पीड़ित होने की संभावना है’ हैं।

चूंकि जीपीटी-3 स्केल ओपन-सोर्स मॉडल का विकास अंततः लाखों (और प्रॉक्सी द्वारा संभावित रूप से अरबों) उपयोगकर्ताओं को विश्वभर में वितरित करने के लिए डिज़ाइन किया गया है, और शोध परियोजनाएं संपादित या हटाए जाने से पहले डेटासेट को अपना सकती हैं, जो समस्याओं को संबोधित करने के लिए डिज़ाइन किए गए संशोधनों को बढ़ावा देती हैं, लेखकों का तर्क है कि लापरवाही से जारी किए गए अंडर-क्यूरेटेड डेटासेट ओपन-सोर्स मशीन लर्निंग में एक सामान्य विशेषता नहीं बननी चाहिए।

जिनी को फिर से बोतल में डालना

कुछ डेटासेट जो लंबे समय से दबा दिए गए थे, शायद अपरिवर्तनीय रूप से, लंबे समय तक चलने वाले एआई परियोजनाओं में उनकी सामग्री पारित हो गई थी, जिनमें शामिल हैं ड्यूक एमटीएमसी (मल्टी-टार्गेट, मल्टी-कैमरा) डेटासेट, जिसे अंततः चीन में दमनकारी अधिकारियों द्वारा इसके उपयोग पर बार-बार चिंताओं के कारण वापस ले लिया गया था; माइक्रोसॉफ्ट सेलिब (एमएस-सेलिब-1एम), 10 मिलियन ‘सेलिब्रिटी’ चेहरे की छवियों का एक डेटासेट जो पता चला पत्रकारों, कार्यकर्ताओं, नीति निर्माताओं और लेखकों को शामिल करता है, जिनकी जैवमेट्रिक डेटा का उजागर होना भारी आलोचना के अधीन था; और टिनी इमेज डेटासेट, 2020 में वापस ले लिया गया स्वीकार किए गए पूर्वाग्रहों, आक्रामक और अपमानजनक छवियों और अपमानजनक शब्दावली के लिए।

आलोचना के बाद संशोधित डेटासेट के उदाहरणों में इमेजनेट डेटासेट शामिल है, जिस पर शोधकर्ताओं का तर्क है कि दस साल (2009-2019) लगे थे गोपनीयता और गैर-छवि योग्य वर्गों के बारे में बार-बार आलोचना का समाधान करने के लिए।

पेपर यह观察 करता है कि लायोन-400एम प्रभावी रूप से इमेजनेट में इन सुधारों को वापस ले लेता है, जो नए रिलीज़ में उल्लिखित संशोधनों को ‘मुख्य रूप से अनदेखा’ करता है, और इस संबंध में एक व्यापक रुझान का संकेत देता है*:

‘यह टेंसेंट एमएल-इमेज डेटासेट (फरवरी 2020 में) जैसे बड़े डेटासेट के उदय में देखा जा सकता है, जो इनमें से अधिकांश गैर-छवि योग्य वर्गों को शामिल करता है, पूर्ण-इमेजनेट-21के डेटासेट पर प्रशिक्षित मॉडल की जैसे रिपॉजिटरी में उपलब्धता, और गूगल के नवीनतम एफिसिएन्टनेटवी2 और कोटनेट मॉडल जैसे नवीनतम सोटा मॉडल में अनफ़िल्टर्ड-इमेजनेट-21के का उपयोग जारी है, और एलवीआईएस चैलेंज 2021 जैसे प्रतिष्ठित प्रतियोगिताओं में अनफ़िल्टर्ड-इमेजनेट-21के प्रीट्रेनिंग के उपयोग की अनुमति देने वाले स्पष्ट घोषणाएं।

‘हम इस महत्वपूर्ण अवलोकन पर जोर देते हैं: इमेजनेट जैसी एक टीम, जो 15 मिलियन से कम छवियों का प्रबंधन करती है, डेटॉक्सिफिकेशन प्रयासों में संघर्ष कर रही है और अब तक विफल रही है।

‘इस विशाल मल्टीमॉडल डेटासेट और इस डेटासेट पर प्रशिक्षित डाउनस्ट्रीम मॉडल को पूरी तरह से डिटॉक्सिफाई करने के लिए आवश्यक सावधानीपूर्वक प्रयासों का स्तर निश्चित रूप से खगोलीय होगा।’

* मेरा लेखक के इनलाइन संदर्भों को हाइपरलिंक में परिवर्तन।