मशीन लर्निंग रिसर्च पर एक प्रभावशाली डेटासेट कार्टेल का वर्चस्व, एक नए अध्ययन का सुझाव

कैलिफोर्निया विश्वविद्यालय और गूगल रिसर्च से एक नए शोध पत्र में पाया गया है कि कुछ ‘बेंचमार्क’ मशीन लर्निंग डेटासेट, ज्यादातर प्रभावशाली पश्चिमी संस्थानों से और अक्सर सरकारी संगठनों से, एआई अनुसंधान क्षेत्र पर बढ़ते प्रभाव डाल रहे हैं।

शोधकर्ताओं का निष्कर्ष है कि इन अत्यधिक लोकप्रिय ओपन-सोर्स डेटासेट, जैसे कि ImageNet, के प्रति ‘डिफ़ॉल्ट’ करने की प्रवृत्ति कई व्यावहारिक, नैतिक और यहां तक कि राजनीतिक चिंताओं को जन्म देती है।

उनके निष्कर्षों में – जो फेसबुक के नेतृत्व वाले समुदाय परियोजना पेपर्स विद कोड (पीडब्ल्यूसी) से मूल डेटा पर आधारित हैं – लेखकों का तर्क है कि ‘व्यापक रूप से उपयोग किए जाने वाले डेटासेट केवल कुछ शीर्ष संस्थानों द्वारा पेश किए जाते हैं’, और यह ‘एकीकरण’ हाल के वर्षों में 80% तक बढ़ गया है।

‘[हम] पाते हैं कि डेटासेट उपयोग में वैश्विक स्तर पर बढ़ती असमानता है, और हमारे नमूने में 43,140 में से 50% से अधिक डेटासेट उपयोग उन डेटासेट से संबंधित थे जिन्हें बारह शीर्ष, मुख्य रूप से पश्चिमी, संस्थानों द्वारा पेश किया गया था।’

पिछले दस वर्षों में गैर-टास्क विशिष्ट डेटासेट उपयोगों का एक मानचित्र। समावेश के मानदंड यह है कि संस्थान या कंपनी ज्ञात उपयोगों में 50% से अधिक के लिए जिम्मेदार है। दाईं ओर संस्थानों और डेटासेट के लिए समय के साथ डेटासेट के एकाग्रता के लिए जिनी सัมपूर्णता दिखाई गई है। स्रोत: https://arxiv.org/pdf/2112.01716.pdf

प्रमुख संस्थानों में स्टैनफोर्ड विश्वविद्यालय, माइक्रोसॉफ्ट, प्रिंसटन, फेसबुक, गूगल, मैक्स प्लैंक संस्थान और एटी एंड टी शामिल हैं। शीर्ष दस डेटासेट स्रोतों में से चार निगमित संस्थान हैं।

लेख में यह भी तर्क दिया गया है कि इन शीर्ष डेटासेट का बढ़ता उपयोग ‘विज्ञान में असमानता का एक साधन’ है। यह इसलिए है क्योंकि अनुसंधान टीमें जो समुदाय की मान्यता चाहती हैं, वे मौजूदा बेंचमार्क डेटासेट के खिलाफ राज्य-ऑफ-द-आर्ट (एसओटीए) परिणाम प्राप्त करने के लिए अधिक प्रेरित होती हैं और नए डेटासेट बनाने के लिए जो किसी भी मानक से नहीं गुजरते हैं।

किसी भी मामले में, जैसा कि लेख में स्वीकार किया गया है, अपना डेटासेट बनाना कम संसाधन वाली संस्थानों और टीमों के लिए एक प्रतिबंधकारी महंगा प्रयास है।

‘पराथमिकतः वैज्ञानिक मान्यता जो एसओटीए बेंचमार्किंग द्वारा दी जाती है, वह सामान्य रूप से शोधकर्ताओं द्वारा प्राप्त सामाजिक विश्वसनीयता के साथ भ्रमित होती है, जो यह दिखाने में सक्षम है कि वे एक व्यापक रूप से मान्यता प्राप्त डेटासेट पर प्रतिस्पर्धा कर सकते हैं, भले ही एक अधिक संदर्भ-विशिष्ट बेंचमार्क अधिक तकनीकी रूप से उपयुक्त हो।

‘हम तर्क देते हैं कि ये गतिविधियाँ एक “मैथ्यू प्रभाव” (“अमीर और अधिक अमीर और गरीब और अधिक गरीब”) बनाती हैं, जहाँ सफल बेंचमार्क और उन्हें पेश करने वाले शीर्ष संस्थान क्षेत्र में असमान रूप से बड़ा कद प्राप्त करते हैं।

लेख लेख का शीर्षक कम किया गया, पुनः उपयोग किया गया और पुनर्नवीनीकरण: मशीन लर्निंग अनुसंधान में एक डेटासेट का जीवन है, और यह यूसीएलए से बर्नार्ड कोच और जैकब जी. फोस्टर, और गूगल रिसर्च से एमिली डेंटन और एलेक्स हन्ना से है।

काम कई मुद्दों को उठाता है जो इस बढ़ते हुए रुझान के साथ जुड़े हुए हैं जिसे यह दस्तावेज करता है, और इसे ओपन रिव्यू में सामान्य मान्यता के साथ मिला है। न्यूरिप्स 2021 के एक समीक्षक ने टिप्पणी की कि काम ‘मशीन लर्निंग अनुसंधान में शामिल किसी के लिए भी अत्यधिक प्रासंगिक है।’ और इसके विश्वविद्यालय पाठ्यक्रमों में निर्धारित पठन के रूप में शामिल होने की भविष्यवाणी की।

आवश्यकता से भ्रष्टाचार तक

लेखकों का उल्लेख है कि वर्तमान ‘बेंचमार्क-मात-द-‘ संस्कृति एक उपाय के रूप में उभरी थी जो उद्देश्य मूल्यांकन उपकरणों की कमी को दूर करने के लिए थी जिसने एआई में रुचि और निवेश को लगभग तीस वर्ष पूर्व दूसरी बार गिरा दिया था, विशेषज्ञ प्रणालियों में नए शोध के प्रति व्यावसायिक उत्साह के पतन के बाद:

‘बेंचमार्क आमतौर पर एक विशिष्ट कार्य को एक डेटासेट और एक संबंधित मूल्यांकन मेट्रिक के माध्यम से औपचारिक करते हैं। यह अभ्यास मूल रूप से “एआई विंटर” के बाद 1980 के दशक में सरकारी प्रायोजकों द्वारा मशीन लर्निंग अनुसंधान में पेश किया गया था, जो अनुदान पर प्राप्त मूल्य का अधिक सटीक रूप से आकलन करना चाहते थे।’

लेख तर्क देता है कि इस अनौपचारिक मानकीकरण संस्कृति के प्रारंभिक लाभ (भागीदारी के लिए बाधाओं को कम करना, सुसंगत मेट्रिक और अधिक लचीले विकास के अवसर) अब उन नुकसानों से अधिक होने लगे हैं जो प्राकृतिक रूप से तब होते हैं जब कोई डेटा इतना शक्तिशाली हो जाता है कि यह प्रभावी रूप से अपने ‘उपयोग की शर्तें’ और प्रभाव के दायरे को परिभाषित कर सकता है।

लेखक सुझाव देते हैं कि शोध समुदाय, उद्योग और अकादमिक विचारों के साथ, नवीन समस्याएं नहीं रखता है यदि वे मौजूदा बेंचमार्क डेटासेट के माध्यम से संबोधित नहीं की जा सकती हैं।

वे इसके अलावा यह भी उल्लेख करते हैं कि इस छोटे से ‘गोल्ड’ डेटासेट के प्रति अंधा अनुसरण अनुसंधानकर्ताओं को ऐसे परिणाम प्राप्त करने के लिए प्रेरित करता है जो अति-फिट हैं (यानी, डेटासेट-विशिष्ट हैं और वास्तविक दुनिया के डेटा पर, नए शैक्षणिक या मूल डेटासेट पर, या यहां तक कि ‘गोल्ड स्टैंडर्ड’ डेटासेट पर भी उतना अच्छा प्रदर्शन नहीं करेंगे)।

‘दिए गए बेंचमार्क डेटासेट पर शोध की उच्च एकाग्रता को देखते हुए, हम मानते हैं कि मूल्यांकन के विविध रूपों को विकसित करना विशेष रूप से महत्वपूर्ण है ताकि मौजूदा डेटासेट से अधिक फिट होने और क्षेत्र में प्रगति को गलत तरीके से प्रस्तुत करने से बचा जा सके।

कंप्यूटर विजन अनुसंधान में सरकारी प्रभाव

लेख के अनुसार, कंप्यूटर विजन अनुसंधान इस सिंड्रोम से प्रभावित है जिसे यह रेखांकित करता है, अन्य क्षेत्रों की तुलना में अधिक, जिसमें लेखकों का तर्क है कि प्राकृतिक भाषा प्रसंस्करण (एनएलपी) अनुसंधान कम प्रभावित है। लेखकों का सुझाव है कि यह एनएलपी समुदायों के ‘अधिक सुसंगत’ और बड़े आकार के कारण हो सकता है, और एनएलपी डेटासेट अधिक सुलभ और आसानी से बनाए जा सकते हैं, साथ ही डेटा संग्रह के संदर्भ में कम संसाधन-Google और कम संसाधन-गहन हैं।
कंप्यूटर विजन में, और विशेष रूप से चेहरे की पहचान (एफआर) डेटासेट के संबंध में, लेखकों का तर्क है कि निगमित, राज्य और निजी हित अक्सर टकराते हैं:

‘निगमित और सरकारी संस्थानों के उद्देश्य हो सकते हैं जो गोपनीयता (जैसे कि निगरानी) के साथ संघर्ष कर सकते हैं, और उनके प्राथमिकताओं का वजन अकादमिक या एआई के व्यापक सामाजिक हितधारकों द्वारा आयोजित किए जाने वाले लोगों से अलग हो सकता है।’

चेहरे की पहचान कार्यों के लिए, शोधकर्ताओं ने पाया कि शुद्ध रूप से अकादमिक डेटासेट की घटना औसत के खिलाफ नाटकीय रूप से गिरती है:

‘[आठ] डेटासेट में से चार (33.69% कुल उपयोग) को केवल निगमों, यूएस सैन्य या चीनी सरकार द्वारा वित्त पोषित किया गया था (एमएस-सेलिब्रिटी-1एम, सीएएसआईए-वेबफेस, आईजेबी-ए, वीजीएफ़ेस2)। एमएस-सेलिब्रिटी-1एम को अंततः विभिन्न हितधारकों के लिए गोपनीयता के मूल्य के बारे में विवाद के कारण वापस ले लिया गया था।’

इमेज जेनरेशन और फेस रिकग्निशन रिसर्च समुदायों में उपयोग किए जाने वाले शीर्ष डेटासेट।

उपरोक्त ग्राफ में, जैसा कि लेखकों ने उल्लेख किया है, हम यह भी देखते हैं कि इमेज जेनरेशन (या इमेज सिंथेसिस) के क्षेत्र, जो कि अपेक्षाकृत हाल का है, मौजूदा पुराने डेटासेट पर बहुत अधिक निर्भर है जो इसके लिए नहीं बनाए गए थे।

वास्तव में, लेख में यह भी देखा गया है कि डेटासेट का एक बढ़ता हुआ रुझान है जो अपने इरादे के उद्देश्य से दूर हो जाते हैं, जो उनकी फिटनेस के बारे में प्रश्न उठाता है और नए या बाहरी अनुसंधान क्षेत्रों की जरूरतों के लिए, और यह भी कि कैसे बजटीय प्रतिबंध शोधकर्ताओं के उद्देश्यों को सीमित कर सकते हैं जो उपलब्ध सामग्री और एक संस्कृति द्वारा प्रदान किए जाते हैं जो इतनी वर्ष-दर-वर्ष बेंचमार्क रेटिंग से इतनी ज्यादा चिंतित है कि नए डेटासेट को गति प्राप्त करने में कठिनाई होती है।

‘हमारे निष्कर्ष यह भी बताते हैं कि डेटासेट नियमित रूप से विभिन्न कार्य समुदायों के बीच स्थानांतरित हो जाते हैं। सबसे चरम मामले में, कुछ कार्य समुदायों के लिए प्रसारित बेंचमार्क डेटासेट का अधिकांश हिस्सा अन्य कार्यों के लिए बनाया गया था।’

मशीन लर्निंग के प्रमुख लोगों (अंड्रू एनजी सहित) के बारे में जो हाल के वर्षों में डेटासेट के विविधीकरण और क्यूरेशन के लिए बढ़ती मांग कर रहे हैं, लेखक इस भावना का समर्थन करते हैं, लेकिन मानते हैं कि इस तरह के प्रयास, भले ही सफल हों, वर्तमान संस्कृति के एसओटीए-परिणामों और स्थापित डेटासेट पर निर्भरता से कमजोर हो सकते हैं:

‘हमारा शोध सुझाव देता है कि केवल मशीन लर्निंग शोधकर्ताओं से अधिक डेटासेट विकसित करने और प्रोत्साहन संरचनाओं को बदलने का आग्रह करना पर्याप्त नहीं हो सकता है ताकि डेटासेट उपयोग और एमएलआर शोध एजेंडे को आकार देने वाले दृष्टिकोण को विविधता प्रदान की जा सके।

‘डेटासेट विकास को प्रोत्साहित करने के अलावा, हम कम संसाधन वाली संस्थानों में लोगों के लिए महत्वपूर्ण धन को प्राथमिकता देने वाले नीति हस्तक्षेपों की वकालत करते हैं ताकि उच्च गुणवत्ता वाले डेटासेट बनाए जा सकें। यह – सामाजिक और सांस्कृतिक दृष्टिकोण से – आधुनिक एमएल विधियों का मूल्यांकन करने के लिए उपयोग किए जाने वाले बेंचमार्क डेटासेट को विविधता प्रदान करेगा।’

६ दिसंबर २०२१, ४:४९ बजे जीएमटी+२ – शीर्षक में स्वामित्व में सुधार किया गया। – एमए