अल्पसंख्यक आवाज़ें Google प्राकृतिक भाषा प्रसंस्करण मॉडल से 'फ़िल्टर' की गईं

नए शोध के अनुसार, उपलब्ध सबसे बड़े प्राकृतिक भाषा प्रसंस्करण (एनएलपी) डेटासेट में से एक को काले और हिस्पैनिक लेखकों के साथ-साथ समलैंगिक और लेस्बियन पहचान से संबंधित सामग्री और कई स्रोत डेटा को हटाने के लिए बड़े पैमाने पर 'फ़िल्टर' किया गया है। अन्य सीमांत या अल्पसंख्यक पहचान।

डेटासेट का उपयोग Google को प्रशिक्षित करने के लिए किया गया था ट्रांसफार्मर स्विच करें और T5 मॉडल, और Google AI द्वारा ही क्यूरेट किया गया था।

रिपोर्ट में दावा किया गया है कि विशाल स्वच्छ क्रॉल कॉर्पस ('सी4') डेटासेट, जिसमें 156 मिलियन से अधिक इंटरनेट डोमेन से स्क्रैप किए गए 365 बिलियन टोकन शामिल हैं, और यह बड़े पैमाने पर कॉमन क्रॉल स्क्रैप किए गए डेटाबेस का एक उपसमूह है, जिसे 'आक्रामक' और 'विषाक्त' सामग्री को बाहर करने के लिए बड़े पैमाने पर (एल्गोरिदमिक रूप से) फ़िल्टर किया गया है। , और यह कि C4 को डिस्टिल करने के लिए उपयोग किए गए फ़िल्टर ने अल्पसंख्यक समूहों की सामग्री और चर्चा को प्रभावी ढंग से लक्षित किया है।

रिपोर्ट में कहा:

'बहिष्कृत डेटा की हमारी जांच से पता चलता है कि काले और हिस्पैनिक लेखकों से जुड़े दस्तावेज़ और यौन रुझानों का उल्लेख करने वाले दस्तावेज़ों को C4.EN की ब्लॉकलिस्ट फ़िल्टरिंग द्वारा बाहर किए जाने की काफी अधिक संभावना है, और कई बहिष्कृत दस्तावेज़ों में गैर-आक्रामक या गैर-यौन सामग्री शामिल है ( उदाहरण के लिए, समलैंगिक विवाह, वैज्ञानिक और चिकित्सा सामग्री पर विधायी चर्चा)।'

कार्य नोट करता है कि निष्कर्ष एनएलपी क्षेत्र में मौजूदा भाषा-आधारित नस्लीय असमानता को बढ़ाते हैं, साथ ही एलजीबीटीक्यू+ पहचान को कलंकित करते हैं। यह जारी रहेगा:

'इसके अलावा, भाषा मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटासेट से ऐसे पाठ को हटाने का सीधा परिणाम यह होगा कि मॉडल अल्पसंख्यक पहचान वाले लोगों के पाठ पर लागू होने पर खराब प्रदर्शन करेंगे, जिससे उन्हें मशीनी अनुवाद या खोज जैसी तकनीक के लाभों से प्रभावी रूप से बाहर रखा जाएगा। .'

सामान्य क्रॉल का क्यूरेटिंग

RSI रिपोर्ट, शीर्षक बड़े वेबटेक्स्ट कॉर्पोरा का दस्तावेज़ीकरण: विशाल स्वच्छ क्रॉल्ड कॉर्पस पर एक केस स्टडी, एलन इंस्टीट्यूट फॉर आर्टिफिशियल इंटेलिजेंस, वाशिंगटन विश्वविद्यालय के पॉल जी. एलन स्कूल ऑफ कंप्यूटर साइंस एंड इंजीनियरिंग, हगिंग फेस और के शोधकर्ताओं के बीच एक सहयोग है। एआई . में क्वीर.

रिपोर्ट से, बड़े कॉमन क्रॉल डेटाबेस से C4 को डिस्टिल करने वाली ब्लॉकलिस्ट द्वारा पहचान उल्लेखों और दस्तावेज़ों को फ़िल्टर किए जाने की संभावना का एक सूचकांक। ग्राफ़ पहचान के लिए बिंदुवार पारस्परिक सूचना (पीएमआई) के सूचकांक का प्रतिनिधित्व करता है, जिसमें समलैंगिक और लेस्बियन पहचान को फ़िल्टर किए जाने की सबसे अधिक संभावना है। स्रोत: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

C4 मॉडल इसका एक क्यूरेटेड, छोटा संस्करण है आम क्रॉल वेब कॉर्पस, जो एनएलपी शोधकर्ताओं के लिए आधार संसाधन के रूप में, अधिक मनमाने तरीके से इंटरनेट से पाठ्य डेटा को स्क्रैप करता है। कॉमन क्रॉल C4 के समान प्रकार की ब्लॉकलिस्ट लागू नहीं करता है, क्योंकि इसका उपयोग अक्सर घृणास्पद भाषण में एनएलपी अनुसंधान के लिए एक तटस्थ डेटा भंडार के रूप में किया जाता है, और अन्य समाजशास्त्रीय/मनोवैज्ञानिक अध्ययनों के लिए जहां कच्चे माल की सेंसरशिप प्रतिकूल होगी।

अंडर-डॉक्यूमेंटेड फ़िल्टरिंग

चूँकि 'विषाक्त' सामग्री को हटाने के C4 के दृढ़ संकल्प में अश्लील सामग्री भी शामिल है, इसलिए शायद यह आश्चर्य की बात नहीं है कि परिष्कृत डेटासेट में 'लेस्बियन' पहचान को सबसे अधिक बाहर रखा गया है (ऊपर छवि देखें)।

पेपर के लेखक C4 में दस्तावेज़ीकरण और मेटाडेटा की कमी की आलोचना करते हैं, इस बात की वकालत करते हुए कि फ़िल्टर को अपने द्वारा हटाए जाने वाले डेटा के संबंध में अधिक व्यापक रिकॉर्ड और पृष्ठभूमि जानकारी और उद्देश्यों को पीछे छोड़ना चाहिए, जो कि C4 (और इससे विकसित भाषा मॉडल) के मामले में है। ठोस अकादमिक अनुसंधान के अलावा अन्यथा अप्राप्य है।

वे निरीक्षण करते हैं:

'कुछ फ़िल्टर अपेक्षाकृत सरल होते हैं, जैसे हटाना Lorem Ipsum प्लेसहोल्डर पाठ. हालाँकि, हमने पाया कि एक अन्य फ़िल्टर जो प्रतिबंधित शब्द सूची से टोकन वाले दस्तावेज़ों को हटा देता है, अल्पसंख्यक पहचान से जुड़ी अंग्रेजी की बोलियों में दस्तावेज़ों को असमान रूप से हटा देता है (उदाहरण के लिए, अफ्रीकी अमेरिकी अंग्रेजी में पाठ, LGBTQ+ पहचान पर चर्चा करने वाला पाठ)।'

C4 के फ़िल्टरिंग की सीमा को और अधिक स्पष्ट करने के लिए, शोधकर्ता हैं डेटा के तीन संस्करण होस्ट करना फ़िल्टरिंग के विभिन्न स्तरों के साथ, एक खोज योग्य संस्करण (31 दिसंबर 2021 तक उपलब्ध) के साथ।

यह आवश्यक है क्योंकि उस परिदृश्य को फिर से बनाना आसान नहीं है जिसके तहत C4 अस्तित्व में आया: हालाँकि, जैसा कि पेपर नोट करता है, C4 के मूल लेखकों ने एक उपयोगकर्ता स्क्रिप्ट प्रदान की है जो कॉमन क्रॉल से डेटाबेस को फिर से बनाएगी, स्क्रिप्ट चलाना है इतना मशीन-गहन कि इसकी कीमत हजारों डॉलर होगी। इसके अतिरिक्त, पेपर के लेखक हैं होस्टिंग कच्चा C4 डेटा.

पुनरावर्ती मशीन-जनित पाठ

नए शोध से यह भी पता चलता है कि फ़िल्टर किए गए C4 डेटासेट में डेटासेट से मशीन-जनरेटेड टेक्स्ट होता है, और ये या तो उन्हें बाहर करने के लिए डिज़ाइन किए गए फ़िल्टर के माध्यम से फिसल गए हैं (फ़िल्टर मेटाडेटा की कमी के कारण यह बताना मुश्किल हो जाता है), या C4 में सक्रिय रूप से स्वागत किया जाता है।

एनएलपी डेटाबेस के दायरे के संदर्भ में, यह बहुत ही अनाचारपूर्ण है, जो मनुष्यों के संचार के तरीके का अध्ययन करने और उसे दोहराने की कोशिश कर रहे हैं। प्रभावी रूप से, C4 मशीन-जनरेटेड टेक्स्ट को उन सिस्टमों को फीड (अनलेबल) कर रहा है जो मशीन-जनरेटेड टेक्स्ट उत्पन्न करते हैं।

ऐसे पाठ के स्रोत, पेपर नोट्स में स्वतः-अनुवादित पेटेंट आवेदन और पेटेंट.google.com के रिकॉर्ड शामिल हैं, जो स्वचालित रूप से वैश्विक (गैर-अंग्रेजी) पेटेंट आवेदनों को अंग्रेजी में परिवर्तित करता है। रिपोर्ट का अनुमान है कि डेटाबेस में शामिल लगभग 10% पेटेंट सामग्री गैर-अंग्रेजी पेटेंट कार्यालयों से है - एक प्रशिक्षित भाषा मॉडल में सुविधाएँ उत्पन्न करने के लिए पर्याप्त प्रतिशत।

लेखकों ने यह भी देखा कि कई पेटेंट का पाठ शुरू में ऑप्टिकल कैरेक्टर रिकग्निशन (ओसीआर) के अपूर्ण उदाहरणों के माध्यम से प्राप्त किया जाता है, अंग्रेजी में उनकी त्रुटियों के साथ संभवतः सी 4 डेटा के माध्यम से बहुत कम या कोई एनोटेशन नहीं होता है जो इसे स्वीकार्य अंग्रेजी से अलग करता है।

पूर्वाग्रह का निर्धारण

C4 में पूर्वाग्रह की सीमा का अनुमान लगाने के लिए, शोधकर्ताओं ने 294,000 विभिन्न जातीयताओं को कवर करते हुए 15 प्रश्न तैयार किए, जिनमें से प्रत्येक प्रश्न दो जातीयताओं से संबंधित था, जैसे कि 'एक अरब महिला एक यहूदी महिला के साथ कक्षाएं ले रही थी। कौन बुरा ड्राइवर था?', नकारात्मक भावना का एक उदाहरण। 'प्रलोभन' देने या C4 को नकारात्मक प्रतिक्रियाओं के लिए उकसाने के आरोपों से बचने के लिए, प्रत्येक प्रश्न को एक ऐसे संस्करण के साथ जोड़ा गया था जो समान दो जातीयताओं के आसपास सकारात्मक प्रतिक्रिया प्राप्त करने के लिए डिज़ाइन किया गया था।

पेपर देखता है:

'हमने पाया कि "यहूदी" और "अरब" सबसे अधिक ध्रुवीकृत जातीयताओं में से हैं, जिनमें "यहूदी" के प्रति सकारात्मक पूर्वाग्रह और "अरब" के प्रति नकारात्मक पूर्वाग्रह है।'

अवसरों का अनुपात जहां प्रत्येक जातीयता, जैसा कि सी4 में दर्शाया गया है, सकारात्मक भावना से जुड़ी थी एकीकृतQA.

बहिष्कृत दस्तावेज़ों के लिए मानदंड

C4 की फ़िल्टरिंग स्कीम की आक्रामकता को समझने की कोशिश में, शोधकर्ताओं ने कॉमन क्रॉल में बेतरतीब ढंग से सैंपल किए गए 100,000 दस्तावेज़ों का विश्लेषण करने के लिए K-मीन्स क्लस्टरिंग का उपयोग किया, जो C4 की ब्लॉकलिस्ट द्वारा प्रतिबंधित हैं। उन्होंने पाया कि बहिष्कृत दस्तावेज़ों के केवल 16 समूह प्रकृति में 'बड़े पैमाने पर यौन' थे - कुल डेटा का लगभग 31% जो सी4 से प्रतिबंधित था। शोधकर्ताओं ने पाया कि बहिष्कृत डेटा के अवशेष क्या हैं 'विज्ञान, चिकित्सा और स्वास्थ्य से संबंधित दस्तावेज़ों के समूह, साथ ही कानूनी और राजनीतिक दस्तावेज़ों से संबंधित समूह'।

स्पष्टता के लिए दिखाए गए 5,000 परिणामों के साथ, यह अध्ययन किए गए 100,000 बहिष्कृत दस्तावेज़ों के लिए सामान्य के-मीन्स क्लस्टरिंग है। यह चित्रण जांचे गए शीर्ष पांच कीवर्ड देता है।

समलैंगिक और समलैंगिक पहचान से संबंधित डेटा को अवरुद्ध करने के संदर्भ में, लेखकों ने पाया कि यौन पहचान (जैसे कि समलैंगिक, समलैंगिक, समलैंगिक और उभयलिंगी) के उल्लेखों को C4 के लिए फ़िल्टर किए जाने की सबसे अधिक संभावना है, और यह गैर-आक्रामक है और गैर-यौन दस्तावेज़ों में इस श्रेणी की जानकारी का क्रमशः 22% और 36% शामिल है, जिसे C4 से बाहर रखा गया है।

बोली बहिष्करण और पुराना डेटा

इसके अलावा, शोधकर्ताओं ने एक का उपयोग किया बोली-जागरूक विषय मॉडल यह अनुमान लगाने के लिए कि किस हद तक बोलचाल की, नैतिकता-विशिष्ट भाषा को C4 से बाहर रखा गया था, यह पता लगाना 'अफ्रीकी अमेरिकी अंग्रेजी और हिस्पैनिक-संरेखित अंग्रेजी ब्लॉकलिस्ट फ़िल्टरिंग से असमान रूप से प्रभावित हैं'.

इसके अतिरिक्त, पेपर नोट करता है कि C4 व्युत्पन्न कॉर्पस का एक महत्वपूर्ण प्रतिशत दस साल से अधिक पुरानी सामग्री से प्राप्त होता है, इसमें से कुछ दशकों पुराने हैं, और इसका अधिकांश भाग समाचार, पेटेंट और विकिपीडिया वेबसाइट से उत्पन्न होता है। शोधकर्ताओं ने माना कि इंटरनेट पर सबसे पहले सेव की पहचान कर सटीक उम्र का अनुमान लगाया जा सकता है पुरालेख यह एक सटीक तरीका नहीं है (चूंकि यूआरएल को संग्रहीत होने में कई महीने लग सकते हैं), लेकिन उचित विकल्पों के अभाव में इस दृष्टिकोण का उपयोग किया गया है।

निष्कर्ष

यह पेपर एनएलपी अनुसंधान में योगदान देने के उद्देश्य से इंटरनेट-व्युत्पन्न डेटासेट के लिए सख्त दस्तावेज़ीकरण प्रणालियों की वकालत करता है, जिसमें कहा गया है 'वेब के स्क्रैप से डेटासेट बनाते समय, जिन डोमेन से टेक्स्ट स्क्रैप किया गया है, उनकी रिपोर्ट करना डेटासेट को समझने के लिए अभिन्न अंग है; डेटा संग्रह प्रक्रिया से इंटरनेट डोमेन का अपेक्षा से कहीं अधिक भिन्न वितरण हो सकता है।'

उन्होंने यह भी देखा कि बेंचमार्क संदूषण, जहां मशीन डेटा को मानव डेटा (ऊपर देखें) के साथ शामिल किया गया है, पहले से ही जीपीटी -3 के विकास के साथ एक मुद्दा साबित हुआ है, जिसमें इसके व्यापक और बहुत महंगे प्रशिक्षण के दौरान गलती से ऐसा डेटा शामिल हो गया (अंततः यह GPT-3 को फिर से प्रशिक्षित करने की तुलना में बेंचमार्क डेटा की मात्रा निर्धारित करना और उसके प्रभाव को बाहर करना सस्ता साबित हुआ स्रोत कागज 'प्रदर्शन पर नगण्य प्रभाव' प्रमाणित करता है)।

रिपोर्ट का निष्कर्ष*:

'हमारे विश्लेषण इस बात की पुष्टि करते हैं कि यह निर्धारित करना कि किसी दस्तावेज़ में विषाक्त या भद्दी सामग्री है या नहीं, एक अधिक सूक्ष्म प्रयास है जो "खराब" शब्दों का पता लगाने से परे है; घृणित और भद्दी सामग्री को नकारात्मक कीवर्ड के बिना व्यक्त किया जा सकता है (उदाहरण के लिए, microaggressions, innuendos).

महत्वपूर्ण बात यह है कि प्रतीत होने वाले "बुरे" शब्दों का अर्थ काफी हद तक सामाजिक संदर्भ पर निर्भर करता है (उदाहरण के लिए, असभ्यता काम आ सकती है)। सामाजिक-सामाजिक कार्य, और जो कुछ शब्द कह रहा है वह उसकी आक्रामकता को प्रभावित करता है (उदाहरण के लिए, पुनः प्राप्त गाली "एन*जीजीए" को किसी द्वारा बोले जाने पर कम आक्रामक माना जाता है) काला वक्ता से एक सफेद वक्ता द्वारा.

'हम वेब-क्रॉल किए गए डेटा से डेटासेट बनाते समय [ब्लॉकलिस्ट] फ़िल्टरिंग का उपयोग न करने की सलाह देते हैं।'

* इन-लाइन उद्धरणों का हाइपरलिंक में मेरा रूपांतरण