अल्पसंख्यक आवाजों को गूगल प्राकृतिक भाषा प्रसंस्करण मॉडल्स से ‘फिल्टर्ड’ आउट किया गया

नए शोध के अनुसार, उपलब्ध सबसे बड़े प्राकृतिक भाषा प्रसंस्करण (एनएलपी) डेटासेट में से एक को व्यापक रूप से ‘फिल्टर्ड’ किया गया है ताकि काले और हिस्पैनिक लेखकों को हटाया जा सके, साथ ही समलैंगिक और लेस्बियन पहचान से संबंधित सामग्री और अन्य अल्पसंख्यक पहचानों से संबंधित स्रोत डेटा को हटाया जा सके।

डेटासेट का उपयोग गूगल के स्विच ट्रांसफॉर्मर और टी5 मॉडल को प्रशिक्षित करने के लिए किया गया था, और इसे गूगल एआई द्वारा ही क्यूरेट किया गया था।

रिपोर्ट में दावा किया गया है कि कोलोसल क्लीन क्रॉल्ड कॉर्पस (‘सी4’) डेटासेट, जिसमें 156 बिलियन टोकन हैं जो 365 मिलियन से अधिक इंटरनेट डोमेन से स्क्रैप किए गए हैं, और यह विशाल कॉमन क्रॉल स्क्रैप्ड डेटाबेस का एक सबसेट है, को व्यापक रूप से (अल्गोरिदमिक रूप से) फिल्टर किया गया है ताकि ‘अपमानजनक’ और ‘विषाक्त’ सामग्री को बाहर रखा जा सके, और सी4 को शुद्ध करने के लिए उपयोग किए जाने वाले फिल्टरों ने प्रभावी रूप से अल्पसंख्यक समूहों से संबंधित सामग्री और चर्चा को लक्षित किया है।

रिपोर्ट में कहा गया है:

‘हमारी जांच से पता चलता है कि ब्लैक और हिस्पैनिक लेखकों से जुड़े दस्तावेज़ और यौन अभिविन्यास का उल्लेख करने वाले दस्तावेज़ सी4.ईएन के ब्लॉकलिस्ट फिल्टरिंग द्वारा बाहर करने की संभावना अधिक है, और कई बाहर रखे गए दस्तावेज़ में अपमानजनक या यौन सामग्री नहीं थी (जैसे कि समलैंगिक विवाह पर विधायी चर्चाएं, वैज्ञानिक और चिकित्सा सामग्री)।’

काम यह नोट करता है:

‘इसके अलावा, सी4 जैसे डेटासेट से प्रशिक्षित भाषा मॉडल का एक सीधा परिणाम यह है कि मॉडल अल्पसंख्यक पहचान वाले लोगों से और उनके बारे में पाठ पर लागू होने पर खराब प्रदर्शन करेगा, प्रभावी रूप से उन्हें मशीन अनुवाद या खोज जैसी तकनीक के लाभों से बाहर रखेगा।’

कॉमन क्रॉल को क्यूरेट करना

रिपोर्ट, जिसका शीर्षक डॉक्यूमेंटिंग लार्ज वेबटेक्स्ट कॉर्पोरा: सी4 पर एक केस स्टडी है, एलेन इंस्टीट्यूट फॉर आर्टिफिशियल इंटेलिजेंस, वाशिंगटन विश्वविद्यालय में पॉल जी एलेन स्कूल ऑफ कंप्यूटर साइंस एंड इंजीनियरिंग, हगिंग फेस, और क्वियर इन एआई में शोधकर्ताओं के बीच एक सहयोग है।

[…]

निष्कर्ष

रिपोर्ट एनएलपी शोध के लिए इंटरनेट से डेटा को स्क्रैप करने वाले डेटासेट में सख्त दस्तावेजीकरण प्रणाली की वकालत करती है, यह नोट करते हुए कि ‘वेब के स्क्रैप से डेटासेट बनाते समय, टेक्स्ट को स्क्रैप किए जाने वाले डोमेन की रिपोर्ट करना डेटासेट को समझने के लिए महत्वपूर्ण है; डेटा संग्रह प्रक्रिया इंटरनेट डोमेन के एक महत्वपूर्ण रूप से अलग वितरण का कारण बन सकती है।’

वे यह भी देखते हैं कि बेंचमार्क प्रदूषण, जहां मशीन डेटा को मानव डेटा के साथ शामिल किया जाता है (ऊपर देखें), जीपीटी -3 के विकास के साथ पहले से ही एक मुद्दा साबित हुआ है, जिसने भी अपने व्यापक और बहुत महंगे प्रशिक्षण (अंततः यह साबित हुआ कि बेंचमार्क डेटा के प्रभाव को मापकर और बाहर रखकर जीपीटी -3 को पुनः प्रशिक्षित करने से सस्ता था, और स्रोत पत्र ‘नगण्य प्रदर्शन पर प्रभाव’ का दावा करता है) के दौरान गलती से ऐसा डेटा शामिल किया था।

रिपोर्ट निष्कर्ष निकालती है*:

‘हमारे विश्लेषण से पता चलता है कि यह निर्धारित करना कि क्या एक दस्तावेज़ में विषाक्त या अश्लील सामग्री है, एक अधिक सूक्ष्म प्रयास है जो केवल “बुरे” शब्दों का पता लगाने से परे है; नफरतपूर्ण और अश्लील सामग्री नकारात्मक कीवर्ड के बिना व्यक्त की जा सकती है (जैसे कि माइक्रोएग्रेशन, इन्नूएंडो)।

महत्वपूर्ण रूप से, स्पष्ट रूप से “बुरे” शब्दों का अर्थ सामाजिक संदर्भ पर बहुत अधिक निर्भर करता है (जैसे कि अपमानजनकता प्रोसोशल कार्य की सेवा कर सकती है, और जो कुछ शब्द कहता है उसे प्रभावित करता है कि कौन से शब्द कहता है (जैसे कि पुनर्प्राप्त अपमान “न * ग्गा” को एक काले वक्ता द्वारा कहे जाने पर एक सफेद वक्ता द्वारा कहे जाने की तुलना में कम अपमानजनक माना जाता है।

‘हम वेब-क्रॉल्ड डेटा से डेटासेट बनाते समय [ब्लॉकलिस्ट] फिल्टरिंग का उपयोग करने के खिलाफ सलाह देते हैं।’

* मेरा इनलाइन साइटेशन को हाइपरलिंक में बदलना