Anderson का एंगल

समाचार लेखों में पक्षपात जाँचने वाला AI उपकरण, Python में उपलब्ध

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुDbias समाचार लेखों के लिए पहला कॉन्फ़िगरेबल पूर्वाग्रह पहचान पैकेज है।
और देखें
  • Dbias समाचार लेखों के लिए पहला कॉन्फ़िगरेबल पूर्वाग्रह पहचान पैकेज है।
  • पाइपलाइन उपयोगकर्ताओं को प्रशिक्षित करने के बजाय लोड की गई भाषा को स्वचालित रूप से तटस्थ पाठ में बदल देती है।
  • Dbias ने पूर्वाग्रह पहचान में BERT और RoBERTa सहित सभी प्रतिस्पर्धी फ्रेमवर्क को पीछे छोड़ दिया।

कैनेडा, भारत, चीन और ऑस्ट्रेलिया के शोधकर्ताओं ने मिलकर एक मुफ्त पाइथन पैकेज तैयार किया है जो समाचार लेखों में ‘अनुचित भाषा’ को पहचानने और बदलने के लिए प्रभावी ढंग से उपयोग किया जा सकता है।

सिस्टम, जिसे Dbias कहा जाता है, विभिन्न मशीन लर्निंग प्रौद्योगिकियों और डेटाबेस का उपयोग करके एक तीन-चरण वाले चक्रीय कार्यप्रवाह को विकसित करता है जो पक्षपातपूर्ण पाठ को परिष्कृत कर सकता है जब तक कि यह एक गैर-पक्षपातपूर्ण, या कम से कम अधिक तटस्थ संस्करण वापस नहीं कर देता।

समाचार अंश में मूल्यांकनात्मक भाषा 'पक्षपातपूर्ण' के रूप में पहचानी जाती है और उसे Dbias द्वारा एक कम भड़काऊ संस्करण में बदल दिया जाता है। स्रोत: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

समाचार अंश में मूल्यांकनात्मक भाषा ‘पक्षपातपूर्ण’ के रूप में पहचानी जाती है और उसे Dbias द्वारा एक कम भड़काऊ संस्करण में बदल दिया जाता है। स्रोत: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

यह सिस्टम दोबारा इस्तेमाल की जा सकने वाली एक स्वतंत्र पाइपलाइन है। इसे Pip के माध्यम से स्थापित किया जा सकता है। यह Hugging Face से उपलब्ध है और मौजूदा परियोजनाओं में एक पूरक चरण, ऐड-ऑन या प्लगइन के रूप में एकीकृत किया जा सकता है।

अप्रैल में, समान कार्यक्षमता जो गूगल डॉक्स में लागू की गई थी, आलोचना के अधीन आई, खासकर इसकी संपादन की कमी के लिए। Dbias, दूसरी ओर, उपयोगकर्ता के चुने हुए किसी भी समाचार पाठ-संग्रह पर चुनिंदा रूप से प्रशिक्षित किया जा सकता है और इसमें अपनी जरूरतों के अनुरूप निष्पक्षता के दिशानिर्देश बनाने की क्षमता बनी रहती है।

महत्वपूर्ण अंतर यह है कि Dbias पाइपलाइन का उद्देश्य स्वचालित रूप से ‘मूल्यांकनात्मक भाषा’ (ऐसे शब्द जो तथ्यात्मक संचार में आलोचनात्मक या मूल्यांकनात्मक रंग जोड़ते हैं) को तटस्थ या साधारण भाषा में बदलना है, न कि उपयोगकर्ता को लगातार निर्देश देने के लिए। मूल रूप से, अंतिम उपयोगकर्ता नैतिक फिल्टर परिभाषित करेगा और प्रणाली को उसी के अनुसार प्रशिक्षित करेगा; गूगल डॉक्स दृष्टिकोण में, ऐसा तर्क दिया जा सकता है कि प्रणाली उपयोगकर्ता को एकतरफा तरीके से प्रशिक्षित कर रही है।

Dbias कार्यप्रवाह के लिए अवधारणात्मक वास्तुकला।

Dbias कार्यप्रवाह के लिए अवधारणात्मक वास्तुकला।

शोधकर्ताओं के अनुसार, Dbias वास्तव में पहला विन्यास योग्य पक्षपात पता लगाने वाला पैकेज है, जो इस प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के उप-क्षेत्र में अब तक के ऑफ-द-शेल्फ असेंबली परियोजनाओं के विपरीत है।

नया पत्र समाचार लेखों में न्यायसंगतता सुनिश्चित करने के लिए एक दृष्टिकोण शीर्षक से है, और टोरंटो विश्वविद्यालय, टोरंटो मेट्रोपोलिटन विश्वविद्यालय, बैंगलोर स्थित Environmental Resources Management, चीन में डीपब्लू एकेडमी ऑफ साइंसेज और सिडनी विश्वविद्यालय के योगदानकर्ताओं से आया है।

विधि

Dbias में पहला मॉड्यूल पक्षपात पता लगाना है, जो DistilBERT पैकेज का लाभ उठाता है – गूगल के काफी मशीन-गहन BERT का एक अत्यधिक अनुकूलित संस्करण। परियोजना के लिए, DistilBERT को मीडिया बायस एनोटेशन (एमबीआईसी) डेटासेट पर अतिरिक्त प्रशिक्षण देकर अनुकूलित किया गया था।

एमबीआईसी विभिन्न मीडिया स्रोतों से समाचार लेखों का एक संग्रह है, जिनमें हफिंगटन पोस्ट, यूएसए टुडे और एमएसएनबीसी शामिल हैं। शोधकर्ताओं ने डेटासेट के विस्तारित संस्करण का उपयोग किया।

हालांकि मूल डेटा को भीड़ से सोर्स किए गए कार्यकर्ताओं (एक विधि जो 2021 के अंत में आलोचना के अधीन आई) द्वारा एनोटेट किया गया था, नए पत्र के शोधकर्ता डेटासेट में पक्षपात के अतिरिक्त अनलेबल्ड उदाहरणों की पहचान करने में सक्षम थे और उन्हें मैनुअल रूप से जोड़ा। पहचाने गए पक्षपात के मामले जाति, शिक्षा, जातीयता, भाषा, धर्म और लिंग से संबंधित थे।

अगला मॉड्यूल, पक्षपात की पहचान, नामित इकाई पहचान (एनईआर) का उपयोग करके पक्षपातपूर्ण शब्दों को इनपुट पाठ से अलग करता है। पत्र में कहा गया है:

‘उदाहरण के लिए, समाचार “टॉरनेडो और जलवायु परिवर्तन के बारे में छद्म-वैज्ञानिक प्रचार पर विश्वास न करें” को पहले पक्षपात पता लगाने वाले मॉड्यूल द्वारा पक्षपातपूर्ण के रूप में वर्गीकृत किया गया है, और पक्षपात की पहचान मॉड्यूल “छद्म-वैज्ञानिक हाइप” शब्द को एक पक्षपातपूर्ण शब्द के रूप में पहचान सकता है।’

NER विशेष रूप से इस कार्य के लिए डिज़ाइन नहीं किया गया है, लेकिन पहले पक्षपात पहचान के लिए उपयोग किया गया है, विशेष रूप से 2021 की परियोजना के लिए डरहम विश्वविद्यालय, यूके से।

इस चरण के लिए, शोधकर्ताओं ने RoBERTa का उपयोग किया, जो SpaCy अंग्रेजी ट्रांसफॉर्मर एनईआर पाइपलाइन के साथ जुड़ा हुआ है।

अगला चरण, पक्षपात मास्किंग, पहचाने गए पक्षपातपूर्ण शब्दों के को कई मास्क से छिपाने का एक नया तरीका इस्तेमाल करता है, जो क्रमिक रूप से कई पहचाने गए पक्षपातपूर्ण शब्दों के मामलों में काम करता है।

Dbias के तीसरे चरण में मूल्यांकनात्मक भाषा को व्यावहारिक भाषा में बदल दिया जाता है। ध्यान दें कि 'माउथिंग' और 'उपयोग' एक ही क्रिया के बराबर हैं, हालांकि पूर्ववाला अपमानजनक माना जाता है।

Dbias के तीसरे चरण में मूल्यांकनात्मक भाषा को व्यावहारिक भाषा में बदल दिया जाता है। ध्यान दें कि ‘माउथिंग’ और ‘उपयोग’ एक ही क्रिया के बराबर हैं, हालांकि पूर्ववाला अपमानजनक माना जाता है।

जैसा कि आवश्यक हो, इस चरण से प्रतिक्रिया पाइपलाइन की शुरुआत में आगे के मूल्यांकन के लिए वापस भेजी जाएगी ताकि वैकल्पिक शब्दों या वाक्यांशों के एक उपयुक्त समूह का उत्पादन हो सके। इस चरण में मास्क्ड लैंग्वेज मॉडलिंग (एमएलएम) का उपयोग किया जाता है, जो 2021 के सहयोग में Facebook Research के नेतृत्व में स्थापित रूपरेखा का अनुसरण करता है।

आम तौर पर, एमएलएम कार्य 15% शब्दों को यादृच्छिक रूप से मास्क करता है, लेकिन Dbias कार्यप्रवाह प्रक्रिया को पहचाने गए पक्षपातपूर्ण शब्दों को इनपुट के रूप में लेने के लिए कहता है।

सिस्टम का निर्माण और प्रशिक्षण Google Colab Pro पर NVIDIA (NVDA ) P100 के साथ किया गया। इसमें 24GB VRAM और 16 का बैच आकार था, केवल दो लेबल (पक्षपातपूर्ण और गैर-पक्षपातपूर्ण) का उपयोग किया गया था।

परीक्षण

शोधकर्ताओं ने Dbias का परीक्षण पांच तुलनात्मक दृष्टिकोणों के खिलाफ किया: एलजी-टीएफआईडीएफ के साथ लॉजिस्टिक रिग्रेशन और टीएफआईडीवेक्टराइज़र (टीएफआईडीएफ) शब्द एम्बेडिंग; LG-ELMO; MLP-ELMO (एक फीड-फॉरवर्ड आर्टिफिशियल न्यूरल नेटवर्क जिसमें ELMO एम्बेडिंग है); बीईआरटी; और रोबेर्टा।

परीक्षणों के लिए उपयोग किए गए मेट्रिक्स में समग्र शुद्धता (ACC), परिशुद्धता (PREC), रिकॉल (रिक) और एफ1 स्कोर शामिल थे। चूंकि शोधकर्ताओं को किसी भी मौजूदा प्रणाली के बारे में कोई ज्ञान नहीं था जो एक ही पाइपलाइन में तीनों कार्य कर सकती है, प्रतिस्पर्धी फ्रेमवर्क के लिए छूट दी गई, Dbias के प्राथमिक कार्यों – पक्षपात का पता लगाना और पक्षपातपूर्ण शब्दों की पहचान – का मूल्यांकन किया गया।

Dbias परीक्षणों के परिणाम।

Dbias परीक्षणों के परिणाम।

Dbias ने प्रतिस्पर्धी फ्रेमवर्क से बेहतर परिणाम हासिल किए, जिनमें भारी प्रसंस्करण फुटप्रिंट वाले भी शामिल हैं।

पत्र में कहा गया है:

‘परिणाम यह भी दिखाता है कि गहरे तंत्रिका नेटवर्क एम्बेडिंग सामान्य रूप से पक्षपात वर्गीकरण कार्य में पारंपरिक एम्बेडिंग विधियों (जैसे TFIDF) से बेहतर प्रदर्शन कर सकती हैं। यह एलजी के साथ उपयोग किए जाने पर टीएफआईडीएफ वेक्टरीकरण की तुलना में गहरे तंत्रिका नेटवर्क एम्बेडिंग (अर्थात ELMO) के बेहतर प्रदर्शन से दिखाया गया है। ‘

‘यह शायद इसलिए है क्योंकि गहरे तंत्रिका एम्बेडिंग विभिन्न संदर्भों में पाठ में शब्दों के संदर्भ को बेहतर ढंग से पकड़ सकती है। गहरे तंत्रिका एम्बेडिंग और गहरे तंत्रिका विधियां (एमएलपी, बीईआरटी, रोबेर्टा) भी पारंपरिक एमएल विधि (एलजी) की तुलना में बेहतर प्रदर्शन करती हैं। ‘

शोधकर्ताओं ने यह भी नोट किया कि ट्रांसफॉर्मर-आधारित विधियां पक्षपात पता लगाने में प्रतिस्पर्धी विधियों से बेहतर प्रदर्शन करती हैं।

एक अतिरिक्त परीक्षण में Dbias और विभिन्न स्पेसी कोर वेब संस्करणों के बीच तुलना की गई, जिनमें कोर-स्म (छोटा), कोर-मीड (मध्यम) और कोर-लार्ज (बड़ा) शामिल थे। Dbias इन परीक्षणों में भी सबसे अच्छे नतीजे हासिल करने में सक्षम था:

शोधकर्ताओं ने निष्कर्ष निकाला कि पक्षपात की पहचान कार्य आमतौर पर बड़े और अधिक महंगे मॉडल में बेहतर सटीकता दिखाते हैं, जो – वे अनुमान लगाते हैं – पैरामीटर और डेटा बिंदुओं की बढ़ी हुई संख्या के कारण है। वे यह भी देखते हैं कि इस क्षेत्र में भविष्य के कार्य की प्रभावशीलता उच्च गुणवत्ता वाले डेटासेट को एनोटेट करने के लिए बड़े प्रयासों पर निर्भर करेगी।

वन और पेड़

आशा है कि इस तरह की बारीकी से पक्षपात की पहचान परियोजना को अंततः उन पक्षपात-खोज फ्रेमवर्क में शामिल किया जाएगा जो अधिक व्यापक दृष्टिकोण अपना सकते हैं और यह ध्यान में रख सकते हैं कि किसी विशेष कहानी को कवर करने का चयन करना स्वयं एक पक्षपातपूर्ण कार्य है जो केवल रिपोर्ट किए गए दर्शक आँकड़ों से अधिक से प्रेरित हो सकता है।

 

पहली बार 14 जुलाई 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai