नए अध्ययन में नफ़रत भरी भाषा का पता लगाने वाले एल्गोरिदम में सुधार का प्रयास किया गया है

सोशल मीडिया कंपनियों, विशेष रूप से ट्विटर, को लंबे समय से आलोचना का सामना करना पड़ा है कि वे भाषा को कैसे चिह्नित करते हैं और किन खातों को प्रतिबंधित करने का फैसला करते हैं। इसके पीछे की समस्या लगभग हमेशा उन एल्गोरिदम से संबंधित होती है जिनका उपयोग वे ऑनलाइन पोस्ट की निगरानी के लिए करते हैं। कृत्रिम बुद्धिमत्ता प्रणाली इस कार्य में परिपूर्ण नहीं हैं, लेकिन उन्हें बेहतर बनाने के लिए लगातार काम किया जा रहा है।

इस काम में साउथर्न कैलिफोर्निया विश्वविद्यालय से एक नया अध्ययन शामिल है जो नस्लीय पूर्वाग्रह के परिणामस्वरूप होने वाली कुछ त्रुटियों को कम करने का प्रयास करता है।

संदर्भ को पहचानने में विफलता

एक मुद्दा जो इतना ध्यान नहीं पाता है, वह उन एल्गोरिदम से संबंधित है जो नफ़रत भरी भाषा के प्रसार को रोकने के लिए हैं, लेकिन वास्तव में नस्लीय पूर्वाग्रह को बढ़ावा देते हैं। यह तब होता है जब एल्गोरिदम संदर्भ को पहचानने में विफल रहते हैं और अल्पसंख्यक समूहों के ट्वीट को झंडा लगा देते हैं या ब्लॉक कर देते हैं।

संदर्भ के संबंध में एल्गोरिदम की सबसे बड़ी समस्या यह है कि वे कुछ समूह-चिह्नित शब्दों जैसे “काला”, “समलैंगिक” और “ट्रांसजेंडर” के प्रति अत्यधिक संवेदनशील होते हैं। एल्गोरिदम इन्हें नफ़रत भरी भाषा वर्गीकारक मानते हैं, लेकिन वे अक्सर इन समूहों के सदस्यों द्वारा उपयोग किए जाते हैं और संदर्भ महत्वपूर्ण होता है।

इस संदर्भ-अंधता की समस्या को हल करने के प्रयास में, शोधकर्ताओं ने एक अधिक संदर्भ-संवेदनशील नफ़रत भरी भाषा वर्गीकारक बनाया। नया एल्गोरिदम एक पोस्ट को गलत तरीके से नफ़रत भरी भाषा के रूप में चिह्नित करने की संभावना कम है।

एल्गोरिदम

शोधकर्ताओं ने दो नए कारकों को ध्यान में रखते हुए नए एल्गोरिदम विकसित किए: समूह पहचानकर्ताओं के संबंध में संदर्भ, और क्या पोस्ट में नफ़रत भरी भाषा की अन्य विशेषताएं भी मौजूद हैं, जैसे कि अमानवीय भाषा।

ब्रेंडन केनेडी एक कंप्यूटर विज्ञान के पीएचडी छात्र और अध्ययन के सह-लेखक हैं, जो 6 जुलाई को ACL 2020 में प्रकाशित हुआ था।

“हम नफ़रत भरी भाषा का पता लगाने को वास्तविक दुनिया में लागू करने के लिए एक कदम आगे बढ़ाना चाहते हैं,” केनेडी ने कहा।

“नफ़रत भरी भाषा का पता लगाने वाले मॉडल अक्सर ‘टूट’ जाते हैं या खराब भविष्यवाणियां करते हैं जब उन्हें वास्तविक दुनिया के डेटा के साथ पेश किया जाता है, जैसे कि सोशल मीडिया या अन्य ऑनलाइन पाठ डेटा, क्योंकि वे प्रशिक्षण डेटा द्वारा पूर्वाग्रहित होते हैं जो सामाजिक पहचानकर्ताओं की उपस्थिति को नफ़रत भरी भाषा से जोड़ते हैं।”

एल्गोरिदम अक्सर असटीक होते हैं क्योंकि वे असंतुलित डेटासेट पर प्रशिक्षित होते हैं जिनमें नफ़रत भरी भाषा की बहुत अधिक दर होती है। इसके कारण, एल्गोरिदम वास्तविक दुनिया में सोशल मीडिया को संभालने के तरीके सीखने में विफल रहते हैं।

प्रोफेसर ज़ियांग प्राकृतिक भाषा प्रसंस्करण में एक विशेषज्ञ हैं।

“यह महत्वपूर्ण है कि मॉडल पहचानकर्ताओं को नजरअंदाज न करें, बल्कि उन्हें सही संदर्भ के साथ मिलाएं,” रेन ने कहा।

“यदि आप एक असंतुलित डेटासेट से एक मॉडल को सिखाते हैं, तो मॉडल अजीब पैटर्न को उठाना शुरू कर देता है और उपयोगकर्ताओं को अनुचित रूप से ब्लॉक करना शुरू कर देता है।”

एल्गोरिदम का परीक्षण करने के लिए, शोधकर्ताओं ने दो सोशल मीडिया साइटों से एक यादृच्छिक पाठ का नमूना लिया जो नफ़रत भरी भाषा की उच्च दर वाली हैं। पाठ को पहले मानव द्वारा पूर्वाग्रहपूर्ण या अमानवीय के रूप में चिह्नित किया गया था। राज्य-ऑफ-द-आर्ट मॉडल को शोधकर्ताओं के अपने मॉडल के खिलाफ अनुचित रूप से गैर-नफ़रत भरी भाषा को चिह्नित करने के लिए 12,500 न्यूयॉर्क टाइम्स के लेखों का उपयोग करके मापा गया था जिनमें नफ़रत भरी भाषा नहीं थी। जबकि राज्य-ऑफ-द-आर्ट मॉडल 77% सटीकता के साथ नफ़रत भरी भाषा और गैर-नफ़रत भरी भाषा की पहचान करने में सक्षम थे, शोधकर्ताओं के मॉडल में 90% सटीकता थी।

“यह काम स्वयं नफ़रत भरी भाषा का पता लगाने को पूर्ण नहीं बनाता है, यह एक बड़ा परियोजना है जिस पर कई लोग काम कर रहे हैं, लेकिन यह क्रमिक प्रगति करता है,” केनेडी ने कहा।

“संरक्षित समूहों के सदस्यों द्वारा सोशल मीडिया पोस्ट को अनुचित रूप से सेंसर किए जाने से रोकने के अलावा, हमें उम्मीद है कि हमारा काम यह सुनिश्चित करने में मदद करेगा कि नफ़रत भरी भाषा का पता लगाने से सामाजिक समूहों के साथ पूर्वाग्रह और अमानवीयता के झूठे संबंधों को मजबूत करने से अनावश्यक नुकसान नहीं होगा।”