دراسة جديدة تحاول تحسين خوارزميات الكشف عن خطاب الكراهية

تواجه شركات وسائل الإعلام الاجتماعية، و特别 تويتر، انتقادات منذ فترة طويلة حول كيفية وضع علامات على الخطاب و決定 حسابات يجب حظرها. والproblem الأساسي几乎 دائمًا يتعلق بالخوارزميات التي تستخدمها لمراقبة المنشورات عبر الإنترنت. ونظم الذكاء الاصطناعي بعيدة عن الكمال في هذا المهمة، ولكن هناك عمل دائم لتحسينها.

يتم تضمين هذا العمل في دراسة جديدة من جامعة جنوب كاليفورنيا التي تحاول تقليل بعض الأخطاء التي قد تؤدي إلى تحيز عرقي.

فشل التعرف على السياق

من القضايا التي لا تلقى اهتمامًا كبيرًا هي أن الخوارزميات التي تهدف إلى وقف انتشار خطاب الكراهية في الواقع تعزز التحيز العرقي. يحدث هذا عندما تفشل الخوارزميات في التعرف على السياق وتنتهي بتعليم أو حظر التغريدات من مجموعات الأقليات.

أعلى مشكلة مع الخوارزميات فيما يتعلق بالسياق هي أنها حساسة بشكل مفرط لبعض المصطلحات التي تحدد المجموعة مثل “أسود” و “مثلي الجنس” و “متحول جنسيا”. تعتبر الخوارزميات هذه مصنفات خطاب الكراهية، ولكنها غالبًا ما تستخدم من قبل أفراد تلك المجموعات والسياق مهم.

في محاولة ل解决 هذه القضية من عمى السياق، أنشأ الباحثون مصنفًا أكثر حساسية للسياق لخطاب الكراهية. الخوارزمية الجديدة أقل عرضة لتحديد علامة خاطئة على المنشور كخطاب كراهية.

الخوارزمية

طور الباحثون الخوارزميات الجديدة مع مراعاة عاملين جديدين: السياق فيما يتعلق بمحددات المجموعة، و是否 هناك أيضًا ميزات أخرى لخطاب الكراهية موجودة في المنشور، مثل لغة التخفيض.

بريندان كينيدي هو طالب دكتوراه في علوم الحاسوب وشارك في قيادة الدراسة، التي نُشرت في 6 يوليو في ACL 2020.

“نريد أن نقرب الكشف عن خطاب الكراهية من أن يكون جاهزًا للتطبيق في العالم الحقيقي”، قال كينيدي.

“نماذج الكشف عن خطاب الكراهية غالبًا ما “تتكسّر” أو تنتج تنبؤات سيئة عندما يتم تقديمها إلى بيانات العالم الحقيقي، مثل وسائل الإعلام الاجتماعية أو بيانات النص الأخرى عبر الإنترنت، لأنها متحيزة من قبل البيانات التي تم تدريبها على ربط مظهر المصطلحات التي تحدد المجموعة الاجتماعية بخطاب الكراهية.”

السبب في أن الخوارزميات غالبًا ما تكون غير دقيقة هو أنها تم تدريبها على مجموعات بيانات غير متوازنة مع معدلات عالية جدًا لخطاب الكراهية. بسبب ذلك، تفشل الخوارزميات في تعلم كيفية التعامل مع ما تبدو عليه وسائل الإعلام الاجتماعية في العالم الحقيقي.

الأستاذ شيانغ هو خبير في معالجة اللغة الطبيعية.

“من المهم للمodels عدم تجاهل المحددات، ولكن مطابقةها مع السياق الصحيح”، قال رين.

“إذا قمت بتعليم نموذج من مجموعة بيانات غير متوازنة، يبدأ النموذج في التقاط أنماط غريبة و-blocking مستخدمين بشكل غير مناسب.”

لتحديد الخوارزمية، استخدم الباحثون عينة عشوائية من النص من两个 موقع إعلام اجتماعي يمتلكان معدلًا عاليًا لخطاب الكراهية. تم وضع علامة على النص يدويًا من قبل البشر على أنه متحيز أو مخفض. تم قياس نموذج الدولة الفنية ضد نموذج الباحثين لتعليم خطاب غير كراهية بشكل غير مناسب، من خلال استخدام 12,500 مقال من صحيفة نيويورك تايمز بدون خطاب كراهية موجود. بينما تمكنت نماذج الدولة الفنية من تحقيق دقة 77٪ في تحديد خطاب الكراهية مقابل غير خطاب الكراهية، كان نموذج الباحثين أعلى عند 90٪.

“هذا العمل من تلقاء نفسه لا يجعلكشف خطاب الكراهية مثاليًا، ذلك مشروع ضخم يعمل عليه الكثير، لكنه يجعل التقدم المتزايد”، قال كينيدي.

“فيما يضاف إلى منع منشورات وسائل الإعلام الاجتماعية من قبل أعضاء المجموعات المحمية من الرقابة بشكل غير مناسب، نأمل أن يساعد عملنا في ضمان أن الكشف عن خطاب الكراهية لا يلحق ضررًا غير ضروري من خلال تعزيز الارتباطات الزائفة للتحيز والتخفيض مع المجموعات الاجتماعية.”