زاوية Anderson

أداة ذكاء اصطناعي للتحقق من التحيز في المقالات الإخبارية متاحة بلغة Python

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةDbias هي أول حزمة قابلة للتكوين لاكتشاف التحيز في المقالات الإخبارية.
عرض المزيد
  • Dbias هي أول حزمة قابلة للتكوين لاكتشاف التحيز في المقالات الإخبارية.
  • تقوم سير العمل تلقائيًا بتحويل اللغة المحملة إلى نص محايد بدلاً من تدريب المستخدمين.
  • تفوقت Dbias على جميع الأطر المنافسة بما في ذلك BERT وRoBERTa في اكتشاف التحيز.

قام باحثون في كندا والهند والصين وأستراليا بالتعاون لإنتاج حزمة بايثون متاحة مجانًا يمكن استخدامها بشكل فعال لتحديد واستبدال “اللغة غير العادلة” في نصوص الأخبار.

النظام، الذي يُطلق عليه اسم Dbias، يستخدم تقنيات التعلم الآلي وتقنيات قواعد البيانات لتطوير تدفق دائري ثلاثي المراحل يمكنه تحسين النص المتحيز حتى يعود بنسخة غير متحيزة أو على الأقل أكثر محايدة.

لغة مشحونة بالأحكام في قصاصة إخبارية تم تحديدها على أنها 'متحيزة' يتم تحويلها إلى نسخة أقل إثارة للاستفزاز بواسطة Dbias. مصدر: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

لغة مشحونة بالأحكام في قصاصة إخبارية تم تحديدها على أنها ‘متحيزة’ يتم تحويلها إلى نسخة أقل إثارة للاستفزاز بواسطة Dbias. مصدر: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

يمثل النظام مسار معالجة قابل لإعادة الاستخدام ومكتفٍ بذاته يمكن تثبيته عبر Pip من Hugging Face، ودمجه في المشاريع الحالية كمرحلة إضافية أو إضافة أو مكون إضافي.

في أبريل، جاءت وظائف مماثلة تم تنفيذها في وثائق جوجل موضع انتقاد، لا سيما لعدم إمكانية تعديلها. من ناحية أخرى، يمكن تدريب Dbias بشكل أكثر انتقائية على أي مجموعة نصوص إخبارية يختارها المستخدم النهائي، مع الحفاظ على القدرة على تطوير إرشادات عادلة مخصصة.

الفرق الحاسم هو أن خط أنابيب Dbias يهدف إلى تحويل اللغة “المشحونة بالأحكام” (الكلمات التي تضيف نبرة تقييمية إلى نقل الحقائق) إلى لغة محايدة أو عادية، بدلاً من تعليم المستخدم على أساس مستمر. في الأساس، سيحدد المستخدم النهائي مرشحات أخلاقية ويدرب النظام وفقًا لذلك؛ في نهج وثائق جوجل، يمكن القول إن النظام هو من يدرب المستخدم من جانب واحد.

هندسة Dbias المفاهيمية.

هندسة Dbias المفاهيمية.

وفقًا للباحثين، Dbias هو أول برنامج يُقدَّم كحزمة قابلة للتخصيص فعلًا لاكتشاف التحيز، على عكس مشاريع التجميع الجاهزة التي تميز هذا الجزء من معالجة اللغة الطبيعية (NLP) حتى الآن.

الورقة الجديدة بعنوان نهج لضمان العدالة في المقالات الإخبارية، وقد أعدها باحثون في جامعة تورونتو وجامعة تورونتو متروبوليتان وشركة Environmental Resources Management في بنغالور وأكاديمية ديب بلو للعلوم في الصين وجامعة سيدني.

الطريقة

الوحدة الأولى في Dbias هي كشف التحيز، التي تستخدم حزمة DistilBERT – وهي نسخة محسنة بدرجة كبيرة من نموذج جوجل الذي يتطلب موارد حوسبة كبيرة نسبيًا، BERT من جوجل. خضع DistilBERT لضبط إضافي على مجموعة بيانات وسم التحيز الإعلامي (MBIC) للمشروع.

تتكون MBIC من مقالات إخبارية من مصادر إخبارية متنوعة، بما في ذلك The Huffington Post وUSA Today وMSNBC. استخدم الباحثون الإصدار الموسع من مجموعة البيانات.

على الرغم من أن البيانات الأصلية وُسمت بواسطة عاملين عبر التعهيد الجماعي (طريقة تعرضت للنقد في أواخر عام 2021)، كان الباحثون في الورقة الجديدة قادرين على تحديد حالات إضافية من التحيز لم تكن موسومة في مجموعة البيانات، وتم إضافتها يدوياً. كانت الحالات المحددة من التحيز تتعلق بالعرق والتعليم والعرقية واللغة والدين والجنس.

الوحدة التالية، تحديد التحيز، تستخدم التعرف على الكيانات المسماة (NER) لتحديد كلمات متحيزة من النص الإدخالي. تنص الورقة على ما يلي:

‘على سبيل المثال، تم تصنيف الخبر “لا تنخدع بالتهويل العلمي الزائف حول الإعصار وتغير المناخ” على أنه متحيز بواسطة وحدة كشف التحيز السابقة، ويمكن لوحدة تحديد التحيز الآن تحديد مصطلح “التهويل العلمي الزائف” على أنه كلمة متحيزة.’

NER لم يتم تصميمه خصيصًا لهذه المهمة، ولكن تم استخدامه من قبل لتحديد التحيز، ولا سيما لمشروع 2021 من جامعة دورهام في المملكة المتحدة.

للمرحلة هذه، استخدم الباحثون RoBERTa مع مسار SpaCy English Transformer NER.

المرحلة التالية، تمويه التحيز، تتضمن أسلوبًا جديدًا يستخدم أقنعة متعددة للكلمات المتحيزة التي تم تحديدها، والتي تعمل بشكل متسلسل في حالة وجود كلمات متحيزة متعددة.

تُستبدل اللغة المشحونة بالأحكام بلغة عملية في المرحلة الثالثة من Dbias. لاحظ أن 'mouthing' و 'using' يعادلان نفس الإجراء، على الرغم من أن الأول يعتبر تحقيرياً.

تُستبدل اللغة المشحونة بالأحكام بلغة عملية في المرحلة الثالثة من Dbias. لاحظ أن ‘mouthing’ و ‘using’ يعادلان نفس الإجراء، على الرغم من أن الأول يعتبر تحقيرياً.

عند الضرورة، سيتم إرسال ملاحظات المرحلة هذه إلى بداية الخط الأنابيب للتقويم الإضافي حتى يتم توليد عدد كافٍ من العبارات أو الكلمات البديلة. تستخدم هذه المرحلة نمذجة اللغة مع إخفاء الكلمات (MLM) وفق النهج الذي وضعه تعاون 2021 بقيادة أبحاث فيسبوك.

عادة ما يتم إخفاء 15٪ من الكلمات بشكل عشوائي في مهمة MLM، ولكن خط أنابيب Dbias يوجه العملية إلى أخذ الكلمات المتحيزة المحددة كإدخال.

تم تنفيذ الهندسة وتدريبها على Google Colab Pro على NVIDIA (NVDA ) P100 مع 24GB من VRAM عند حجم دفعة يبلغ 16، باستخدام وسمين فقط (متحيز و غير متحيز).

الاختبارات

تم اختبار Dbias ضد خمسة نهج قابلة للمقارنة: LG-TFIDF مع الانحدار اللوجستي و TfidfVectorizer (TFIDF) تضمينات الكلمات؛ LG-ELMO؛ MLP-ELMO (شبكة عصبية اصطناعية ذات تغذية أمامية تحتوي على تضمينات ELMO)؛ BERT؛ و RoBERTa.

مقاييس الاختبارات كانت نسبة التصنيف الصحيح (ACC) والإحكام (PREC) و الاستدعاء (Rec) و درجة F1. نظرًا لأن الباحثين لم يكن لديهم معرفة بأي نظام يمكنه إنجاز جميع المهام الثلاث في خط أنابيب واحد، تم إجراء تنازلات للاطار التنافسي، عن طريق تقييم مهام Dbias الرئيسية فقط – كشف التحيز و تحديده.

نتائج تجارب Dbias.

نتائج تجارب Dbias.

نجح Dbias في تجاوز النتائج من جميع الإطارات التنافسية، بما في ذلك تلك التي لها بصمة معالجة أثقل

تنص الورقة على ما يلي:

‘النتيجة أيضًا تظهر أن التضمين العصبي العميق يمكن أن يؤدي بشكل أفضل من أساليب التضمين التقليدية (مثل TFIDF) في مهمة تصنيف التحيز. هذا هو ما يُظهره الأداء الأفضل لتضمين الشبكات العصبية العميقة (أي ELMO) مقارنةً بتضمين TFIDF عند استخدامه مع LG. ‘

‘هذا ربما يكون بسبب قدرة التضمين العميق على التقاط السياق للكلمات في النص في سياقات مختلفة. التضمين العميق والأساليب العميقة (MLP و BERT و RoBERTa) تؤدي أيضًا بشكل أفضل من الأساليب التقليدية (LG). ‘

يلاحظ الباحثون أيضًا أن الأساليب القائمة على Transformer تتفوق على الأساليب التنافسية في كشف التحيز.

شمل الاختبار الإضافي مقارنة بين Dbias وإصدارات مختلفة من SpaCy Core Web، بما في ذلك core-sm (صغير) و core-md (متوسط) و core-lg (كبير). تمكنت Dbias من تحقيق أفضل النتائج أيضًا في هذه التجارب:

يخلص الباحثون إلى أن مهام تحديد التحيز تظهر عادةً دقة أفضل في النماذج الأكبر والأكثر تكلفة، بسبب – كما يفترضون – زيادة عدد المعاملات والنقاط البيانية. كما يلاحظون أن فعالية العمل المستقبلي في هذا المجال سوف تعتمد على بذل جهد أكبر لوسم مجموعات بيانات عالية الجودة.

الغابة والأشجار

نأمل أن يتم دمج هذا النوع من مشاريع تحديد التحيز الدقيق في إطارات بحث التحيز القادرة على اتخاذ نظرة أقل انكماشًا، ومراعاة أن اختيار تغطية أي قصة معينة هو في حد ذاته عمل متحيز قد يكون مدفوعًا بأكثر من إحصاءات المشاهدة المبلغ عنها.

 

نشر لأول مرة في 14 يوليو 2022.

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai