جهاز الكشف عن التحيز مدفوع بالذكاء الاصطناعي للقصص الإخبارية، متاح في بايثون

قام باحثون في كندا والهند والصين وأستراليا بالتعاون لإنتاج حزمة بايثون متاحة مجانًا يمكن استخدامها بشكل فعال لتحديد واستبدال “اللغة غير العادلة” في نسخ الأخبار.

النظام، الذي يُطلق عليه اسم Dbias، يستخدم تقنيات التعلم الآلي وتقنيات قواعد البيانات لتطوير تدفق دائري ثلاثي المراحل يمكن تحسين النص المتحيز حتى يعود بنسخة غير متحيزة أو على الأقل أكثر محايدة.

لغة محملة في قصاصة إخبارية تم تحديدها على أنها ‘متحيزة’ يتم تحويلها إلى نسخة أقل إشكالية بواسطة Dbias. مصدر: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

يمثل النظام خط أنابيب معاد تدويره ومحكم الإغلاق يمكن تثبيته عبر Pip من Hugging Face، ودمجه في المشاريع الحالية كمرحلة إضافية أو إضافة أو مكون إضافي.

في أبريل، جاءت وظائف مماثلة تم تنفيذها في وثائق جوجل تحت النقد، لا سيما لعدم وجود تحرير. من ناحية أخرى، يمكن تدريب Dbias بشكل أكثر انتقائية على أي مجموعة من الأخبار التي يرغب المستخدم النهائي في ذلك، مع الحفاظ على القدرة على تطوير إرشادات عادلة مخصصة.

الفرق الحاسم هو أن خط أنابيب Dbias يهدف إلى تحويل اللغة “المحملة” (الكلمات التي تضيف طبقة حرجة إلى الاتصال الواقعي) إلى لغة محايدة أو غير ملحوظة، بدلاً من تعليم المستخدم على أساس مستمر. في الأساس، سيحدد المستخدم النهائي مرشحات أخلاقية ويدرب النظام وفقًا لذلك؛ في نهج وثائق جوجل، يتم تدريب النظام – على ما يبدو – للمستخدم، بطريقة أحادية الجانب.

هندسة Dbias المفاهيمية.

وفقًا للباحثين، Dbias هو أول حزمة قابلة للتكوين لاكتشاف التحيز، على عكس مشاريع التجميع الجاهزة التي تميز هذا الجزء من معالجة اللغة الطبيعية (NLP) حتى الآن.

الورقة الجديدة بعنوان نهج لضمان العدالة في المقالات الإخبارية، ويأتي من مساهمين في جامعة تورونتو وجامعة تورونتو متروبوليتان وإدارة الموارد البيئية في بنغالور وأكاديمية ديب بلو للعلوم في الصين وجامعة سيدني.

الطريقة

الوحدة الأولى في Dbias هي كشف التحيز، التي تستخدم حزمة DistilBERT – وهي نسخة محسنة بشكل كبير من BERT من جوجل. تم تحسين DistilBERT على مجموعة بيانات MBIC للمشروع.

تتكون MBIC من مقالات إخبارية من مصادر إخبارية متنوعة، بما في ذلك The Huffington Post وUSA Today وMSNBC. استخدم الباحثون الإصدار الموسع من مجموعة البيانات.

على الرغم من أن البيانات الأصلية تم تحديدها بواسطة العمال الموزعين (طريقة تعرضت للنقد في أواخر عام 2021)، كان الباحثون في الورقة الجديدة قادرين على تحديد حالات إضافية غير محددة من التحيز في مجموعة البيانات، وتم إضافتها يدوياً. كانت الحالات المحددة من التحيز تتعلق بالعرق والتعليم والعرقية واللغة والدين والجنس.

الوحدة التالية، تحديد التحيز، تستخدم تحديد الكيان المسمى (NER) لتحديد كلمات متحيزة من النص الإدخالي. تنص الورقة على ما يلي:

‘على سبيل المثال، تم تصنيف الخبر “لا تشترِ الدعاية الزائفة العلمية حول الإعصار وتغير المناخ” على أنه متحيز بواسطة وحدة كشف التحيز السابقة، ويمكن لوحدة تحديد التحيز الآن تحديد مصطلح “الدعاية الزائفة العلمية” على أنه كلمة متحيزة.’

NER لم يتم تصميمه خصيصًا لهذه المهمة، ولكن تم استخدامه من قبل لتحديد التحيز، ولا سيما لمشروع 2021 من جامعة دورهام في المملكة المتحدة.

للمرحلة هذه، استخدم الباحثون RoBERTa مع трубة NER للترجمة الإنجليزية SpaCy.

المرحلة التالية، تمويه التحيز، تتضمن قناع متعدد للكلمات المتحيزة المحددة، والتي تعمل بشكل متسلسل في حالة وجود كلمات متحيزة متعددة.

تتم استبدال اللغة المحملة بلغة عملية في المرحلة الثالثة من Dbias. لاحظ أن ‘التحدث’ و ‘استخدام’ يعادلان نفس الإجراء، على الرغم من أن الأول يعتبر تحقيرياً.

عند الضرورة، سيتم إرسال ملاحظات المرحلة هذه إلى بداية الخط الأنابيب للتقويم الإضافي حتى يتم توليد عدد كافٍ من العبارات أو الكلمات البديلة. تستخدم هذه المرحلة نمذجة اللغة المقنعة (MLM) على طول الخطوط التي وضعها تعاون 2021 بقيادة أبحاث فيسبوك.

عادة ما يتم تهميش 15٪ من الكلمات بشكل عشوائي في مهمة MLM، ولكن خط أنابيب Dbias ي告诉 العملية أخذ الكلمات المتحيزة المحددة كإدخال.

تم تنفيذ الهندسة وتدريبها على Google Colab Pro على NVIDIA P100 مع 24GB من VRAM عند حجم.batch من 16، باستخدام فقط两个 علامة (متحيز و غير متحيز).

الاختبارات

تم اختبار Dbias ضد خمسة نهج قابلة للمقارنة: LG-TFIDF مع الانحدار اللوجستي و TfidfVectorizer (TFIDF) تعبئة الكلمات؛ LG-ELMO؛ MLP-ELMO (شبكة عصبونية اصطناعية متعددة الطبقات تحتوي على تعبئة ELMO)؛ BERT؛ و RoBERTa.

الأساليب المستخدمة في الاختبارات كانت الدقة (ACC) و الدقة (PREC) و الاستدعاء (Rec) و درجة F1. نظرًا لأن الباحثين لم يكن لديهم معرفة بأي نظام يمكنه إنجاز جميع المهام الثلاث في خط أنابيب واحد، تم إجراء تنازلات للاطار التنافسي، عن طريق تقييم مهام Dbias الرئيسية فقط – كشف التحيز و تحديده.

نتائج تجارب Dbias.

نجح Dbias في تجاوز النتائج من جميع الإطارات التنافسية، بما في ذلك تلك التي لها بصمة معالجة أثقل

تنص الورقة على ما يلي:

‘النتيجة أيضًا تظهر أن التضمين العصبي العميق يمكن أن يؤدي بشكل أفضل من أساليب التضمين التقليدية (مثل TFIDF) في مهمة تصنيف التحيز. هذا هو ما يُظهره الأداء الأفضل لتضمين الشبكات العصبية العميقة (أي ELMO) مقارنةً بتضمين TFIDF عند استخدامه مع LG. ‘

‘هذا ربما يكون بسبب قدرة التضمين العميق على التقاط السياق للكلمات في النص في سياقات مختلفة. التضمين العميق والأساليب العميقة (MLP و BERT و RoBERTa) تؤدي أيضًا بشكل أفضل من الأساليب التقليدية (LG). ‘

يلاحظ الباحثون أيضًا أن الأساليب القائمة على Transformer تتفوق على الأساليب التنافسية في كشف التحيز.

شمل الاختبار الإضافي مقارنة بين Dbias و各种 نكهات من SpaCy Core Web، بما في ذلك core-sm (صغير) و core-md (متوسط) و core-lg (كبير). تمكنت Dbias من قيادة اللوحة أيضًا في هذه التجارب:

يخلص الباحثون إلى أن مهام تحديد التحيز تظهر عادةً دقة أفضل في النماذج الأكبر والأكثر تكلفة، بسبب – كما يفترضون – زيادة عدد المعاملات والنقاط البيانية. كما يلاحظون أن فعالية العمل المستقبلي في هذا المجال سوف تعتمد على الجهود المتزايدة لتحديد مجموعات بيانات عالية الجودة.

الغابة والشجيرات

من المحتمل أن يتم دمج هذا النوع من مشاريع تحديد التحيز الدقيق في إطارات بحث التحيز القادرة على اتخاذ نظرة أقل انكماشًا، ومراعاة أن اختيار تغطية أي قصة معينة هو في حد ذاته عمل متحيز قد يكون مدفوعًا بأكثر من إحصاءات المشاهدة المبلغ عنها.

نشر لأول مرة في 14 يوليو 2022.