إنشاء وتحديد الدعاية باستخدام التعلم الآلي

يقدم بحث جديد من الولايات المتحدة وقطر طريقة جديدة لتحديد الأخبار الكاذبة التي كتبها البشر بالطريقة التي يكتبون بها عادة الأخبار الكاذبة – عن طريق دمج العبارات غير الدقيقة في سياق معظم المعلومات الصحيحة ، واستخدام تقنيات الدعاية الشائعة مثل الاستئناف إلى السلطة و اللغة المحملة.

أدى المشروع إلى إنشاء مجموعة بيانات جديدة لتحديد الأخبار الكاذبة تدعى PropaNews ، والتي تدمج هذه التقنيات. وجد مؤلفو الدراسة أن الكاشفات المدربة على مجموعة البيانات الجديدة أكثر دقة بنسبة 7.3-12٪ في الكشف عن معلومات خاطئة مكتوبة من قبل الإنسان مقارنة بالمناهج السابقة الأكثر تقدمًا.

من الورقة الجديدة ، أمثلة على ‘الاستئناف إلى السلطة’ و ‘اللغة المحملة’. Source: https://arxiv.org/pdf/2203.05386.pdf

يزعم المؤلفون أن هذا المشروع هو الأول الذي يدمج تقنيات الدعاية (بدلاً من عدم الدقة الواضحة) في أمثلة النصوص المولدة بالآلة المخصصة لإطعام كاشفات الأخبار الكاذبة.

يعتقد معظم الأعمال الحديثة في هذا المجال أنهم درّسوا التحيز ، أو أعادوا صياغة بيانات “الدعاية” في سياق التحيز (ربما لأن التحيز أصبح قطاعًا قابلًا للتمويل بشكل كبير في مجال التعلم الآلي في عصر ما بعد Analytica).

يصر المؤلفون على ما يلي:

‘على عكس ذلك ، فإن عملنا يولد أخبارًا كاذبة عن طريق دمج تقنيات الدعاية والحفاظ على معظم المعلومات الصحيحة. وبالتالي ، فإن我们的 نهج أكثر ملاءمة لدراسة الدفاع ضد الأخبار الكاذبة المكتوبة من قبل البشر.’

ويوضحون أيضًا الحاجة المتزايدة إلى تقنيات الكشف عن الدعاية الأكثر تطورًا *:

‘المعلومات الخاطئة المكتوبة من قبل الإنسان ، والتي غالبًا ما تستخدم لتحريض السكان المعينين ، كان لها تأثير مدمر على أحداث متعددة ، مثل انتخابات الرئاسة الأمريكية عام 2016 ، بريكست ، جائحة كوفيد-19 ، والهجوم الأخير على أوكرانيا من قبل روسيا. وبالتالي ، نحن في حاجة ملحة إلى آلية دفاع ضد المعلومات الخاطئة المكتوبة من قبل الإنسان.’

الورقة بعنوان تزييف الأخبار الكاذبة لتحديد الأخبار الكاذبة الحقيقية: إنشاء بيانات تدريب محملة بالدعاية ، ويأتي من خمسة باحثين من جامعة إلينوي في أوربانا-شامبين ، وجامعة كولومبيا ، وجامعة حمد بن خليفة في قطر ، وجامعة واشنطن ، ومعهد ألين للذكاء الاصطناعي.

تحديد عدم الصحة

تتمثل تحدي量 الدعاية إلى حد كبير في جانب لوجستي: من المكلف للغاية توظيف أشخاص لتحديد المواد الحقيقية ذات سمات الدعاية وتحديدها في مجموعة بيانات تدريب ، ومن المحتمل أن يكون استخراج واستخدام الميزات عالية المستوى أقل تكلفة ويمكن أن تعمل على “بيانات غير مرئية” في المستقبل.

في خدمة حل أكثر مرونة ، جمع الباحثون في البداية مقالات معلومات خاطئة من مصادر إخبارية تعتبر منخفضة الدقة ، عبر موقع Media Bias Fact Check.

وجدوا أن 33٪ من المقالات التي تمت دراستها استخدمت تقنيات دعاية غير صادقة ، بما في ذلك المصطلحات التي تثير العواطف ، الأخطاء المنطقية ، و الاستئناف إلى السلطة. كما احتوت 55٪ إضافية من المقالات على معلومات غير دقيقة مخلوطة مع معلومات دقيقة.

إنشاء الاستئناف إلى السلطة

يوجد لنهج “الاستئناف إلى السلطة” استخدامان: الاستشهاد بالبيانات غير الدقيقة ، والاستشهاد بالبيانات الخيالية تمامًا. يركز البحث على الحالة الثانية.

من المشروع الجديد ، يحدد إطار الاستدلال اللغوي الطبيعي RoBERTa مثالين إضافيين للاستئناف إلى السلطة واللغة المحملة.

بغرض إنشاء دعاية مولدة بالآلة لمجموعة البيانات الجديدة ، استخدم الباحثون الهيكل المسبق للتعلم من النص إلى النص BART لتحديد الجمل البارزة التي يمكن تعديلها لاحقًا إلى دعاية. منذ عدم وجود مجموعة بيانات عامة متاحة تتعلق بهذه المهمة ، استخدم المؤلفون نموذج تلخيص استخراجي مقترح في عام 2019 لتقييم جودة الجملة.

对于 كل مقال من كل جهة إخبارية تمت دراستها ، استبدل الباحثون هذه الجمل “المحددة” بالحجج الزائفة من “السلطات” المستمدة من خدمة استعلام Wikidata ومن السلطات المذكورة في المقالات (أي الأشخاص والمنظمات).

إنشاء اللغة المحملة

تتضمن اللغة المحملة الكلمات ، غالبًا ما تكون أضافات وأصفار مثيرة (كما هو موضح في المثال الموضح أعلاه) ، التي تحتوي على أحكام قيمة ضمنية متشابكة في سياق تقديم حقيقة.

لإيجاد بيانات تتعلق باللغة المحملة ، استخدم المؤلفون مجموعة بيانات من دراسة عام 2019 تحتوي على 2,547 حالة لغة محملة. منذ أن لم تكن جميع الأمثلة في بيانات 2019 تحتوي على أضافات أو أصفار تثير العواطف ، استخدم الباحثون SpaCy لأداء تحليل التبعية وترميز الجزء النحوي ، مع الحفاظ على الأمثلة المناسبة فقط للاستخدام في الإطار.

أدى عملية الترشيح إلى 1,017 عينة صالحة من اللغة المحملة. تم استخدام مثيل آخر من BART لتغطية واستبدال الجمل البارزة في الوثائق المصدر باللغة المحملة.

مجموعة بيانات PropaNews

بعد تدريب نموذج trung على مجموعة بيانات CNN / DM لعام 2015 من Google Deep Mind و جامعة أكسفورد ، أنشأ الباحثون مجموعة بيانات PropaNews ، و تحويل المقالات غير البسيطة من مصادر “موثوقة” مثل النью يورك تايمز و الغارديان إلى “إصدارات معدلة” تحتوي على دعاية خوارزمية مصنعة.

تم تصميم التجربة على دراسة عام 2013 من هانوفير ، والتي أ动生成ت تلخيصات زمنية لقصص الأخبار عبر 17 حدثًا إخبارياً ، و 4,535 قصة.

تم تقديم المعلومات الخاطئة المولدة إلى 400 عامل فريد في Amazon Mechanical Turk (AMT) ، و 2000 مهمة ذكاء إنساني (HITs). تم تضمين فقط المقالات المخادعة التي اعتبرها العمال “دقيقة” في الإصدار النهائي من PropaNews. تم تسجيل الخلافات بواسطة طريقة Worker Agreement With Aggregate (WAWA).

تحتوي الإصدار النهائي من PropaNews على 2,256 مقالاً ، متوازن بين الإخراج الكاذب والحقيقي ، 30٪ منها يستخدم الاستئناف إلى السلطة ، مع 30٪ إضافية تستخدم اللغة المحملة. تحتوي البقية ببساطة على معلومات غير دقيقة من النوع الذي يشغل في الغالب مجموعات البيانات السابقة في هذا مجال البحث.

تم تقسيم البيانات إلى 1,256:500:500 عبر توزيعات التدريب والاختبار والتحقق.

مجموعة بيانات HumanNews

为了 تقييم فعالية روتينات الكشف عن الدعاية المدربة ، قام الباحثون بتجميع 200 مقال إخبارياً مكتوباً من قبل الإنسان ، بما في ذلك المقالات التي دحضها Politifact ، وتم نشرها بين 2015-2020.

تم تعزيز هذه البيانات بإضافات مقالات دحض إضافية من مصادر إخبارية غير موثوقة ، وتم التحقق من مجموعها بواسطة طالب دراسات عليا في علوم الحاسوب.

تتضمن مجموعة البيانات النهائية ، التي تمت تسميتها HumanNews ، 100 مقالًا من اللوس أنجلوس تايمز.

اختبارات

تم وضع عملية الكشف في مواجهة الإطارات السابقة في شكلين: PN-Silver ، الذي يهمل التحقق من صحة المُحَكّي في Amazon Mechanical Turk ، و PN-Gold ، الذي يتضمن التحقق كمتطلب.

تضمنت الإطارات المنافسة عرض 2019 Grover-GEN ، و 2020 Fact-GEN ، و FakeEvent ، حيث يتم استبدال المقالات من PN-Silver bằng وثائق تم إنشاؤها بواسطة هذه الطرق القديمة.

ثبت أن أنواع Grover و RoBERTa أكثر فعالية عند تدريبها على مجموعة بيانات PropaNews الجديدة ، وخلصت الباحثون إلى أن ‘الكاشفات المدربة على PROPANEWS تؤدي بشكل أفضل في تحديد المعلومات الخاطئة المكتوبة من قبل الإنسان مقارنة بالتدريب على مجموعات بيانات أخرى’.

كما يلاحظ الباحثون أن حتى مجموعة بيانات PN-Silver المعوقة جزئيًا تتفوق على الطرق القديمة على مجموعات بيانات أخرى.

منتهي الصلاحية؟

يعيد المؤلفون التأكيد على عدم وجود بحث حتى الآن بشأن إنشاء وتحديد الأخبار الكاذبة المعتمدة على الدعاية تلقائيًا ، وينذرون أن استخدام النماذج المدربة على بيانات قبل الأحداث الحاسمة (مثل COVID ، أو ، على سبيل المثال ، الوضع الحالي في شرق أوروبا) لا يمكن توقع أدائها بشكل مثالي:

‘حوالي 48٪ من المعلومات الخاطئة المكتوبة من قبل الإنسان التي تم تصنيفها خاطئًا تُعزى إلى عدم القدرة على الحصول على المعرفة الديناميكية من مصادر أخبار جديدة. على سبيل المثال ، يتم نشر مقالات تتعلق بفيروس كورونا عادةً بعد عام 2020 ، بينما تم تدريب RoBERTa على مقالات إخبارية صدرت قبل عام 2019. من الصعب على RoBERTa الكشف عن معلومات خاطئة حول هذه المواضيع إلا إذا كان الكاشف مجهزًا بقدرات الحصول على المعرفة الديناميكية من مقالات الأخبار.’

ويشير المؤلفون أيضًا إلى أن RoBERTa تحقق دقة 69.0٪ في الكشف عن مقالات الأخبار الكاذبة التي تم نشرها قبل عام 2019 ، ولكن تنخفض الدقة إلى 51.9٪ عند تطبيقها على مقالات الأخبار التي تم نشرها بعد هذا التاريخ.

التحايل والسياق

على الرغم من أن الدراسة لا تتعامل مباشرة مع هذا الموضوع ، إلا أنه من الممكن أن يؤدي هذا النوع من الغوص العميق في التأثير الدلالي في النهاية إلى معالجة أسلحة لغة أكثر دقة ، مثل التحايل – استخدام الحقائق الصادقة بشكل انتقائي لتحقيق نتيجة مرغوبة قد تتعارض مع روح الدليل المستخدم.

تتمثل خط البحث المتعلق والمتقدم قليلاً في معالجة اللغة الطبيعية والرؤية الحاسوبية والبحث متعدد الوسائط في دراسة السياق كأداة من أدوات المعنى ، حيث يصبح إعادة ترتيب أو إعادة سياق الحقائق الصحيحة بشكل انتقائي وخدمي متساويًا مع محاولة إثارة رد فعل مختلف عن الذي قد يؤثر عليه الحقائق إذا تم تقديمها بطريقة أوضح وأكثر خطية.

* تحويلي لمراجع المؤلفين الداخلية إلى روابط مباشرة.

نُشر لأول مرة في 11 مارس 2022.