إسقاط الحقائق القديمة مع التعلم الآلي

في بعض الأحيان، يكون للحقائق تاريخ انتهاء صلاحية. عندما تظهر مطالبة محدودة بالزمن (مثل “الكمامات обязатель على وسائل النقل العامة”) في ترتيب محركات البحث، يمكن أن يبقى حلها الواضح لسنوات عديدة، متجاوزاً المحتوى الأحدث والأكثر دقة على نفس الموضوع.

هذا هو ناتج ثانوي لتحديد خوارزميات محركات البحث للحلول “المدى الطويل” والتفضيل المحتوى المتصل جيداً الذي يحافظ على حركة المرور بمرور الوقت – وسلوك متزايد الحذر تجاه المحتوى الجديد في عصر الأخبار الكاذبة المتنامية.

من ناحية أخرى، إن تقليل قيمة المحتوى القيم على الويب ببساطة لأن العلامة الزمنية المرتبطة به قد تجاوزت نافذة صلاحية عشوائية ي危د أن يتم التخلص من جيل كامل من المحتوى المفيد تلقائياً لصالح المواد اللاحقة التي قد تكون من معايير أقل.

من أجل معالجة هذه الحالة، قدمت ورقة جديدة من قبل باحثين في إيطاليا وبلجيكا والدنمارك مجموعة متنوعة من تقنيات التعلم الآلي لتطوير منهجية لترتيب الأدلة المتأصل في الزمن.

ما وراء الإجابات القديمة

الورقة مكتوبة من قبل باحثين من المفوضية الأوروبية في مركز الأبحاث المشتركة (JRC) في إسبرا، جامعة لوفان الكاثوليكية، وجامعة كوبنهاغن.

تعتبر الأعمال أربعة طرق ترتيب زمنية تطبق على ثلاث طرق لتحقق الحقائق، كل منها يتبنى نهجاً مختلفاً لترتيب الأدلة، وتقدم منهجية جديدة لترتيب الأدلة باستخدام توقيعات الأدلة كمرجع ذهبي. تظهر الدراسة أن ترتيب الأدلة المتأصل في الزمن يحسن دقة النتائج، ويحسن أيضاً تنبؤات السلطة والصحة للأحكام والادعاءات الحساسة للزمن.

تم تقديم البحث كإضافة محتملة لأنظمة لاحقة أو موجودة، وتم تصميمه لمساعدة البحث، وكعامل إضافي محتمل للاستخدام في تطوير خوارزميات محركات البحث الجديدة والمطورة.

تُحاكي العمل الديناميكيات الزمنية للأدلة لتحقق الحقائق القائمة على المحتوى، وتتفوق على نهج التشابه الدلالي المعتمد من خوارزميات ترتيب محركات البحث التقليدية. يستخدم النموذج الذي تم تدريبه من قبل الباحثين وظيفة تعلم الترتيب المُحسّنة التي يمكن وضعها بسهولة في هيكل تحقق حقيقي موجود.

تعديل هيكليات التحقق المتعددة

أضاف الباحثون عاملهم الزمني إلى ثلاثة هياكل تحقق حقيقي موجودة.

الأول هو نموذج ذاكرة طويلة المدى ثنائية الاتجاه (BiLSTM) المقترح في مجموعة بيانات MultiFC الصادرة في عام 2019.

النموذج الثاني هو تعديل للنموذج الأول، مع استبدال مكون الشبكة العصبية المتكررة (RNN) الاتجاهي بمركبة LSTM.

النموذج الثالث الذي استخدمه الباحثون هو مُحوّل DistilBERT من مكتبة Hugging Face، وهو نسخة مُحوّلة من نموذج BERT من جوجل.

على جميع الهياكل الثلاثة، طبق الباحثون خسارة ListMLE، من البحث بقيادة مايكروسوفت، والتي ساهمت بشكل مستمر في بحوث جديدة لتحقق الحقائق على مدار العقدين الماضيين.

النموذجان الرئيسيان لتحقق الحقائق الذي أضاف الفريق إليهما مكون زمني كمرشح للسلطة والقيم الترتيبية اللاحقة. مصدر: https://arxiv.org/pdf/2009.06402.pdf

تم استخراج قيم التوقيت من بيانات التدريب، وتم تضمينها كعوامل ترتيب في كل نموذج.

التجربة

شملت التقييم التجريبي للنظام استخدام مجموعة بيانات MultiFC، لأنها حالياً الوحيدة المفتوحة المصدر ذات الحجم الكبير المتاحة لهذا الاهتمام البحثي. تحتوي مجموعة بيانات MultiFC على 34,924 مطالبة حقيقية من 26 مجال تحقق حقيقي مختلف، بما في ذلك Snopes وThe Washington Post.

يتضمن تنبؤ صحة كل مطالبة بواسطة عشرة أدلة مقتطفة من واجهة برمجة تطبيقات جوجل البحث، وتنبؤات تم الحصول عليها من خلال تلاعب في عناصر متعددة، بما في ذلك المتحدث والوسوم والفئات.

في كثير من الأحيان، لا يكون التوقيت ذو الصلة هو بالضرورة الذي يحتوي على البيانات الوصفية؛ قد يُشير المقال إلى أحداث من أوقات سابقة، وفي هذه الحالة كان على أنظمة الباحثين أن تأخذ بعين الاعتبار استخراج وتحويل تلك البيانات مباشرة من النص. بدون هذه العملية، سيتم إعادة تشغيل الأخبار القديمة، وسيعطيها لمسة جديدة، خاصة في حالة المواقع ذات السلطة العالية، مما يؤدي إلى نشر البيانات المتقادمة.

تم استخراج التواريخ بروتين بايثون، وتم اختبار تواريخ البيانات الوصفية الرسمية على توافق التنسيق (منذ أن تكون تنسيق التوقيت في الولايات المتحدة والمملكة المتحدة مختلفًا). عند التحقق اليدوي، لم يتم العثور على أي أخطاء في بيانات توقيت الأوراق.

النتائج

مقارنة بالتحقق اليدوي للنتائج الآلية، وجد الباحثون أن ترتيب الأدلة المتأصل في الزمن يحسن بشكل ملحوظ على افتراضات الصلة التي تستند إلى التشابه الدلالي أو ترتيب SERPs. كما يؤكدون أن طريقةهم تحسن تنبؤات الصحة للمطالبات الحساسة للزمن (أي الظروف التي قد تتغير فيها الحالة الإخبارية بسرعة، ويجب أن يتم تحديد الأولوية للمعلومات الحالية دون مجرد قوة أولوية النتائج الأحدث على موضوع معين).

يلاحظ الباحثون أن هذا النهج سيكون ذا قيمة عالية في تحسين نماذج الترتيب لمواضيع متقلبة مثل السياسة والترفيه، حيث تتغير المعلومات بسرعة، وتتطلب التطورات ذات المرتبة العالية إطاراً للهبوط التلقائي من المراكز العليا في الترتيب التي قد حققوها عند الإصدار.