لماذا يُعد اللغات التاريخية تحديًا للذكاء الاصطناعي

من التحديات الرئيسية لأنظمة معالجة اللغة الطبيعية (NLP) هي استخلاص المعلومات الأساسية من مجموعة متنوعة من المواد المكتوبة. يمكن أن تكون المصادر المساهمة في مجموعة بيانات تدريب لخوارزمية NLP جديدة متعددة اللغات مثل تويتر والصحف اليومية والمجلات العلمية، مع جميع الغرائب الفريدة من نوعها لكل من هذه المصادر.

في معظم الحالات، يكون ذلك فقط للغة الإنجليزية؛ وهذا فقط لمصادر النص الحديث أو الحديث. عندما يجب على خوارزمية NLP أن تأخذ في الاعتبار المواد التي تأتي من عصور متعددة، عادة ما تعاني من صعوبة في التوفيق بين الطرق المختلفة جدًا التي يتحدث أو يكتب بها الناس عبر المجتمعات الوطنية والفرعية، وأخص بالتاريخ.

ومع ذلك، استخدام بيانات النص (مثل المعاهدات التاريخية والأعمال العلمية القديمة) التي تمتد عبر العصور يمكن أن يكون وسيلة مفيدة لتحقيق نظرة عامة تاريخية على موضوع ما، ووضع إعادة بناء زمنية إحصائية تسبق تبني وحدات القياس لمجال معين.

على سبيل المثال، لم تُسجل معلومات الطقس التي تساهم في نماذج الذكاء الاصطناعي لتوقعات تغير المناخ بشكل كافٍ حول العالم حتى عام 1880، بينما يمكن أن توفر تعدين النصوص الكلاسيكية سجلات أقدم للأحداث الجوية الكبرى التي قد تكون مفيدة في توفير بيانات الطقس قبل العصر الفيكتوري.

الانحياز الزمني

وجدت ورقة جديدة من جامعة واشنطن ومعهد ألين للذكاء الاصطناعي أن حتى فترة زمنية قصيرة مثل خمس سنوات يمكن أن تسبب انحيازًا زمنيًا يمكن أن يؤدي إلى تعطيل فائدة نموذج NLP المُتدرب مسبقًا.

في جميع الحالات، تكون الدرجات الأعلى أفضل. هنا نرى خريطة حرارة لانحطاط زمني عبر أربعة مجاميع من المواد النصية التي تمتد لمدة خمس سنوات. يمكن أن تسبب مثل هذه المISMATCHات بين بيانات التدريب والتقييم، وفقًا لمؤلفي الورقة الجديدة، ‘انخفاضًا كبيرًا في الأداء’. مصدر: https://arxiv.org/pdf/2111.07408.pdf

تنص الورقة على ما يلي:

‘نحن نجد أن الانحياز الزمني يؤثر على تعميم نموذج اللغة وأداء المهمة. نجد تباينًا كبيرًا في الانخفاض عبر مجالات النص والمهام. خلال 5 سنوات، يمكن أن تتحول درجات F1 للفئة إلى 40 نقطة (الانتماء السياسي على تويتر) أو 1 نقطة (تقييمات ييلب). يمكن أن تظهر مهام منفصلة محددة على نفس المجال مستويات مختلفة من الانخفاض بمرور الوقت.’

تقسيمات غير متكافئة

المشكلة الأساسية هي أن مجموعات بيانات التدريب عادة ما يتم تقسيمها إلى مجموعتين، أحيانًا بنسبة 80/20 غير متكافئة، بسبب محدودية البيانات المتاحة. يتم تدريب المجموعة الأكبر من البيانات على شبكة عصبونية، بينما يتم استخدام البيانات المتبقية ك مجموعة تحكم لاختبار دقة الخوارزمية الناتجة.

في مجموعات بيانات مختلطة تحتوي على مواد تمتد عبر عدة سنوات، يمكن أن يؤدي توزيع البيانات غير المتكافئ من فترات زمنية مختلفة إلى أن تكون بيانات التقييم مكونة بشكل غير عادي من مواد من عصر معين.

سيؤدي ذلك إلى أن تكون سيئة للغاية كأرض اختبار لنموذج تم تدريبه على مزيج أكثر تنوعًا من العصور (أي على معظم البيانات المتاحة). في الواقع، اعتمادًا على ما إذا كانت بيانات التقييم الأقلية تمثل مواد أحدث أو أقدم، فإنه مثل سؤال جديك لتقييم أحدث أيدول K-Pop.

الطريقة الطويلة للحل هي تدريب عدة نماذج على مجموعات بيانات أكثر تقييدًا زمنيًا، ومحاولة تجميع الميزات المتوافقة من نتائج كل نموذج. ومع ذلك، فإن ممارسات التحديد العشوائي للنموذج تواجه مشاكلها الخاصة في تحقيق التكافؤ والتساوي بين النماذج – حتى قبل النظر في ما إذا كانت مجموعات البيانات المساهمة متشابهة بما يكفي لجعل التجربة ذات معنى.

البيانات والتدريب

为了 تقييم الانحياز الزمني، قام المؤلفون بتدريب أربعة مجاميع نصية عبر أربعة مجالات؛

تويتر
… حيث جمعوا بيانات غير ملabeled عن طريق استخراج مجموعة عشوائية من 12 مليون تويت موزعة بشكل موحد بين 2015-2020، حيث درس المؤلفون الكيانات المسمى (أي الأشخاص والمنظمات) والانتماءات السياسية.

المقالات العلمية
… حيث حصل المؤلفون على بيانات غير ملabeled من مجموعة كوربوس سيمانتيك سكولار، التي تتكون من 650,000 وثيقة تمتد لمدة 30 عامًا، وقاموا بدراسة تصنيف نوع الذكر (SciERC) وتصنيف مكان النشر (AIC، الذي يميز ما إذا تم نشر الورقة في AAAI أو ICML).

المقالات الإخبارية
… حيث استخدم المؤلفون تسعة ملايين مقال من مجموعة بيانات نيوزروم التي تمتد لمدة 2009-2016، وقاموا بثلاث مهام: تلخيص نيوزروم، وتصنيف الناشر، وتصنيف إطارات الإعلام (MFC)، الذي يفحص الأولويات المتصورة للموضوعات المختلفة عبر الإنتاج الإخباري.

تقييمات الطعام
… حيث استخدم الباحثون مجموعة بيانات ييلب المفتوحة على مهمة واحدة: تصنيف تقييمات المراجعات (YELPCLS)، وهو تحدي تحليل المشاعر التقليدية النموذجي للبحوث في هذا القطاع.

النتائج

تم تقييم النماذج على GPT-2، مع مجموعة من درجات F1 الناتجة. وجد المؤلفون أن فقدان الأداء بسبب الانحياز الزمني ثنائي الاتجاه، مما يعني أن النماذج المُدرَّبة على بيانات حديثة يمكن أن تتأثر سلبًا بتأثير البيانات الأقدم، وبالعكس (انظر الصورة في بداية المقال للرسوم البيانية). يشير المؤلفون إلى أن هذا له آثار خاصة على التطبيقات العلمية الاجتماعية.

بشكل عام، تظهر النتائج أن الانحياز الزمني يؤدي إلى انخفاض في الأداء بشكل كبير، وله تأثير واسع على معظم المهام. تزيد مجموعات البيانات التي تغطي فترات زمنية طويلة، مثل العقد، من المشكلة.

يشير المؤلفون أيضًا إلى أن الانحياز الزمني يؤثر على بيانات التدريب المُ标َّة وغير المُ标َّة. بالإضافة إلى ذلك، لم تُحسِّن محاولاتهم للتخفيف من الآثار عبر التكيف مع المجال (انظر أدناه) الوضع بشكل كبير، على الرغم من أنهم يؤكدون أن تعديل معلومات البيانات في مجموعة البيانات يمكن أن يساعد إلى حد ما.

الختام

يؤكد الباحثون النتائج السابقة التي تشير إلى أن العلاجات المقترحة التي تتضمن التكيف مع المجال (DAPT، حيث يتم توفير التكيف مع تفاوت البيانات) و التكيف الزمني (حيث يتم تحديد البيانات حسب الفترة الزمنية) لا تفعل الكثير لتحسين الوضع.

تنتهي الورقة إلى ما يلي:

‘كشفت تجاربنا عن تباين كبير في الانخفاض الزمني عبر المهام، أكثر مما وجد في الدراسات السابقة. هذه النتائج تحفز استمرار دراسة الانحياز الزمني عبر تطبيقات معالجة اللغة الطبيعية، واعتباره في التقييمات المعيارية، واليقظة من قبل الممارسين القادرين على مراقبة أداء النظام الحية بمرور الوقت.

‘وبشكل ملحوظ، لاحظنا أن التدريب المستمر للنماذج على بيانات متوافقة زمنيًا لا يؤثر كثيرًا، مما يحفز المزيد من البحث لإيجاد طرق تكيف زمني فعالة أقل تكلفة من جمع مجموعات بيانات مُ标َّة على مدار الوقت.’

يُقترح المؤلفون أن البحث المتواصل في التعلم المستمر، حيث يتم تحديث البيانات باستمرار، قد يكون مفيدًا في هذا الصدد، وأن الانحراف المفاهيمي، وطرق أخرى لاكتشاف التحولات في المهام، يمكن أن تكون أداة مفيدة لتحديث مجموعات البيانات.

* تحويلي لمراجع داخلية إلى روابط.