لغة معربة بواسطة الذكاء الاصطناعي تبدأ في تلوث الأدب العلمي

نشر باحثون من فرنسا وروسيا دراسة تشير إلى أن استخدام مولدات النص القائمة على الذكاء الاصطناعي مثل GPT-3 يقدمون ‘لغة معذبة’ ، وإشارات إلى أدبيات غير موجودة ، واعادة استخدام الصور بشكل عفوي وغير معترف بها إلى قنوات محترمة سابقة لنشر الأدب العلمي الجديد.

ربما يكون ما يثير القلق أكثر هو أن الأوراق المبحوثة تحتوي أيضًا على محتوى غير دقيق علميًا أو غير قابل للتكرار ، ومقدم كثمار لأبحاث موضوعية ومنهجية ، مما يشير إلى أن نماذج اللغة التوليدية تستخدم ليس فقط لتعزيز مهارات اللغة الإنجليزية المحدودة لمؤلفي الأوراق ، ولكن أيضًا للقيام بالعمل الشاق (والذي يتم دائمًا بطرق سيئة).

التقرير ، الذي يحمل عنوان جمل معذبة: أسلوب كتابة مشبوه ي出现 في العلوم ، تم تجميعه بواسطة باحثين من قسم علوم الحاسوب في جامعة تولوز وباحث ياندكس ألكسندر ماجازينوف ، الحالي في جامعة تل أبيب.

تركز الدراسة بشكل خاص على نمو المنشورات العلمية غير المنطقية التي تم إنشاؤها بواسطة الذكاء الاصطناعي في مجلة إلسيفير المعالجات الدقيقة والأنظمة الدقيقة.

بأي اسم آخر

نماذج اللغة التوليدية مثل GPT-3 مدربة على حجم كبير من البيانات ، وتم تصميمها لتحويل النص ، وتلخيص ، وجمع ، وتفسير البيانات المساهمة في نماذج لغة توليدية متسقة قادرة على إعادة إنتاج أنماط الكلام والكتابة الطبيعية ، مع الحفاظ على النية الأصلية للبيانات المساهمة.

منذ أن يتم معاقبة هذه الإطارات بشكل متكرر في مرحلة تدريب النموذج على تقديم إعادة صياغة مباشرة و “غير ممتصة” للبيانات الأصلية ، فإنهم يبحثون دائمًا عن مرادفات – حتى للجمل الموثقة جيدًا.

تتضمن الأوراق العلمية التي تم إنشاؤها بواسطة الذكاء الاصطناعي / المساعدة التي اكتشفها الباحثون عددًا غير عادي من المحاولات الفاشلة لمرادفات إبداعية للجمل المعروفة في قطاع التعلم الآلي:

شبكة عصبونية عميقة: ‘تنظيم عصبي عميق’
شبكة عصبونية اصطناعية: ‘تنظيم عصبي (زائف | مزيف)’
شبكة محمولة: ‘تنظيم مرن’
هجوم على الشبكة: ‘تنظيم (كمين | هجوم)’
اتصال الشبكة: ‘اتصال التنظيم’
بيانات كبيرة: ‘(ضخم | كبير | هائل | ضخم) معلومات’
بيانات مخزن: ‘معلومات (مخزن | مركز توزيع)’
ذكاء اصطناعي (AI): ‘(زائف | مصنوع من قبل الإنسان) وعي’
حوسبة أداء عال: ‘حوسبة النخبة’
حوسبة سحابية / ضبابية / غائمة: ‘حوسبة الضباب’
وحدة معالجة الرسومات (GPU): ‘وحدة تحضير التصاميم’
وحدة المعالجة المركزية (CPU): ‘وحدة المعالجة المركزية’
محرك سير العمل: ‘محرك عملية العمل’
تعرف الوجه: ‘التعرف على الوجه’
تعرف الصوت: ‘التعرف على الكلام’
خطأ متوسط مربع: ‘خطأ مربع (خطأ | غلطة)’
خطأ مطلق متوسط: ‘خطأ (مطلق | عظيم) (خطأ | غلطة)’
إشارة إلى الضوضاء: ‘(حركة | علم | إشارة | علامة | إشارة) إلى (ضجيج | ضغطة | ضوضاء)’
معاملات عالمية: ‘معاملات عالمية’
وصول عشوائي: ‘(عشوائي | غير منتظم) الحصول على الحق في الوصول’
غابة عشوائية: ‘(عشوائي | غير منتظم) (غابة | برية | منطقة خضراء)’
قيمة عشوائية: ‘(عشوائي | غير منتظم) قيمة’
مستعمرة النمل: ‘مستعمرة حشرات تحت الأرض (دولة | مقاطعة | منطقة | منطقة | مستوطنة)’
مستعمرة النمل: ‘مستعمرة حشرات تحت الأرض (دولة | مقاطعة | منطقة | منطقة | مستوطنة)’
الطاقة المتبقية: ‘الطاقة المتبقية’
الطاقة الحركية: ‘الطاقة الحركية’
بايز الصغير: ‘(صغير | بريء | غافل) بايز’
مساعد رقمي شخصي (PDA): ‘مساعد كمبيوتر شخصي’

في مايو 2021 ، قام الباحثون بالاستفسار عن محرك البحث الأكاديمي Dimensions بحثًا عن هذا النوع من اللغة الملفقة والآلية ، مع الحرص على استبعاد العبارات الصحيحة مثل “معلومات ضخمة” (التي هي عبارة صحيحة ، وليست مرادفًا خاطئًا لـ “بيانات كبيرة”). في هذه النقطة ، لاحظوا أن المعالجات الدقيقة والأنظمة الدقيقة كان لها أعلى عدد من حالات التعبير الخاطئ.

في الوقت الحالي ، لا يزال من الممكن استرجاع (نسخة أرشيف ، 15/07/2021) عدد من الأوراق العلمية للعبارة الخاطئة “تنظيم عصبي عميق” (أي “شبكة عصبونية عميقة”) ، والعبارات الأخرى في القائمة السابقة تنتج نتائج مشابهة.

نتائج البحث عن ‘تنظيم عصبي عميق’ (‘شبكة عصبونية عميقة’) في Dimensions. Source: https://app.dimensions.ai/

تأسست مجلة المعالجات الدقيقة في عام 1976 ، وأعيدت تسميتها إلى المعالجات الدقيقة والأنظمة الدقيقة بعد عامين.

زيادة في لغة غير منطقية

درَس الباحثون فترة تمتد من فبراير 2018 إلى يونيو 2021 ، ولاحظوا زيادة حادة في حجم الورقات المقدمة خلال العامين الماضيين ، وخاصة خلال الأشهر الستة إلى ثمانية الماضية:

علاقة أو سبب؟ يبدو أن زيادة الورقات المقدمة إلى مجلة المعالجات الدقيقة والأنظمة الدقيقة تزامن مع نمو ‘اللغة غير المنطقية’ والمرادفات في الورقات المقدمة بشكل محترم. Source: https://arxiv.org/pdf/2107.06751.pdf

يحتوي مجموعة البيانات النهائية التي جمعها المتعاونون على 1078 مقالًا كاملاً تم الحصول عليه من خلال اشتراك جامعة تولوز في إلسيفير.

رقابة تحريرية متضائلة للورقات العلمية الصينية

لاحظت الورقة أن الفترة الزمنية المخصصة لتقييم الورقات المقدمة بشكل ملحوظ تقل بشكل كبير في عام 2021 ، حيث انخفضت إلى أقل من 40 يومًا ؛ انخفاضًا سداسيًا في الوقت القياسي لمراجعة الأقران ، واضحًا من فبراير 2021.

يأتي أكبر عدد من الورقات المميزة من مؤلفين مرتبطين بالبر الرئيسي للصين: من بين 404 ورقة مقبولة في أقل من 30 يومًا ، 97.5٪ هي ورقات ذات صلة بالصين. وعلى العكس ، في الحالات التي تتجاوز فيها عملية التحرير 40 يومًا (615 ورقة) ، تمثل الورقات المقدمة التابعة للصين 9.5٪ فقط من هذه الفئة -imbalance عشرية.

ينسب التقرير غزو الورقات المميزة إلى عيوب في عملية التحرير ، وربما نقص الموارد في مواجهة زيادة عدد الورقات المقدمة.

يفترض الباحثون أن نماذج اللغة التوليدية مثل GPT-3 ، ونماذج اللغة التوليدية المماثلة ، قد تم استخدامها لإنتاج معظم النص في الورقات المميزة ؛ ومع ذلك ، فإن الطريقة التي يabstract بها النموذج المصدر يصعب إثباتها ، والدليل الرئيسي يكمن في تقييم العبارات السيئة والغير ضرورية ، وفحص متأنٍ للتناسق المنطقي للورقة المقدمة.

كما يلاحظ الباحثون أن نماذج اللغة التوليدية التي يعتقدون أنها تساهم في هذا الطوفان من اللغات غير المنطقية قادرة ليس فقط على إنشاء النصوص المشكلة ، ولكن أيضًا على التعرف عليها وتحديدها بشكل منهجي ، بنفس الطريقة التي قام بها الباحثون بأنفسهم يدوياً. يوضح العمل مثل هذا التنفيذ ، باستخدام GPT-2 ، ويوفر إطارًا لأنظمة مستقبلية لتحديد الورقات العلمية المشكلة.

تحدث حالات الورقات “الملوثة” بمعدل أعلى بكثير في مجلة إلسيفير (72.1٪) مقارنة بالدوريات الأخرى التي تم دراستها (13.6٪ كحد أقصى).

ليس مجرد معاني

يشدد الباحثون على أن العديد من المجلات المذكورة لا تستخدم فقط اللغة الخاطئة ، ولكن تحتوي على بيانات غير دقيقة علميًا ، مما يشير إلى احتمال أن نماذج اللغة التوليدية لا تستخدم فقط لتحسين مهارات اللغة المحدودة للعلماء المساهمين ، ولكن ربما تستخدم أيضًا لصياغة بعض المبادئ والبيانات الأساسية في الورقة.

في حالات أخرى ، يفترض الباحثون “إعادة التركيب” أو “التدوير” للعمل السابق الموجز ، من أجل تلبية ضغوط البحث الأكاديمي “نشر أو انهيار” ، وربما لتحسين التصنيفات الوطنية للتفوق العالمي في أبحاث الذكاء الاصطناعي ، من خلال الحجم الصرف.

محتوى غير منطقي في ورقة مقدمة. في هذه الحالة ، وجد الباحثون أن النص تم اشتقاقه ، بشكل عفوي ، من مقال EDN ، ومن哪里 تم اقتباس الصورة المصاحبة دون أي إسناد. إعادة كتابة المحتوى الأصلي شديدة لدرجة أنها تجعلها غير منطقية.

بتحليل العديد من الأوراق المقدمة إلى إلسيفير ، وجد الباحثون جملًا لا يستطيعون استنتاج أي معنى منها ؛ إشارات إلى أدبيات غير موجودة ؛ إشارات إلى متغيرات ومبادئ في صيغ لا تظهر في المواد الداعمة (مما يشير إلى تجريد اللغة ، أو “هلوسة” البيانات الواضحة) ؛ وإعادة استخدام الصور بدون أي إسناد لمصادرها (التي ينتقدونها ليس من وجهة نظر حقوق النشر ، ولكن من حيث قلة الدقة العلمية).

فشل الإسناد

وجدت الإسنادات المقدمة لدعم الحجج في ورقة علمية في العديد من الأمثلة المميزة تكون “مكسورة أو تؤدي إلى منشورات غير متعلقة”.

بالإضافة إلى ذلك ، تشمل الإشارات إلى “العمل المرتبط” في كثير من الأحيان مؤلفين يعتقد الباحثون أنهم قد تم “هلوستهم” بواسطة نظام GPT-شبيه.

انتباه متجول

إحدى عيوب نماذج اللغة التوليدية حتى من أفضلها مثل GPT-3 هي倾هم إلى فقدان التركيز على مدار حوار طويل. وجد الباحثون أن الورقات المميزة غالبًا ما تطرح موضوعًا في البداية الذي لا يتم العودة إليه بعد أن يتم تقديمه في الملاحظات الأولية أو في مكان آخر.

هم أيضًا يفترضون أن بعض أسوأ الأمثلة يحدث من خلال رحلات متعددة للنص الأصلي من خلال سلسلة من محركات الترجمة ، كل واحدة تشوه المعنى أكثر.

المصادر والأسباب

في محاولة لاكتشاف ما وراء هذه الظاهرة ، يقترح مؤلفو الورقة عددًا من الإمكانيات: أن المحتوى من “مصانع الأوراق” يتم استخدامه كمواد مصدر ، مما ي introduces يؤدي إلى عدم دقة في وقت مبكر من العملية التي سوف تنتج بالتأكيد المزيد من الأخطاء ؛ أن أدوات تدوير المقال مثل Spinbot يتم استخدامها لتغطية الانتحال ؛ وأن الضغط الهائل لنشر بانتظام يؤدي الباحثين غير المجهزين جيدًا إلى استخدام أنظمة GPT-3-شبيهة لإما تعزيز أو إنشاء أوراق أكاديمية جديدة بالكامل.

يختم الباحثون ب نداء إلى العمل من أجل الرقابة الأفضل والمعايير المحسنة في مجال النشر الأكاديمي الذي يثبت أنه يصبح ، على ما يبدو ، طعامًا لموضوعه stesso -أنظمة التعلم الآلي. كما يحثون إلسيفير والناشرين الآخرين على تقديم إجراءات فحص ومراجعة أكثر صرامة ، وينتقدون على نطاق واسع المعايير والممارسات الحالية في هذا الصدد ، مشيرين إلى أن “الخداع بالنصوص الاصطناعية يهدد سلامة الأدب العلمي”.