لغة معالجة اللغة التي تم إنشاؤها بواسطة الذكاء الاصطناعي تبدأ في تلوث الأدب العلمي

نشر باحثون من فرنسا وروسيا دراسة تشير إلى أن استخدام مولدات النصوص الاحتمالية التي تعمل بالذكاء الاصطناعي مثل GPT-3 تقدم “لغة معذبة” ومراجع لآداب غير موجودة وصور غير معترف بها إلى قنوات محترمة لنشر الأدب العلمي الجديد.

ربما يكون ما يثير القلق أكثر هو أن الأوراق التي تم دراستها تحتوي أيضًا على محتوى علمي غير دقيق أو غير قابل للتكرار يتم تقديمه على أنه ثمار لأبحاث موضوعية ومنهجية ، مما يشير إلى أن نماذج اللغة التوليدية تستخدم ليس فقط لدعم مهارات اللغة الإنجليزية المحدودة لمؤلفي الأوراق ، ولكن أيضًا لتنفيذ العمل الشاق المشار إليه (و في الغالب ، لفعل ذلك بشكل سيئ).

التقرير ، الذي يحمل عنوان عبارات معذبة: أسلوب كتابة مشكوك فيه ي出现 في العلوم ، تم تجميعه بواسطة باحثين من قسم علوم الحاسوب في جامعة تولوز وباحث ياندكس ألكسندر ماغازينوف ، الحالي في جامعة تل أبيب.

تُركز الدراسة بشكل خاص على نمو المنشورات العلمية غير المنطقية التي تم إنشاؤها بواسطة الذكاء الاصطناعي في مجلة Elsevier المعالجات الدقيقة والأنظمة الدقيقة .

بأي اسم آخر

نماذج اللغة التوليدية مثل GPT-3 مدربة على كميات كبيرة من البيانات ، وتم تصميمها لتحويل و تلخيص وتجميع البيانات التي ساهمت فيها إلى نماذج لغة توليدية متسقة قادرة على إعادة إنتاج أنماط الكلام والكتابة الطبيعية ، مع الحفاظ على النية الأصلية للبيانات التي تم تدريبها عليها.

نظرًا لأن هذه الإطارات يتم معاقبتها بشكل متكرر في مرحلة تدريب النموذج على تقديم إعادة صياغة مباشرة و “غير ممتصة” للبيانات الأصلية ، فإنها تسعى حتمًا إلى العوض عنها – حتى للعبارات الموثوقة.

تشمل الورقات العلمية التي تم اكتشافها والتي يبدو أنها تم إنشاؤها بمساعدة الذكاء الاصطناعي عددًا غير عادي من المحاولات الفاشلة لتحديد مرادفات إبداعية للعبارات المعروفة في قطاع التعلم الالي:

شبكة عصبونية عميقة: تنظيم عصبي عميق
شبكة عصبونية اصطناعية: تنظيم عصبي (زائف | مزيف)
شبكة الهاتف المحمول: تنظيم مرن
هجوم على الشبكة: تنظيم (مهاجمة | هجوم)
اتصال الشبكة: رابطة تنظيم
بيانات كبيرة: معلومات (ضخمة | كبيرة | هائلة | ضخمة)
بيانات مخزنة: معلومات (مخزن | مركز توزيع)
ذكاء اصطناعي (AI): (زائف | من صنع الإنسان) وعي
حوسبة عالية الأداء: حوسبة نخبة
حوسبة سحابية / غائمة / ضبابية: حوسبة ضبابية
وحدة معالجة الرسومات (GPU): وحدة تحضير التصميمات
وحدة المعالجة المركزية (CPU): وحدة تحضير مركزية
محرك سير العمل: محرك عملية العمل
تعرف الوجه: التعرف على الوجه
تعرف الصوت: التعرف على الكلام
خطأ متوسط مربع: خطأ مربع متوسط (خطأ | غلطة)
خطأ مطلق متوسط: خطأ مطلق متوسط (خطأ | غلطة)
إشارة إلى الضوضاء: إشارة (حركة | علم | مؤشر | إشارة | إشارة) إلى (ضوضاء | ضجيج | ضجيج)
معاملات عالمية: معاملات عالمية
وصول عشوائي: وصول (عشوائي | غير منتظم) إلى
غابة عشوائية: غابة (عشوائية | غير منتظمة)
قيمة عشوائية: قيمة (عشوائية | غير منتظمة)
استعمار النمل: حشرة تحت الأرض (دولة | مقاطعة | منطقة | إقليم | مستوطنة)
استعمار النمل: حشرة زاحفة تحت الأرض (دولة | مقاطعة | منطقة | إقليم | مستوطنة)
الطاقة المتبقية: الطاقة المتبقية
الطاقة الحركية: الطاقة الحركية
بايز الصريح: بايز (صريح | بريء | ساذج)
مساعد رقمي شخصي (PDA): مساعد حاسوبي فردي

في مايو 2021 ، قام الباحثون بالاستفسار عن محرك البحث الأكاديمي Dimensions بحثًا عن هذا النوع من اللغة الملفقة والآلية ، مع الحرص على استبعاد العبارات الصحيحة مثل “معلومات ضخمة” (التي هي عبارة صحيحة ، وليست مرادفًا فاشلًا لـ “بيانات كبيرة”). في هذه النقطة ، لاحظوا أن مجلة Microprocessors and Microsystems كانت لديها أعلى عدد من حالات التعبيرات الملفقة.

في الوقت الحالي ، لا يزال من الممكن استرجاع عدد من الأوراق العلمية لجملة “تنظيم عصبي عميق” (أي “شبكة عصبونية عميقة”) ، والأخرى في القائمة تعطي نتائج مشابهة.

نتائج البحث عن ‘تنظيم عصبي عميق’ (‘شبكة عصبونية عميقة’) في Dimensions. مصدر: https://app.dimensions.ai/

تم تأسيس مجلة Microprocessors في عام 1976 ، وأعيدت تسميتها إلى Microprocessors and Microsystems بعد عامين.

نمو لغة غير منطقية

درَس الباحثون فترة تمتد من فبراير 2018 إلى يونيو 2021 ، ولاحظوا زيادة حادة في حجم الورقات المقدمة خلال السنوات الأخيرتين ، و特别 خلال الستة إلى ثمانية أشهر الماضية:

علاقة أو سبب؟ يبدو أن زيادة الورقات المقدمة إلى مجلة Microprocessors and Microsystems يتوافق مع نمو ‘لغة غير منطقية’ والمرادفات في الورقات المقدمة التي تبدو محترمة. مصدر: https://arxiv.org/pdf/2107.06751.pdf

يحتوي مجموعة البيانات النهائية التي جمعها المتعاونون على 1078 مقالًا كاملاً تم الحصول عليه من خلال اشتراك جامعة تولوز في Elsevier.

تناقص الرقابة التحريرية للورقات العلمية الصينية

يلاحظ التقرير أن الفترة الزمنية المخصصة لتقييم التحرير للورقات العلمية المحددة تقل بشكل كبير في عام 2021 ، لتصل إلى أقل من 40 يومًا ؛ وهو انخفاض سداسي في الوقت المعيار للتحكيم ، واضح منذ فبراير 2021.

تأتي أكبر عدد من الأوراق العلمية المحددة من مؤلفين مرتبطين بجمهورية الصين الشعبية: من بين 404 ورقة مقبولة في أقل من 30 يومًا ، 97.5٪ هي ورقات ذات صلة بالصين. وعلى العكس من ذلك ، في الحالات التي تجاوزت فيها عملية التحرير 40 يومًا (615 ورقة) ، تمثل الورقات المقدمة التابعة للصين 9.5٪ فقط من هذه الفئة -imbalance عشرية.

ينسب التقرير اختراق الأوراق العلمية المحددة إلى عيوب في عملية التحرير ، وربما نقص الموارد في مواجهة زيادة عدد الورقات المقدمة.

يفترض الباحثون أن نماذج اللغة التوليدية من نوع GPT ، ونماذج اللغة التوليدية المماثلة ، قد تم استخدامها لإنتاج معظم النص في الأوراق العلمية المحددة؛ ومع ذلك ، فإن الطريقة التي ي_abstract بها نموذج توليدي مصادره تجعل من الصعب إثبات ذلك ، والدليل الرئيسي يكمن في تقييم منطقي لل sinonymes غير ضروريين ، وفحص دقيق لمنطق الورقة.

كما يلاحظ الباحثون أن نماذج اللغة التوليدية التي يعتقدون أنها تساهم في هذا الطوفان من لغة غير منطقية قادرة ليس فقط على إنشاء النصوص المشكلة ، ولكن أيضًا على التعرف عليها وتحديدها بشكل منهجي ، بنفس الطريقة التي قام بها الباحثون بأنفسهم يدويًا. ويصف العمل تنفيذًا لمثل هذا الإطار ، باستخدام GPT-2 ، ويقدم إطارًا لأنظمة مستقبلية لتحديد الورقات العلمية المحددة.

تكون حالات الورقات “الملوثة” أعلى بكثير في مجلة Elsevier (72.1٪) مقارنة بالدوريات الأخرى التي تم دراستها (13.6٪ كحد أقصى).

ليس مجرد معاني

يشدد الباحثون على أن العديد من المجلات المذكورة ليست مجرد استخدام اللغة الخاطئة ، ولكنها تحتوي على بيانات علمية غير دقيقة ، مما يشير إلى احتمال أن نماذج اللغة التوليدية لا تستخدم فقط لتحسين مهارات اللغة المحدودة للعلماء المساهمين ، ولكنها قد تستخدم أيضًا لصياغة بعض النظريات والبيانات الأساسية في الورقة.

في حالات أخرى ، يفترض الباحثون “إعادة التركيب” أو “التدوير” الفعال للعمل السابق المُستَخدَم ، من أجل تلبية ضغوط ثقافة البحث الأكاديمي “نشر أو انحرف” ، وربما لتحسين التصنيفات الوطنية للتفوق العالمي في أبحاث الذكاء الاصطناعي ، من خلال الحجم الفعلي.

محتوى غير منطقي في ورقة مقدمة. في هذه الحالة ، وجد الباحثون أن النص تم اشتقاقه على وجه السرعة من مقال EDN ، ومن哪里 تم سرقة الصورة المصاحبة دون إعطاء أي إعتراف.

عند تحليل العديد من الأوراق العلمية المقدمة إلى Elsevier ، وجد الباحثون جملًا لم يتمكنوا من استنتاج أي معنى لها؛ إشارات إلى أدب غير موجود؛ إشارات إلى متغيرات ونظريات في صيغ لا تظهر في المواد الداعمة (مما يشير إلى تجريد اللغة أو “hallucination” من البيانات الواضحة)؛ وإعادة استخدام الصور بدون أي إعتراف بمصادرها (التي ينتقد الباحثون ليس من منظور حقوق النشر ، ولكن كدليل على قلة الدقة العلمية).

فشل الاستشهاد

تم العثور على الاستشهادات التي تهدف إلى دعم الحجج في ورقة علمية في العديد من الأمثلة المحددة لتكون “مكسورة أو تؤدي إلى منشورات غير متعلقة”.

كما يبدو أن المراجع إلى “العمل المتعلق” غالبًا ما تشمل مؤلفين يعتقد الباحثون أنهم تم “تحويلهم” بواسطة نظام من نوع GPT.

انتباه متجول

عيب آخر من عيوب نماذج اللغة حتى من أفضلها مثل GPT-3 هو倾هم إلى فقدان التركيز على مدار حوار طويل. وجد الباحثون أن الأوراق المحددة غالبًا ما تطرح موضوعًا في البداية لا يتم العودة إليه بعد أن يتم تقديمه في الملاحظات الأولية أو في مكان آخر.

ويفترضون أيضًا أن بعض الأمثلة الأسوأ تحدث من خلال رحلات متعددة للنص الأصلي عبر سلسلة من محركات الترجمة ، كل واحدة تشوه المعنى أكثر.

المصادر والأسباب

في محاولة لاكتشاف ما وراء هذا الظاهرة ، يقترح مؤلفو التقرير عددًا من الاحتمالات: أن المحتوى من “مصانع الورق” يتم استخدامه كمادة مصدر ، مما يؤدي إلى إدخال عدم دقة في وقت مبكر من العملية التي سوف تنتج بالتأكيد المزيد من الأخطاء؛ أن أدوات تدوير المقال مثل Spinbot يتم استخدامها لتغطية التلاعب بالنص؛ وأن الضغط الهائل لنشر بانتظام يقود الباحثين غير المجهزين جيدًا إلى استخدام أنظمة من نوع GPT-3 لتعزيز أو إنشاء أوراق أكاديمية جديدة.

يختتم الباحثون ب نداء إلى العمل من أجل المزيد من الرقابة والمعايير المحسنة في مجال النشر الأكاديمي الذي يبدو أنه ي trở thành طعام لموضوعه stesso – أنظمة التعلم الالي. كما يطلبون من Elsevier و الناشرين الآخرين تقديم إجراءات فحص ومراجعة أكثر صرامة ، و ينتقدون على نطاق واسع المعايير والممارسات الحالية في هذا الصدد ، مع الاقتراح بأن “الخداع بالنصوص الاصطناعية يهدد سلامة الأدب العلمي”.