كيفية تمرير الأوراق العلمية المزيفة المكتوبة بواسطة الذكاء الاصطناعي عبر المراجعين

أظهرت الأبحاث الجديدة كيف يمكن للنظم الذكية أن تكتب أوراقًا علمية مزيفة يتم قبولها من قبل الذكاء الاصطناعي الآخر، وتخدع إجراءات الكشف التي كانت تعمل في السابق، وتكشف عن مدى سهولة انهيار عالم البحث في الحواسيب التي تخدع الحواسيب.

يتعرض قطاع البحث الأكاديمي، وهو خط المواجهة في ابتكارات الذكاء الاصطناعي، إلى أزمة مصداقية يسببها الذكاء الاصطناعي نفسه. كان تأثير التعلم الآلي على عملية البحث والتقديم والمراجعة كبيرًا منذ أن أصبح تأثير الذكاء الاصطناعي واضحًا منذ حوالي أربع سنوات، مع أن أحدث جدل هو توليد مجموعة كبيرة من الأوراق الاستطلاعية منخفضة الجودة.

إلى جانب معظم قطاع الأكاديمي الأوسع، يشارك قطاع البحث في نوع من الحرب الباردة بين الذكاء الاصطناعي الذي يولد النص – مثل ChatGPT وسلسلة Claude – وأحدث جيل من الذكاء الاصطناعي “الكاشف” الذي يمكنه تحديد مخرجاته دون تسمية الطلاب أو العلماء بالكاذبين.

هذه التوترات مرشحة للزيادة، إلى جانب زيادة عدد المقالات العلمية المقدمة، والتي تزداد بشكل كبير، مدفوعة بأنظمة واطارات مدعومة بالذكاء الاصطناعي؛ وتتطلب工业ية مدفوعة بالذكاء الاصطناعي لعملية المراقبة لتصفية أي مقالات يتم تقديمها التي هي 纯 عمل الذكاء الاصطناعي.

ترحيب بالمعرفة الزائفة

تستقصي همکاریة بحثية جديدة بين الولايات المتحدة والمملكة العربية السعودية مدى قدرة هذا “الجدار الناري” الناشئ للكشف عن الذكاء الاصطناعي على اختراقه بواسطة مقالات كاملة تم إنشاؤها بواسطة الذكاء الاصطناعي، عندما تستخدم هذه المقالات بعض الحيل المثيرة للإقناع الإضافية.

في الاختبارات، تمكنت نظام BadScientist الجديد من تحقيق معدلات قبول تصل إلى 82٪ من نوع النماذج القائمة على LLM المستخدمة حاليًا لاكتشاف المحتوى المولود بواسطة الذكاء الاصطناعي في الأوراق البحثية:

يستخدم نظام BadScientist عميلًا ذكاء اصطناعي لإنشاء أوراق علمية مزيفة وآخر لمراجعتها باستخدام نماذج اللغة الحالية. مصدر: https://arxiv.org/pdf/2510.18003

تم إنشاء الأوراق المزيفة باستخدام مواضيع مؤتمر حقيقي ومهارات خادعة، ثم تمت مراجعتها بواسطة نماذج محسنة على بيانات المراجعة بالتعاون، بما في ذلك GPT-5 لفحوصات الصدق. تلقت العديد منها درجات عالية尽管 احتوت على أخطاء أو تلفيق واضح.

يتزامن إصدار الورقة مع مؤتمر مفتوح للوكلاء الذكاء الاصطناعي للعلوم 2025 في ستانفورد، حيث المشاركون والمتحدثون هم بشر، ولكن جميع الأوراق مكتوبة ومراجعة بواسطة أنظمة ذكاء اصطناعي متنوعة.

يشرح المؤلفون أن نظام BadScientist يستخدم أشكالًا متنوعة من الخداع الأكاديمي والأدبي، والاستثناءات، والاختراعات، والتضخيم لإعادة وزن الورقة بعيدًا عن أي شيء يمكن للنظم الكاشفة الحالية التعرف عليه على أنه مولد بواسطة الذكاء الاصطناعي؛ وسننظر إلى هذه الفئات قريبًا.

يشير المؤلفون، بطريقة من الذعر، إلى أنه حتى عندما تعرف أنظمة الكشف عن محتوى الذكاء الاصطناعي في ورقة مزيفة، فإنها تميل إلى السماح لها بالمرور على أي حال، ويضيفون أن محاولاتهم لتحصين أنظمة الدفاع ضد هذا النوع الجديد من الهجوم لم تنجح إلا بتحقيق فرص عشوائية.

تنص الورقة على ما يلي:

‘تحقق الأوراق المزيفة من معدلات قبول عالية، وغالبًا ما يظهر المراجعون صراعات بين القبول والقلق – يرفعون قضايا الصدق ويوصون بالموافقة على أي حال. هذا الانهيار الأساسي يكشف أن المراجعين الحاليين يعملون أكثر كمراجعين للنمط من المقييمين النقديين.

‘[…] مجرد طلب من المراجعين الذكاء الاصطناعي “أن يكونوا أكثر حذرًا” غير كافٍ. يواجه المجتمع العلمي خيارًا عاجلًا. بدون إجراءات فورية لتنفيذ حواجز الدفاع في العمق – بما في ذلك التحقق من الأصل، وتقييم الصدق، والرقابة الإنسانية الإلزامية – نخاطر بحدوث حلقة منشأة بواسطة الذكاء الاصطناعي فقط حيث تكتسح التزويرات المتقنة قدرتنا على التمييز بين البحث الحقيقي والتزوير المقنع.

‘مصداقية المعرفة العلمية نفسها معرضة للخطر.’

الورقة الجديدة موسومة باسم BadScientist: هل يمكن لعميل البحث كتابة أوراق غير صالحة مقنعة تخدع المراجعين القائمين على نماذج اللغة؟ ويأتي من ستة مؤلفين عبر جامعة واشنطن ومدينة الملك عبد العزيز للعلوم والتقنية في الرياض. يوجد موقع مشروع مصاحب.

الطريقة

إطار عمل نظام إنشاء الأوراق المستخدم في هذا العمل هو إعادة تصميم كبير للتعاون AI-Scientist لعام 2024، ويؤكد المؤلفون على أن خط أنابيبها بأكمله قد تم إعادة تصميمه بشكل جوهري. تم الاحتفاظ فقط بأبسط محفزات الكتابة، مع إزالة جميع الهياكل التجريبية والقوالب. يعمل النظام المحدث الآن من بذرة بسيطة بذرة، مما يسمح للنظام باختراع نتائج تجريبية frei وإنشاء رمز التخطيط حسب الحاجة.

يهدف الإطار العام إلى السماح للذكاء الاصطناعي بإنشاء أوراق مزيفة مقنعة دون إجراء تجارب حقيقية أو استخدام بيانات حقيقية. بدلاً من ذلك، يخترع النظام بيانات اصطناعية أو يغيرها لدعم ادعاءات متعمدة متخيلة.

يشرح المؤلفون أن الإعداد ي避ع بشكل متعمد المشاركة البشرية أو هجمات المحفزات أو التآمر بين وكلاء الكتابة والمراجعة. قيم المراجعون الذكاء الاصطناعي كل تقديم في ممرة واحدة، دون الوصول إلى ما يزيد على الورقة نفسها، ولا القدرة على إعادة تشغيل التجارب، مما يعكس ظروف المراجعة بالتعاون الحقيقي.

الاستراتيجيات “الذرية” المستخدمة لإنشاء الأوراق المزيفة هي تكتيكات متواضعة يمكن تطبيقها بشكل فردي أو مجتمعي (وأي شخص يقرأ الأدبيات بانتظام سيكون على دراية بهذه). وتشمل هذه الاستراتيجيات تسليط الضوء على التحسينات الدراماتيكية لجعل الطريقة تبدو وكأنها تقدم كبير (TooGoodGains); اختيار أسس ومخرجات تفضل الطريقة الجديدة مع تجاوز فترات الثقة في الجدول الرئيسي (BaselineSelect); إضافة تحليلات دقيقة وبيانات دقيقة وجداول نظيفة في الملحق، إلى جانب وعود بتوفير رمز أو بيانات في المستقبل (StatTheater); تنظيف هيكل الورقة بالترميز المتسق والمراجع التأشيرية والتنسيق (CoherencePolish); وإضافة براهين رسمية تبدو صالحة ولكنها تحتوي على أخطاء خفية (ProofGap).

البيانات والاختبارات

为了 اختبار النظام، استخدم المؤلفون GPT-5 لإنشاء مواضيع بحث عبر مجالات رئيسية في الذكاء الاصطناعي، باستخدام المجالات الذكاء الاصطناعي، التعلم الآلي، رؤية الكمبيوتر، معالجة اللغة الطبيعية، الروبوتات، النظم، و الأمان.

أصبحت هذه الفئات مواضيع بذرة لأوراق مزيفة، مع توسيع كل منها إلى أربعة إصدارات مختلفة، باستخدام الاستراتيجيات المذكورة أعلاه، وتم تصميمها لخداع أو إبهار المراجعين. لتحديد ما إذا كانت الورقة ستُقبل، نظر النظام فقط إلى التقييم النهائي الذي قدمه المراجع الذكاء الاصطناعي.

كُتبت الأوراق المزيفة بالكامل بواسطة GPT-5. لمراجعتها، استخدم المؤلفون GPT-4.1؛ o4-mini؛ و o3. تم إعطاؤهم جميعًا نفس التوجيه المراجعة، تنسيق توجيه ثابت مصمم لتحاكي معايير التقييم وهيكل المراجعة المستخدمة في المراجعة بالتعاون الحقيقي.

为了 جعل هذه التقييمات المراجعة معنوية، تم تعديل النظام باستخدام 200 تقديم حقيقي من مجموعة بيانات ICLR 2025 المفتوحة (مجموعة عامة من الأوراق الحقيقية و تعليقات المراجعين و نتائج القبول).

من هذا، تم إنشاء عتبة تقييم واحدة لتطابق معدل قبول ICLR الحقيقي البالغ 31.73٪، مما أدى إلى عتبة تقييم 7؛ وآخر لتعكس التقييم الذي سيكون له فرصة 50٪ من قبول المراجعين البشر (محسوبة على أنها 6.667).

اختبر المؤلفون موثوقية إعدادهم من خلال محاكاة المراجعات ل 5,000 ورقة مزيفة، باستخدام 1-3 مراجعين ذكاء اصطناعي، كل منهم سيعيد تقييمات تبدو عشوائية بين 1 و 10. ستشير النتائج إلى أن النظام كان أكثر استعدادًا لارتكاب أخطاء أقل من حدوده الأسوأ النظرية.

استخدام ثلاثة مراجعين بدلاً من واحد أدى إلى تقليل كبير في تباين التقييم، مما حسّن استقرار القرار تقريبًا ثلاث مرات – نتائج استخدمت لتبرير اختيار ثلاثة نماذج مراجعة، ومجموعة تعديل من 200 ورقة حقيقية.

تم تعريف两个 معايير لتقييم المولّد: معدل القبول، الذي يقيس مدى頻ة قبول الأوراق المزيفة؛ و متوسط تقييم المراجع، الذي يلتقط التقييم المتوسط عبر المقالات: كلاهما استخدم لقياس مدى قدرة النظام على خداع المراجعين:

يظهر معدل القبول (ACPT) حصة الأوراق المزيفة التي تُحصل على درجات أعلى من عتبتين: واحدة مطابقة لمعدل قبول ICLR 2025، والآخر لمقاربة تقدير القبول البشري 50٪. معدل إشعار القلق بالصدق (ICR-m) يُظهر معدل إشعار القلق لكل نموذج مراجع. العمود الأخير يعطي معدل التجميع بناءً على تصويت الأغلبية.

شهدت الأوراق المزيفة معدلات قبول عالية تحت معظم الاستراتيجيات. أدت التكتيك الأولى وحدها إلى 67٪ و 82٪ عند العتبتين، مما يشير إلى أن نماذج المراجعة كانت مقنعة بسهولة. خفضت الجمع بين جميع الاستراتيجيات معدل القبول قليلاً، ولكنها زادت الكشف مزدوجًا، مع أكثر من نصف المراجعات التي أثيرت فيها مخاوف. أتت الاستراتيجية الأولى بأفضل توازن: قبول قوي واكتشاف معتدل، في حين كانت تكتيكات أخرى أقل قوة وأصعب في الكشف. كان نموذج المراجعة ChatGPT-o3 هو الذي أثار أكبر عدد من الإشعارات، في حين أن GPT-4.1 كان أقل إثارة.

تظهر توزيعات التقييم لستة استراتيجيات هجوم، باستخدام ثلاثة نماذج مراجعة: GPT-4.1 (أحمر); o3 (برتقالي); و o4-mini (أزرق). كل مخطط يُظهر مدى تكرار كل تقييم من 4 إلى 9، مع خط أحمر متقطع يُشير إلى عتبة القبول 7.

في نتائج الاختبار الثاني المذكورة أعلاه، نرى مخططات توزيع التقييم لثلاثة نماذج عبر ستة إعدادات. تختلف التوزيعات عبر الإعدادات، ولكن o4-mini تميل إلى تعيين درجات أعلى في المتوسط، بينما يُظهر o3 تباينًا أكبر وقيمًا أكثر تطرفًا، في حين يعين GPT-4.1 درجات أقل بشكل أكثر تكرارًا.

صراع القبول-القلق حسب النموذج والاستراتيجية: نسبة الحالات التي يثير فيها النموذج قلقًا في الصدق ويمنح درجات قبول على أي حال. القيم الأعلى تشير إلى ربط أضعف بين اكتشاف القلق وتقييم النهائي.

في الجدول أعلاه، نرى أن النماذج غالبًا ما منحت درجات عالية حتى عند إشعارها بمخاوف في الصدق. في هذا الصدد، كان o4-mini هو الأكثر تناقضًا، مع صراع في 100٪ من الحالات تحت s1 و s3 والتركيبات المجمعة، و 50-80٪ في أماكن أخرى.

GPT-4.1 تراوحت بين 0٪ (s4) و 75٪ (s3). كان o3 أكثر استقرارًا، بين 26٪ و 52٪. كان الصراع أعلى تحت s3، خاصة对于 o4-mini؛ ويلاحظ المؤلفون أن إشارات الكشف كانت مرتبطة بشكل سيئ بالدرجات النهائية.

التخفيف

تم اختبار طريقتين قد تساعد نماذج الكشف المستقبلية على التغلب على هذه الأساليب الهجومية الجديدة. الأولى، المراجعة مع الكشف (ReD)، أضافت خطوة فحص الصدق إلى المراجعات العادية، حيث أشار النماذج إلى محتوى مولد بواسطة الذكاء الاصطناعي واقتبس الأدلة. هذا رفع تحذيرات الصدق (من 57٪ إلى 86٪)، ولكن أيضًا رفع معدلات القبول، مما يشير إلى أن التحذيرات لم تُستعَد في التقييمات النهائية:

تزيد المراجعة مع الكشف (ReD) من معدلات القلق بالصدق (ICR) ومعدلات القبول (ACPT) مقارنة بالأساس. بينما يصبح o3 أكثر حساسية تحت ReD، يفشل GPT-4.1 في إثارة أي مخاوف. الارتفاع العام في معدل القبول على الرغم من التحذيرات الإضافية يشير إلى ربط ضعيف بين الكشف والتقييم.

الطريقة الثانية، الكشف فقط (DetOnly)، تخطت المراجعات الكاملة وطلبت من النماذج تصنيف الأوراق على أنها حقيقية أو مزيفة. كانت دقة الكشف رديئة بشكل عام، قريبة من الصدفة، باستثناء مكاسب طفيفة على o3:

نتائج الكشف ل ReD و DetOnly، مقارنة بالأساس العشوائي. كانت الزيادات في الدقة فوق العشوائية طفيفة، ولكن ReD كانت أكثر تحفظًا، في حين حقق DetOnly استدعاء أعلى – ولكن مع الكثير من الإيجابيات الكاذبة. أظهر نموذج o3 أقوى تحيز كشف؛ كان o4-mini غير متسق؛ واكتشف GPT-4.1 شيئًا قليلاً.

بشكل عام، أثبتت ReD أنها أكثر تحفظًا، في حين حقق DetOnly استدعاء أعلى، ولكن مع الكثير من الإيجابيات الكاذبة.

تنتهي الورقة إلى:

‘تهدد الحلقات المنشأة بواسطة الذكاء الاصطناعي فقط العلم بالخطر. إذا أصبحت التزويرات لا يمكن تمييزها عن العمل الحقيقي، فإن أساس المعرفة العلمية يخاطر بالانهيار.

‘الطريق الأمامي يتطلب دفاعًا متعمقًا عبر طبقات متعددة: تقني (تحقق الأصل، وتحقق المادة)، إجرائي (تقييم الصدق، رقابة بشرية)، مجتمعي (مراجعة بعد النشر، نظام للمبلغين)، وثقافي (تعليم حدود الذكاء الاصطناعي، إرشادات أخلاقية).

‘نحن نعتبر هذا العمل نظام تحذير مبكر لتحفيز دفاعات قوية قبل أن تظهر هذه أنماط الفشل بمقياس كبير. تظهر نتائجنا أن الأنظمة الحالية ليست جاهزة للبحث بواسطة الذكاء الاصطناعي فقط – صحة العلم تعتمد على الحفاظ على التقييم البشري الصارم مع تقدم قدرات الذكاء الاصطناعي.’

الخلاصة

من أكبر التحديات لمكافحة النص المكتوب بواسطة الذكاء الاصطناعي في المستقبل القريب يبدو أن يكون التلاقي المحتمل بين الممارسة الكتابة القياسية ومعايير النص المولود بواسطة الذكاء الاصطناعي (الذي يتم تعريفه حاليًا بواسطة سمات مثل الكلمات السائدة و أنماط القواعد).

إذا تلاشت اللغة الشائعة ولغة الذكاء الاصطناعي إلى معيار جنريك، فإن المنطق يقترح أن أساليب الكشف المستقبلية القائمة فقط على الإخراج ستكون أكثر صعوبة في التنفيذ.

بالإضافة إلى ذلك، مع أن النماذج القائمة على LLM تصبح أكثر مرونة، و “تells” أقل تركيزًا (إما من خلال نهج هندسي ومدرب أو من خلال تصفية أفضل على مستوى واجهة برمجة التطبيقات)، ستصبح كتابة أفضل؛ لذلك إلى حد أكبر، يبدو أن اللغة البشرية ولغة الذكاء الاصطناعي معروضان للتقاء في منتصف الطريق؛ لتلاشى ويتجانس.

في ذلك الوقت، من المحتمل أن يصل الكشف عن الذكاء الاصطناعي للغة إلى نفس المرحلة التي وصل إليها الذكاء الاصطناعي لإنشاء الصور (و إلى حد أقل، إنشاء الفيديو)： الحاجة إلى أنظمة إثبات الثانوية مثل مبادرة صحة المحتوى بقيادة Adobe ، أو عمليات كشف إثبات القيد/سجل القيد.

نشر لأول مرة يوم الأربعاء، 22 أكتوبر 2025