الكتابة التي يتم توليدها بواسطة الذكاء الاصطناعي لا “تتعب” أبدا، وبالتالي تكشف عن نفسها

يكشف الذكاء الاصطناعي من نوع ChatGPT عن نفسه عن طريق زيادة الاتساق، في حين تبقى الكتابة البشرية غير منتظمة في جميع أنحاء.

إن نافذة السياق المحدودة لمعظم نماذج اللغة الكبيرة الموجهة للمستهلكين (LLMs) هي واحدة من العوامل التي يمكن أن تجعلها تنسى أو تتذكر بشكل غير صحيح أجزاء سابقة من محادثات المستخدمين – أخطاء في الاستدعاء التي يمكن أن تحول المخرجات تدريجياً إلى كلام عديم المعنى تماماً أو، أسوأ من ذلك، نص متوافق بشكل مخادع يحتوي على أخطاء دقيقة.

منذ أن تؤدي هذه الظروف إلى أوهام، ومنذ أن تكون الأوهام لا تزال أكبر عائق أمام تقدم الذكاء الاصطناعي في السوق، فقد بذل الكثير من الجهد البحثي في إنشاء أنظمة ذكاء اصطناعي يمكنها إنشاء مقاطع نصية أطول ولكن أكثر اتساقا.

في الواقع، يتم إحراز الكثير من التقدم بحيث يُعتبر التعرف على المحتوى النصي الطويل الذي يتم توليده بواسطة الذكاء الاصطناعي (أي المحتوى الذي يتم توليده بواسطة الذكاء الاصطناعي فقط، مع – على افتراض – الحد الأدنى من الرعاية البشرية أو بدونها) مشكلة متزايدة.

كشف الإسهاب المطول للذكاء الاصطناعي

على الرغم من ذلك، تشير الدراسات التجريبية الحديثة إلى أن كلما زاد الإخراج الذي ينتجه مولد النصوص بواسطة الذكاء الاصطناعي في انفجار واحد، زادت سهولة تحديد ما إذا كان النص مكتوباً بواسطة إنسان أم لا؛ ولكن الحكمة المقبولة فيما يتعلق بهذا الركن للكشف تفترض أن الذكاء الاصطناعي يمكن تمييزه لأن ما يفعله بشكل مختلف عن البشر يحصل على فرصة للقيام به أكثر في مسارات أطول .

لا يتم افتراض أي شيء حول التوزيع لهذه “الدلالات” في النص نفسه.

لتحدي ذلك، وتوسيع نطاق المشكلة، تقدم دراسة بحثية حديثة ومثيرة للاهتمام من الصين طريقة جديدة لتمييز مولدات المحتوى النصي الطويل بواسطة الذكاء الاصطناعي من المؤلفين البشر الحقيقيين. يزعم الباحثون وراء العمل أن طبيعة رمز تلو رمز التي يتم من خلالها توليد النص بواسطة الذكاء الاصطناعي تعني أن ذلك يصبح أكثر اتساقاً مع زيادة الطول ، في حين أن الخصائص الفردية للبشر لا تتناقص مع الطول.

بهذه الطريقة، يقترح المؤلفون أن رؤيتهم تقدم مقياساً محتملًا جديداً لأنظمة الكشف عن النص بواسطة الذكاء الاصطناعي *:

‘الرموز المولدة بواسطة الذكاء الاصطناعي في الجزء الأخير من النص تظهر تقلبات احتمالية أصغر وأكثر استقرارًامع زيادة اتساق التنبؤات النموذجية مع تجميع السياق.

‘نسمي هذا النمط انخفاض التقلبات في المرحلة المتأخرة. تعكس هذه الظاهرة السلوك الداخلي للتوليد الانحداري الذاتي:مع توافر المزيد من السياق، يصبح توزيع التنبؤ النموذجي أكثر حدة، مما يؤدي إلى انخفاض في تغيرات الإحصاءات على مستوى الرمز.

‘في المقابل، تستمر الكتابة البشرية في تقديم اختيارات لفظية غير متوقعة وتحافظ على تقلبات أعلى في جميع أنحاء.’

للتقاط هذه “النعومة” الغريبة التي تتراكم في نص الذكاء الاصطناعي نحو النهاية، يحدد الباحثون ميزتين بسيطتين: الأولى تقيس كيف “تقفز” سلوك الكتابة الإحصائي بين الرموز؛ الثانية تحقق من مدى استقرار الأمور في مساحات قصيرة من النص .

كلاهما محسوب فقط من النصف الثاني من الإخراج، حيث يصبح الذكاء الاصطناعي ملاحظًا بشكل ملحوظ أكثر انتظامًا والكتابة البشرية لا.

يشير المؤلفون إلى أن هذه الإشارات تعمل جيداً بمفردها، وهي أكثر فعالية عند دمجها مع أساليب الكشف القديمة التي تفتش عن أنماط أوسع.

يشيرون أيضا إلى أن هذا النهج يؤدي بشكل أفضل على النصوص الأطول، حيث يمكن أن يصبح التباين أكثر وضوحا.

تقدم الورقة الجديدة منهجية لاختبار “ذكاء اصطناعي” عبر تحليل الميزات الزمنية للنصف الثاني، بدون أي تدريب إضافي أو ضبط دقيق أو وصول متميز إلى النموذج.

العمل الجديد بعنوان عندما يستقر الذكاء الاصطناعي: الاستقرار في المرحلة المتأخرة كإشارة لاكتشاف النص المولّد بواسطة الذكاء الاصطناعي ، ويأتي من أربعة مؤلفين في جامعة وستلاك في هانغتشو.

المنهج

للتقاط النعومة المتزايدة في النص المولّد بواسطة الذكاء الاصطناعي، صمم الباحثون قياسين يركزان فقط على النصف الثاني من الممرة. هذه تعتمد على درجات الاحتمال اللوغاريتمي من نموذج اللغة القياسي ولا تتطلب ضبطاً دقيقاً أو إعادة تدريب أو عينات إضافية:

من البحث الجديد: يعرض كل صف سلوك مقياس أساسي من EvoBench عبر تسلسل الرموز: القيمة الخام (يسار)، والمشتق المطلق (وسط)، والانحراف المعياري المحلي (يمين). تظهر خطوط الإنسان والذكاء الاصطناعي بالأزرق والأحمر. يظهر معظم التباعد في النصف الثاني من النص، خاصة في الاحتمال اللوغاريتمي وتباين أخذ العينات، اللذين يُظهران تباعداً متزايداً ومخرجات أكثر سلاسة للذكاء الاصطناعي. يتغير كل من الإنتروبيا وتركيز Top-K قليلاً مع الزمن. المصدر

القياس الأول، الذي يسمى تشتت المشتق (DD)، يتبع كيفية تغير ثقة النموذج بشكل حاد من كلمة إلى أخرى. يميل النص بواسطة الذكاء الاصطناعي إلى الاستقرار في إيقاع، لذلك تصبح هذه التغييرات أصغر وأكثر قابلية للتنبؤ في النصف الثاني. في المقابل، تبقى الكتابة البشرية “غير منتظمة”.

القياس الثاني، التقلب المحلي (LV)، يبحث عن مقدار “قفزة” ثقة النموذج “حول” داخل نافذة صغيرة من النص. مرة أخرى، يميل الذكاء الاصطناعي إلى أن يصبح أكثر استقرارًا مع مرور الوقت، بينما تبقى اختيارات البشر أكثر مفاجأة وأقل اتساقا:

يصبح نص الذكاء الاصطناعي أكثر سلاسة مع تقدمه، بينما تبقى الكتابة البشرية غير منتظمة. تتتبع هذه الرسوم تغير ثقة النموذج خلال مقطع، وتعكس حدة التغير بين الكلمات المتتابعة ومقدار التباين ضمن أجزاء محلية من النص. يكون الانخفاض أشد بكثير في المخرجات الآلية في كلا الجانبين، ويتضح الفرق خاصة بعد نقطة المنتصف. تبرز المربعات الصفراء هذه الفجوة المتسعة في النصف الثاني، حيث تحقق كتابة الذكاء الاصطناعي استقراراً أعلى من الكتابة البشرية بنسبة تصل إلى 32%.

مرة أخرى، يتم حساب كلا الميزتين فقط من النصف الأخير من النص، حيث يصبح الذكاء الاصطناعي أكثر انتظامًا والكتابة البشرية لا. يتم دمجها في قيمة واحدة تسمى كشف الاستقرار الزمني (TSD) – الذي يعتاد على الارتفاع مع اتساق الكتابة (وبالتالي أكثر احتمالاً لتكون مولدة بواسطة الذكاء الاصطناعي). ثم يتم استخدام عتبة بسيطة لتحديد ما إذا كان الممر المعين مكتوبًا على الأرجح بواسطة آلة.

نظراً لأن هذه الميزات تركز على متى يظهر نمط، بدلاً من مجرد ما يبدو عليه ذلك النمط، فهي مكملة من قبل الأساليب القديمة التي تبحث عن غرابة إحصائية في جميع أنحاء الممر. إضافة قيمة TSD إلى إخراج أداة أُطلقت في أواخر عام 2024، وهي Fast-DetectGPT (أيضاً بالتعاون مع وستلاك) يوفر تحسناً إضافياً في النتائج (وخاصة بالنسبة إلى المحتوى الطويل حيث يكون تأثير التهدئة في المرحلة المتأخرة أقوى).

البيانات والاختبارات

أجرى المؤلفون اختبارات على مجموعتين من مجموعات البيانات المرتبطة: EvoBench تحتوي على 32,000 زوج من النص البشري / الذكاء الاصطناعي المولّد عبر سبع عائلات من النماذج، بما في ذلك GPT-4 ؛ GPT-4o؛ Claude ؛ Google Gemini ؛ LLaMA-3 ؛ و Qwen ، مع إجمالي 29 إصدار نموذج يتم عرضها.

الإطار الآخر كان MAGE ، الذي يقدم 30,000 زوج اختبار عبر ثماني عائلات من النماذج، بما في ذلك (ولكن ليس على سبيل الحصر) سلسلة GPT من OpenAI، و عائلات LLaMA و OPT و FLAN-T5 .

المنافسون

تم اختبار الطريقة الجديدة ضد مجموعة من كواشف zero-shot باستخدام النموذج الوكيلي نفسه. الاحتمالية ، الانتروبيا ، الترتيب ، و الترتيب اللوغاريتمي (DetectGPT) قاسوا إحصاءات على مستوى الرمز على طول الممر الكامل؛ LLR (DetectLLM) طبق التطبيع لتمكين المقارنة المباشرة عبر النماذج؛ و Fast-Detect قام بتخمين الانحناء المحلي من خلال اضطرابات عينة القائمة.

Lastde تحليل التتابعات التمييزية في إشارة الاحتمال، بينما FourierGPT يعمل في المجال الترددي. Diveye أسرت تحولات في “الدهشة” التنوعية عبر التسلسل.

أخيراً، UCE قيم ملف تعريف عدم اليقين لتنبؤات الرمز، لتحديد أنماط الثقة غير الطبيعية.

التطبيق والنتائج

تم تشغيل جميع أساليب الكشف باستخدام Llama-3-8B-Instruct كنموذج وكيلي مشترك، مع تقييد تسلسلات الإدخال إلى 512 رمز. تم استخراج الميزات الزمنية فقط من النصف الثاني من كل ممر، باستخدام نافذة منزلق من 20 رمز لقياس التقلب. تم دمج نسخة من المنهج، تسمى TSD+ ، مع إشارة المقترحة مع Fast-DetectGPT.

كانت المساحة تحت منحنى خصائص تشغيل المستقبل (AUROC ) هي المقياس التقييمي الأساسي ^†:

أداء متنوع للأساليب المختبرة في كشف النص المولد بالذكاء الاصطناعي. تُعرض دقة الكشف على مجموعتين معياريتين: EvoBench التي تشمل عدة نماذج لغوية كبيرة بارزة، وMAGE المكملة لها. تُجمع المقاييس حسب نوع الأسلوب: إحصاءات عامة وسمات زمنية ومتغيرات مقترحة. تُعرض متوسطات AUROC في الأعمدة الأخيرة. تتفوق متغيرات أسلوب المؤلفين باستمرار على الأساليب المرجعية السابقة، وتحقق TSD+ أعلى الدرجات في جميع إعدادات النماذج تقريباً.

من بين هذه النتائج الأولية، يقول المؤلفون:

‘تتحقق ميزاتنا البسيطة الزمنية أداءً متقدماً على مستوى أحدث الأساليب بين الأساليب المستقلة، مع TSD يصل إلى 83.36٪ على EvoBench و 71.56٪ على MAGE، متجاوزاً جميع الأساليب القديمة بما في ذلك Fast-DetectGPT.

‘هذا ملحوظ بالنظر إلى بساطة طريقةنا: نحسب فقط إحصاءات من الرتبة الثانية من النصف الثاني من التسلسلات، دون عينة اضطراب أو تحويلات المجال الترددي. ‘

عملت الطريقة الجديدة بشكل خاص على نماذج الذكاء الاصطناعي الجديدة مثل GPT-4 و GPT-4o، حيث تم تحديد النص المكتوب بواسطة الذكاء الاصطناعي بدقة أكبر من الكاشف الرائد، مع فجوة أداء تصل إلى 9.66٪. على الرغم من أن النماذج المتقدمة الجديدة تنتج نصاً أقل وضوحاً في الاتساق، الذي يخفي بعض علامات الأتمتة، لا تزال بعض الأنماط الزمنية الدقيقة ظاهرة بالقرب من النهاية.

المناهج التنافسية التي تركز على الميزات الهيكلية الواسعة فشلت في التقاط هذه الأنماط في المرحلة المتأخرة. من خلال دمج كاشف عالمي، يبدو أن النظام الهجين يستعيد هذه الإشارات المفقودة، ويتحسن الأداء، خاصة على المجموعات المعيارية حيث يمكن أن يضعف الإشارات الزمنية الإخراج القصير بواسطة الذكاء الاصطناعي.

الاستنتاج

هناك جانب واحد لم يتم تناوله مباشرة في العمل الجديد وهو نمط الكتابة البشرية من خلال مسودات متعددة ومستويات مختلفة من الإشراف – أحياناً بما في ذلك الإشراف الخارجي، مثل مدخلات المحررين و محرري النص، بالإضافة إلى أي تغييرات مقترحة من الإدارات القانونية، حسب السياق.

يمكن أن يؤدي وجود العديد من الأطراف المعنية في مستندات بسيطة مثل مقال في جريدة مدفونة إلى محو الغرابة التي تعتمد عليها النظام المقترح، ويفسره إلى نوع من “نسخة مماثلة” لعملية الصياغة بواسطة الذكاء الاصطناعي.

كذلك، دُرّبت الأنظمة المدروسة نفسها على أعمال كهذه. ومع تزايد ترتيب بيانات التدريب بحسب سلطة مصادرها أثناء التدريب، قد تكون المصادر الأعلى وزناً أو تقديراً هي الأقل «طبيعية»، على الأقل مقارنة بشخص يكتب بسرعة رسالة بريد إلكتروني غير رسمية لزميل، بدلاً من إعداد تقرير سنوي لاجتماع الجمعية العامة.

هناك اعتبار آخر متناقض هو أن المحتوى النصي الذي ساهم فيه العديد من الأشخاص يمكن أن يكون من بين أكثر القطع المتجزئة والمعيبين والمكررة التي تدخل قاعدة البيانات، لأنها في كثير من الأحيان لا ستتمتع بمزايا صوت موحد، تاركة الطبيعة المتقطعة لتطويرها واضحة في النص.

* أُعيد إنتاج تنسيق المؤلفين الأصلي من الورقة؛ ليست هذه تأكيداتي.

^† يقول المؤلفون «الأساسي» دون إدراج أي مقاييس تقييم أخرى.

نُشر لأول مرة يوم الاثنين 26 يناير 2026