عدم وجود ‘الأخطاء البشرية’ يكشف عن الأنظمة الخادعة للذكاء الاصطناعي

تظهر الأبحاث الجديدة أن الذكاء الاصطناعي يمكن أن يتظاهر بالبشر حتى يتذكر “جيدًا جدًا”، وتكشف الاختبارات البسيطة للذاكرة عن برامج الدردشة من خلال نقصها في الأخطاء البشرية العادية.

قام باحثون من جامعة برينستون بتطوير طريقة لتحديد الكيانات التي تpretends أن تكون بشرية، من خلال طلبهم منهم أداء مهام لا يمتاز بها البشر – وخاصة تلك المتعلقة بالاحتفاظ بالذاكرة القصيرة الأمد.

لم تتمكن الذكاء الاصطناعي التي تم اختبارها بهذه الطريقة من التمثيل بشكل كافٍ لمستويات الأخطاء البشرية، إلا إذا تم توجيهها بذلك بشكل صريح في توجيه النظام، أو إذا كانت محددة بدقة على بيانات نفسية.

ينصPaper على ما يلي:

‘[نحن] نستكشف فكرة الكشف عن البشرية باستخدام المهام التي يمكن للأجهزة حلها جيدًا جدًا لدرجة أن تكون بشرية. على وجه التحديد، نبحث عن وجود قيد إدراكي بشري قائم: سعة الذاكرة العاملة المحدودة.

‘نحن نُظهر أن نمذجة الإدراك على مهمة استدعاء متسلسل قياسية يمكن استخدامها لتمييز المشاركين عبر الإنترنت من LLMs حتى عندما يتم توجيه LLMs بشكل صريح لمحاكاة قيود الذاكرة العاملة البشرية.

‘تظهر نتائجنا أن من الممكن استخدام الظواهر الإدراكية المثبتة جيدًا لتمييز LLMs عن البشر.’

تشير الإشارة التي لاحظها الباحثون إلى أن نماذج اللغة الكبيرة من الصعب أن تكشف عن نفسها في أي اختبار تيرنغ العكسي الذي يستخدم هذه الطريقة.

على الرغم من أن نماذج الذكاء الاصطناعي “المحددة بالغرض” سوف تؤدي بشكل أفضل، فإن تحسينها على هذه المهمة سوف يحد منهم إلى هذه المهمة، على حساب الاستخدام العام؛ وعلى الرغم من أن توجيه النظام يمكن أن يكون طويلًا مثل حرب السلام، وبالتالي يمكن أن يتضمن توجيهات حول كيفية محاكاة العيوب البشرية، فإن فعالية هذه الطريقة يتم تحديها من خلال تضمينها في توجيهات شاملة جدًا (التي سوف تؤكد العديد من الأولويات الأخرى)، أو قصيرة جدًا (التي سوف تضحي بالقدرة العامة من أجل تحديد المهمة، مثل التحسين الدقيق).

كنت تتحدث عن الذاكرة…

تزداد الحاجة إلى طرق أكثر فعالية لتحديد الخطاب الذي يولده الذكاء الاصطناعي – ولا سيما من قبل الباحثين أنفسهم، الذين يعتمدون بشكل متكرر على العمال عن بُعد الذين يتم توظيفهم من خلال منصات مثل الجماهير، والذين لديهم حافز قوي لخداع النظام من خلال التutomatisation وغيرها من الحيل.

بالإضافة إلى ذلك، من المحتمل أن يكون هناك حاجة إلى مواد محسنة من الذكاء الاصطناعي في حالات الاحتيال بالذكاء الاصطناعي، حيث تتطلب المحادثات في الوقت الفعلي إجابات سريعة وموثوقة، ولا يملك الجناة الوقت ليبحث في سؤال تم طرحه عليهم للتو.

كما يمكن أن يستفيد قطاع كشف الذكاء الاصطناعي من مثل هذه المعرفة، فمن المحتمل أن يستفيد قطاع الترويج الصوتي بالذكاء الاصطناعي، الذي ينمو بسرعة، من معرفة السلوكيات التي يجب تجنبها.

على الرغم من أنه يُقترح إمكانية “سباق تيرنغ العكسي”، يشير المؤلفون إلى أنه إذا أصبحت الذكاء الاصطناعي العامة أكثر كفاءة في محاكاة العيوب البشرية، فهناك خزان كبير من الأخطاء التي يمكن سحبها:

‘هناك العديد من المرشحين لقيود الإدراك البشري التي قد لا ترثها LLMs. على سبيل المثال، يتعب البشر، و يصابون بالهلوسات البصرية، ويمكنهم فقط تخزين عدد قليل من العناصر في الذاكرة العاملة.’

يُظهر المؤلفون صورة من الورقة من عام 2024، والتي تُظهر أمثلة على هلوسات بصرية من شأنها أن تضلل أي نموذج لغة-رؤية لا يعرفها من البيانات التدريبية – على الرغم من أن البشر أكثر عرضة لتحليل الصور بشكل صحيح.

وفقًا للمؤلفين، إذا استجابت LLMs بنفس الطريقة التي يستجيب بها البشر في هذه المهمة، فإن ذلك سيُظهر إما أنهم يشاركون بشكل حقيقي قيود إدراكية بشرية، أو أنهم تم تدريبهم على محاكاةها.

يزعم المؤلفون أن البيانات التدريبية قد تحتوي على آثار سلوكية بشرية، لكنهم يجادلون بأن هذا لا يُ复ع بشكل موثوق به أنماط الأخطاء المحددة المرتبطة بالذاكرة البشرية؛ ويترك ذلك سؤال ما إذا كان من الممكن لا يزال تمييز الذكاء الاصطناعي من خلال كيفية يخطئ، حتى عندما يتم توجيهه بالتصرف بشكل بشري.

الورقة الجديدة بعنوان هل هم بشر؟ الكشف عن نماذج اللغة الكبيرة من خلال اختبار قيود الذاكرة البشرية، ويأتي من باحثين من قسمي علوم الحاسوب وعلم النفس بجامعة برينستون.

الطريقة والاختبارات

يستخدم الباحثون مواد تعود إلى الخمسينيات والستينيات – ولا سيما الورقة الورقة لعام 1968 التأثيرات التسلسلية في الذاكرة القصيرة الأمد، حيث تم طلب من المشاركين في التجربة تذكر الحروف المقدمة بشكل تسلسلي إما كـ مسبار موقع (‘ما كان الحرف الثالث؟’) أو مسبار خليفة (‘ما الحرف الذي جاء بعد X؟’):

تم تطبيق التجربة في مختبر الحوسبة والإدراك في جامعة نيويورك باستخدام مكتبة Smile:

من خلال نشر وكلاء LLM في التجارب عبر الإنترنت، يشير المؤلفون إلى أن أدوات تلقيم المتصفح قد أصبحت أكثر نضجًا، وأن أنظمة مثل Gemini في Chrome قادرة بشكل متزايد على التنقل في المهام والاستجابة بشكل مستقل.

然而، يلاحظون أيضًا أن هذه الأدوات تعتمد على لقطات صفحات ثابتة من موقع إلكتروني، والتي لا تتمكن من التقاط محفزات متقدمة بسرعة، ويمكن أن تroduce أخطاء تعكس قيود الواجهة بدلاً من سلوك النموذج.

لذلك، من أجل عزل الأداء الحقيقي، تم تقييم نماذج LLM من خلال واجهة نصية مبسطة تقدم نفس المعلومات، ولكن بدون تصنيف أو تنسيق.

بشر مقابل آلة

تم اختبار LLMs التالية: Claude-Opus-4.1؛ Claude-Sonnet-4.5؛ Gemini-2.5-Flash؛ Gemini-2.5-Flash-Lite؛ Gemini-2.5-Pro؛ Gemini-3-Flash-Preview؛ Gemini-3-Pro-Preview؛ GPT-5-Mini؛ GPT-5-Nano؛ GPT-5.2؛ و LLaMA-3.1-Centaur-70B.

对于 المشاركين البشر في الاختبارات، تم توظيف 100 مشارك عن بُعد من خلال Prolific، مع كل مشارك مطلوب أن يكون مقيمًا في الولايات المتحدة، ويعتبر على الأقل 18 عامًا، ويتحدث الإنجليزية.

استغرق الاختبار حوالي 12 دقيقة، وتم دفع 4 دولارات للمشاركين.

في الجولة الأولى من الاختبارات، تلقى LLM توجيهًا لنظام ي告诉ه بالتصرف كبشر؛ في الجولة الثانية، توجيه نظام يُحضره على محاكاة استجابات بشرية للاختبارات، وشجعه على التصرف بمثابة “أخطاء بشرية”.

تم استخدام خمس بذور مختلفة عبر 11 نموذجًا تم اختباره، مما أدى إلى 55 تكوينًا لنموذج LLM لكل محاكاة، مما أدى إلى إجمالي 205 مشارك، بشري وآلي.

Voight-Kampff

أخذ المؤلفون إجراءات لمنع المشاركين في Prolific من استخدام أنظمة استجابة آلية قائمة على LLMs، أولاً بسؤال المشارك إذا كان AI أم لا.

بعد ذلك، تم تضمين بعض الأسئلة العشوائية التي صُممت لتكون صعبة على الإجابة من قبل الإنسان ولكنها سهلة بالنسبة للنماذج الحالية من LLMs:

‘[نحن] نضمن بشكل عشوائي واحد من ثلاثة أسئلة مصممة لتكون صعبة على الإجابة من قبل الإنسان ولكنها سهلة بالنسبة للنماذج الحالية من LLMs التي يُسمح للمشاركين بتجاوزها. وتشمل ذلك سؤالين بلغات منخفضة الموارد:

‘الماوري، لغة يتحدثها الشعب البولينيزي الأصلي في نيوزيلندا، مع أقل من 150000 شخص يبلغون عن مستوى كفاءة محادثة في التعداد السكاني [2013]، والفورو، لغة يتحدثها في جنوب إستونيا مع حوالي 75000 متحدث.’

تمت إضافة فحص آخر يتطلب من المشاركين تذكر رقم十六ي تم عرضه من قبل، والذي كان مطلوبًا للمواصلة في الاختبار، على الرغم من أن المشاركين لم يتم إخطارهم بذلك مسبقًا.

كما تمت إضافة فحص آخر يتطلب من المشاركين تحويل الرقم إلى شكل عشري.

لم يظهر أي من هذه الاختبارات، أو تقرير الذكاء الاصطناعي، أدلة على استخدام LLMs من قبل المشاركين البشر.

في المحاكاة الخاضعة للرقابة، ومع ذلك، تم الكشف عن هذه الإجراءات لتحديد النماذج غير المخترقة – على الرغم من أن الورقة تشير إلى أن مثل هذه الإجراءات الأمنية يمكن تجاوزها عندما يتم توجيه النماذج بشكل صريح لتجنب سلوكيات الكشف.

الاختبارات

1: ‘تصرف كبشر’

في الاختبار الأول، تم توجيه LLMs ليكونوا بشر من خلال توجيه النظام ‘أنت بشر مع قيود إدراكية تشارك في تجربة نفسية’ (مشار إليه في النتائج باسم LLM-Bashar):

بخصوص هذه النتائج الأولية، يعلق الباحثون:

‘يحقق المشاركون من LLM مع توجيه LLM-Bashar درجات دقة تقريبًا مثالية عبر التجارب، مع دقة متوسطة تبلغ 1.00، ولا يظهرون أي تأثيرات موقعية أو حجمية بغض النظر عن نوع المسبار. ‘نظرًا لذلك، من السهل الكشف عن جميع المشاركين من LLM-Bashar وتحديدهم ببساطة باستخدام عتبة بسيطة على دقة المهمة المتوسطة من 0.95.

‘تطبيق نفس المعيار على المشاركين عبر الإنترنت يؤدي إلى استبعاد 6 من المشاركين البالغ عددهم 100، الذين أظهروا أداءً قريبًا من الكمال، على الرغم من أن دقة المشاركين عبر الإنترنت تبلغ 0.6.’

يشير المؤلفون إلى أن دقة غير عادية في الاختبارات الصعبة هي بالفعل طريقة مكافحة الغش المثبتة، ويشيرون إلى أن توجيه النظام ليكون “بشرًا” لا يبدو أنه كان له تأثير كبير في هذا الاختبار، مما أدى إلى اختبار ثاني:

2: ‘كن ناسيًا’

في الاختبار التالي، تم توجيه LLMs لمحاكاة الذاكرة البشرية (مع نتائج ممثلة باسم LLM-WN)^†:

لديك قيود عمل ذاكرة صارمة – يمكنك فقط الاحتفاظ بعدد محدود من العناصر في الذاكرة القصيرة الأمد. عند عرض قائمة طويلة من العناصر دون فرص للتكرار، سوف تتجرب انخفاضًا في الذاكرة، خاصةً对于 العناصر في منتصف القائمة.

أضاف توجيهات أكثر صرامة لمحاكاة الذاكرة المحدودة خفض دقة النموذج إلى حوالي 0.90، وجعل النتائج أقل اتساقًا، مما جعل الأداء أقرب إلى مستويات بشرية، ولكن لا يزال بشكل عام أعلى.

في هذه الأثناء، بدأت النماذج في إظهار سلوك أكثر بشريًا، حيث يتذكر العناصر في بداية ونهاية القوائم بسهولة أكبر، ويتعثر أكثر مع طول القوائم.

Centaur

تم تطوير نماذج مدربة مباشرة على بيانات سلوكية بشرية لإعادة إنتاج كيفية استجابة الناس في التجارب، وللتحقق من هذه الفكرة، قيمت الدراسة Centaur، وهو LLM مدرب على مجلدات كبيرة من نصوص المحاكمة من الدراسات النفسية:

في الاختبارات (في وسط مجموعة الرسوم السابقة) كانت دقة Centaur الكلية متوافقة بشكل وثيق مع دقة المشاركين البشر – أكثر حتى من النماذج التي تم توجيهها بشكل صريح لمحاكاة قيود الذاكرة المحدودة.

على أساس موقع القائمة، أظهر نمط استدعاء Centaur عبر موقع القائمة وطول القائمة تشابهًا مع سلوك الإنسان، على الرغم من أن الاختلافات كانت أكثر وضوحًا في أسئلة الخليفة.

الكشف عن الشذوذ الإدراكي

أخيرًا، لاختبار ما إذا كان الكشف لا يزال ساريًا عندما يتم تصميم النماذج لتحاكي سلوك الإجابة البشري، تم تعلم نموذج إحصائي لذاكرة بشرية من بيانات المشاركين الحقيقية، مما يلخص كيف تتغير الدقة مع موقع التسلسل وزيادة الحمل.

تم تقييم المشاركين الجدد مقابل هذا الملف المُحسَّن، وتم وضع علامة على أولئك الذين استجاباتهم انحرفت عن الأنماط البشرية المتوقعة:

تُظهر هذه الطريقة استمرار فصل المشاركين البشر عن LLMs، حتى عندما تم توجيه النماذج أو تدريبها لمحاكاة قيود الذاكرة البشرية.

然而، أصبحت الفصل أقل وضوحًا، مما يتطلب تسوية بين إغفال بعض استجابات النموذج وتحديد المشاركين البشر.

يخلص المؤلفون إلى:

‘مع ظهور وكلاء قويين، يمكن أن يصبح التحقق من البشرية في التفاعلات عبر الإنترنت غير ممكن بالاعتماد على سلوك متسق مثل استجابات النص الطويل. هذا يشكل تحديًا أوسع للمجتمع، لأن العديد من مؤسساتنا تم بناؤها على افتراض القدرة على التحقق من البشرية من خلال هذه الوسائل.

‘قد تلعب العلوم الإدراكية دورًا مهمًا في مواجهة هذا التحدي، مع تقليداتها الغنية في وصف السلوك البشري.’

الختام

تؤكد الورقة الجديدة على أن التوليد عبر الإنترنت (التفاعل التفاعلي للذكاء الاصطناعي) يمثل مقترحًا مختلفًا ويتحديات مقارنة بالتوليد دون اتصال (كشف النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي).

يشير مدى الحاجة إلى تدريب مسبق وتوجيه ثانوي لتحقيق تحسين في التمثيل البشري إلى أن LLMs ليست جاهزة لتحمل مهام من هذا القبيل في حالة افتراضية غير معدلة، أو مع توجيهات أولية فقط.

المهمة التي تعاملت معها الورقة الجديدة محددة جدًا بالبحث الأكاديمي، ولكن من المحتمل أن يكون لها تأثير أوسع مع انتشار الذكاء الاصطناعي الصوتي، ومع محاولات العناصر الإجرامية للاستفادة من التمثيل القائم على الذكاء الاصطناعي لتحقيق مكاسب بالاستفادة من مجموعة ضحايا متعبة بثغرة جديدة.

* تحويلي لمراجع المؤلفين إلى روابط.^† الرجاء الرجوع إلى جدول النتائج السابق (الأعلى) – في هذا الصدد، الورقة قليلًا ما تكون مكتظة.

نُشر لأول مرة يوم الخميس، 2 أبريل 2026