لماذا يصعب فهم النصوص التي يولّدها الذكاء الاصطناعي أكثر مما تظن

قد يصبح فهم نماذج الذكاء الاصطناعي أصعب، لأن تدريبها يكافئ على نحو متزايد حل المشكلات بكفاءة بدلًا من شرح الأمور بوضوح للبشر.

كتب ChatGPT الجملة أعلاه كما هي، ردًا على طلب تقديم ملخص علمي في جملة واحدة بأسلوب ELI5؛ وهي تتضمن بعض السمات التي تشوّه اللغة، على الأقل، والتي تشرحها تلك الدراسة الجديدة*. وتخلص الدراسة إلى أن هذه المشكلة تؤثر في جميع النماذج الرائدة، وكذلك النماذج القريبة من مستواها، وبعض النماذج ذات الأوزان المفتوحة التي خضعت للاختبار أيضًا.

فعلى سبيل المثال، يجسد الجزء الأول من المقطع «يكافئ تدريبها على نحو متزايد حل المشكلات بكفاءة» ما تذكره الورقة من أن نماذج الذكاء الاصطناعي تُسند أحيانًا أفعالًا بشرية إلى أشياء غير حية (إذ يصف المثال أعلاه «التدريب» بأنه يكافئ شيئًا ما بفاعلية).

قد يعيق ذلك الاستيعاب السريع للعبارة، إذ علينا أن ندرك ضمنيًا أن هذا الإسناد مجازي، لا أن نفهمه حرفيًا (وهو أمر أبسط بكثير).

أما القسم الأخير، «يكافئ على نحو متزايد حل المشكلات بكفاءة»، فيحشر عدة أفكار معًا، ما يضطر القراء إلى استنتاج ما الذي يجري مكافأته، وما الذي يجري حله، وما الذي تزداد كفاءته.

وتقول الورقة^†:

«[Readers] تستخدم الحيوية إشارةً أثناء التحليل، ومن دون سياق إضافي، قد يؤدي عدم التطابق إلى استجابة P600^†† مرتبطة بإعادة التحليل.

«لكن إعادة صياغة هذه الجمل لتجنب إسناد الفعل إلى فاعل غير حي قد تتطلب إطالة الجملة؛ فعلى سبيل المثال، تحل كلمة «يعضّ» محل عبارة «يسبب مشكلة».

«ونفترض أن النماذج ربما استقرت أثناء التدريب على استخدام مثل هذه التراكيب بوصفها طرقًا فعالة، وإن كانت غير مألوفة، للتعبير عن معانٍ كانت ستتطلب خلاف ذلك عددًا أكبر من الرموز.»

ماذا؟

هذه هي الفكرة الأساسية في الورقة: فبما أن نماذج الذكاء الاصطناعي الحديثة، مثل ChatGPT وClaude وGemini، مُحسّنة لحل أنواع متعددة من المشكلات، لا للتواصل على وجه التحديد، فإنها تميل إلى تقديم اللغة في صورة حزم شديدة التكثيف تحتاج إلى فك رموزها.

وقد فاجأني ذلك، إذ أحاول باستمرار إقناع ChatGPT والنماذج المشابهة بأن تكون أقل إسهابًا، وأكثر تكثيفًا؛ وهي مشكلة أُشير إليها وعولجت في الأدبيات.

لكن الورقة تصف الإسهاب بأنه أشبه بـقنبلة ضغط تحول دون الفهم السهل، حتى في جملة ليست طويلة جدًا. لذا، إذا جمعنا بين مشكلتي الطول المفرط للردود الافتراضية وملاحظة الورقة بشأن الإفراط في التكثيف، أمكننا تصور نمط مميز جدًا لأسلوب الرد الافتراضي في نماذج الذكاء الاصطناعي الرائدة (ويُفترض أن هذا الأسلوب المقتضب يُستخدم جزئيًا معيارًا في كواشف النصوص المولّدة بالذكاء الاصطناعي، مع أن الورقة لا تتناول ذلك).

ويبحث المؤلفون أيضًا التراكيب الاسمية المتراكبة، ويضربون مثالًا عليها بالعبارة الملتبسة فرقة تساعد ضحية عضة كلب^†:

«في الإنجليزية، يمكن للأسماء أن تصف أسماء أخرى بحرية، على نحو يشبه الصفة؛ ففي عبارة متجر القهوة، تصف القهوة المتجر، رغم أنها ترد عادةً اسمًا. وتتيح هذه السمة تكديس عدة أسماء لتكوين كلمات مركبة غنية، تدل على معانٍ شديدة التحديد.

لكن مثل هذه التراكيب قد تؤدي إلى التباس في تحديد ارتباط الكلمات، كما في العنوان فرقة تساعد ضحية عضة كلب، وقد تعرقل القراءة.»

إذا كانت النماذج اللغوية الكبيرة مسهبة بسبب التكثيف، فهل تكون مفرطة في الإسهاب مرتين، إذ تنتج كمية هائلة من النص المكثف ردًا على استفسار؟ هذا يعني أن الرد على استفسارك لا يقتصر على نص طويل عليك قراءته، بل قد ينطوي النص نفسه على قدر كبير من المعاني «الضمنية» التي تحتاج إلى فك رموزها.

افترضت ورقة بحثية نُشرت عام 2023 أن النماذج اللغوية الكبيرة قد تصبح مسهبة بلا داعٍ بسبب استخدام محكّمين من الذكاء الاصطناعي أثناء التدريب، إذ غالبًا ما يكافئ هؤلاء الإجابات الأطول، حتى عندما فضّل البشر الإجابات الأقصر في اختبارات الدراسة.

ويعزو مؤلفو الدراسة الجديدة (انظر الاقتباس السابق) بعض نزعات النماذج الرائدة إلى التكثيف إلى ميل معماري نحو توفير الرموز، وهي فكرة متفائلة في هذه الأيام.

لنلقِ نظرة على الأساليب والبيانات والاختبارات التي أجراها مؤلفو الدراسة.

البيانات والأساليب

ودُرست تركيبات الكلمات غير المألوفة، التي قِيست باستخدام التتابعات اللفظية ذات الطول n، أي تسلسلات الكلمات، لمعرفة مدى صعوبة التنبؤ بها؛ إذ ارتبطت التركيبات النادرة بصعوبة أكبر في القراءة.

وقيس أيضًا طول التبعية (أي المسافة بين الكلمات المرتبطة نحويًا)، إذ إن ازدياد هذه المسافة يفرض متطلبات أكبر على الذاكرة العاملة، ولا سيما عندما تفصل بين الفاعل وفعله عدة كلمات.

ودُرست جمل الصلة المفعولية (مثل تراكيب من قبيل «المنزل الذي بناه المقاولون»)، ولا سيما عند حذف كلمات اختيارية، مثل «الذي» في «المنزل الذي بناه المقاولون».

كما دُرست التراكيب الاسمية المتراكبة المذكورة آنفًا (ثلاثة أسماء أو أكثر موصولة بعضها ببعض، مثل «مولّد الموسيقى التصويرية لأفلام الرعب»)، لأن العلاقات بين الكلمات المكوِّنة لها قد تكون ملتبسة.

ودُرست الأفعال المشتقة من أسماء (أي استخدام الأسماء أفعالًا، مثل «شوّكه» بدلًا من «ضعه على الشوكة»)، إلى جانب إسناد أفعال تُستخدم عادةً مع الكائنات الحية إلى فواعل غير حية، كما نوقش سابقًا. ويتيح كلا التركيبين ضغط المعنى في عدد أقل من الكلمات، لكنهما قد يتطلبان من القراء بذل جهد إضافي في التأويل.

النماذج المتنافسة

جمع الباحثون محادثات مولّدة بالذكاء الاصطناعي من 14 نموذجًا: Kimi K2.5؛ وGLM 5؛ وClaude Sonnet 5 وOpus 5 وOpus 5.5 وFable 5؛ وGPT-5.6 Luna وTerra وSol؛ وOlmo Base وInstruct وThink؛ وLlama Base and Instruct.

تضمنت الاختبارات عشرة مطالبات افتتاحية للمحادثات العامة وخمسة للبرمجة، وطُلب في كل مهمة من النموذج استنساخ مستودع GitHub عام حقيقي، والعثور على الأخطاء وإصلاحها في بيئة معزولة.

اقتُصرت المحادثات على 12 تبادلًا، وجلسات البرمجة على 11 تبادلًا، ثم أُرسلت رسالة ختامية محددة. وفي اختبار منفصل، طُلب من كل نموذج كتابة سبع مقالات استنادًا إلى تكليفات من مجموعة بيانات PERSUADE 2.0.

ولأغراض المقارنة، اختيرت نصوص كتبها البشر من مصادر تتطابق قدر الإمكان مع أنواع المخرجات الثلاثة للذكاء الاصطناعي: استُخدمت OpenSubtitles (مجموعة من ترجمات الأفلام والبرامج التلفزيونية، لا صلة لها بمنصة الترجمات مفتوحة المصدر) للمحادثات العامة؛ وStackExchange (شبكة الإنترنت من منتديات الأسئلة والأجوبة) لمناقشات البرمجة؛ ومقالات الطلاب من مجموعة بيانات PERSUADE 2.0 المذكورة آنفًا لمهام الكتابة. واستُخدمت ويكيبيديا أيضًا مصدرًا إضافيًا للمقارنة.

وحيثما توفرت بيانات بشرية مناسبة، قيسَت السمات اللغوية نفسها في النصوص البشرية والنصوص المولّدة بالذكاء الاصطناعي، كما استُخدمت هذه المجموعات المرجعية لتقييم مدى شيوع تراكيب الكلمات.

واستُخدمت الترجمة ذهابًا وإيابًا (من الإنجليزية إلى اليابانية ثم العودة إلى الإنجليزية، باستخدام نموذج NLLB-200) للتمييز بين التفضيلات الأسلوبية والضرورات اللغوية. وحُوفظ إلى حد كبير على المعنى مع تغيير بنية الجمل، ما أتاح تحديد الصياغات المعقدة بلا داعٍ.

النتائج

التجربة الأولى

كما يبيّن أدناه، وُجدت عدة تراكيب صعبة بوتيرة أكبر في النصوص الأصلية المولّدة بالذكاء الاصطناعي، ولا سيما لدى النماذج المتقدمة. وفسّر ذلك على أنه دليل على الميل إلى استخدام صياغات معقدة بلا داعٍ:

مقارنة النصوص الأصلية المولّدة بالذكاء الاصطناعي بنسخ تُرجمت إلى اليابانية ثم أعيدت ترجمتها إلى الإنجليزية. تشير النقاط الخضراء إلى الأنماط اللغوية الأكثر شيوعًا في النصوص الأصلية، فيما تشير النقاط الوردية إلى الأنماط الأكثر شيوعًا بعد الترجمة. وكانت الفروق أكبر عمومًا لدى نماذج GPT وClaude. المصدر

قورنت السمات اللغوية الستة عبر 14 نموذجًا للذكاء الاصطناعي في ثلاثة سياقات (المحادثة والبرمجة وكتابة المقالات). واختُبر 12 نموذجًا في المحادثة، وتسعة في البرمجة، والنماذج الأربعة عشر كلها في كتابة المقالات:

مقارنة ست سمات لغوية عبر نماذج الذكاء الاصطناعي في المحادثة والبرمجة وكتابة المقالات. تمثل كل ماسة النتيجة المجمّعة لأحد النماذج؛ وتُظهر الأشرطة الأفقية فترات الثقة البالغة 95%. وتشير الخطوط الرأسية المتقطعة إلى خطوط الأساس المستمدة من نصوص كتبها البشر: OpenSubtitles (للمحادثة)، وStackExchange (للبرمجة)، ومقالات الطلاب من PERSUADE 2.0 (لكتابة المقالات). وتشير الخطوط المنقطة إلى المقارنات مع ويكيبيديا. وتشير القيم الأعلى عمومًا إلى استخدام أكثر شيوعًا للتركيب المقاس، أو إلى تعقيد لغوي أكبر. يُرجى الرجوع إلى الورقة البحثية الأصلية للاطلاع على نسخة أوضح.

قورِن النص الأصلي المولّد بالذكاء الاصطناعي أيضًا بنسخه المعاد ترجمتها، ما أتاح قياس الاختلافات في بنية الجمل:

مقارنة بين النص الأصلي المولّد بالذكاء الاصطناعي (المعينات الماسية المصمتة) ونسخه المترجمة إلى اليابانية ثم المعاد ترجمتها إلى الإنجليزية باستخدام NLLB-200 (الدوائر المجوفة). تشير الخطوط الوردية إلى السمات التي زاد استخدامها بعد الترجمة، بينما تشير الخطوط الخضراء إلى السمات الأكثر استخدامًا في النصوص الأصلية. تشير علامات النجمة إلى الدلالة الإحصائية (وتعبّر نجمة واحدة أو نجمتان أو ثلاث نجمات عن أدلة إحصائية متزايدة القوة). قلّ استخدام معظم التراكيب المرتبطة بصعوبة القراءة بعد الترجمة، ولا سيما في النماذج المتقدمة. يُرجى الرجوع إلى الورقة البحثية للاطلاع على نسخة أوضح.

تبيّن أن النماذج المتقدمة وشبه المتقدمة تفرط في استخدام التوليفات غير المألوفة للكلمات، والأفعال المشتقة من أسماء، والموضوعات غير العاقلة، والجمل الموصولة المفعولية التي حُذفت منها كلمات اختيارية (انظر الرسم البياني أعلاه). وكانت هذه النزعات أضعف عمومًا في Llama وOlmo Base، لكنها كانت أوضح في Olmo Think.

لوحظت اختلافات أقل في كتابة المقالات منها في المحادثات أو البرمجة، وعُزي ذلك إلى اعتماد المقالات على مطالبة واحدة، في حين قد تشجع المحادثات الممتدة ذهابًا وإيابًا على مزيد من التكثيف اللغوي.

ويشير المؤلفون إلى ما يلي:

«تُظهر مقالات PERSUADE تغيرات أقل في عدة فئات (مقاييس n-gram، وأطوال علاقات التبعية، وتراكم الأسماء، والأفعال المشتقة من أسماء) عند الترجمة ذهابًا وإيابًا، مقارنةً بالمحادثات و[coding].

«نفترض أن السبب هو أن هذه المقالات تعتمد على مطالبة واحدة، بخلاف الأدوار المتكررة الكثيرة في المحادثات والبرمجة. ونعتقد أن أنماطًا معينة قد تظهر في المحادثات الطويلة ذهابًا وإيابًا (التي قد تتطلب مزيدًا من ضغط المعلومات).»

سُجّل أقل تغير بعد الترجمة في Llama وOlmo Base وInstruct، وهي أيضًا الأقرب إلى مقالات الطلاب من حيث توليفات الكلمات واستخدام الأفعال. في المقابل، تبيّن أن Olmo Think يتصرف على نحو أقرب إلى النماذج المتقدمة. ولوحظ أن Claude Opus 5.5 استخدم تراكيب صعبة أقل من Opus 5 في 19 مقارنة من أصل 21، وكانت فواصل الثقة بنسبة 95% غير متداخلة في ثماني مقارنات منها.

التجربة الثانية

صُممت التجربة الثانية لاختبار ما إذا كان الضغط الكامن لإنتاج استجابات أقصر وأكثر كثافةً بالمعلومات قد يدفع النماذج إلى تفضيل تراكيب لغوية يصعب على البشر فهمها.

هنا، خضع Qwen2.5-1.5B-Instruct لـالضبط الدقيق باستخدام التحسين النسبي للسياسة على مستوى المجموعة (GRPO)، وكُلِّف النموذج بتحويل أوصاف الأحداث المنظَّمة والمُنسَّقة بصيغة JSON إلى جمل باللغة الإنجليزية.

عُدّل جانبان من التدريب: مدى السماح للنموذج بتغيير اختياره المعتاد للكلمات (β)، ومدى شدة العقوبة المفروضة عليه عند إنتاج استجابات أطول (λ). وكان من الممكن التعبير عن كل حدث بطريقتين سليمتين نحويًا، مع اختلاف معلوم في عدد الرموز.

فعلى سبيل المثال، «أرسل لنا صورة» تتطلب ستة رموز، مقابل سبعة لعبارة «أرسل صورةً إلينا». وأُجري أيضًا اختبار منفصل استُخدمت فيه طريقتان للتعبير عن المعنى نفسه، تتطلب كل منهما العدد نفسه من الرموز، للتحقق مما إذا كانت الاختلافات ناجمة عن طول الجملة.

اختُبر الأثر على جمل لم يسبق للنموذج رؤيتها، باستخدام أربعة تراكيب واجهها أثناء التدريب؛ وتركيبين غير مستخدمين في التدريب يتضمنان كلمة «that» الاختيارية؛ وتراكيب أخرى غير مرتبطة تشمل الملكية، وألفاظ الكمية، وصيغ المبني للمجهول، وجمل الغاية.

صُممت الاختبارات لتحديد ما إذا كان النموذج سيتعلم تفضيل الصياغة الأقصر ويعممه على تراكيب لم يسبق له مواجهتها أثناء التدريب:

أثر فرض عقوبة على الإجابات الأطول أثناء التدريب. يوضح القسم A مثالًا على صياغة أقصر وأخرى أطول. ويقيس القسم B تفضيلات التراكيب الأقصر، بينما يعرض القسمان C وD اختبارات لتراكيب لم يسبق التدريب عليها. يشير اللون البرتقالي إلى التدريب من دون تقييد التغييرات التي تُجرى على النموذج الأصلي، ويشير الأزرق إلى التدريب مع هذا التقييد. وتُظهر الخطوط المتقطعة تفضيلات النموذج الأصلي. أدت العقوبات الأشد عمومًا إلى تفضيل أكبر للصياغات الأقصر، حتى في التراكيب التي لم تظهر أثناء التدريب. يُرجى الرجوع إلى الورقة البحثية الأصلية للاطلاع على نسخة أوضح.

كلما زادت العقوبة المفروضة على الإجابات الأطول، زاد اختيار الصياغات الأقصر (كما يتضح مباشرة أعلاه). ومن دون عقوبة KL (أي تقييد مدى ابتعاد النموذج عن تنبؤاته الأصلية بالكلمات)، كان التحول سريعًا؛ أما عند تطبيقها، فظهر الأثر نفسه بوتيرة أبطأ. ومن دون أي من العقوبتين، تباينت التفضيلات كثيرًا بين جولات التدريب، لكن حتى فرض عقوبة طفيفة على الطول أدى إلى تفضيل ثابت للبدائل الأقصر.

لوحظ هذا التفضيل أيضًا في تراكيب جملية لم يسبق للنموذج رؤيتها، تتضمن كلمة «that» الاختيارية. وكان انتقال هذا الأثر إلى تراكيب نحوية أبعد أضعف بكثير، إذ لم يُرصد إلا في صيغ الملكية عند غياب عقوبة KL.

وخلص المؤلفون إلى ما يلي:

‘نرى في هذه النتائج إثباتًا لإمكان أن تؤثر عقوبة الطول المستخدمة أثناء التعلم بالتعزيز باستخدام GRPO مباشرةً في السمات النحوية.

‘ونشير إلى أن النموذج لم يتلقَّ تعليمات مباشرة باستخدام لغة مكثفة أو موجزة، ولم تُقدَّم إليه مباشرةً معلومات عن توافر بدائل نحوية.

‘بل أفضت العقوبة إلى تفضيل ناشئ للصيغ الأقصر ضمن البدائل النحوية.’

الخلاصة

لطالما شغلتني المرتكزات، سواء أكانت غير مقصودة أم مقصودة، التي تميّز النصوص المولّدة بالذكاء الاصطناعي. لذلك، يسلّط هذا العمل الجديد بعض الضوء على التعارض الظاهري بين الإسهاب المعروف في نماذج اللغة الكبيرة وميلها، الذي بات معروفًا بالقدر نفسه، إلى اختزال المعلومات بطرق تبدو «سهلة القراءة» لمجرد أنها تستخدم كلمات قليلة؛ لكن من الواضح أن هذا تفسير خاطئ لتلك الإشارة.

في نماذج اللغة الكبيرة، قد يدل الإيجاز في النص الناتج على التعقيد بدلًا من استخلاص الخلاصة الجوهرية، كأن الذكاء الاصطناعي يقدم لنا لغزًا بدلًا من المفاهيم المباشرة الكامنة وراء الكلمات. ويبدو أن كل ذلك هدفه تمكين نموذج واحد من البرمجة والكتابة.

* تحمل الورقة عنوان «لماذا يصعب فهم اللغة التي يولّدها الذكاء الاصطناعي؟»، وقد ألّفها باحثان من جامعة نيويورك وجامعة تكساس.

^† تحويلُ الإحالات المضمنة في نص المؤلفين إلى روابط تشعبية.

^†† https://mikeydoes.com/glossary/p600/

نُشر لأول مرة يوم الاثنين، 26 أكتوبر 2026