لماذا تفقد نماذج اللغة اتجاهها في المحادثات

أظهرت دراسة جديدة من.microsoft Research وSalesforce أن حتى أكثر نماذج اللغة الكبيرة (LLMs) قوة تفقد اتجاهها عند إعطاء الإرشادات في مراحل بدلاً من مرة واحدة. وجد المؤلفون أن الأداء ينخفض بنسبة 39 في المائة في المتوسط عبر ست مهام عندما يتم تقسيم الإرشادات إلى عدة أجزاء:

محادثة واحدة الدورة (اليسار) تحصل على أفضل النتائج، ولكنها غير طبيعية للمستخدم النهائي. محادثة متعددة الدورات (اليمين) تجد حتى أعلى تصنيف وأداء LLMs تفقد الزخم الفعال في المحادثة. مصدر: https://arxiv.org/pdf/2505.06120

أكثر ما يلفت الانتباه، موثوقية الاستجابات تتدهور، مع نماذج مرموقة مثل ChatGPT-4.1 وGemini 2.5 Pro تتراوح بين إجابات قريبة من الكمال والفشل التام، اعتماداً على كيفية صياغة المهمة نفسها؛ بالإضافة إلى ذلك، يمكن أن ينخفض تواتر الإخراج بنسبة أكثر من نصف في هذه العملية.

للتعمق في هذا السلوك، تقدم الورقة طريقة تسمى شارد، والتي تقسم الإرشادات الكاملة إلى أجزاء صغيرة وتطلقها واحدة تلو الأخرى في المحادثة.

بمعنى بسيط، هذا يعادل إعطاء أمر شامل ومتكامل في المطعم، تاركاً النادل بدون شيء يفعله سوى الإقرار بالطلب؛ أو تقرر مهاجمة الأمر بشكل تعاوني:

صورتان متطرفتان لمحادثة في المطعم (ليس من الورقة الجديدة، لأغراض توضيحية فقط).

للتأكيد، قد يضع المثال السابق العميل في ضوء سلبي. لكن الفكرة الأساسية الموضحة في العمود الثاني هي أن هناك تبادلاً تعاقدياً يحدد مشكلة معينة قبل معالجتها – وهو نهج منطقي ومعقول لمواجهة المهمة.

ينعكس هذا الإعداد في نهج الورقة الجديد، الذي يفرق بين الإرشادات التقليدية في مراحل مختلفة، وهو هيكل يعكس أسلوب الاستكشاف والتفاعل المتبادل كما يظهر في أنظمة مثل ChatGPT أو Google Gemini.

كل إرشادة أصلية هي إرشادة منفردة ومتكاملة تقدم المهمة بأكملها في مرة واحدة، وتجمع بين سؤال على مستوى عالٍ وسياق داعم وشرط متعلق. الإرشادة المقطعة إلى شاردات تقسمها إلى أجزاء صغيرة، مع كل شاردة تضيف قطعة واحدة من المعلومات:

إرشادات متوافقة تظهر (أ) إرشادة كاملة تم تسليمها في دورة واحدة و (ب) إصدارها المقطع المستخدم لتحاكي تفاعل متعدد الدورات غير محدد.

الشاردة الأولى دائماً تقدم الهدف الرئيسي للمهمة، بينما تقدم الباقي تفاصيل توضيحية. معاً، تقدم نفس المحتوى مثل الإرشادة الأصلية، ولكن موزعة بشكل طبيعي على عدة دورات في المحادثة.

كل محادثة محاكاة تتكشف بين ثلاثة مكونات: المساعد، وهو نموذج قيد التقييم؛ المستخدم، وهو وسيط محاكى يمتلك الوصول الكامل إلى الإرشادة في شكل مقطع؛ والنظام، الذي يراقب ويقيم التبادل.

تبدأ المحادثة بفضح المستخدم للشاردة الأولى والرد الحر للمساعد. ثم يقوم النظام بتصنيف ذلك الرد إلى واحدة من عدة فئات، مثل طلب توضيح أو محاولة إجابة كاملة.

إذا حاول النموذج إجابة، فإن مكونًا منفصلاً يستخرج فقط النطاق ذي الصلة للتقييم، مع تجاهل أي نص محيط. في كل دورة جديدة، يكشف المستخدم عن شاردة إضافية، مما يؤدي إلى رد آخر. يستمر التبادل حتى يحصل النموذج على الإجابة الصحيحة أو لا توجد شاردات متبقية للكشف عنها:

مخطط لمحاكاة محادثة مقطعة، مع نموذج قيد التقييم مميز باللون الأحمر.

أظهرت الاختبارات المبكرة أن النماذج غالباً تسأل عن معلومات لم يتم مشاركتها بعد، لذلك تخلت المؤلفون عن فكرة الكشف عن الشاردات في ترتيب محدد. بدلاً من ذلك، تم استخدام محاكي لتحديد الشاردة التي يجب الكشف عنها بعد ذلك، بناءً على كيفية سير المحادثة.

تمت إعطاء محاكي المستخدم، الذي تم تنفيذه باستخدام GPT-4o-mini، الوصول الكامل إلى الإرشادة الكاملة وتاريخ المحادثة، ومهمة اتخاذ قرار، في كل دورة، حول الشاردة التي يجب الكشف عنها بعد ذلك، بناءً على كيفية تقدم التبادل.

كما قام محاكي المستخدم إعادة صياغة كل شاردة للحفاظ على تدفق المحادثة، دون تغيير المعنى. هذا سمح للمحاكاة بالتعبير عن التفاعل المتبادل لل对话 الحقيقية، مع الحفاظ على السيطرة على هيكل المهمة.

قبل بدء المحادثة، يتم إعطاء المساعد المعلومات الأساسية فقط التي يحتاجها لإكمال المهمة، مثل مخطط قاعدة البيانات أو مرجع واجهة برمجة التطبيقات. لا يتم إخبارها بأن الإرشادات سوف يتم تقسيمها، ولا يتم توجيهها نحو طريقة معينة لمعالجة المحادثة. يتم ذلك عن قصد: في الاستخدام الحقيقي، يتم إعطاء النماذج معلومات غير كاملة أو محدثة مع مرور الوقت، وترك هذا السياق يساعد المحاكاة على تعكس كيفية سلوك النموذج في سياق أكثر واقعية.

تم استخدام GPT-4o-mini أيضًا لتحديد كيفية تصنيف ردود النموذج، ولإزالة أي إجابات نهائية من تلك الردود. هذا ساعد المحاكاة على الحفاظ على المرونة، ولكن أدخل بعض الأخطاء偶دياً: ومع ذلك، بعد التحقق من عدة مئات من المحادثات يدوياً، وجد المؤلفون أن أقل من خمسة في المئة منها كانت بها مشاكل، وأقل من اثنين في المئة أظهرت تغيراً في النتيجة بسببها، واعتبروا ذلك معدلاً منخفضاً للخطأ في حدود المشروع.

محادثات مقطعة

أول مرة تقدم هذه الطريقة تفرق الإرشادات التقليدية إلى شاردات صغيرة، مصممة للإدخال في لحظات حاسمة خلال تفاعل LLM، وهي هيكلة تعكس أسلوب الاستكشاف والتفاعل المتبادل كما يظهر في أنظمة مثل ChatGPT أو Google Gemini.

كل إرشادة أصلية هي إرشادة منفردة ومتكاملة تقدم المهمة بأكملها في مرة واحدة، وتجمع بين سؤال على مستوى عالٍ وسياق داعم وشرط متعلق. الإرشادة المقطعة إلى شاردات تقسمها إلى أجزاء صغيرة، مع كل شاردة تضيف قطعة واحدة من المعلومات:

إرشادات متوافقة تظهر (أ) إرشادة كاملة تم تسليمها في دورة واحدة و (ب) إصدارها المقطع المستخدم لتحاكي تفاعل متعدد الدورات غير محدد.

الشاردة الأولى دائماً تقدم الهدف الرئيسي للمهمة، بينما تقدم الباقي تفاصيل توضيحية. معاً، تقدم نفس المحتوى مثل الإرشادة الأصلية، ولكن موزعة بشكل طبيعي على عدة دورات في المحادثة.

كل محادثة محاكاة تتكشف بين ثلاثة مكونات: المساعد، وهو نموذج قيد التقييم؛ المستخدم، وهو وسيط محاكى يمتلك الوصول الكامل إلى الإرشادة في شكل مقطع؛ والنظام، الذي يراقب ويقيم التبادل.

تبدأ المحادثة بفضح المستخدم للشاردة الأولى والرد الحر للمساعد. ثم يقوم النظام بتصنيف ذلك الرد إلى واحدة من عدة فئات، مثل طلب توضيح أو محاولة إجابة كاملة.

إذا حاول النموذج إجابة، فإن مكونًا منفصلاً يستخرج فقط النطاق ذي الصلة للتقييم، مع تجاهل أي نص محيط. في كل دورة جديدة، يكشف المستخدم عن شاردة إضافية، مما يؤدي إلى رد آخر. يستمر التبادل حتى يحصل النموذج على الإجابة الصحيحة أو لا توجد شاردات متبقية للكشف عنها:

مخطط لمحاكاة محادثة مقطعة، مع نموذج قيد التقييم مميز باللون الأحمر.

أظهرت الاختبارات المبكرة أن النماذج غالباً تسأل عن معلومات لم يتم مشاركتها بعد، لذلك تخلت المؤلفون عن فكرة الكشف عن الشاردات في ترتيب محدد. بدلاً من ذلك، تم استخدام محاكي لتحديد الشاردة التي يجب الكشف عنها بعد ذلك، بناءً على كيفية سير المحادثة.

تمت إعطاء محاكي المستخدم، الذي تم تنفيذه باستخدام GPT-4o-mini، الوصول الكامل إلى الإرشادة الكاملة وتاريخ المحادثة، ومهمة اتخاذ قرار، في كل دورة، حول الشاردة التي يجب الكشف عنها بعد ذلك، بناءً على كيفية تقدم التبادل.

كما قام محاكي المستخدم إعادة صياغة كل شاردة للحفاظ على تدفق المحادثة، دون تغيير المعنى. هذا سمح للمحاكاة بالتعبير عن التفاعل المتبادل لل对话 الحقيقية، مع الحفاظ على السيطرة على هيكل المهمة.

قبل بدء المحادثة، يتم إعطاء المساعد المعلومات الأساسية فقط التي يحتاجها لإكمال المهمة، مثل مخطط قاعدة البيانات أو مرجع واجهة برمجة التطبيقات. لا يتم إخبارها بأن الإرشادات سوف يتم تقسيمها، ولا يتم توجيهها نحو طريقة معينة لمعالجة المحادثة. يتم هذا عن قصد: في الاستخدام الحقيقي، يتم إعطاء النماذج معلومات غير كاملة أو محدثة مع مرور الوقت، وترك هذا السياق يساعد المحاكاة على تعكس كيفية سلوك النموذج في سياق أكثر واقعية.

تم استخدام GPT-4o-mini أيضًا لتحديد كيفية تصنيف ردود النموذج، ولإزالة أي إجابات نهائية من تلك الردود. هذا ساعد المحاكاة على الحفاظ على المرونة، ولكن أدخل بعض الأخطاء偶دياً: ومع ذلك، بعد التحقق من عدة مئات من المحادثات يدوياً، وجد المؤلفون أن أقل من خمسة في المئة منها كانت بها مشاكل، وأقل من اثنين في المئة أظهرت تغيراً في النتيجة بسببها، واعتبروا ذلك معدلاً منخفضاً للخطأ في حدود المشروع.

سيناريوهات المحاكاة

استخدم المؤلفون خمس أنواع من المحاكاة لاختبار سلوك النموذج تحت ظروف مختلفة، كل منها تنوعاً في كيفية وكيفية الكشف عن أجزاء من الإرشادة.

في إعداد الكمال، يتلقى النموذج الإرشادة الكاملة في دورة واحدة. هذا يمثل الشكل القياسي للمعيار ويخدم كقاعدة أداء.

في إعداد المقطع، يتم تقسيم الإرشادة إلى أجزاء متعددة وتسليمها واحدة تلو الأخرى، مما يحاكي محادثة أكثر واقعية وغير محددة.

في إعداد التركيب، يتم ربط الشاردات مرة أخرى معاً كقائمة واحدة، مع الحفاظ على صياغتها ولكن إزالة هيكل الدورة تلو الأخرى. هذا يساعد على عزل تأثيرات تفتيت المحادثة من إعادة الصياغة أو فقدان المحتوى.

في إعداد الملخص، يتم تشغيله مثل المقطع، ولكن يضيف دورة نهائية حيث يتم إعادة صياغة جميع الشاردات السابقة قبل أن يقدم النموذج إجابة نهائية. هذا يختبر ما إذا كان يمكن للمrompt الملخص أن يساعد في استعادة السياق المفقود.

أخيراً، الثلج يذهب إلى أبعد من ذلك، من خلال تكرار جميع الشاردات السابقة في كل دورة، مع الحفاظ على الإرشادة الكاملة مرئية أثناء سير المحادثة – ويوفر اختباراً أكثر تسامحاً لقدرة التفاعل المتعدد.

أنواع المحاكاة بناءً على إرشادات مقطعة. يمكن استخدام إرشادة كاملة مقطعة إلى أجزاء صغيرة لتحاكي إما محادثة من دورة واحدة (الكمال، التركيب) أو محادثة متعددة الدورات (المقطع، الملخص، الثلج)، اعتماداً على كيفية سرعة الكشف عن المعلومات.

المهام والمقاييس

تم اختيار ست مهام توليدية لتغطية كل من المجالات البرمجية واللغة الطبيعية: تم اخذ مطالب توليد الشفرة من HumanEval وLiveCodeBench؛ استعلامات Text-to-SQL تم الحصول عليها من Spider؛ تم بناء مكالمات واجهة برمجة التطبيقات باستخدام بيانات من لوحة القيادة لوظيفة بيركلي؛ تم توفير مشاكل الرياضيات الأساسية بواسطة GSM8K؛ تم بناء مهام تعريف الجداول على ToTTo؛ وتم سحب ملخصات متعددة الوثائق من مجموعة ملخص من كومة.

تم قياس أداء النموذج باستخدام ثلاثة مقاييس أساسية: الأداء المتوسط، القدرة، وعدم الموثوقية.

الأداء المتوسط يحدد كيف يؤدي النموذج بشكل عام عبر عدة محاولات؛ القدرة يعكس أفضل النتائج التي يمكن للنموذج تحقيقها، بناءً على أفضل نواتجها؛ وعدم الموثوقية يقيس مدى تباين تلك النتائج، مع وجود فجوات أكبر بين أفضل وأسوأ النتائج تشير إلى سلوك أقل استقراراً.

تم وضع جميع الدرجات على مقياس 0-100 لضمان الاتساق عبر المهام، وتم حساب المقاييس لكل إرشادة، ثم تمت平均ها لتقديم صورة شاملة لأداء النموذج.

ست مهام مقطعة استخدمت في التجارب، تغطي كل من البرمجة وتوليد اللغة الطبيعية. تم عرض كل مهمة مع إرشادة كاملة ومقطعة. تم تعديل بين 90 و120 إرشادة من معايير قائم عليها لكل مهمة.

المنافسون والاختبارات

في المحاكاة الأولية (بكلفة تقديرية تبلغ 5000 دولار)، تم قطع 600 إرشادة تغطي ست مهام، وتم استخدامها لمحاكاة ثلاث أنواع من المحادثات: الكمال، التركيب، والمقطع. لكل مزيج من النموذج والإرشادة ونوع المحاكاة، تم تشغيل عشرة محادثات، مما أدى إلى أكثر من 200,000 محاكاة – مخطط سمح بتقديم أداء شامل وأعمق مقاييس للقدرة والموثوقية.

تم اختبار 15 نموذجاً، تغطي مجموعة واسعة من المزودين والهياكل: نماذج OpenAI GPT-4o (الإصدار 2024-11-20)، GPT-4o-mini (2024-07-18)، GPT-4.1 (2025-04-14)، ونموذج التفكير o3 (2025-04-16).

نماذج Anthropic كانت Claude 3 Haiku (2024-03-07) وClaude 3.7 Sonnet (2025-02-19)، وتم الوصول إليها عبر Amazon Bedrock.

ساهم Google في Gemini 2.5 Flash (preview-04-17) وGemini 2.5 Pro (preview-03-25). نماذج Meta كانت Llama 3.1-8B-Instruct وLlama 3.3-70B-Instruct، بالإضافة إلى Llama 4 Scout-17B-16E، عبر Together AI.

المدخلات الأخرى كانت OLMo 2 13B، Phi-4، وCommand-A، جميعها تم الوصول إليها محلياً عبر Ollama أو Cohere API؛ وDeepseek-R1، تم الوصول إليها عبر Amazon Bedrock.

لنماذج التفكير ‘التنافس’ (o3 وR1)، تم رفع حدود الرمز إلى 10,000 لاستيعاب سلاسل التفكير الأطول:

درجات الأداء المتوسط للنموذج عبر ست مهام: شفرة، قاعدة بيانات، إجراءات، بيانات إلى نص، رياضيات، وملخص. يتم عرض النتائج لثلاثة أنواع من المحاكاة: الكمال، التركيب، والمقطع. النماذج مرتبة حسب متوسط درجة الكمال. التظليل يعكس درجة انخفاض الأداء من إعداد الكمال، مع تقديم العمودين النهائيين انخفاضات متوسطة للتركيب والمقطع بالنسبة للكمال.

بخصوص هذه النتائج، يقول المؤلفون:

‘بشكل عام، كل نموذج يرى أداءه يتراجع في كل مهمة عند مقارنة الأداء الكامل والمقطع، مع انخفاض أداء متوسط يبلغ -39%. ونسمي هذه الظاهرة 迷失 في المحادثة: النماذج التي تحقق أداء ممتازاً (90%+) في بيئة مختبرية من المحادثات الكاملة والمنفردة تعاني في المهام نفسها في بيئة أكثر واقعية عندما تكون المحادثة غير محددة ومتعددة الدورات.’

درجات التركيب بلغت في المتوسط 95% من الكمال، مما يشير إلى أن انخفاض الأداء في إعداد المقطع لا يمكن أن يُعزى إلى فقدان المعلومات. أظهرت النماذج الأصغر، مثل Llama3.1-8B-Instruct وOLMo-2-13B وClaude 3 Haiku، تدهوراً أكثر وضوحاً تحت التركيب، مما يشير إلى أن النماذج الأصغر تكون أقل متانة للصياغة من النماذج الأكبر.

يشير المؤلفون إلى:

‘من المدهش أن النماذج الأكثر أداءاً (Claude 3.7 Sonnet، Gemini 2.5، GPT-4.1) تفقد اتجاهها في المحادثة بنفس القدر مثل النماذج الأصغر (Llama3.1-8B-Instruct، Phi-4)، مع انخفاضات متوسطة تبلغ 30-40%. هذا يعود جزئياً إلى تعريفات المقاييس. منذ أن تحقق النماذج الأصغر درجات مطلقة أقل في الكمال، لديهم نطاق أقل للاهتزاز من النماذج الأفضل.

‘باختصار، بغض النظر عن قوة أداء النموذج في الدورة الواحدة، نلاحظ انخفاضات كبيرة في الأداء في إعداد متعدد الدورات.’

يشير الاختبار الأولي إلى أن بعض النماذج تقاومت بشكل أفضل في مهام محددة: Command-A على الإجراءات، Claude 3.7 Sonnet، وGPT-4.1 على الشفرة؛ وGemini 2.5 Pro على بيانات إلى نص، مما يشير إلى أن القدرة على التفاعل المتعدد تختلف حسب المجال. النماذج التي تعتمد على التفكير، مثل o3 وDeepseek-R1، لم تنجح بشكل أفضل بشكل عام، ربما لأن ردودها الأطول أدخلت افتراضات أكثر، والتي تميل إلى إرباك المحادثة.

الموثوقية

علاقة القدرة والموثوقية، واضحة في محاكاة الدورة الواحدة، بدت تتهاوى تحت ظروف متعددة الدورات. بينما انخفضت القدرة بشكل معتدل، زادت الموثوقية مضاعفة في المتوسط. النماذج التي كانت مستقرة في إرشادات الكمال، مثل GPT-4.1 وGemini 2.5 Pro، أصبحت متقلبة مثل النماذج الأضعف مثل Llama3.1-8B-Instruct أو OLMo-2-13B عندما تم تقسيم الإرشادة:

مخطط لملخص القدرة والموثوقية كما هو موضح في مخطط صندوق (أ)، تليها نتائج الموثوقية من تجارب 15 نموذجاً (ب)، ونتائج اختبار التقطيع التدريجي حيث تم تقسيم الإرشادات إلى شاردات من 1 إلى 8 (ج).

أجابات النموذج غالباً ما تختلف بمقدار 50 نقطة على نفس المهمة، حتى بدون إضافة أي شيء جديد، مما يشير إلى أن انخفاض الأداء لم يكن ناتجاً عن نقص في المهارة، ولكن بسبب نموذج أصبحت أكثر عدم استقراراً عبر الدورات.

يقول المؤلفون:

‘[على الرغم من] أن النماذج الأفضل تميل إلى أن تكون أكثر قدرة على التفاعل المتعدد، فإن جميع النماذج تميل إلى أن تكون لها مستويات موثوقية مماثلة. بمعنى آخر، في إعداد متعدد الدورات وغير محدد، جميع النماذج التي قمنا باختبارها تظهر موثوقية عالية جداً، مع انخفاض الأداء بنسبة 50 نقطة في المتوسط بين أفضل وأسوأ تشغيل محاكاة لمهمة محددة.’

لاختبار ما إذا كان انخفاض الأداء مربوطاً بعدد الدورات، قام المؤلفون باختبار التقطيع التدريجي، حيث قاموا بتقسيم كل إرشادة إلى شاردات من 1 إلى 8 (انظر العمود الأيمن في الصورة أعلاه).

随着 زيادة عدد الشاردات، زادت الموثوقية بشكل مستمر، مما يؤكد أن الزيادات البسيطة في عدد الدورات تجعل النماذج أكثر عدم استقراراً. بقيت القدرة في الغالب بدون تغيير، مما يعزز أن القضية تكمن في الاستقرار، وليس في القدرة.

مراقبة الحرارة

تم اختبار مجموعة منفصلة من التجارب لتحديد ما إذا كانت الموثوقية مجرد نتيجة للصدفة. لفعل ذلك، قام المؤلفون بتعديل إعداد حرارة النموذج والمحاكي المستخدم عبر ثلاث قيم: 1.0، 0.5، و0.0.

في تنسيقات الدورة الواحدة مثل الكمال والتركيب، قلل تقليل حرارة النموذج بشكل كبير من الموثوقية، وقطع التباين بنسبة تصل إلى 80%؛ لكن في إعداد المقطع، لم يكن للتدخل نفسه أي تأثير:

درجات الموثوقية لتمزج مختلف بين حرارة النموذج وحرارة المحاكي عبر إعدادات الكمال، التركيب، والمقطع، مع قيم أقل تشير إلى استمرارية استجابة أكبر.

حتى عندما تم ضبط كل من النموذج والمستخدم على حرارة صفر، ظلت الموثوقية عالية، مع ظهور تباين حول 30% لGPT-4o، مما يشير إلى أن عدم الاستقرار الذي لوحظ في محادثات متعددة الدورات ليس مجرد ضجيج عشوائي، ولكن ضعفاً هيكلياً في كيفية معالجة النماذج للإدخال المقطع.

الآثار

يكتب المؤلفون عن الآثار المترتبة على اكتشافاتهم بطول غير عادي في خاتمة الورقة، بحجة أن الأداء القوي في الدورة الواحدة لا يضمن موثوقية متعددة الدورات، وينصحون بعدم الاعتماد بشكل كبير على معايير الكمال عند تقييم جاهزية العالم الحقيقي (حيث تخفي هذه المعايير عدم الاستقرار في التفاعلات المقطعة).

هم أيضاً يشيرون إلى أن الموثوقية ليست مجرد ظاهرة عينة، ولكن قيوداً أساسية في كيفية معالجة النماذج الحالية للإدخال المتطور، ويشيرون إلى أن هذا يثير مخاوف لمنصات الوكيل، التي تعتمد على التفكير المستدام عبر الدورات.

أخيراً، يجادلون بأن القدرة على التفاعل المتعدد يجب أن تعامل كقدرة أساسية للنماذج، وليس شيء يتم تفريغه إلى أنظمة خارجية.

يشير المؤلفون إلى أن نتائجهم من المرجح أن تقلل من حجم المشكلة الحقيقي، ويشيرون إلى الظروف المثالية للتجربة: محاكي المستخدم في إعدادهم كان لديه الوصول الكامل إلى الإرشادة ويمكنه الكشف عن الشاردات في ترتيب مثالي، مما أعطى النموذج سياقاً غير واقعيًا ومواتياً:

بالإضافة إلى ذلك، تم تقييم النموذج فوراً بعد كل دورة، قبل أن تنتشر المحادثة بالكامل، مما منع أي ارتباك أو تناقضات خودية لاحقة من أن تؤثر على الأداء. هذه الخيارات، على الرغم من أنها ضرورية للسيطرة على التجربة، تعني أن الفجوات في الموثوقية التي لوحظت في الممارسة هي على الأرجح أكبر من تلك المبلغ عنها.

يخلصون إلى:

‘[نحن] نعتقد أن المحاكاة التي قمنا بها تمثل ساحة اختبار محببة لنماذج LLM للتفاعل المتعدد. نظرًا لظروف المحاكاة المبسطة، نعتقد أن التدهور الملاحظ في التجارب هو على الأرجح تقليل لعدم موثوقية LLM، وكيف يفقد LLM اتجاهه في المحادثات في سياقات العالم الحقيقي.‘

الخاتمة

من المحتمل أن يعترف أي شخص قضى وقتاً كبيراً مع نموذج LLM بهذه القضايا المحددة من الخبرة العملية؛ وأعتقد أن معظمنا، في الواقع، قد تخلى عن محادثات LLM “مفقودة” لبدء محادثات جديدة، آملين في أن يبدأ LLM “من جديد” ويتوقف عن الانشغال بمواد ظهرت في تبادل طويل وملتوٍ.

من المثير للاهتمام أن نلاحظ أن إضافة المزيد من السياق إلى المشكلة قد لا يحلها بالضرورة؛ وبالفعل، أن نلاحظ أن الورقة تثير أكثر الأسئلة مما توفر إجابات (باستثناء ما يتعلق بطرق التملص من المشكلة).

* مما يسبب الارتباك، هذا غير مرتبط بالمعنى التقليدي لـ ‘شارد’ في الذكاء الاصطناعي.

† التوكيدات المحددة للمؤلفين.

نشر لأول مرة يوم الإثنين، 12 مايو 2025