لماذا يتجاهل نماذج اللغة الكبيرة الإرشادات وكيفية معالجة هذه القضية

نماذج اللغة الكبيرة (LLMs) أصبحت أدوات ذكاء اصطناعي لا غنى عنها، وتقدم تطبيقات من محادثات الروبوتات وإنشاء المحتوى إلى مساعدة البرمجة. على الرغم من قدراتها المذهلة، فإن أحد التحديات الشائعة التي يواجهها المستخدمون هو أن هذه النماذج تتجاهل أحيانًا أجزاء من الإرشادات التي تتلقاها، خاصة عندما تكون هذه الإرشادات طويلة أو تتضمن عدة خطوات. يؤدي هذا التجاهل إلى نتائج غير كاملة أو غير دقيقة، مما يمكن أن يسبب ارتباكًا ويتسبب في تآكل الثقة في أنظمة الذكاء الاصطناعي. فهم سبب تجاهل نماذج اللغة الكبيرة للإرشادات ومعالجة هذه القضية أمر ضروري للمستخدمين الذين يعتمدون على هذه النماذج للحصول على نتائج دقيقة وموثوقة.

لماذا تتجاهل نماذج اللغة الكبيرة الإرشادات؟

تعمل نماذج اللغة الكبيرة عن طريق قراءة النص الإدخالي كتسلسل من الرموز. الرموز هي الأجزاء الصغيرة التي يتم تقسيم النص إليها. يقوم النموذج بمعالجة هذه الرموز واحدة تلو الأخرى، من البداية إلى النهاية. هذا يعني أن الإرشادات في بداية الإدخال تميل إلى الحصول على المزيد من الاهتمام. الإرشادات اللاحقة قد تتلقى اهتمامًا أقل ويمكن تجاهلها.

يحدث هذا لأن نماذج اللغة الكبيرة لديها قدرة اهتمام محدودة. الاهتمام هو الآلية التي يستخدمها النموذج لتحديد أجزاء الإدخال الأساسية عند توليد الاستجابات. عندما يكون الإدخال قصيرًا، يعمل الاهتمام جيدًا. لكن الاهتمام يصبح أقل عندما يطول الإدخال أو يصبح أكثر تعقيدًا. هذا يضعف التركيز على الأجزاء اللاحقة، مما يؤدي إلى تجاهلها.

بالإضافة إلى ذلك، تزيد الإرشادات المتعددة في نفس الوقت من التعقيد. عندما تتداخل الإرشادات أو تتعارض، قد يصبح النموذج محبوسًا. قد يحاول الإجابة على كل شيء ولكن ينتج استجابات غامضة أو متعارضة. هذا غالبًا ما يؤدي إلى فقدان بعض الإرشادات.

نماذج اللغة الكبيرة تشترك أيضًا في بعض القيود البشرية. على سبيل المثال، يمكن للبشر أن يفقدوا التركيز عند قراءة النصوص الطويلة أو المتكررة. بشكل مماثل، يمكن لنماذج اللغة الكبيرة “نسيان” الإرشادات اللاحقة أثناء معالجتها للمزيد من الرموز. هذا فقدان للتركيز هو جزء من تصميم النموذج والقيود الخاصة به.

سبب آخر هو كيفية تدريب نماذج اللغة الكبيرة. يرى النموذج العديد من الأمثلة على الإرشادات البسيطة ولكن القليل من الإرشادات المعقدة متعددة الخطوات. بسبب ذلك، يميل النموذج إلى اتباع الإرشادات البسيطة التي هي أكثر شيوعًا في بيانات التدريب. هذا الانحياز يجعلها تتجاهل الإرشادات المعقدة. بالإضافة إلى ذلك، تقيد حدود الرموز بكمية الإدخال التي يمكن للنموذج معالجتها. عندما يتجاوز الإدخال هذه الحدود، يتم تجاهل الإرشادات التي تتجاوز الحد.

مثال: افترض أنك تعطي نموذج اللغة الكبيرة خمس إرشادات في استدعاء واحد. قد يركز النموذج بشكل رئيسي على الإرشادات الأولى والثانية ويتجاهل جزئيًا أو كليًا الإرشادات الثلاث الأخيرة. هذا يؤثر مباشرة على كيفية معالجة النموذج للرموز بشكل متسلسل وقيود الاهتمام.

كيفية إدارة نماذج اللغة الكبيرة للإرشادات المتتالية بناءً على نتائج SIFo 2024

دراسات حديثة قد نظرت بعناية إلى كيفية اتباع نماذج اللغة الكبيرة للعديد من الإرشادات المحددة واحدة تلو الأخرى. واحدة من الدراسات المهمة هي اختبار متابعة الإرشادات المتتالية (SIFo) 2024. هذا الاختبار يختبر النماذج على مهام تتطلب إكمال متتالي للإرشادات مثل تعديل النصوص و回答 الأسئلة والرياضيات ومتابعة قواعد الأمان. كل إرشاد في التسلسل يعتمد على إكمال الإرشاد السابق بشكل صحيح. هذا النهج يساعد على التحقق من是否 اتبع النموذج التسلسل بأكمله بشكل صحيح.

تظهر نتائج SIFo أن حتى أفضل نماذج اللغة الكبيرة، مثل GPT-4 و Claude-3، غالبًا ما تجد صعوبة في إكمال جميع الإرشادات بشكل صحيح. هذا尤حيًا عندما تكون الإرشادات طويلة أو معقدة. يشير البحث إلى ثلاث مشاكل رئيسية تواجه نماذج اللغة الكبيرة في اتباع الإرشادات:

الفهم: فهم كل إرشاد بشكل كامل.

الاستدلال: ربط الإرشادات المتعددة بشكل منطقي للحفاظ على وضوح الاستجابة.

الإخراج الموثوق: إنتاج استجابات كاملة ودقيقة، تغطي جميع الإرشادات المحددة.

تقنيات مثل هندسة الاستدعاء وضبط دقيق تساعد على تحسين كيفية اتباع النماذج للإرشادات. ومع ذلك، هذه الأساليب لا تساعد بشكل كامل في مشكلة تجاهل الإرشادات. استخدام التعلم التعزيزي مع ملاحظات بشرية (RLHF) يحسن من قدرة النموذج على الاستجابة بشكل مناسب. ومع ذلك، النماذج تواجه صعوبة عندما تتطلب الإرشادات العديد من الخطوات أو تكون معقدة للغاية.

أيضًا، تشير الدراسة إلى أن نماذج اللغة الكبيرة تعمل بشكل أفضل عندما تكون الإرشادات بسيطة ومفصولة جيدًا ومنظمة جيدًا. عندما تتطلب المهام سلاسل استدلال طويلة أو العديد من الخطوات، ينخفض دقة النموذج. هذه النتائج تساعد على اقتراح طرق أفضل لاستخدام نماذج اللغة الكبيرة بشكل جيد وتظهر الحاجة إلى بناء نماذج أقوى يمكنها اتباع الإرشادات بشكل متتالي.

لماذا تتجاهل نماذج اللغة الكبيرة الإرشادات: التحديات الفنية والاعتبارات العملية

نماذج اللغة الكبيرة قد تتجاهل الإرشادات بسبب عدة عوامل فنية وعمليات متأصلة في كيفية معالجتها وتشفير النص الإدخالي.

الاهتمام المحدود وتخفيف المعلومات

تعتمد نماذج اللغة الكبيرة على آليات الاهتمام لتخصيص أهمية لأجزاء الإدخال المختلفة. عندما تكون الاستدعاءات موجزة، يكون اهتمام النموذج مركزًا وفعالًا. ومع ذلك، عندما يطول الاستدعاء أو يصبح أكثر تكرارًا، يصبح الاهتمام أقل تركيزًا، وتتلقى الرموز أو الإرشادات اللاحقة اهتمامًا أقل، مما يزيد من احتمالية تجاهلها. هذا الظاهرة، المعروفة بتخفيف المعلومات، هي مشكلة خاصة بالإرشادات التي تظهر في نهاية الاستدعاء. بالإضافة إلى ذلك، النماذج لديها حدود رموز ثابتة (مثل 2048 رمز); أي نص يتجاوز هذا الحد يتم تقطيعه ويتجاهله، مما يؤدي إلى تجاهل الإرشادات في النهاية بالكامل.

تعقيد الإخراج والغموض

نماذج اللغة الكبيرة قد تواجه صعوبة في إنتاج استجابات واضحة وكاملة عند مواجهة إرشادات متعددة أو متعارضة. قد ينتج النموذج استجابات جزئية أو غامضة لتجنب التناقضات أو الارتباك، مما يؤدي بشكل فعال إلى تجاهل بعض الإرشادات. الغموض في كيفية صياغة الإرشادات يطرح أيضًا تحديات: الإرشادات الغامضة أو غير الدقيقة تجعل من الصعب على النموذج تحديد الإجراءات المقصودة، مما يزيد من خطر تجاهل أو تفسير الإرشادات بشكل خاطئ.

تصميم الاستدعاء وحساسية التنسيق

هيكل وتنسيق الاستدعاءات يلعب دورًا حاسمًا في اتباع الإرشادات. تشير الأبحاث إلى أن حتى التغييرات الصغيرة في كيفية كتابة أو تنسيق الإرشادات يمكن أن تؤثر بشكل كبير على ما إذا كان النموذج يتبعها.

الاستدعاءات السيئة الهيكل، التي تفتقر إلى الفصل الواضح أو النقاط أو الأرقام، تجعل من الصعب على النموذج التمييز بين الخطوات، مما يزيد من فرصة دمج أو تجاهل الإرشادات. تمثيل النموذج الداخلي للاستدعاء حساس للغاية لهذه الاختلافات، مما يفسر لماذا يمكن لتقنيات مثل هندسة الاستدعاء (إعادة صياغة أو إعادة هيكلة الاستدعاءات) تحسين اتباع الإرشادات بشكل كبير، حتى إذا ظلت المحتوى الأساسي على حاله.

كيفية إصلاح تجاهل الإرشادات في نماذج اللغة الكبيرة

تحسين قدرة نماذج اللغة الكبيرة على اتباع الإرشادات بدقة أمر ضروري لإنتاج نتائج موثوقة ودقيقة. يجب مراعاة أفضل الممارسات التالية لتقليل تجاهل الإرشادات وتحسين جودة الاستجابات التي يتم توليدها بواسطة الذكاء الاصطناعي:

ينبغي تقسيم المهام إلى أجزاء أصغر

الاستدعاءات الطويلة أو متعددة الخطوات ينبغي تقسيمها إلى مقاطع أكثر تركيزًا. توفير إرشاد أو إرشادين في كل مرة يسمح للنموذج بالحفاظ على اهتمام أفضل ويقلل من احتمالية تفويت أي خطوات.

مثال

بدلاً من دمج جميع الإرشادات في استدعاء واحد، مثل “قم بتلخيص النص، قائمه النقاط الرئيسية، اقترح تحسينات، وترجمها إلى الفرنسية،” ينبغي تقديم كل إرشاد بشكل منفصل أو في مجموعات أصغر.

ينبغي تنسيق الإرشادات باستخدام قوائم مرقمة أو نقاط

تنظيم الإرشادات باستخدام تنسيق صريح، مثل القوائم المرقمة أو النقاط، يساعد على إظهار أن كل عنصر هو مهمة فردية. هذا الوضوح يزيد من احتمالية أن الاستجابة ستعالج جميع الإرشادات.

مثال

• قم بتلخيص النص التالي.
• قائمه النقاط الرئيسية.
• اقترح تحسينات.

这样的 تنسيق يوفر إشارات بصرية تساعد النموذج على التعرف على وفصل المهام الفردية داخل الاستدعاء.

ينبغي أن تكون الإرشادات صريحة وواضحة

من المهم أن تُصرح الإرشادات بوضوح بالطلب لإكمال كل خطوة. يجب تجنب اللغة الغامضة أو غير الواضحة. الاستدعاء يجب أن يشير بشكل صريح إلى أن لا خطوة يمكن تجاهلها.

مثال

“الرجاء إكمال جميع المهام الثلاث التالية. لا يجوز تجاهل أي خطوة.”

بيانات مباشرة مثل هذه تقلل من الارتباك وتشجع النموذج على تقديم استجابات كاملة.

ينبغي استخدام استدعاءات منفصلة للمهام الحرجة أو الحاسمة

ينبغي تقديم كل إرشاد كاستدعاء فردي للمهام التي يتطلب دقة وكمال. على الرغم من أن هذا النهج قد يزيد من وقت التفاعل، إلا أنه يحسن بشكل كبير من احتمالية الحصول على استجابات كاملة ودقيقة. هذا الأسلوب يضمن أن يركز النموذج بشكل كامل على مهمة واحدة في كل مرة، مما يقلل من خطر تجاهل الإرشادات.

استراتيجيات متقدمة لتسجيل التوازن بين الكمال والكفاءة

الانتظار لاستجابة بعد كل إرشاد يمكن أن يكون استهلاكًا للوقت للمستخدمين. لتحسين الكفاءة مع الحفاظ على الوضوح وتقليل الإرشادات المتجاهلة، قد تكون تقنيات الاستدعاء المتقدمة التالية فعالة:

دمج الإرشادات مع تنسيق واضح وتسميات صريحة

يمكن دمج عدة إرشادات متعلقة في استدعاء واحد، ولكن كل إرشاد يجب فصلها باستخدام الأرقام أو العناوين. الاستدعاء يجب أن يوجه النموذج إلى الاستجابة لجميع الإرشادات بشكل كامل وبالترتيب.

مثال الاستدعاء

الرجاء إكمال جميع المهام التالية بعناية دون تجاهل أي منها:

1. قم بتلخيص النص أدناه.
2. قائمه النقاط الرئيسية من تلخيصك.
3. اقترح تحسينات بناءً على النقاط الرئيسية.
4. ترجم النص المحسن إلى الفرنسية.

استدعاءات أسلوب سلسلة الأفكار

استدعاءات سلسلة الأفكار توجيه النموذج إلى التفكير من خلال كل مهمة خطوة بخطوة قبل تقديم استجابة. تشجيع النموذج على معالجة الإرشادات بشكل متسلسل داخل استجابة واحدة يساعد على ضمان عدم تجاهل أي خطوات، مما يقلل من خطر تجاهل الإرشادات وتحسين الكمال.

مثال الاستدعاء

اقرأ النص أدناه وافعل ما يلي بالترتيب. أظهر عملك بوضوح:

• قم بتلخيص النص.
• حدد النقاط الرئيسية من تلخيصك.
• اقترح تحسينات للنص.
• ترجم النص المحسن إلى الفرنسية.

الرجاء الإجابة على جميع المهام بشكل كامل ومنفصل في استجابة واحدة.

إضافة تعليمات الإكمال والتذكير

توجيه النموذج بشكل صريح إلى:

• “الإجابة على كل مهمة بشكل كامل.”
• “لا تتجاهل أي إرشاد.”
• “افصل استجاباتك بوضوح.”

تذكيرات مثل هذه تساعد النموذج على التركيز على الكمال عند دمج عدة إرشادات.

ينبغي اختبار نماذج وضبط معلمات مختلفة

لا تعمل جميع نماذج اللغة الكبيرة بشكل متساو في اتباع عدة إرشادات. من المستحسن تقييم نماذج مختلفة لتحديد تلك التي تتفوق في المهام متعددة الخطوات. بالإضافة إلى ذلك، ضبط المعلمات مثل درجة الحرارة وحد أقصى الرموز والاستدعاءات النظامية قد يحسن بشكل أكبر من تركيز الاستجابات وكمالها. اختبار هذه الإعدادات يساعد على تخصيص سلوك النموذج لمتطلبات المهمة المحددة.

ضبط دقيق النماذج واستخدام أدوات خارجية يجب أن يتم النظر فيها

ينبغي ضبط النماذج على مجموعات بيانات تتضمن إرشادات متعددة الخطوات أو متتالية لتحسين اتباعها للإرشادات المعقدة. تقنيات مثل RLHF يمكن أن تحسن بشكل أكبر من اتباع الإرشادات.

للحالات المتقدمة، يمكن أن توفر دمج أدوات خارجية مثل واجهات برمجة التطبيقات أو إضافات محددة للمهمة أو نظم التوليد المعزز بالاسترجاع (RAG) سياقًا إضافيًا ومراقبة، مما يحسن من موثوقية ودقة الإخراج.

النقطة الأساسية

نماذج اللغة الكبيرة هي أدوات قوية ولكنها قد تتجاهل الإرشادات عندما تكون الاستدعاءات طويلة أو معقدة. هذا يحدث بسبب كيفية قراءة الإدخال وتركيز الانتباه. الإرشادات يجب أن تكون واضحة وبسيطة ومنظمة جيدًا للحصول على نتائج أفضل وأكثر موثوقية.

استخدام استدعاءات منفصلة يمكن أن يحسن الدقة للمهام الحرجة، على الرغم من أن ذلك يستغرق وقتًا أطول. بالإضافة إلى ذلك، أساليب الاستدعاء المتقدمة مثل سلسلة الأفكار والتنسيق الواضح تساعد على تحقيق توازن بين السرعة والدقة. بالإضافة إلى ذلك، اختبار نماذج مختلفة وضبط دقيق يمكن أن يحسن أيضًا من النتائج. هذه الأفكار ستساعد المستخدمين على الحصول على استجابات كاملة وموثوقة، مما يجعل أدوات الذكاء الاصطناعي أكثر فائدة في العمل الواقعي.