هندسة المحفزات
التوجيه التناظري والخطوة الخلفية: غوص في التقدم الأخير من قبل أبحاث Google DeepMind
أضف Unite.AI إلى مصادرك المفضلة على Google
المقدمة
يركز هندسة التحفيز على ابتكار تحفيزات فعالة لتوجيه نماذج اللغة الكبيرة (LLM) مثل GPT-4 في توليد استجابات مرغوبة. يمكن أن تكون التحفيزات المصممة جيدًا هي الفرق بين إجابة غامضة أو غير دقيقة وإجابة دقيقة ومدروسة.
في النظام البيئي الأوسع للذكاء الاصطناعي، تعتبر هندسة التحفيز واحدة من عدة طرق تستخدم لاستخراج معلومات أكثر دقة وملاءمة للسياق من نماذج اللغة. وتشمل الطرق الأخرى تقنيات مثل التعلم بقليل من الأمثلة، حيث يتم تزويد النموذج بقليل من الأمثلة لمساعدته على فهم المهمة، وضبط دقيق، حيث يتم تدريب النموذج بشكل أكبر على مجموعة بيانات صغيرة لتحسين استجاباته.
google DeepMind نشرت مؤخرًا ورقتين بحثيتين تناولتا هندسة التحفيز و потенسيالها لتعزيز الاستجابات في العديد من المواقف.
تعد هذه الأوراق جزءًا من الاستكشاف المستمر في مجتمع الذكاء الاصطناعي لتحسين وتحسين كيفية تواصلنا مع نماذج اللغة، وتوفر رؤى جديدة حول هيكلة التحفيزات من أجل معالجة الاستفسارات وتفاعل قاعدة البيانات.
(GOOGL )تتناول هذه المقالة تفاصيل هذه الأبحاث، موضحة المفاهيم والمنهجيات والآثار المترتبة على التقنيات المقترحة، مما يجعلها متاحة حتى للقراء ذوي المعرفة المحدودة في الذكاء الاصطناعي و معالجة اللغة الطبيعية.
الورقة 1: نماذج اللغة الكبيرة كمحسنة تناظرية
تطرح الورقة الأولى، بعنوان “نماذج اللغة الكبيرة كمحسنة تناظرية”، نهجًا جديدًا في التحفيز يسمى التحفيز التناظري. يستلهم المؤلفون، ميتشيرو ياسوناغا وكسينون تشين وغيرهم، الفكرة من التفكير التناظري – عملية معرفية حيث يستخدم البشر الخبرات السابقة لمواجهة مشاكل جديدة.
المفاهيم الرئيسية والمنهجية
يشجع التحفيز التناظري نماذج اللغة الكبيرة على توليد أمثلة أو معرفة ذاتية في السياق قبل حل المشكلة المعروضة. هذا النهج يلغي الحاجة إلى أمثلة تم تحديدها، ويوفر عمومية وسهولة، ويتكيف مع الأمثلة المتولدة مع كل مشكلة على حدة، مما يضمن مرونة أكبر.
اليسار: تعتمد الطرق التقليدية في التحفيز على مدخلات عامة (0-شوت كوت) أو تتطلب أمثلة تم تحديدها (قليل من الأمثلة كوت). اليمين: النهج الجديد يحفز نماذج اللغة على توليد أمثلة ذاتية قبل حل المشكلة، مما يلغي الحاجة إلى التسمية وتخصيص الأمثلة لكل مشكلة فريدة
الأمثلة المتولدة ذاتيًا
تطرح الورقة الأولى تقنية الأمثلة المتولدة ذاتيًا. الفكرة هي الاستفادة من المعرفة الواسعة التي اكتسبتها نماذج اللغة الكبيرة خلال تدريبها لمساعدتها على حل مشاكل جديدة. يتضمن العملية إضافة تعليمات إلى المشكلة المستهدفة لتحفيز النموذج على استدعاء أو توليد مشاكل و حلول ذات صلة.
على سبيل المثال، عند مواجهة مشكلة، يُطلب من النموذج استدعاء ثلاثة مشاكل مختلفة وذات صلة، ووصفها، وشرح حلولها. يتم تنفيذ هذه العملية في جولة واحدة، مما يسمح للنموذج بتوليد أمثلة ذات صلة و حل المشكلة الأولية بسلاسة. يستخدم رمز ‘# ‘ في التحفيزات لتنظيم الاستجابة وجعلها أكثر تنظيمًا وسهولة للنموذج اتباعها.
تشمل القرارات الفنية المحددة في الورقة التركيز على توليد أمثلة ذات صلة ومتنوعة، واعتماد نهج الجولة الواحدة لزيادة السهولة، واكتشاف أن توليد ثلاث إلى خمس أمثلة يؤدي إلى أفضل النتائج.
المعرفة المتولدة ذاتيًا + الأمثلة
تطرح التقنية الثانية، المعرفة المتولدة ذاتيًا + الأمثلة، لمواجهة التحديات في مهام أكثر تعقيدًا، مثل توليد الشفرة. في هذه الحالات، قد تعتمد نماذج اللغة الكبيرة بشكل مفرط على الأمثلة منخفضة المستوى وتواجه صعوبات في التعميم عند حل المشاكل المستهدفة. لتحسين ذلك، يقترح المؤلفون تعزيز التحفيز بإضافة تعليمات إضافية تحفز النموذج على تحديد المفاهيم الأساسية في المشكلة وتقديم دروس أو خلاصة عالية المستوى.
من الاعتبارات الحاسمة هو ترتيب توليد المعرفة والأمثلة. وجد المؤلفون أن توليد المعرفة قبل الأمثلة يؤدي إلى نتائج أفضل، حيث يساعد النموذج على التركيز على نهج حل المشاكل الأساسي بدلاً من مجرد التشابه السطحي.
المزايا والتطبيقات
يقدم نهج التحفيز التناظري عدة مزايا. يوفر أمثلة تفصيلية للتفكير دون الحاجة إلى أمثلة تم تحديدها، مما يعالج التحديات المرتبطة بطرق 0-شوت وفew-shot سلسلة الفكر. بالإضافة إلى ذلك، يتم تخصيص الأمثلة المتولدة لكل مشكلة على حدة، مما يوفر توجيهًا أكثر صلة من الطرق التقليدية لfew-shot سلسلة الفكر، التي تستخدم أمثلة ثابتة.
تظهر الورقة فعالية هذا النهج عبر مهام التفكير المختلفة، بما في ذلك حل المشاكل الرياضية وتوليد الشفرة ومهام التفكير الأخرى في BIG-Bench.
تُظهر الجداول التالية معايير الأداء لطرق التحفيز المختلفة عبر معماريات النموذج المختلفة. من الملاحظ أن طريقة “الأمثلة المتولدة ذاتيًا” تتفوق باستمرار على الطرق الأخرى من حيث الدقة. في دقة GSM8K، تحقق هذه الطريقة أعلى أداء على نموذج PaLM2 بنسبة 81.7%. وبالمثل، لتحقيق دقة MATH، تتصدر القائمة على نموذج GPT3.5-turbo بنسبة 37.3%.
الأداء على المهام الرياضية، GSM8K و MATH
في الجدول الثاني، لأنموذج GPT3.5-turbo-16k و GPT4، تُظهر طريقة “المعرفة المتولدة ذاتيًا + الأمثلة” الأداء الأفضل.
الأداء على مهمة توليد الشفرة في Codeforces
الورقة 2: خطوة إلى الوراء: استدعاء التفكير من خلال التجريد في نماذج اللغة الكبيرة
المراجعة
تقدم الورقة الثانية، “خطوة إلى الوراء: استدعاء التفكير من خلال التجريد في نماذج اللغة الكبيرة” تقنية التحفيز بالخطوة الخلفية، وهي تقنية تحفز نماذج اللغة الكبيرة على التجريد المفاهيم العالية المستوى والمبادئ الأساسية من الحالات المحددة. يهدف المؤلفون، هुआيكسو ستيفن زهينغ، سواروب ميشرا، وغيرهم، إلى تحسين قدرات التفكير في نماذج اللغة الكبيرة من خلال توجيهها لاتباع مسار التفكير الصحيح نحو الحل.
تمثيل التحفيز بالخطوة الخلفية من خلال مرحلتين من التجريد والتفكير، يوجههما المفاهيم والمبادئ الرئيسية.
لنقوم بإنشاء مثال أبسط باستخدام سؤال رياضي أساسي لتوضيح تقنية “سؤال الخطوة الخلفية”:
السؤال الأصلي: إذا كان القطار يسافر بسرعة 60 كم/ساعة ويمر مسافة 120 كم، كم ساعة سيستغرق؟
الخيارات:
3 ساعات
2 ساعات
ساعة واحدة
4 ساعات
الإجابة الأصلية [غير صحيحة]: الإجابة الصحيحة هي 1).
سؤال الخطوة الخلفية: ما هو الصيغة الأساسية لحساب الوقت معطى السرعة والمسافة؟
المبادئ:
لتحديد الوقت، نستخدم الصيغة:
الوقت = المسافة / السرعة
الإجابة النهائية:
باستخدام الصيغة، الوقت = 120 كم / 60 كم/ساعة = 2 ساعات.
الإجابة الصحيحة هي 2) 2 ساعات.
على الرغم من أن نماذج اللغة الكبيرة يمكنها اليوم الإجابة على السؤال السابق بسهولة، فإن هذا المثال يهدف فقط إلى توضيح كيفية عمل تقنية الخطوة الخلفية. للسيناريوهات الأكثر تحديًا، يمكن تطبيق نفس التقنية لتحليل وتحديد المشكلة بشكل منهجي. فيما يلي حالة أكثر تعقيدًا تم توضيحها في الورقة:
التحفيز بالخطوة الخلفية على مجموعة بيانات MMLU-Kimya
المفاهيم الرئيسية والمنهجية
تتمثل جوهر تقنية التحفيز بالخطوة الخلفية في khảيتها على جعل نماذج اللغة الكبيرة تأخذ خطوة إلى الوراء، مما يشجعها على النظر إلى الصورة الأكبر بدلاً من الانخداع في التفاصيل. يتم تحقيق ذلك من خلال سلسلة من التحفيزات المصممة بعناية توجيه نماذج اللغة الكبيرة لاستخلاص المعلومات، واشتقاق المفاهيم العالية المستوى، وتطبيقها لحل المشكلة المعروضة.
تبدأ العملية بتحفيز نماذج اللغة الكبيرة على استخلاص التفاصيل من الحالات المعروضة، مما يشجعها على التركيز على المفاهيم والمبادئ الأساسية. هذا الخطوة حاسمة لأنها تضع الأساس لنماذج اللغة الكبيرة لمواجهة المشكلة من منظور أكثر إطلاعًا ومبدأ.
بعد استخلاص المفاهيم العالية المستوى، يتم استخدامها لتوجيه نماذج اللغة الكبيرة خلال خطوات التفكير نحو الحل. هذا التوجيه يضمن أن تبقى نماذج اللغة الكبيرة على المسار الصحيح، متبعة مسارًا منطقيًا ومتسقًا يعتمد على المفاهيم والمبادئ المستخرجة.
أجرى المؤلفون سلسلة من التجارب لتحقق من فعالية تقنية التحفيز بالخطوة الخلفية، باستخدام نماذج PaLM-2L عبر مجموعة من المهام التي تتطلب تفكيرًا متقدمًا. تشمل هذه المهام مشاكل STEM، و استفسارات المعرفة، و التفكير المتعدد الخطوات، مما يوفر قاعدة شاملة لتقييم التقنية.
تحسينات كبيرة عبر المهام
النتائج ممتازة، حيث تؤدي تقنية التحفيز بالخطوة الخلفية إلى تحسينات كبيرة في الأداء عبر جميع المهام. على سبيل المثال، تحسن التقنية من أداء نموذج PaLM-2L على مجموعتي بيانات MMLU الفيزياء والكيمياء بنسبة 7% و 11% على التوالي. وبالمثل، تحسن الأداء على مجموعة بيانات TimeQA بنسبة 27%، وعلى مجموعة بيانات MuSiQue بنسبة 7%.
أداء تقنية التحفيز بالخطوة الخلفية مقابل تقنية سلسلة الفكر
تؤكد هذه النتائج على إمكانية تقنية التحفيز بالخطوة الخلفية لتحسين قدرات التفكير في نماذج اللغة الكبيرة بشكل كبير.
الخاتمة
تطرح كلا الورقتين من Google DeepMind نهجين مبتكرين في هندسة التحفيز، هدفهم تحسين قدرات التفكير في نماذج اللغة الكبيرة. يعتمد التحفيز التناظري على مفهوم التفكير التناظري، مما يشجع النماذج على توليد أمثلة و معرفة ذاتية، مما يؤدي إلى حل مشاكل أكثر مرونة و كفاءة. من ناحية أخرى، يركز التحفيز بالخطوة الخلفية على التجريد، مما يوجه النماذج لاستخلاص المفاهيم العالية المستوى و تطبيقها لتحسين قدرات التفكير.
توفر هذه الأبحاث رؤى قيمة و منهجيات يمكن تطبيقها في مجالات متعددة، مما يؤدي إلى نماذج لغة أكثر ذكاء و قدرة. مع استمرارنا في استكشاف و فهم دقائق هندسة التحفيز، تعتبر هذه النهجيات خطوات حاسمة نحو تحقيق أنظمة ذكاء اصطناعي أكثر تطورًا و تعقيدًا.
