مع التقدم الذي أحرزته نماذج اللغة الكبيرة في السنوات الأخيرة، ليس مستغربًا أن تتفوق بوصفها مخططات دلالية لمهام اتخاذ القرار المتسلسلة عالية المستوى. لكن الاستفادة الكاملة منها في تعلم مهام التحكم الحركي الدقيقة منخفضة المستوى لا تزال صعبة. وحتى تعلم مهارات بسيطة أو صياغة مطالبات نصية يتطلب خبرة كبيرة بالمجال، ما يترك فجوة بين أداء هذه النماذج والبراعة البشرية.

لردم هذه الفجوة، قدّم باحثون من Nvidia (NVDA ) ومعهد كاليفورنيا للتكنولوجيا وجامعة بنسلفانيا وجهات أخرى EUREKA، وهي خوارزمية لتصميم المكافآت بمستوى بشري مدعومة بنماذج اللغة الكبيرة. تستفيد من كتابة الشيفرة والتحسين ضمن السياق والتوليد دون أمثلة مسبقة لتحسين شيفرات المكافآت. وتتيح هذه الشيفرات، مع التعلم المعزز، تعلم مهارات معقدة وتنفيذ مهام تحريك الأجسام.

نتناول إطار EUREKA من منظور تطويره: بنيته وآلية عمله ونتائجه في توليد دوال مكافأة يقول مطوروه إنها تتفوق على الدوال البشرية. ونناقش أيضًا نهجه في التعلم المعزز من التغذية الراجعة البشرية (RLHF) عبر التعلم ضمن السياق دون الاعتماد على التدرجات.

EUREKA: مقدمة

تقدم أطر نماذج اللغة الكبيرة المتقدمة مثل GPT-3 وGPT-4 نتائج ممتازة في التخطيط الدلالي لاتخاذ قرارات متسلسلة عالية المستوى. لكن تحسين أدائها في المهام الحركية منخفضة المستوى، مثل تدوير القلم ببراعة، يظل مجالًا للبحث. ويمكن للتعلم المعزز تحقيق نتائج متينة في مهام البراعة وغيرها إذا صمم البشر دوال المكافأة بعناية لتوفير إشارات تعلم للسلوك المرغوب. ففي المهام الواقعية قد تعوق المكافآت المتناثرة تعلم الأنماط، بينما يوفر تشكيل المكافآت إشارات تدريجية ضرورية. ومع أهمية هذه الدوال، يصعب تصميمها، وقد يؤدي التصميم غير الأمثل إلى سلوك غير مقصود.

يسعى EUREKA، اختصارًا لـEvolution-driven Universal REward Kit for Agent، إلى معالجة هذه التحديات عبر ثلاث مساهمات:

1. بلوغ مستوى بشري في تصميم دوال المكافأة.
2. حل مهام تحريك الأجسام بكفاءة دون هندسة يدوية للمكافآت.
3. توليد دوال مكافأة أعلى أداءً وأكثر توافقًا مع البشر، باستخدام نهج للتعلم ضمن السياق خالٍ من التدرجات بدلًا من طريقة RLHF التقليدية.

تعتمد عمومية EUREKA على ثلاثة خيارات خوارزمية: البحث التطوري، والبيئة بوصفها سياقًا، والتأمل في المكافآت. يستخدم الإطار الشيفرة المصدرية للبيئة سياقًا لتوليد دوال مكافأة قابلة للتنفيذ دون أمثلة مسبقة. ثم يجري بحثًا تطوريًا يقترح دفعات من الدوال المرشحة في كل تكرار ويحسّن أكثرها وعدًا. وأخيرًا يستخدم التأمل في المكافآت لزيادة فعالية التحسين ضمن السياق: إذ يصف جودة المكافآت نصيًا بالاستناد إلى إحصاءات تدريب السياسة، ما يتيح تعديلًا آليًا موجّهًا. يلخص الشكل التالي آلية عمل الإطار.

EUREKA: بنية النموذج وصياغة المشكلة

يهدف تشكيل المكافآت إلى إنتاج دالة مُشكَّلة انطلاقًا من دالة مكافأة مرجعية قد يصعب تحسينها مباشرة، كما في المكافآت المتناثرة. وقد لا يستطيع المصممون الوصول إلى الدالة المرجعية إلا عبر الاستعلامات. لذلك يختار EUREKA توليد المكافآت بوصفه مسألة تركيب برامج مبنية على مشكلة تصميم المكافأة (RDP).

تتكون RDP من نموذج عالم يتضمن فضاء الحالات وفضاء دوال المكافأة ودالة الانتقال وفضاء الأفعال. وتولد خوارزمية التعلم سياسة باستخدام المكافأة ضمن عملية ماركوف، بينما يتيح تقييم السياسة درجة عددية لا تُستحصل إلا عبر الاستعلامات عن السياسات. والهدف هو إخراج دالة مكافأة تمكّن السياسة من تحقيق أعلى درجة ملاءمة. يحدد المطورون جميع مكونات المشكلة بالشيفرة؛ وبالنسبة إلى نص يصف المهمة، تكون الغاية توليد شيفرة لدالة مكافأة تعظّم درجة الملاءمة.

المكونات الخوارزمية الأساسية هي البحث التطوري، الذي يقترح المرشحين ويحسّنهم تكراريًا؛ والبيئة بوصفها سياقًا، لتوليد مكافآت قابلة للتنفيذ دون أمثلة؛ والتأمل في المكافآت، لإجراء تحسينات دقيقة. ويوضح الشكل التالي الشيفرة شبه البرمجية للخوارزمية.

البيئة بوصفها سياقًا

تحتاج نماذج اللغة عادةً إلى مواصفات البيئة لتصميم المكافآت. أما EUREKA فيمرر شيفرة البيئة الخام مباشرة، بعد استبعاد شيفرة المكافأة، لتصبح نموذج العالم المتاح للسياق. ولهذا ميزتان: أولًا، تعلمت نماذج البرمجة من شيفرات أصلية بلغات مثل C وC++ وPython وJava، ولذلك تجيد التوليد عندما تستخدم الصياغة والأسلوب اللذين تدربت عليهما. وثانيًا، تكشف شيفرة البيئة دلالات البيئة والمتغيرات المناسبة لبناء مكافأة تلائم المهمة. لذلك يطلب الإطار من النموذج إرجاع شيفرة Python قابلة للتنفيذ مباشرة، مع إرشادات تنسيق وتصميم عامة فحسب.

البحث التطوري

يعالج البحث التطوري تحديات التصميم غير الأمثل وأخطاء التنفيذ. ففي كل تكرار يولد الإطار مخرجات مستقلة متعددة من نموذج اللغة. ومع افتراض استقلال العينات وتطابق توزيعها، يقل احتمال أن تكون جميع الدوال المولدة معيبة بصورة أُسّية كلما زاد عدد العينات.

بعد ذلك يستخدم الإطار دوال المكافأة القابلة للتنفيذ من التكرار السابق لإجراء طفرات ضمن السياق، ويقترح دوال محسّنة انطلاقًا من التغذية الراجعة النصية. وبفضل التحسين ضمن السياق وقدرة نماذج اللغة الكبيرة على اتباع التعليمات، يمكن تحديد عامل الطفرة بمطالبة نصية واستخدام ملخص تدريب السياسة لتعديل الشيفرات القائمة.

التأمل في المكافآت

لتوجيه طفرات المكافآت، يجب تقييم جودتها والتعبير عن التقييم بالكلمات. ويمكن توفير درجات عددية للتقييم، لكن درجة الملاءمة الإجمالية وحدها لا توزع الفضل على المكونات ولا تفسر لماذا تعمل دالة معينة أو تفشل. لذا يستخدم الإطار تغذية راجعة آلية تلخص ديناميكيات تدريب السياسة نصيًا لتقديم تشخيص أدق وأكثر توجيهًا. كما يطلب إظهار مكونات دالة المكافأة منفصلة، ليتتبع القيم العددية لكل مكون عند نقاط التحقق من السياسة طوال التدريب.

هذا الإجراء بسيط البناء لكنه مهم لأن تحسين المكافآت يعتمد على خوارزمية التعلم. فتغيير خوارزمية التعلم المعزز أو معلماتها الفائقة قد يغير فعالية دالة المكافأة، حتى مع استخدام أداة التحسين نفسها. ويساعد ذلك EUREKA على تعديل المكافآت بصورة أدق وأكثر انتقائية، وتركيب دوال تنسجم أكثر مع خوارزمية التعلم المعزز المستخدمة.

التدريب وخطوط الأساس

يتضمن التدريب مكونين رئيسيين: تعلم السياسة ومقاييس تقييم المكافآت.

تعلم السياسة

تُستخدم دوال المكافأة النهائية لكل مهمة مع خوارزمية التعلم المعزز نفسها ومجموعة المعلمات الفائقة نفسها التي ضُبطت لكي تعمل المكافآت البشرية المصممة يدويًا جيدًا.

مقاييس تقييم المكافآت

تختلف مقاييس المهام في الحجم والمعنى. لذلك يقدم EUREKA درجة مطبّعة بالنسبة إلى الأداء البشري، تتيح مقارنة شاملة مع المكافآت التي صممها الخبراء وفق المقاييس المرجعية. وتشمل المقارنة ثلاثة خطوط أساس: L2R والمكافآت البشرية والمكافآت المتناثرة.

L2R

L2R هو أسلوب لتوجيه نماذج اللغة الكبيرة على مرحلتين يولد مكافآت ضمن قوالب. يملأ نموذج أول قالبًا باللغة الطبيعية وفق البيئة والمهمة الموصوفتين نصيًا، ثم يحول نموذج ثانٍ «وصف الحركة» إلى شيفرة لدالة مكافأة تستدعي مجموعة من العمليات الأولية في واجهة API للمكافآت، المكتوبة يدويًا.

المكافآت البشرية

خط الأساس البشري هو دوال المكافأة الأصلية التي كتبها باحثو التعلم المعزز، ويمثل المستوى المتقدم لهندسة المكافآت البشرية في المقارنة.

المكافآت المتناثرة

يشبه خط أساس المكافآت المتناثرة دوال الملاءمة، ويُستخدم لتقييم جودة المكافآت التي يولدها الإطار.

النتائج

يشمل تقييم EUREKA الأداء مقابل المكافآت البشرية، والتحسن بمرور الوقت، وتوليد مكافآت جديدة، والتحسين الموجّه، والعمل مع التغذية الراجعة البشرية.

التفوق على المكافآت البشرية

يبين الشكل النتائج المجمعة عبر معايير مختلفة. يتفوق EUREKA على المكافآت البشرية أو يضاهيها في مهام Dexterity وIsaac. ويحقق L2R أداءً مشابهًا في المهام منخفضة الأبعاد، لكن الفجوة تصبح كبيرة في المهام عالية الأبعاد.

تحسن مستمر بمرور الوقت

من أبرز خصائص EUREKA تحسن أدائه مع كل تكرار، كما يوضح الشكل التالي.

ينتج الإطار مكافآت أفضل باستمرار، ويتحسن حتى يتجاوز أداء المكافآت البشرية بفضل البحث التطوري عن المكافآت ضمن السياق.

توليد مكافآت جديدة

تُقاس جدة المكافآت بحساب الارتباط بين مكافآت البشر وEUREKA في جميع مهام Isaac. وتُرسم هذه الارتباطات مقابل الدرجات المطبّعة بالنسبة إلى البشر؛ وتمثل كل نقطة مكافأة EUREKA لمهمة معينة. ويولد الإطار غالبًا دوال ضعيفة الارتباط بالدوال البشرية لكنها تتفوق عليها.

إتاحة التحسين الموجّه

لتقييم أهمية التأمل في المكافآت، اختبر المطورون نسخة أُزيل منها هذا المكوّن، بحيث اقتصرت مطالبات التغذية الراجعة على قيم مأخوذة من لقطات التقييم. وفي مهام Isaac انخفض متوسط الدرجة المطبّعة نحو 29% عند غياب التأمل في المكافآت.

العمل مع التغذية الراجعة البشرية

لاستيعاب مدخلات متنوعة وتوليد دوال مكافأة أعلى أداءً وأكثر توافقًا مع البشر، يقدم EUREKA، إلى جانب التصميم الآلي، نهجًا للتعلم المعزز من التغذية الراجعة البشرية عبر التعلم ضمن السياق دون تدرجات. وظهرت ملاحظتان مهمتان:

1. يمكن للإطار الاستفادة من دوال المكافأة البشرية وتحسينها.
2. استخدام التغذية الراجعة البشرية في التأمل في المكافآت ينتج سلوكًا أكثر توافقًا مع البشر.

يوضح الشكل أن تهيئة البحث بمكافآت بشرية تعزز الأداء والكفاءة بدرجة كبيرة بصرف النظر عن جودة تلك المكافآت. ويشير ذلك إلى أن جودة المكافآت الأولية لا تؤثر كثيرًا في قدرة الإطار على تحسينها ضمن السياق.

يبين الشكل أن EUREKA يستطيع إنتاج سياسات أكثر توافقًا مع البشر وتعديل المكافآت بإدماج التغذية الراجعة البشرية.

أفكار ختامية

تناولنا EUREKA، خوارزمية تصميم مكافآت بمستوى بشري تستخدم قدرات نماذج اللغة الكبيرة في كتابة الشيفرة والتحسين ضمن السياق والتوليد دون أمثلة. وتُستخدم شيفرة المكافأة مع التعلم المعزز لتعلم مهارات معقدة وتنفيذ مهام تحريك الأجسام. ومن دون تدخل بشري أو هندسة مطالبات خاصة بكل مهمة، يقدم الإطار توليدًا للمكافآت بمستوى بشري في مهام متنوعة. وتكمن إحدى نقاط قوته في تعلم المهام المعقدة باستخدام نهج التعلم المنهجي المتدرج.

إجمالًا، يشير أداء EUREKA وتعدد استخداماته إلى أن الجمع بين الخوارزميات التطورية ونماذج اللغة الكبيرة قد يوفر نهجًا عامًا وقابلًا للتوسع لتصميم المكافآت، وربما يمتد هذا التصور إلى مسائل بحث مفتوحة أخرى.