في عام 2018، تم تقديم فكرة التعلم التعزيزي في سياق نموذج عالمي للشبكة العصبية لأول مرة، وسرعان ما تم تطبيق هذا المبدأ الأساسي على نماذج العالم. كانت بعض النماذج البارزة التي تنفذ التعلم التعزيزي هي إطار Dreamer، الذي قدم التعلم التعزيزي من الفضاء اللاتنتي للنموذج الفضائي المتكرر. أظهر DreamerV2 أن استخدام اللاتنتي المنفصلة قد يؤدي إلى تقليل الأخطاء المركبة، وأظهر إطار DreamerV3 أنه يمكن أن يحقق أداءً شبيهًا بالبشر في سلسلة من المهام عبر مجالات مختلفة مع معلمات ثابتة.

علاوة على ذلك، يمكن إجراء مقارنات بين نماذج توليد الصور ونماذج العالم، مما يشير إلى أن التقدم المحرز في نماذج الرؤية التوليدية يمكن أن يُكرر للاستفادة من نماذج العالم. منذ أن أصبحت استخدام المتحولات في إطارات المعالجة اللغوية الطبيعية شائعًا، ظهرت إطارات DALL-E وVQGAN. نفذت هذه الإطارات مشفرات ذاتية تعمل بالتنقل لتحويل الصور إلى رموز منفصلة، وقامت ببناء نماذج توليد نص-صورة توليدية قوية وفعالة من خلال الاستفادة من قدرات نمذجة التسلسل للمتحولات الذرية. في نفس الوقت، اكتسبت نماذج الانتشار زخمًا، واليوم، أصبحت نماذج الانتشار سائدة في توليد الصور عالية الدقة. بفضل القدرات التي تقدمها نماذج الانتشار والتعلم التعزيزي، تُجرى محاولات لدمج النهجين، بهدف الاستفادة من مرونة نماذج الانتشار كأدوات مسار ونمذجة مكافأة ومرشدين وسياسات لتوسيع البيانات في التعلم التعزيزي غير المتصلاً.

نماذج العالم تقدم طريقة واعدة لتدريب وكلاء التعلم التعزيزي بأمان وفعالية. تقليدًا، تستخدم هذه النماذج تسلسلات من متغيرات لاتنتي منفصلة لتحاكي ديناميات البيئة. ومع ذلك، يمكن أن يؤدي هذا الانضغاط إلى إهمال التفاصيل البصرية الحاسمة للتعلم التعزيزي. في نفس الوقت، اكتسبت نماذج الانتشار شعبية لتوليد الصور، مما ي挑ّي الأساليب التقليدية التي تستخدم لاتنتي منفصلة. مستوحى من هذا التحول، في هذه المقالة، سنناقش DIAMOND (النموذج الديناميكي كنموذج للبيئة الحلم)، وهو وكيل تعلم تعزيزي مدرب داخل نموذج عالمي للانتشار. سنستكشف الخيارات التصميمية اللازمة لجعل نموذج الانتشار مناسبًا لنمذجة العالم ونجد أن التفاصيل البصرية المحسنة تؤدي إلى أداء وكيل أفضل. يحدد DIAMOND معيارًا جديدًا على اختبار Atari 100k التنافسي، حيث يحقق متوسطًا لمعامل التقييم البشري من 1.46، وهو الأعلى لوكلاء مدربين بالكامل داخل نموذج عالمي.

DIAMOND: النموذج الديناميكي كنموذج للبيئة الحلم

نماذج العالم أو النماذج التوليدية للبيئات تظهر كأحد المكونات المهمة للوكلاء التوليديين لتخطيط وreason حول بيئاتهم. على الرغم من أن استخدام التعلم التعزيزي حقق نجاحًا كبيرًا في السنوات الأخيرة، فإن نماذج التعلم التعزيزي известة بكونها غير فعالة في العينة، مما يحد من تطبيقاتها في العالم الحقيقي بشكل كبير. من ناحية أخرى، أظهرت نماذج العالم khảية تدريب وكلاء التعلم التعزيزي بفعالية عبر بيئات متنوعة مع تحسين كبير في فعالية العينة، مما يسمح للنموذج بالتعلم من الخبرات الحقيقية. عادة ما تمثل نماذج العالم الحديثة ديناميات البيئة كتسلسل من متغيرات لاتنتي منفصلة، مع نمذجة الفضاء اللاتنتي لتفادي الأخطاء المركبة على مدى أفق زمني متعددة الخطوات. على الرغم من أن هذا النهج قد يؤدي إلى نتائج كبيرة، إلا أنه يرتبط أيضًا بفقدان المعلومات، مما يؤدي إلى فقدان جودة الإعادة وعمومية النموذج. قد يصبح فقدان المعلومات عائقًا كبيرًا في السيناريوهات الحقيقية التي تتطلب المعلومات لتكون محددة جيدًا، مثل تدريب المركبات ذاتية الحكم. في مثل هذه المهام، يمكن أن تتغير السياسة لوكيل بسبب تغييرات صغيرة أو تفاصيل في الإدخال البصري مثل لون الإشارة الضوئية أو مؤشر الدوران للسيارة الأمامية.

علاوة على ذلك، في السنوات الأخيرة، ظهرت نماذج الانتشار كنهج سائد لتوليد الصور عالية الجودة، حيث تتعلم الإطارات المبنية على نماذج الانتشار عكس عملية التشويش، وتتنافس مباشرة مع بعض النهج الأكثر تأسيسًا لنمذجة الرموز المنفصلة، وبالتالي تقدم بديلًا واعدًا لإlimination الحاجة إلى التفرقة في نمذجة العالم. تعتبر نماذج الانتشار معروفة بقدرتها على التكييف بسهولة ونمذجة توزيعات متعددة الأوضاع بدون انهيار الوضع. هذه الخصائص حاسمة لنمذجة العالم، حيث يسمح التكييف للنموذج العالمي بالتعرف بدقة على إجراءات الوكيل، مما يؤدي إلى تعيين أكثر موثوقية. بالإضافة إلى ذلك، نمذجة التوزيعات المتعددة الأوضاع توفر تنوعًا أكبر لسيناريوهات التدريب للوكيل، مما يعزز أداءه العام.

بناءً على هذه الخصائص، DIAMOND (النموذج الديناميكي كنموذج للبيئة الحلم) هو وكيل تعلم تعزيزي مدرب داخل نموذج عالمي للانتشار. يُعد إطار DIAMOND خيارات تصميمية دقيقة لضمان استمرار نموذج العالم للانتشار في الكفاءة والاستقرار على مدى أفق زمني طويل. يوفر الإطار تحليلًا نوعيًا لتوضيح أهمية هذه الخيارات التصميمية. يحدد DIAMOND معيارًا جديدًا بمتوسط معامل تقييم بشري من 1.46 على اختبار Atari 100k المثبت، وهو الأعلى لوكلاء مدربين بالكامل داخل نموذج عالمي. يعمل نموذج العالم للانتشار في مجال الصور، مما يسمح بتعويض البيئة بسهولة، ويوفر رؤى أفضل حول سلوك نموذج العالم ووكيله. ومن الملاحظ أن الأداء المحسن في بعض الألعاب يُعزى إلى نمذجة أفضل للتفاصيل البصرية الحاسمة. يُعد إطار DIAMOND نموذجًا للبيئة كعملية ماركوفية جزئيًا مرئية مع مجموعة من الحالات، مجموعة من الإجراءات المنفصلة، ومجموعة من الملاحظات الصورية. تصف دوال الانتقال ديناميات البيئة، وتربط وظيفة المكافأة التحولات بمكافآت скаляر.

DIAMOND: منهجية وهندسة

في جوهره، نماذج الانتشار هي فئة من النماذج التوليدية التي تُنشئ عينة عن طريق عكس عملية التشويش، وتستمد الإلهام الكبير من الديناميكا الحرارية غير المتوازنة. يُعد إطار DIAMOND عملية انتشار مؤشرًا بالزمن المستمر مع هامشيات وشرط حدودي مع توزيع أولي غير منظم قابل للتعامل. بالإضافة إلى ذلك، للحصول على نموذج توليدي، الذي ي ánh من الضوضاء إلى البيانات، يجب على إطار DIAMOND عكس العملية، مع عملية عكس أيضًا تكون عملية انتشار، تعمل في الاتجاه العكسي للزمن. بالإضافة إلى ذلك، في أي نقطة زمنية معينة، لا يُعد تقدير دالة التقييم أمرًا سهلًا لأن إطار DIAMOND لا يملك وصولًا إلى دالة التقييم الحقيقية، ويتغلب على هذا العائق من خلال تنفيذ هدف مطابقة النتيجة، وهو نهج يسمح للإطار بتدريب نموذج تقييم دون معرفة دالة التقييم الكامنة. يوفر نموذج الانتشار القائم على التقييم نموذجًا توليديًا غير مشروط. ومع ذلك، نموذج توليدي مشروط لديناميات البيئة مطلوب لخدمة نموذج العالم، ولتحقيق هذا الغرض، يبحث إطار DIAMOND في الحالة العامة لنهج POMDP، حيث يمكن للإطار استخدام الملاحظات والactions السابقة لتخمين الحالة الماركوفية غير المعروفة. كما هو موضح في الشكل 1، يستخدم إطار DIAMOND هذه التاريخ لتكييف نموذج انتشار، لتقدير وتوليد الملاحظة التالية مباشرة.

بناءً على هذه التعلمات، دعونا ننظر الآن إلى التحقيق العملي لإطار DIAMOND لنموذج عالمي للانتشار، بما في ذلك معاملات الانجراف والانتشار المقابلة لاختيار معين لنهج الانتشار. بدلاً من اختيار DDPM، وهو مرشح طبيعي للمهمة، يبني إطار DIAMOND على صياغة EDM، ويفكر في نواة تشويش مع وظيفة حقيقية للزمن الضوئي تسمى جدول الضوضاء. يختار الإطار المسبقة للاحتفاظ بالتباين للإدخال والإخراج لأي مستوى صوتي. يخلط تدريب الشبكة الإشارة والضوضاء بشكل ديناميكي اعتمادًا على مستوى التدهور، وعندما تكون الضوضاء منخفضة، يصبح الهدف الفرق بين الإشارة النقية والإشارة المُشوهة، أي الضوضاء الغاوسية المضافة. بشكل直، يمنع هذا هدف التدريب من أن يصبح أمرًا سهلًا في режим الضوضاء المنخفضة. في الممارسة، يكون هذا الهدف متغيرًا بشكل كبير في النهايات القصوى لجدول الضوضاء، لذلك يُنموذج الإطار مستوى الضوضاء من توزيع لوغاريتمي تم اختياره تجريبيًا لتركيب التدريب حول المناطق الوسطى من الضوضاء. يستخدم إطار DIAMOND مكون U-Net 2D стандартي لمجال المتجه، ويحتفظ بمحفظة للملاحظات والactions السابقة التي يستخدمها الإطار لتكييف نفسه. ثم يرتبط إطار DIAMOND هذه الملاحظات السابقة بالملاحظة الصورية التالية المُشوهة، والإجراءات الإدخالية عبر طبقات تطبيع المجموعة التكيفية في الكتلة المتبقية من U-Net.

DIAMOND: التجارب والنتائج

للتقييم الشامل، يختار إطار DIAMOND اختبار Atari 100k. يتكون اختبار Atari 100k من 26 لعبة مصممة لاختبار مجموعة واسعة من قدرات الوكيل. في كل لعبة، يُقيّد الوكيل بعدد من الإجراءات في البيئة، وهو ما يعادل تقريبًا 2 ساعة من اللعب البشري، لتعلم اللعبة قبل التقييم. من أجل المقارنة، يُدرّب وكلاء Atari غير المقيدين عادةً لمدة 50 مليون خطوة، مما يمثل زيادة 500 ضعف في الخبرة. لقد دربنا DIAMOND من الصفر باستخدام 5 بذور عشوائية لكل لعبة. كل تشغيل للتدريب يتطلب حوالي 12 غيغابايت من VRAM واستغرق حوالي 2.9 يومًا على Nvidia RTX 4090 واحد، مما يصل إلى 1.03 سنة GPU إجمالية.

بعد قيود تقديرات النقطة، يوفر إطار DIAMOND ثقة بوتستراب مقسمة في متوسط ومعامل التباين الربعي لمعاملات التقييم البشرية، جنبًا إلى جنب مع ملفات الأداء والمقاييس الإضافية، كما هو مبين في الشكل التالي.

تُظهر النتائج أن DIAMOND يؤدي أداءً استثنائيًا عبر اختبار البenchmark، متجاوزًا اللاعبين البشر في 11 لعبة وتحقيق متوسط معامل تقييم بشري فائق من 1.46، مما يحدد سجلًا جديدًا لوكلاء مدربين بالكامل داخل نموذج عالمي. بالإضافة إلى ذلك، يُقارن معامل التباين الربعي لDIAMOND مع STORM ويتجاوز جميع الأسس الأخرى. يتفوق DIAMOND في البيئات التي تكون فيها 捕获 التفاصيل الصغيرة أمرًا حاسمًا، مثل Asterix وBreakout وRoadRunner. بالإضافة إلى ذلك، كما ناقشنا سابقًا، يمتلك إطار DIAMOND مرونة لتنفيذ أي نموذج انتشار في خط أنابيب، على الرغم من أنه يختار نهج EDM، سيكون من الطبيعي اختيار نموذج DDPM لأنها تُستخدم بالفعل في العديد من تطبيقات توليد الصور. لمقارنة نهج EDM مقابل تنفيذ DDPM، يُدرّب إطار DIAMOND كلا المتغيرين بنفس هيكل الشبكة على نفس مجموعة البيانات الثابتة المشتركة التي تحتوي على أكثر من 100 ألف إطار تم جمعها بسياسة خبيرة. عدد خطوات التنقيح يرتبط مباشرةً بتكلفة الاستدلال لنموذج العالم، وبالتالي فإن خطوات أقل ستخفض تكلفة تدريب وكيل على مسارات متخيلة. بهدف ضمان أن يبقى نموذجنا العالمي قابلًا للمقارنة حسابيًا مع الأسس الأخرى، مثل IRIS الذي يتطلب 16 NFE لكل خطوة زمنية، نهدف إلى استخدام ما يصل إلى عشرات خطوات التنقيح، وأفضل من ذلك، أقل.

نلاحظ أن استخدام DDPM (أ) في هذا النظام يؤدي إلى أخطاء مركبة شديدة، مما يسبب نموذج العالم السريع الخروج من التوزيع. في المقابل، يبقى نموذج العالم للانتشار القائم على EDM أكثر استقرارًا على مدى أفق زمني طويل، حتى مع خطوة تنقيح واحدة. تُظهر المسارات المتخيلة بنماذج العالم للانتشار القائم على DDPM (اليسار) وEDM (اليمين). الملاحظة الأولية في t = 0 هي نفسها للاثنين، وكل صف يتوافق مع عدد من خطوات التنقيح المت减. نلاحظ أن توليد DDPM يعاني من أخطاء مركبة، حيث تؤدي أعداد أقل من خطوات التنقيح إلى تراكم الأخطاء بشكل أسرع. في المقابل، يبقى نموذج العالم للانتشار القائم على EDM أكثر استقرارًا، حتى مع n = 1. التنبؤ الأمثل لخطوة واحدة هو التوقع على إعادة بناء可能ة لمدخل مُشوه معين، والتي يمكن أن تكون خارج التوزيع إذا كانت التوزيع الخلفي متعدد الأوضاع. بينما يمكن أن يكون التحويلات المتسلسلة في بعض الألعاب، مثل Breakout، دقيقة، تظهر ألعاب أخرى جزئيًا مرئية، مما يؤدي إلى توزيعات ملاحظة متعددة الأوضاع. في هذه الحالات، مطلوب حل متكرر لتوجيه إجراء العينة نحو وضع معين، كما هو موضح في لعبة Boxing في الشكل التالي. لذلك، يحدد إطار DIAMOND n = 3 في جميع تجاربنا.

يُقارن الشكل التالي بين العينة بخطوة واحدة (الصف العلوي) والعينة المتعددة الخطوات (الصف السفلي) في Boxing. حركات اللاعب الأسود غير متوقعة، مما يؤدي إلى عينة بخطوة واحدة لتقديم بين النتائج المحتملة، مما يؤدي إلى توقعات غير واضحة. في المقابل، تُنتج العينة المتعددة الخطوات صورة واضحة من خلال توجيه التوليد نحو وضع معين. من المثير للاهتمام أن سياسة الوكيل تتحكم في اللاعب الأبيض، وبالتالي تكون إجراءاته معروفة لنموذج العالم، مما يُزيل الغموض. وبالتالي، تُقدم كلا العينتين بخطوة واحدة والعينة المتعددة الخطوات توقعات دقيقة لموقع اللاعب الأبيض.

في الشكل السابق، تُظهر المسارات المتخيلة بواسطة DIAMOND عمومًا جودة بصرية أعلى وأكثر إخلاصًا للبيئة الحقيقية مقارنةً بالمسارات المتخيلة بواسطة IRIS. تحتوي المسارات التي يُخيلها IRIS على عدم nhất quánة بصرية بين الإطارات (مُhighlighted بالكتل البيضاء)، مثل العدو الذي يظهر كمكافأة والعكس. على الرغم من أن هذه الاختلافات قد تؤثر فقط على بيكسيلات قليلة، إلا أنها يمكن أن تؤثر بشكل كبير على التعلم التعزيزي. على سبيل المثال، يهدف الوكيل عادةً إلى استهداف المكافآت وتجنب الأعداء، لذلك يمكن أن تجعل هذه الاختلافات البصرية الصغيرة من الصعب تعلم سياسة مثالية. يُظهر الشكل الإطارات المتتالية التي يُخيلها IRIS (اليسار) وDIAMOND (اليمين). تُhighlight الكتل البيضاء الاختلافات بين الإطارات، والتي تظهر فقط في المسارات التي يُخيلها IRIS. في Asterix (الصف العلوي)، يصبح العدو (البرتقالي) مكافأة (الأحمر) في الإطار الثاني، ثم يعود إلى عدو في الإطار الثالث، ثم يعود إلى مكافأة في الإطار الرابع. في Breakout (الصف الأوسط)، Brick و النقاط غير متسقة بين الإطارات. في Road Runner (الصف السفلي)، المكافآت (النقاط الزرقاء الصغيرة على الطريق) غير متسقة بين الإطارات. هذه الاختلافات لا تحدث مع DIAMOND. في Breakout، يتم تحديث النقاط بشكل موثوق به بمقدار 7+ عند كسر الطوب الأحمر.

الختام

في هذه المقالة، ناقشنا DIAMOND، وهو وكيل تعلم تعزيزي مدرب داخل نموذج عالمي للانتشار. يُعد إطار DIAMOND خيارات تصميمية دقيقة لضمان استمرار نموذج العالم للانتشار في الكفاءة والاستقرار على مدى أفق زمني طويل. يوفر الإطار تحليلًا نوعيًا لتوضيح أهمية هذه الخيارات التصميمية. يحدد DIAMOND معيارًا جديدًا بمتوسط معامل تقييم بشري من 1.46 على اختبار Atari 100k المثبت، وهو الأعلى لوكلاء مدربين بالكامل داخل نموذج عالمي. يعمل نموذج العالم للانتشار في مجال الصور، مما يسمح بتعويض البيئة بسهولة، ويوفر رؤى أفضل حول سلوك نموذج العالم ووكيله. ومن الملاحظ أن الأداء المحسن في بعض الألعاب يُعزى إلى نمذجة أفضل للتفاصيل البصرية الحاسمة. يُعد إطار DIAMOND نموذجًا للبيئة كعملية ماركوفية جزئيًا مرئية مع مجموعة من الحالات، مجموعة من الإجراءات المنفصلة، ومجموعة من الملاحظات الصورية. تصف دوال الانتقال ديناميات البيئة، وتربط وظيفة المكافأة التحولات بمكافآت скаляر.