يوبيسوفت تدرّب وسيط إيه آي لقيادة سيارة في لعبة سباق

يتم استخدام مصطلح “إيه آي” كثيرًا في مناقشات ألعاب الفيديو، ولكنها عادةً ما تستخدم للإشارة إلى المنطق الذي يتحكم في شخصيات غير اللاعبين في ألعاب الفيديو، بدلاً من الإشارة إلى أي نظام مدفوع بواسطة ما يعترف به علماء الحاسوب على أنه إيه آي. التطبيقات الفعلية لإيه آي التي تستخدم الشبكات العصبية الاصطناعية نادرة للغاية في صناعة ألعاب الفيديو، ولكن كما تقارير VentureBeat شركة ألعاب يوبيسوفت نشرت مؤخرًا ورقة لتحقيق Uses المحتملة لوسيط إيه آي مدرب بالتعلم التعزيزي.

في حين قامت كيانات مثل DeepMind و OpenAI بتحقيق كيفية أداء الإيه آي في مجموعة متنوعة من ألعاب الفيديو، مثل StarCraft 2، Dota 2، وMinecraft، تم إجراء القليل من البحث حول استخدام الإيه آي في ظل القيود المحددة التي يواجهها مطورو الألعاب. يوبيسوفت لا فورج، ذراع الاختبار في يوبيسوفت، نشرت مؤخرًا ورقة تفصيل خوارزمية قادرة على تنفيذ إجراءات متوقعة في لعبة فيديو تجارية. وفقًا للتقرير، كانت خوارزميات الإيه آي قادرة على ضرب المعايير الحالية وتنفيذ مهام معقدة بثبات.

يشير مؤلفو الورقة إلى أنه بينما تم استخدام التعلم التعزيزي بنجاح كبير في سياق ألعاب فيديو معينة، غالبًا ما يصل إلى تساوي مع أفضل لاعبين بشريين للعبة، فإن الأنظمة التي أنشأها OpenAI وDeepMind نادرًا ما تكون مفيدة لمطوري الألعاب. يشير المؤلفون إلى أن عدم إمكانية الوصول هو مشكلة كبيرة وأن أكثر النتائج إثارة هي التي تم الحصول عليها من قبل مجموعات البحث التي لديها إمكانيات حسابية كبيرة، وإمكانيات تتجاوز بشكل عام ما هو متاح لمطوري الألعاب. كتب الباحثون:

“هذه الأنظمة قد شهدت قليلاً من الاستخدام داخل صناعة ألعاب الفيديو، ونحن نعتقد أن عدم إمكانية الوصول هو سبب رئيسي وراء ذلك. في الواقع، النتائج المثيرة للاهتمام … تنتجها مجموعات بحثية كبيرة مع موارد حسابية تتجاوز ما هو متاح عادةً في استوديوهات ألعاب الفيديو.”

استهدفت فريق البحث في يوبيسوفت معالجة بعض هذه المشاكل من خلال إنشاء نهج تعلم تعزيزي يُحسّن من قضايا مثل جمع عينات البيانات وقيود ميزانية التشغيل. كانت حل يوبيسوفت مُعدلًا من البحث الذي أُجري في جامعة كاليفورنيا، بيركلي. يمكن أن يُنشئ نموذج Soft Actor-Critic الذي طوّره باحثو UC Berkely نموذجًا يمكنه التعميم الفعال إلى ظروف جديدة وأكثر كفاءة في العينة من معظم النماذج. أخذ فريق يوبيسوفت هذا النهج وعدّله للاجراءات المنفصلة والمتواصلة.

قيم فريق البحث في يوبيسوفت أداء خوارزميتهم على ثلاثة ألعاب مختلفة. تم استخدام لعبتين لكرة القدم لاختبار الخوارزمية، بالإضافة إلى لعبة منصة بسيطة. في حين كانت النتائج لهذه الألعاب أسوأ قليلاً من نتائج الصناعة الحالية، تم إجراء اختبار آخر أدت فيه الخوارزميات أداءً أفضل بكثير. استخدم الباحثون لعبة سباق سيارات كحالة اختبار، حيث يتبع وسيط الإيه آي مسارًا محددًا ويتفاوض على العقبات في بيئة لم يشهد وسيط الإيه آي خلال التدريب. كانت هناك إجراءات متواصلة، التوجيه والتعجيل، بالإضافة إلى إجراء ثنائي (التوقف).

لخص الباحثون نتائجهم في الورقة، معلنين أن نهج Soft Actor-Critic الهجين نجح عند تدريب وسيط إيه آي على القيادة بسرعات عالية في لعبة فيديو تجارية. وفقًا للباحثين، يمكن أن يعمل نهجهم التدريبي محتملًا لعدد كبير من نهجات التفاعل. تشمل هذه الحالات التي يكون فيها وسيط الإيه آي لديه نفس خيارات الإدخال التي لدى اللاعب، مما يظهر “فائدة عملية لخوارزمية مثل هذه في صناعة ألعاب الفيديو”.