يوبيسoft تدرب العميل الذكي لقيادة سيارة في لعبة سباق

يستخدم مصطلح “الذكاء الاصطناعي” كثيرًا في مناقشات الألعاب الفيديوية، ولكن غالبًا ما يستخدم لوصف المنطق الذي يتحكم في شخصيات غير اللاعبين في الألعاب الفيديوية، بدلاً من الإشارة إلى أي نظام مدفوع بالذكاء الاصطناعي الذي يعترف به علماء الحاسوب. التطبيقات الفعلية للذكاء الاصطناعي باستخدام الشبكات العصبية الاصطناعية نادرة نسبيًا في صناعة الألعاب الفيديوية، ولكن كما تقارير VentureBeat، نشرت شركة الألعاب يوبيسoft مؤخرًا ورقة تدرس الاستخدامات المحتملة للعميل الذكي المدرب بالتعلم التعزيزي.

في حين قامت كيانات مثل DeepMind و OpenAI بدراسة كيفية أداء الذكاء الاصطناعي في مجموعة متنوعة من الألعاب الفيديوية، مثل StarCraft 2، Dota 2، و Minecraft، تم إجراء القليل من الأبحاث حول استخدام الذكاء الاصطناعي في ظل القيود المحددة التي يواجهها مطورو الألعاب. نشرت يوبيسoft لا فورج، ذراع التطوير في يوبيسوف، مؤخرًا ورقة تفصيل خوارزمية قادرة على تنفيذ أفعال متوقعة في لعبة فيديو تجارية. وفقًا للتقرير، كانت خوارزميات الذكاء الاصطناعي قادرة على ضرب المعايير الحالية وتنفيذ مهام معقدة بثبات.

يشير مؤلفو الورقة إلى أن التعلم التعزيزي قد استخدم بنجاح كبير في سياق بعض الألعاب الفيديوية، وغالبًا ما يصل إلى تساوي مع أفضل لاعبين الإنسان في تلك الألعاب، ولكن الأنظمة التي أنشأتها OpenAI و DeepMind نادرًا ما تكون مفيدة لمطوري الألعاب. يشير المؤلفون إلى أن عدم الوصول هو مشكلة كبيرة وأن أكثر النتائج إثارة للإعجاب تُنتج بواسطة مجموعات بحث كبيرة مع موارد حسابية تتجاوز بكثير ما هو متاح عادةً في استوديوهات الألعاب. كتب الباحثون:

“لم تُستخدم هذه الأنظمة بشكل كبير في صناعة الألعاب الفيديوية، ونعتقد أن عدم الوصول هو سبب رئيسي وراء ذلك. في الواقع، تُنتج النتائج الأكثر إثارة للإعجاب بواسطة مجموعات بحث كبيرة مع موارد حسابية تتجاوز بكثير ما هو متاح عادةً في استوديوهات الألعاب الفيديوية.”

هدف فريق البحث في يوبيسوف إلى معالجة بعض هذه المشاكل من خلال إنشاء نهج تعلم تعزيزي يُحسن من قضايا مثل جمع عينات البيانات وقيود ميزانية التشغيل. كانت حلول يوبيسوف مُستمدة من بحث أجري في جامعة كاليفورنيا، بيركلي. يمكن نموذج Soft Actor-Critic الذي طوّره باحثو UC Berkely إنشاء نموذج يمكنه التعميم الفعال إلى ظروف جديدة وهو أكثر كفاءة في العينة من معظم النماذج. أخذ فريق يوبيسوف هذا النهج وعدّله للافعال المنفصلة والمتواصلة.

قيم فريق البحث في يوبيسوف أداء خوارزميتهم على ثلاث ألعاب مختلفة. تم استخدام لعبتين لكرة القدم لاختبار الخوارزمية، بالإضافة إلى لعبة منصة بسيطة. بينما كانت النتائج لهذه الألعاب أسوأ قليلاً من نتائج الصناعة الرائدة، تم إجراء اختبار آخر أدت فيه الخوارزميات أداءً أفضل. استخدم الباحثون لعبة فيديو سباق كحالة اختبار، حيث اتبع العميل الذكي مسارًا محددًا وتفاوض مع العقبات في بيئة لم يشهدها العميل أثناء التدريب. كانت هناك إجراءات متواصلة، التوجيه والتعجيل، بالإضافة إلى إجراء ثنائي (التوقف).

لخص الباحثون نتائجهم في الورقة، معلنين أن نهج Soft Actor-Critic الهجين نجح عند تدريب عميل ذكي لقيادة سيارة بسرعات عالية في لعبة فيديو تجارية متاحة تجارياً. وفقًا للباحثين، يمكن أن يعمل نهجهم التدريبي محتملًا لعدد كبير من نهج التفاعل الممكنة. تشمل هذه الحالات حيث يكون للعميل الذكي نفس الخيارات الإدخال التي يمتلكها اللاعب، مما يظهر “المنفعة العملية لخوارزمية مثل هذه في صناعة الألعاب الفيديوية”.