ยูบิซอฟต์ฝึกอบรม AI ให้ขับรถในเกมแข่งรถ

คำว่า “AI” ถูกใช้บ่อยในการอภิปรายเกี่ยวกับวิดีโอเกม แต่โดยทั่วไปจะหมายถึงตรรกะที่ควบคุมตัวละครที่ไม่ใช่ผู้เล่นในวิดีโอเกม มากกว่าระบบที่ขับเคลื่อนด้วยสิ่งที่นักวิทยาศาสตร์คอมพิวเตอร์จะรู้จักว่าเป็น AI การใช้งาน AI ที่แท้จริงโดยใช้เครือข่ายประสาทเทียมมีน้อยมากในอุตสาหกรรมวิดีโอเกม แต่ตามที่ VentureBeat รายงาน บริษัทเกม Ubisoft ได้ตีพิมพ์เอกสารวิจัยเกี่ยวกับการใช้ AI ในการฝึกอบรมตัวแทน AI ให้ขับรถในเกมแข่งรถ

ในขณะที่องค์กรอย่าง DeepMind และ OpenAI ได้ศึกษาว่า AI ทำงานอย่างไรในวิดีโอเกมต่างๆ เช่น StarCraft 2, Dota 2 และ Minecraft มีการวิจัยเพียงเล็กน้อยเกี่ยวกับการใช้ AI ภายใต้ข้อจำกัดเฉพาะที่ผู้พัฒนาเกมต้องเผชิญ Ubisoft La Forge ซึ่งเป็นส่วนหนึ่งของ Ubisoft ที่ทำการ прототип ได้ตีพิมพ์เอกสารวิจัยเกี่ยวกับอัลกอริทึมที่สามารถดำเนินการตามที่คาดหวังภายในเกมวิดีโอเชิงพาณิชย์ ตามรายงาน อัลกอริทึม AI สามารถบรรลุเป้าหมายปัจจุบันและดำเนินการตามที่ซับซ้อนได้อย่างน่าเชื่อถือ

ผู้เขียนเอกสารวิจัยชี้ว่า แม้ว่าเรียนรู้แบบเสริมกำลังจะถูกใช้ไปสู่ผลลัพธ์ที่ดีในบริบทของวิดีโอเกมบางเกม โดยทั่วไปจะบรรลุผลลัพธ์ที่ดีที่สุดเท่ากับผู้เล่นที่ดีที่สุดของเกมเหล่านั้น ระบบที่สร้างโดย OpenAI และ DeepMind มักจะไม่มีประโยชน์สำหรับผู้พัฒนาเกม ผู้เขียนชี้ว่าความไม่สามารถเข้าถึงเป็นปัญหาใหญ่ และผลลัพธ์ที่น่าประทับใจที่สุดได้รับจากกลุ่มวิจัยที่มีทรัพยากรการคำนวณขนาดใหญ่ ซึ่งโดยทั่วไปแล้วจะเกินกว่าที่สตูดิโอเกมมี

ทีมวิจัยจาก Ubisoft มุ่งหวังที่จะแก้ไขปัญหาบางอย่างเหล่านี้โดยการสร้างแนวทางเรียนรู้แบบเสริมกำลังที่ปรับให้เหมาะสมกับปัญหา เช่น การเก็บตัวอย่างข้อมูลและการจำกัดงบประมาณการทำงาน วิธีแก้ปัญหา của Ubisoft ได้รับการปรับให้เหมาะสมจากงานวิจัยที่มหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ โมเดล Soft Actor-Critic ที่พัฒนาโดยนักวิจัยจาก UC Berkeley สามารถสร้างโมเดลที่สามารถทั่วไปได้ในสภาพแวดล้อมใหม่และใช้ตัวอย่างข้อมูลได้มากกว่าโมเดลส่วนใหญ่ ทีมวิจัยของ Ubisoft ได้นำแนวทางนี้มาปรับให้เหมาะสมสำหรับการกระทำที่ไม่ต่อเนื่องและต่อเนื่อง

ทีมวิจัยของ Ubisoft ได้ประเมินประสิทธิภาพของอัลกอริทึมของตนในสามเกมที่แตกต่างกัน มีการใช้เกมฟุตบอลสองเกมเพื่อทดสอบอัลกอริทึม，以及เกมแพลตฟอร์มสไตล์เกมง่ายๆ ผลลัพธ์สำหรับเกมเหล่านี้คือเล็กน้อยกว่าผลลัพธ์ที่ดีที่สุดในอุตสาหกรรม แต่มีการทดสอบอีกครั้งซึ่งอัลกอริทึมทำงานได้ดีกว่า นักวิจัยได้ใช้เกมแข่งรถวิดีโอเป็นกรณีทดสอบ โดยให้ตัวแทน AI ติดตามเส้นทางที่กำหนดและหลีกเลี่ยงอุปสรรคในสถานการณ์ที่ตัวแทนไม่ได้เห็นระหว่างการฝึกอบรม มีการกระทำต่อเนื่องสองแบบ คือ การเลี้ยวและการเร่งความเร็ว และการกระทำแบบไบนารี่ (การเบรก)

นักวิจัยสรุปผลลัพธ์ของตนในเอกสารวิจัย โดยประกาศว่าแนวทาง Soft Actor-Critic แบบผสมผสานนี้ประสบความสำเร็จในการฝึกอบรมตัวแทน AI ให้ขับรถด้วยความเร็วสูงในเกมวิดีโอเชิงพาณิชย์ ตามที่นักวิจัยระบุ แนวทางฝึกอบรมของพวกเขาอาจทำงานได้สำหรับวิธีการโต้ตอบที่เป็นไปได้หลากหลาย รวมถึงกรณีที่ตัวแทน AI มีตัวเลือกอินพุตที่เหมือนกันกับผู้เล่น โดยแสดงให้เห็นถึง “ประโยชน์เชิงปฏิบัติของอัลกอริทึมดังกล่าวสำหรับอุตสาหกรรมวิดีโอเกม”