Ubisoft Melatih Agen AI untuk Mengemudi Mobil di Permainan Balap

Istilah “AI” banyak digunakan dalam diskusi tentang permainan video, tetapi biasanya digunakan untuk merujuk pada logika yang mengontrol karakter non-pemain dalam permainan video, bukan merujuk pada sistem yang didorong oleh apa yang ilmuwan komputer kenal sebagai AI. Aplikasi aktual dari AI yang menggunakan jaringan saraf buatan cukup jarang dalam industri permainan video, tetapi seperti yang dilaporkan VentureBeat perusahaan permainan Ubisoft baru-baru ini menerbitkan sebuah makalah yang menyelidiki kemungkinan penggunaan agen AI yang dilatih dengan pembelajaran penguatan.

Sementara entitas seperti DeepMind dan OpenAI telah menyelidiki bagaimana AI berperforma dalam berbagai permainan video, seperti StarCraft 2, Dota 2, dan Minecraft, sangat sedikit penelitian yang telah dilakukan pada penggunaan AI di bawah konstrain spesifik yang sering dihadapi oleh pengembang permainan. Ubisoft La Forge, lengan prototipe Ubisoft, baru-baru ini menerbitkan sebuah makalah yang menjelaskan algoritma yang mampu melakukan tindakan yang dapat diprediksi dalam permainan video komersial. Menurut laporan, algoritma AI mampu mencapai benchmark saat ini dan melakukan tugas kompleks dengan andal.

Penulis makalah tersebut mencatat bahwa meskipun pembelajaran penguatan telah digunakan dengan sangat efektif dalam konteks permainan video tertentu, sering mencapai kesetaraan dengan pemain manusia terbaik dari permainan tersebut, sistem yang dibuat oleh OpenAI dan DeepMind jarang berguna bagi pengembang permainan. Penulis mencatat bahwa kurangnya aksesibilitas adalah masalah besar dan bahwa hasil yang paling mengesankan diperoleh oleh kelompok penelitian dengan sumber daya komputasi skala besar, sumber daya yang biasanya jauh melampaui apa yang dapat diakses oleh pengembang permainan rata-rata. Menulis para peneliti:

“Sistem ini telah relatif sedikit digunakan dalam industri permainan video, dan kami percaya bahwa kurangnya aksesibilitas adalah alasan utama di balik ini. Memang, hasil yang sangat mengesankan … diproduksi oleh kelompok penelitian besar dengan sumber daya komputasi yang jauh melampaui apa yang biasanya tersedia dalam studio permainan video.”

Tim peneliti dari Ubisoft bertujuan untuk memperbaiki beberapa masalah ini dengan menciptakan pendekatan pembelajaran penguatan yang dioptimalkan untuk masalah seperti pengumpulan sampel data dan batasan anggaran waktu. Solusi Ubisoft disesuaikan dari penelitian yang dilakukan di University of California, Berkeley. Model Soft Actor-Critic yang dikembangkan oleh peneliti UC Berkely dapat membuat model yang dapat secara efektif menggeneralisasi ke kondisi baru dan jauh lebih efisien sampel daripada model lainnya. Tim Ubisoft mengambil pendekatan ini dan menyesuaikannya untuk tindakan diskrit dan kontinu.

Tim peneliti Ubisoft mengevaluasi kinerja algoritma mereka pada tiga permainan yang berbeda. Ada dua permainan sepak bola yang digunakan untuk menguji algoritma, serta permainan platformer sederhana. Sementara hasil untuk permainan ini sedikit lebih buruk daripada hasil industri saat ini, tes lain dilakukan di mana algoritma berperforma jauh lebih baik. Para peneliti menggunakan permainan balap sebagai kasus uji, memiliki agen AI mengikuti jalur yang diberikan dan bernegosiasi dengan hambatan dalam lingkungan yang tidak pernah dilihat selama pelatihan. Ada dua tindakan kontinu, kemudi dan percepatan, serta satu tindakan biner (pengereman).

Para peneliti merangkum hasil mereka dalam makalah, menyatakan bahwa pendekatan Soft Actor-Critic hibrida berhasil ketika melatih agen AI untuk mengemudi dengan kecepatan tinggi dalam permainan video komersial. Menurut para peneliti, pendekatan pelatihan mereka dapat berpotensi bekerja untuk berbagai pendekatan interaksi yang mungkin. Ini termasuk contoh di mana agen AI memiliki opsi input yang sama dengan pemain, menunjukkan “kegunaan praktis dari algoritma seperti itu untuk industri permainan video.”