Ubisoft Melatih Agen AI untuk Mengemudi Mobil di Permainan Balap

Istilah “AI” banyak digunakan dalam diskusi tentang permainan video, tetapi biasanya digunakan untuk merujuk pada logika yang mengontrol karakter non-pemain dalam permainan video, bukan merujuk pada sistem yang didorong oleh apa yang ilmuwan komputer kenal sebagai AI. Aplikasi nyata dari AI yang menggunakan jaringan saraf buatan cukup jarang dalam industri permainan video, tetapi seperti yang dilaporkan oleh VentureBeat perusahaan permainan Ubisoft baru-baru ini menerbitkan sebuah makalah yang menyelidiki penggunaan potensial untuk agen AI yang dilatih dengan pembelajaran penguatan.

Entitas seperti DeepMind dan OpenAI telah menyelidiki bagaimana AI berkinerja dalam berbagai permainan video, seperti StarCraft 2, Dota 2, dan Minecraft, tetapi sangat sedikit penelitian yang telah dilakukan tentang penggunaan AI di bawah kendala khusus yang sering dihadapi oleh pengembang permainan. Ubisoft La Forge, lengan prototipe Ubisoft, baru-baru ini menerbitkan sebuah makalah yang menjelaskan algoritma yang dapat melakukan tindakan yang dapat diprediksi dalam permainan video komersial. Menurut laporan, algoritma AI dapat mencapai benchmark saat ini dan melakukan tugas kompleks dengan andal.

Penulis makalah tersebut mencatat bahwa meskipun pembelajaran penguatan telah digunakan dengan sangat efektif dalam konteks permainan video tertentu, sering mencapai kesetaraan dengan pemain terbaik permainan tersebut, sistem yang dibuat oleh OpenAI dan DeepMind jarang berguna bagi pengembang permainan. Penulis mencatat bahwa kurangnya aksesibilitas adalah masalah besar dan bahwa hasil yang paling mengesankan diperoleh oleh kelompok penelitian dengan sumber daya komputasi skala besar, sumber daya yang biasanya jauh melampaui apa yang tersedia dalam studio permainan video. Menulis para peneliti:

“Sistem ini telah relatif sedikit digunakan dalam industri permainan video, dan kami percaya bahwa kurangnya aksesibilitas adalah alasan utama di balik ini. Memang, hasil yang sangat mengesankan … diperoleh oleh kelompok penelitian dengan sumber daya komputasi yang jauh melampaui apa yang biasanya tersedia dalam studio permainan video.”

Tim peneliti dari Ubisoft bertujuan untuk memperbaiki beberapa masalah ini dengan menciptakan pendekatan pembelajaran penguatan yang dioptimalkan untuk masalah seperti pengumpulan sampel data dan kendala anggaran waktu. Solusi Ubisoft diadaptasi dari penelitian yang dilakukan di Universitas California, Berkeley. Model Soft Actor-Critic yang dikembangkan oleh peneliti UC Berkeley dapat membuat model yang efektif umum untuk kondisi baru dan jauh lebih efisien sampel daripada model lainnya. Tim Ubisoft mengambil pendekatan ini dan menyesuaikannya untuk tindakan diskret dan kontinu.

Tim peneliti Ubisoft mengevaluasi kinerja algoritma mereka pada tiga permainan yang berbeda. Ada dua permainan sepak bola yang digunakan untuk menguji algoritma, serta permainan platformer sederhana. Sementara hasil untuk permainan ini sedikit lebih buruk daripada hasil industri saat ini, tes lain dilakukan di mana algoritma tersebut berkinerja jauh lebih baik. Peneliti menggunakan permainan balap video sebagai kasus uji mereka, memiliki agen AI mengikuti jalur yang diberikan dan menegosiasikan hambatan dalam lingkungan yang belum pernah dilihat oleh agen selama pelatihan. Ada dua tindakan kontinu, kemudi dan percepatan, serta satu tindakan biner (pengereman).

Peneliti merangkum hasil mereka dalam makalah, menyatakan bahwa pendekatan Soft Actor-Critic hibrida berhasil ketika melatih agen AI untuk mengemudi dengan kecepatan tinggi dalam permainan video komersial. Menurut peneliti, pendekatan pelatihan mereka dapat bekerja untuk berbagai pendekatan interaksi yang mungkin. Ini termasuk contoh di mana agen AI memiliki opsi input yang sama dengan yang dimiliki pemain, menunjukkan “kegunaan praktis dari algoritma seperti itu untuk industri permainan video.”