Peneliti AI Membuat Model Bermain Game Video yang Dapat Mengingat Peristiwa Masa Lalu

Tim peneliti di laboratorium AI Uber baru-baru ini mengembangkan sistem algoritma AI yang mengungguli pemain manusia dan sistem AI lainnya dalam permainan video klasik Atari. Sistem AI yang dikembangkan oleh peneliti ini mampu mengingat strategi yang berhasil sebelumnya, membuat strategi baru berdasarkan apa yang berhasil di masa lalu. Tim peneliti percaya bahwa algoritma yang mereka kembangkan memiliki potensi aplikasi di bidang lain seperti pemrosesan bahasa dan robotika.

Metode yang biasa digunakan untuk membuat sistem AI yang dapat bermain game adalah dengan menggunakan algoritma pembelajaran penguatan. Algoritma pembelajaran penguatan belajar bagaimana melakukan tugas dengan menjelajahi berbagai tindakan yang mungkin, dan setelah setiap tindakan, mereka diberikan jenis penguatan (hadiah atau hukuman). Dengan waktu, model AI belajar tindakan mana yang menghasilkan hadiah yang lebih besar, dan menjadi lebih mungkin untuk melakukan tindakan tersebut. Sayangnya, model pembelajaran penguatan mengalami kesulitan ketika mereka menghadapi data yang tidak konsisten dengan yang lain di dataset.

Menurut tim peneliti, alasan mengapa pendekatan mereka belum dipertimbangkan oleh peneliti AI lainnya adalah karena strategi yang berbeda dari pendekatan “motivasi intrinsik” yang biasa digunakan dalam pembelajaran penguatan. Masalah dengan pendekatan motivasi intrinsik adalah bahwa model dapat rentan “melupakan” area yang berpotensi menguntungkan yang masih layak dijelajahi. Fenomena ini disebut “pelepasan”. Sebagai akibatnya, ketika model menghadapi data yang tidak terduga, model mungkin melupakan area yang seharusnya masih dijelajahi.

Menurut TechXplore, tim peneliti berusaha membuat model pembelajaran yang lebih fleksibel dan dapat merespons data yang tidak terduga. Peneliti mengatasi masalah ini dengan memperkenalkan algoritma yang dapat mengingat semua tindakan yang diambil oleh versi sebelumnya dari model ketika mencoba memecahkan masalah. Ketika model AI menghadapi data yang tidak konsisten dengan apa yang telah dipelajari sejauh ini, model memeriksa peta memorinya. Model kemudian mengidentifikasi strategi mana yang berhasil dan gagal dan memilih strategi yang sesuai.

Ketika bermain game, model mengumpulkan screenshot game saat bermain, membuat log tindakan. Gambar-gambar dikelompokkan bersama berdasarkan kesamaan, membentuk titik-titik waktu yang jelas yang dapat dirujuk kembali oleh model. Algoritma dapat menggunakan gambar yang dicatat untuk kembali ke titik waktu yang menarik dan melanjutkan eksplorasi dari sana. Ketika model menemukan bahwa ia kalah, model akan merujuk kembali ke screenshot yang diambil dan mencoba strategi yang berbeda.

Seperti yang dijelaskan oleh BBC, ada juga masalah penanganan skenario berbahaya bagi agen AI yang bermain game. Jika agen menghadapi bahaya yang dapat membunuhnya, itu akan mencegahnya kembali ke area yang layak dijelajahi, masalah yang disebut “pelepasan”. Model AI menangani masalah pelepasan melalui proses yang terpisah dari yang digunakan untuk mendorong eksplorasi area lama.

Tim peneliti memiliki mode bermain melalui 55 game Atari. Game-game ini biasa digunakan untuk mengukur kinerja model AI, tetapi peneliti menambahkan twist untuk model mereka. Peneliti memperkenalkan aturan tambahan untuk game, menginstruksikan model untuk tidak hanya mencapai skor tertinggi yang mungkin tetapi juga mencoba mencapai skor yang lebih tinggi setiap kali. Ketika hasil kinerja model dianalisis, peneliti menemukan bahwa sistem AI mereka mengungguli AI lainnya dalam game sekitar 85% dari waktu. AI melakukan sangat baik dalam game Montezuma’s Revenge, game platformer di mana pemain menghindari bahaya dan mengumpulkan harta. Game ini mengalahkan rekor untuk pemain manusia dan juga mencetak skor lebih tinggi dari sistem AI lainnya.

Menurut peneliti AI Uber, strategi yang digunakan oleh tim peneliti memiliki aplikasi untuk industri seperti robotika. Robot mendapat manfaat dari kemampuan untuk mengingat tindakan mana yang berhasil, mana yang tidak berhasil, dan mana yang belum dicoba.