Laporan DeepMind tentang Metode Baru Pelatihan Reinforcement Learning AI dengan Aman

Pembelajaran penguatan adalah salah satu jalur pengembangan AI yang menjanjikan, menghasilkan AI yang dapat menangani tugas yang sangat kompleks. Algoritma pembelajaran penguatan digunakan dalam pembuatan sistem robotika mobile dan mobil self-driving di antara aplikasi lainnya. Namun, karena cara pelatihan AI penguatan, mereka dapat terkadang menampilkan perilaku aneh dan tidak terduga. Perilaku ini dapat berbahaya, dan peneliti AI menyebut masalah ini sebagai “masalah eksplorasi aman”, di mana AI menjadi terjebak dalam eksplorasi keadaan yang tidak aman.

Baru-baru ini, laboratorium penelitian AI Google (GOOGL ), DeepMind, merilis sebuah makalah yang mengusulkan metode baru untuk menangani masalah eksplorasi aman dan melatih pembelajaran penguatan AI dengan cara yang lebih aman. Metode yang disarankan oleh DeepMind juga memperbaiki masalah “reward hacking” atau celah dalam kriteria reward.

Metode baru DeepMind memiliki dua sistem yang berbeda yang dimaksudkan untuk memandu perilaku AI dalam situasi di mana perilaku tidak aman dapat muncul. Dua sistem yang digunakan oleh teknik pelatihan DeepMind adalah model generatif dan model dinamika maju. Kedua model ini dilatih pada berbagai data, seperti demonstrasi oleh ahli keamanan dan trajeksi kendaraan yang sepenuhnya acak. Data ini diberi label oleh supervisor dengan nilai reward tertentu, dan agen AI akan memilih pola perilaku yang akan memungkinkan mereka untuk mengumpulkan reward terbesar. Keadaan tidak aman juga telah diberi label, dan setelah model berhasil memprediksi reward dan keadaan tidak aman, maka model tersebut diterapkan untuk melakukan tindakan yang ditargetkan.

Tim peneliti menjelaskan dalam makalah bahwa ide tersebut adalah untuk menciptakan perilaku yang mungkin dari awal, untuk menyarankan perilaku yang diinginkan, dan untuk memiliki skenario hipotetis yang sangat informatif sambil menghindari intervensi langsung dengan lingkungan pembelajaran. Tim DeepMind menyebut pendekatan ini sebagai ReQueST, atau sintesis kueri reward melalui optimasi trajeksi.

ReQueST dapat menyebabkan empat jenis perilaku yang berbeda. Jenis perilaku pertama mencoba memaksimalkan ketidakpastian mengenai model reward ensemble. Sementara itu, perilaku kedua dan ketiga mencoba meminimalkan dan memaksimalkan reward yang diprediksi. Reward yang diprediksi diminimalkan untuk memimpin penemuan perilaku yang model mungkin salah prediksi. Di sisi lain, reward yang diprediksi dimaksimalkan untuk memimpin label perilaku yang memiliki nilai informasi tertinggi. Akhirnya, jenis perilaku keempat mencoba memaksimalkan kebaruan trajeksi, agar model terus mengeksplorasi terlepas dari reward yang diproyeksikan.

Saat model telah mencapai tingkat pengumpulan reward yang diinginkan, agen perencana digunakan untuk membuat keputusan berdasarkan reward yang dipelajari. Skema kontrol prediktif model ini memungkinkan agen untuk belajar menghindari keadaan tidak aman dengan menggunakan model dinamika dan memprediksi konsekuensi yang mungkin, berbeda dengan perilaku algoritma yang belajar melalui trial dan error murni.

Seperti dilaporkan oleh VentureBeat, peneliti DeepMind percaya bahwa proyek mereka adalah sistem pembelajaran penguatan pertama yang dapat belajar dengan cara yang terkendali dan aman:

“Menurut pengetahuan kami, ReQueST adalah algoritma pemodelan reward pertama yang aman belajar tentang keadaan tidak aman dan skalabel untuk melatih model reward jaringan neural di lingkungan dengan keadaan kontinu yang berdimensi tinggi. Sampai sekarang, kami hanya telah mendemonstrasikan efektivitas ReQueST dalam domain simulasi dengan dinamika yang relatif sederhana. Salah satu arah untuk pekerjaan masa depan adalah menguji ReQueST di domain 3D dengan fisika yang lebih realistis dan agen lain yang beraksi di lingkungan.”