Apa itu Deep Reinforcement Learning?

Apa itu Deep Reinforcement Learning?

Selain pembelajaran mesin tak terawasi dan pembelajaran terawasi, bentuk lain dari penciptaan AI yang umum adalah pembelajaran penguatan. Di luar pembelajaran penguatan biasa, pembelajaran penguatan dalam dapat menghasilkan hasil yang sangat mengesankan, berkat fakta bahwa ia menggabungkan aspek terbaik dari kedua pembelajaran dalam dan pembelajaran penguatan. Mari kita lihat bagaimana pembelajaran penguatan dalam bekerja.

Sebelum kita memasuki pembelajaran penguatan dalam, mungkin akan lebih baik jika kita memperbarui diri kita tentang bagaimana pembelajaran penguatan biasa bekerja. Dalam pembelajaran penguatan, algoritma yang berorientasi pada tujuan dirancang melalui proses trial dan error, mengoptimalkan tindakan yang menghasilkan hasil terbaik/tindakan yang mendapatkan “hadiah” terbanyak. Ketika algoritma pembelajaran penguatan dilatih, mereka diberi “hadiah” atau “hukuman” yang mempengaruhi tindakan yang akan diambil di masa depan. Algoritma mencoba menemukan serangkaian tindakan yang akan memberikan sistem dengan hadiah terbanyak, menyeimbangkan hadiah segera dan hadiah di masa depan.

Algoritma pembelajaran penguatan sangat kuat karena dapat diterapkan pada hampir semua tugas, dapat belajar secara fleksibel dan dinamis dari lingkungan dan menemukan tindakan yang mungkin.

Ringkasan Pembelajaran Penguatan Dalam

Foto: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Ketika datang ke pembelajaran penguatan dalam, lingkungan biasanya direpresentasikan dengan gambar. Sebuah gambar adalah tangkapan lingkungan pada titik waktu tertentu. Agen harus menganalisis gambar dan mengekstrak informasi yang relevan dari mereka, menggunakan informasi untuk memutuskan tindakan yang harus diambil. Pembelajaran penguatan dalam biasanya dilakukan dengan salah satu dari dua teknik yang berbeda: pembelajaran berbasis nilai dan pembelajaran berbasis kebijakan.

Teknik pembelajaran berbasis nilai menggunakan algoritma dan arsitektur seperti jaringan saraf konvolusi dan Deep-Q-Networks. Algoritma ini bekerja dengan mengubah gambar menjadi skala abu-abu dan memotong bagian yang tidak perlu dari gambar. Setelah itu, gambar menjalani berbagai konvolusi dan operasi pooling, mengekstrak bagian paling relevan dari gambar. Bagian penting dari gambar kemudian digunakan untuk menghitung nilai Q untuk tindakan yang berbeda yang dapat diambil oleh agen. Nilai Q digunakan untuk menentukan tindakan terbaik untuk agen. Setelah nilai Q awal dihitung, backpropagation dilakukan agar nilai Q yang paling akurat dapat ditentukan.

Metode berbasis kebijakan digunakan ketika jumlah tindakan yang mungkin yang dapat diambil oleh agen sangat tinggi, yang biasanya terjadi dalam skenario dunia nyata. Situasi seperti ini memerlukan pendekatan yang berbeda karena menghitung nilai Q untuk setiap tindakan individu tidak praktis. Pendekatan berbasis kebijakan bekerja tanpa menghitung fungsi nilai untuk tindakan individu. Sebaliknya, mereka mengadopsi kebijakan dengan mempelajari kebijakan secara langsung, sering melalui teknik yang disebut Gradien Kebijakan.

Gradien kebijakan bekerja dengan menerima negara dan menghitung probabilitas untuk tindakan berdasarkan pengalaman agen sebelumnya. Tindakan yang paling mungkin dipilih. Proses ini diulangi sampai akhir periode evaluasi dan hadiah diberikan kepada agen. Setelah hadiah diberikan kepada agen, parameter jaringan diperbarui dengan backpropagation.

Apa itu Q-Learning?

Karena Q-Learning adalah bagian besar dari proses pembelajaran penguatan dalam, mari kita lihat bagaimana sistem Q-learning bekerja.

Proses Pengambilan Keputusan Markov

Proses pengambilan keputusan Markov. Foto: waldoalvarez via Pixabay, Lisensi Pixbay (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Agar agen AI dapat melakukan serangkaian tugas dan mencapai tujuan, agen harus dapat menangani urutan negara dan peristiwa. Agen akan memulai dari satu negara dan harus mengambil serangkaian tindakan untuk mencapai negara akhir, dan ada banyak negara yang mungkin ada di antara negara awal dan akhir. Menyimpan informasi tentang setiap negara tidak praktis atau mustahil, sehingga sistem harus menemukan cara untuk menyimpan hanya informasi tentang negara yang paling relevan. Ini dilakukan melalui penggunaan Proses Pengambilan Keputusan Markov, yang menyimpan hanya informasi tentang negara saat ini dan negara sebelumnya. Setiap negara mengikuti sifat Markov, yang melacak bagaimana agen berubah dari negara sebelumnya ke negara saat ini.

Q-Learning Dalam

Setelah model memiliki akses ke informasi tentang negara-negara lingkungan, nilai Q dapat dihitung. Nilai Q adalah hadiah total yang diberikan kepada agen di akhir urutan tindakan.

Nilai Q dihitung dengan serangkaian hadiah. Ada hadiah segera, dihitung pada negara saat ini dan tergantung pada tindakan saat ini. Nilai Q untuk negara berikutnya juga dihitung, bersama dengan nilai Q untuk negara setelah itu, dan seterusnya sampai semua nilai Q untuk negara-negara yang berbeda telah dihitung. Ada juga parameter Gamma yang digunakan untuk mengontrol seberapa banyak hadiah di masa depan mempengaruhi tindakan agen. Kebijakan biasanya dihitung dengan menginisialisasi nilai Q secara acak dan membiarkan model konvergen ke nilai Q optimal selama proses pelatihan.

Jaringan Q-Dalam

Salah satu masalah mendasar yang terkait dengan penggunaan Q-learning untuk pembelajaran penguatan adalah bahwa jumlah memori yang diperlukan untuk menyimpan data meningkat secara eksponensial seiring dengan meningkatnya jumlah negara. Jaringan Q-Dalam menyelesaikan masalah ini dengan menggabungkan model jaringan saraf dengan nilai Q, memungkinkan agen untuk belajar dari pengalaman dan membuat tebakan yang masuk akal tentang tindakan terbaik untuk diambil. Dengan Q-learning dalam, fungsi nilai Q diestimasi dengan jaringan saraf. Jaringan saraf mengambil negara sebagai input data, dan jaringan mengeluarkan nilai Q untuk semua tindakan yang mungkin yang dapat diambil oleh agen.

Q-learning dalam dilakukan dengan menyimpan semua pengalaman masa lalu dalam memori, menghitung output maksimum untuk jaringan Q, dan kemudian menggunakan fungsi kerugian untuk menghitung perbedaan antara nilai saat ini dan nilai teoritis tertinggi yang mungkin.

Pembelajaran Penguatan Dalam vs Pembelajaran Dalam

Salah satu perbedaan penting antara pembelajaran penguatan dalam dan pembelajaran dalam biasa adalah bahwa dalam kasus pertama, inputnya terus-menerus berubah, yang tidak terjadi dalam pembelajaran dalam biasa. Bagaimana model pembelajaran dapat memperhitungkan input dan output yang terus-menerus berubah?

Pada dasarnya, untuk memperhitungkan perbedaan antara nilai yang diprediksi dan target, dua jaringan saraf dapat digunakan bukan satu. Satu jaringan mengestimasi nilai target, sedangkan jaringan lainnya bertanggung jawab untuk prediksi. Parameter jaringan target diperbarui seiring dengan proses pelatihan, setelah sejumlah iterasi pelatihan yang dipilih telah berlalu. Output dari jaringan yang sesuai kemudian digabungkan untuk menentukan perbedaan.

Pembelajaran Berbasis Kebijakan

Pembelajaran berbasis kebijakan bekerja secara berbeda dari pendekatan berbasis nilai Q. Sementara pendekatan berbasis nilai Q membuat fungsi nilai yang memprediksi hadiah untuk negara dan tindakan, metode berbasis kebijakan menentukan kebijakan yang akan memetakan negara ke tindakan. Dengan kata lain, fungsi kebijakan yang memilih tindakan dioptimalkan secara langsung tanpa memperhatikan fungsi nilai.

Gradien Kebijakan

Kebijakan untuk pembelajaran penguatan dalam dapat dibagi menjadi dua kategori: stokastik atau deterministik. Kebijakan deterministik adalah kebijakan di mana negara dipetakan ke tindakan, artinya ketika kebijakan diberikan informasi tentang negara, tindakan dikembalikan. Sementara itu, kebijakan stokastik mengembalikan distribusi probabilitas untuk tindakan bukan tindakan tunggal.

Kebijakan deterministik digunakan ketika tidak ada ketidakpastian tentang hasil tindakan yang dapat diambil. Dengan kata lain, ketika lingkungan itu sendiri deterministik. Sebaliknya, output kebijakan stokastik sesuai untuk lingkungan di mana hasil tindakan tidak pasti. Biasanya, skenario pembelajaran penguatan melibatkan beberapa ketidakpastian, sehingga kebijakan stokastik digunakan.

Pendekatan gradien kebijakan memiliki beberapa kelebihan dibandingkan dengan pendekatan Q-learning, serta beberapa kekurangan. Dalam hal kelebihan, metode berbasis kebijakan konvergen ke parameter optimal lebih cepat dan lebih dapat diandalkan. Gradien kebijakan dapat diikuti sampai parameter terbaik ditentukan, sedangkan dengan metode berbasis nilai, perubahan kecil dalam nilai tindakan yang diestimasi dapat menyebabkan perubahan besar dalam tindakan dan parameter yang terkait.

Gradien kebijakan bekerja lebih baik untuk ruang tindakan yang sangat tinggi. Ketika ada jumlah tindakan yang sangat tinggi yang dapat diambil, Q-learning dalam menjadi tidak praktis karena harus menetapkan skor untuk setiap tindakan yang mungkin untuk semua langkah waktu, yang mungkin tidak dapat dilakukan secara komputasi. Namun, dengan metode berbasis kebijakan, parameter disesuaikan seiring waktu dan jumlah parameter terbaik yang mungkin dengan cepat berkurang seiring dengan konvergensi model.

Gradien kebijakan juga dapat mengimplementasikan kebijakan stokastik, tidak seperti kebijakan berbasis nilai. Karena kebijakan stokastik menghasilkan distribusi probabilitas, trade-off antara eksplorasi dan eksploitasi tidak perlu diimplementasikan.

Dalam hal kekurangan, kekurangan utama dari gradien kebijakan adalah bahwa mereka dapat terjebak dalam mencari parameter optimal, fokus hanya pada himpunan nilai optimal lokal bukan nilai optimal global.

Fungsi Skor Kebijakan

Kebijakan yang digunakan untuk mengoptimalkan kinerja model bertujuan mengoptimalkan fungsi skor – J(θ). Jika J(θ) adalah ukuran seberapa baik kebijakan kita untuk mencapai tujuan yang diinginkan, kita dapat menemukan nilai “θ” yang memberikan kita kebijakan terbaik. Pertama, kita perlu menghitung hadiah kebijakan yang diharapkan. Kami mengestimasi hadiah kebijakan sehingga kami memiliki sesuatu untuk dioptimalkan. Fungsi Skor Kebijakan adalah bagaimana kami menghitung hadiah kebijakan yang diharapkan, dan ada beberapa Fungsi Skor Kebijakan yang umum digunakan, seperti: nilai awal untuk lingkungan episodik, nilai rata-rata untuk lingkungan kontinu, dan hadiah rata-rata per langkah waktu.

Gradien Kebijakan Naik

Gradien naik bertujuan untuk memindahkan parameter sampai mereka berada di tempat dengan skor tertinggi. Foto: Domain Publik (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Setelah Fungsi Skor Kebijakan yang diinginkan digunakan, dan hadiah kebijakan yang diharapkan dihitung, kita dapat menemukan nilai untuk parameter “θ” yang memaksimalkan fungsi skor. Untuk memaksimalkan fungsi skor J(θ), teknik yang disebut “gradien naik” digunakan. Gradien naik mirip dengan konsep gradien turun dalam pembelajaran dalam, tetapi kita mengoptimalkan untuk kenaikan tercuram bukan penurunan. Ini karena skor kita bukan “kesalahan”, seperti dalam banyak masalah pembelajaran dalam. Skor kita adalah sesuatu yang ingin kita maksimalkan. Sebuah ekspresi yang disebut Teorema Gradien Kebijakan digunakan untuk mengestimasi gradien terhadap kebijakan “θ”.

Ringkasan Pembelajaran Penguatan Dalam

Secara singkat, pembelajaran penguatan dalam menggabungkan aspek-aspek pembelajaran penguatan dan jaringan saraf dalam. Pembelajaran penguatan dalam dilakukan dengan dua teknik yang berbeda: Q-learning dalam dan gradien kebijakan.

Pembelajaran Q-dalam bertujuan untuk memprediksi hadiah yang akan mengikuti tindakan tertentu yang diambil dalam negara tertentu, sedangkan pendekatan gradien kebijakan bertujuan untuk mengoptimalkan ruang tindakan, memprediksi tindakan itu sendiri. Pendekatan berbasis kebijakan untuk pembelajaran penguatan dalam dapat dibagi menjadi dua kategori: deterministik atau stokastik. Kebijakan deterministik memetakan negara langsung ke tindakan, sedangkan kebijakan stokastik menghasilkan distribusi probabilitas untuk tindakan.