Apa itu Reinforcement Learning?

Apa itu Reinforcement Learning?

Dengan sederhana, reinforcement learning adalah teknik machine learning yang melibatkan pelatihan agen kecerdasan buatan melalui pengulangan tindakan dan penghargaan yang terkait. Agen reinforcement learning bereksperimen di lingkungan, mengambil tindakan dan diberi penghargaan ketika tindakan yang benar diambil. Dengan waktu, agen belajar untuk mengambil tindakan yang akan memaksimalkan penghargaannya. Itu adalah definisi singkat dari reinforcement learning, tetapi melihat lebih dekat konsep di balik reinforcement learning akan membantu Anda memahami lebih baik dan lebih intuitif tentang hal itu.

Istilah “reinforcement learning” diadaptasi dari konsep penghargaan dalam psikologi. Karena itu, mari kita ambil waktu untuk memahami konsep psikologis penghargaan. Dalam arti psikologis, istilah penghargaan merujuk pada sesuatu yang meningkatkan kemungkinan bahwa respons/tindakan tertentu akan terjadi. Konsep penghargaan ini adalah ide sentral dari teori kondisi operan, yang awalnya diajukan oleh psikolog B.F. Skinner. Dalam konteks ini, penghargaan adalah apa saja yang menyebabkan frekuensi perilaku tertentu meningkat. Jika kita berpikir tentang penghargaan yang mungkin untuk manusia, ini dapat berupa pujian, kenaikan gaji, permen, dan kegiatan yang menyenangkan.

Dalam arti tradisional, psikologis, ada dua jenis penghargaan. Ada penghargaan positif dan penghargaan negatif. Penghargaan positif adalah penambahan sesuatu untuk meningkatkan perilaku, seperti memberi hadiah kepada anjing ketika ia berperilaku baik. Penghargaan negatif melibatkan menghilangkan stimulus untuk memicu perilaku, seperti mematikan kebisingan untuk mengeluarkan kucing yang penakut.

Penghargaan Positif & Negatif

Penghargaan positif meningkatkan frekuensi perilaku sedangkan penghargaan negatif menurunkan frekuensi. Secara umum, penghargaan positif adalah jenis penghargaan yang paling umum digunakan dalam reinforcement learning, karena membantu model memaksimalkan kinerja pada tugas tertentu. Tidak hanya itu, tetapi penghargaan positif juga menyebabkan model membuat perubahan yang lebih berkelanjutan, perubahan yang dapat menjadi pola yang konsisten dan bertahan untuk waktu yang lama.

Sebaliknya, meskipun penghargaan negatif juga membuat perilaku lebih mungkin terjadi, itu digunakan untuk mempertahankan standar kinerja minimum daripada mencapai kinerja maksimum model. Penghargaan negatif dalam reinforcement learning dapat membantu memastikan bahwa model dijauhkan dari tindakan yang tidak diinginkan, tetapi tidak dapat membuat model mengeksplorasi tindakan yang diinginkan.

Melatih Agen Reinforcement

Ketika agen reinforcement learning dilatih, ada empat bahan atau keadaan yang digunakan dalam pelatihan: keadaan awal (Keadaan 0), keadaan baru (Keadaan 1), tindakan, dan penghargaan.

Bayangkan bahwa kita sedang melatih agen reinforcement untuk bermain game platform di mana tujuan AI adalah mencapai akhir level dengan bergerak ke kanan di layar. Keadaan awal permainan diambil dari lingkungan, yang berarti frame pertama permainan dianalisis dan diberikan kepada model. Berdasarkan informasi ini, model harus memutuskan tindakan.

Selama fase awal pelatihan, tindakan ini acak, tetapi ketika model diperkuat, tindakan tertentu akan menjadi lebih umum. Setelah tindakan diambil, lingkungan permainan diperbarui dan keadaan baru atau frame dibuat. Jika tindakan yang diambil oleh agen menghasilkan hasil yang diinginkan, katakanlah dalam kasus ini bahwa agen masih hidup dan tidak terkena musuh, beberapa penghargaan diberikan kepada agen dan menjadi lebih mungkin untuk melakukan hal yang sama di masa depan.

Sistem dasar ini terus-menerus diulang, terjadi lagi dan lagi, dan setiap kali agen mencoba untuk belajar sedikit lebih banyak dan memaksimalkan penghargaannya.

Tugas Episodik vs Tugas Kontinu

Tugas reinforcement learning dapat secara umum dikelompokkan ke dalam dua kategori yang berbeda: tugas episodik dan tugas kontinu.

Tugas episodik akan melakukan loop pelatihan/pembelajaran dan meningkatkan kinerjanya sampai beberapa kriteria akhir terpenuhi dan pelatihan dihentikan. Dalam permainan, ini mungkin mencapai akhir level atau jatuh ke dalam bahaya seperti paku. Sebaliknya, tugas kontinu tidak memiliki kriteria penghentian, secara efektif terus-menerus berlatih sampai insinyur memutuskan untuk menghentikan pelatihan.

Monte Carlo vs Temporal Difference

Ada dua cara utama untuk mempelajari, atau melatih, agen reinforcement learning. Dalam pendekatan Monte Carlo, penghargaan diberikan kepada agen (skornya diperbarui) hanya di akhir episode pelatihan. Dengan kata lain, hanya ketika kondisi penghentian tercapai, model belajar seberapa baik kinerjanya. Kemudian dapat menggunakan informasi ini untuk memperbarui dan ketika putaran pelatihan berikutnya dimulai, akan merespons sesuai dengan informasi baru.

Metode temporal-difference berbeda dari metode Monte Carlo dalam hal estimasi nilai, atau estimasi skor, diperbarui selama episode pelatihan. Setelah model maju ke langkah waktu berikutnya, nilai-nilai diperbarui.

Eksplorasi vs Eksplotasi

Melatih agen reinforcement learning adalah tindakan seimbang, yang melibatkan keseimbangan dua metrik yang berbeda: eksplorasi dan eksplotasi.

Eksplorasi adalah tindakan mengumpulkan lebih banyak informasi tentang lingkungan sekitar, sedangkan eksplorasi adalah menggunakan informasi yang sudah diketahui tentang lingkungan untuk mendapatkan poin penghargaan. Jika agen hanya mengeksplorasi dan tidak pernah mengeksploitasi lingkungan, tindakan yang diinginkan tidak pernah akan dilakukan. Di sisi lain, jika agen hanya mengeksploitasi dan tidak pernah mengeksplorasi, agen hanya akan belajar untuk melakukan satu tindakan dan tidak akan menemukan strategi lain untuk mendapatkan penghargaan. Oleh karena itu, keseimbangan antara eksplorasi dan eksplotasi sangat penting ketika membuat agen reinforcement learning.

Kasus Penggunaan Reinforcement Learning

Reinforcement learning dapat digunakan dalam berbagai peran, dan paling cocok untuk aplikasi di mana tugas memerlukan otomatisasi.

Otomatisasi tugas yang harus dilakukan oleh robot industri adalah salah satu area di mana reinforcement learning terbukti berguna. Reinforcement learning juga dapat digunakan untuk masalah seperti penambangan teks, membuat model yang dapat merangkum tubuh teks panjang. Peneliti juga bereksperimen dengan menggunakan reinforcement learning di bidang kesehatan, dengan agen reinforcement menangani tugas seperti optimasi kebijakan perawatan. Reinforcement learning juga dapat digunakan untuk mengkustomisasi materi pendidikan untuk siswa.

Ringkasan Reinforcement Learning

Reinforcement learning adalah metode yang kuat untuk membangun agen AI yang dapat menghasilkan hasil yang mengesankan dan terkadang mengejutkan. Melatih agen melalui reinforcement learning dapat kompleks dan sulit, karena membutuhkan banyak iterasi pelatihan dan keseimbangan yang halus dari eksplorasi/eksplotasi. Namun, jika berhasil, agen yang dibuat dengan reinforcement learning dapat melakukan tugas yang kompleks di berbagai lingkungan yang berbeda.