Akhir dari Tabula Rasa: Bagaimana Model Dunia Pra-Latih Mengubah Pembelajaran Penguatan

Untuk waktu yang lama, ide inti dalam pembelajaran penguatan (RL) adalah bahwa agen AI harus belajar setiap tugas baru dari awal, seperti sebuah kertas kosong. Pendekatan “tabula rasa” ini menghasilkan prestasi luar biasa, seperti AI yang menguasai permainan kompleks. Namun, ini sangat tidak efisien, memerlukan jumlah data dan komputasi yang besar untuk belajar bahkan perilaku sederhana.

Sekarang, pergeseran mendasar sedang terjadi. Alih-alih memulai dari nol, agen dapat menggunakan model dunia pra-latih. Model-model ini memiliki pengetahuan bawaan tentang bagaimana lingkungan bekerja, sehingga mengurangi secara dramatis jumlah data dan waktu yang dibutuhkan untuk belajar tugas baru. Pergeseran ini mencerminkan tren yang lebih besar dalam AI, di mana model fondasi telah mengubah cara AI memproses tugas bahasa dan visi.

Biaya Tersembunyi dari Belajar dari Awal

Agen pembelajaran penguatan tradisional menghadapi tantangan yang sulit. Mereka harus belajar bagaimana lingkungan terlihat, bagaimana lingkungan bereaksi terhadap tindakan mereka, dan perilaku mana yang mengarah ke penghargaan. Beban belajar yang berat ini adalah alasan mengapa bahkan tugas sederhana sering memerlukan jutaan interaksi sebelum agen berkinerja dengan baik. Sistem besar seperti OpenAI Five, yang mencapai kinerja manusia di Dota 2, menjalani bulan-bulan pelatihan dan iterasi desain yang berulang. Setiap kali arsitektur atau algoritma berubah, model harus dilatih ulang dari awal, membuat proses pengembangan sangat mahal dan memakan waktu. Ketidakefisienan ini membuat peneliti tanpa sumber daya besar sulit bekerja pada masalah yang memerlukan komputasi berat. Pendekatan tabula rasa juga membuang banyak komputasi, membuang semua yang telah dipelajari agen setiap kali desain berubah.

Tuntutan data dari pembelajaran tabula rasa sangat menantang dalam robotika. Robot fisik tidak dapat mengumpulkan data secepat simulasi, membuatnya tidak realistis untuk melakukan jutaan interaksi yang diperlukan untuk belajar. Kekhawatiran keamanan menambahkan lapisan kesulitan lain, karena robot harus menghindari tindakan yang dapat menyebabkan kerusakan atau cedera. Batasan ini telah mencegah pembelajaran penguatan dari berkembang dalam aplikasi dunia nyata di mana mereka dapat memiliki dampak terbesar.

Model Dunia sebagai Simulator Lingkungan

Model dunia mengambil inspirasi dari bagaimana manusia belajar. Bayi tidak memulai sebagai kertas kosong, mereka mengembangkan pemahaman dasar tentang fisika, orang, dan ruang sebelum mereka dapat bernalar secara formal. Dalam cara yang sama, agen AI dapat pertama-tama belajar tentang dunia dengan pasif mengamati sejumlah besar data seperti gambar, video, atau simulasi, sebelum mereka dapat mulai belajar melalui penghargaan.

Model dunia pada dasarnya adalah sistem AI yang belajar untuk mensimulasikan bagaimana lingkungan berperilaku. Alih-alih hanya memetakan pengamatan ke tindakan, mereka memprediksi bagaimana lingkungan akan berubah sebagai respons terhadap tindakan tersebut. Kemampuan prediktif ini memungkinkan agen untuk membayangkan skenario yang berbeda dan menguji tindakan yang mungkin tanpa percobaan yang mahal di dunia nyata. Pada intinya, model ini bertindak sebagai simulator internal yang agen dapat gunakan untuk merencanakan langkah mereka.

Beberapa kemajuan terbesar telah datang dari menggabungkan pembelajaran mandiri dan pemodelan generatif dengan pembelajaran penguatan. Metode seperti Dreamer, World Models, dan PlaNet memungkinkan agen untuk membayangkan dan merencanakan di dalam simulator internal mereka. Alih-alih berinteraksi terus-menerus dengan lingkungan nyata, mereka berlatih di dalam “dunia yang dibayangkan” ini, yang membuat pembelajaran jauh lebih efisien.

Dari Fine-Tuning ke Pra-Latih: Perubahan dalam Pendekatan RL

Dengan munculnya model dunia, bidang pembelajaran penguatan sekarang mengalami perubahan yang sama yang telah mengubah pemrosesan bahasa alami dan visi. Model Bahasa Besar (LLM) telah memperoleh kemampuan yang mengesankan dengan pra-latih pada sejumlah besar data dan kemudian fine-tuning untuk tugas tertentu. Ide yang sama sekarang diterapkan pada pembelajaran penguatan: mulai dengan pra-latih umum dan kemudian adaptasi untuk tugas tertentu.

Model dunia pra-latih mengubah apa yang sebenarnya perlu dipelajari agen pembelajaran penguatan. Alih-alih mencoba memahami bagaimana lingkungan bekerja dari awal, agen sekarang fokus pada mengadaptasi apa yang sudah mereka ketahui untuk tugas tertentu. Dengan kata lain, tujuan bergeser dari mempelajari dunia ke mempelajari bagaimana bertindak di dalamnya. Perubahan ini membuat pembelajaran jauh lebih cepat dan efisien data. Misalnya, model visi-bahasa-tindakan pra-latih seperti OpenAI’s Sora dan DeepMind’s Genie memungkinkan agen untuk memahami adegan kompleks dan memprediksi konsekuensi dari tindakan mereka. Pendekatan baru ini mengubah pembelajaran penguatan dari pembelajar tugas tunggal menjadi agen fondasi yang dapat dengan cepat beradaptasi dengan banyak domain yang berbeda dengan sedikit fine-tuning atau prompting. Pendekatan ini juga memungkinkan agen untuk menyelesaikan tugas dengan jauh lebih sedikit data daripada metode tradisional sambil mempertahankan atau meningkatkan kinerja akhir. Ini adalah langkah besar menuju menciptakan sistem AI yang dapat belajar dengan cepat, beradaptasi dengan mulus, dan beroperasi dengan efisien di berbagai tantangan dunia nyata.

Bagaimana Model Dunia Mengaktifkan Kecerdasan

Pada intinya, model dunia mengubah pengalaman menjadi representasi prediktif yang kompak. Mereka dapat menjawab pertanyaan seperti: “Apa yang akan terjadi selanjutnya jika saya melakukan X?” atau “Apa urutan tindakan yang mencapai Y?” Kemampuan prediktif ini memperkenalkan tiga kelebihan utama untuk agen pembelajaran penguatan:

1. Simulasi tanpa interaksi: Agen dapat belajar dengan membayangkan ribuan kemungkinan masa depan di dalam model dunia mereka, menghilangkan eksplorasi dunia nyata yang mahal.
2. Perencanaan dan penalaran: Dengan model internal, agen dapat mengevaluasi hasil jangka panjang dan membuat keputusan di luar perilaku reaktif.
3. Pembelajaran transfer: Karena model dunia menangkap struktur umum, mereka dapat digunakan kembali di berbagai tugas, mengurangi biaya pelatihan ulang secara dramatis.

Ekosistem Pra-Latih yang Muncul

Salah satu kemampuan paling mengesankan dari model dunia yang terlatih dengan baik adalah pembelajaran nol-geser. Dalam pembelajaran penguatan nol-geser, agen dapat menangani tugas baru segera tanpa pelatihan atau perencanaan tambahan. Ini adalah perubahan mendasar dari pembelajaran penguatan yang berfokus pada penghargaan ke agen yang dapat dikendalikan yang mengikuti instruksi arbitrer. Agen seperti ini dapat beradaptasi dengan tujuan yang berbeda dengan membayangkan skenario seperti bagaimana LLM menggunakan prompt untuk melakukan tugas yang berbeda.

Sebuah ekosistem sedang terbentuk di sekitar konsep ini. Laboratorium penelitian terkemuka sedang membangun agen fondasi umum yang dapat beroperasi di berbagai bidang, termasuk teks, visi, robotika, dan simulasi. Proyek seperti OpenAI’s Sora dan Google (GOOGL ) DeepMind’s World Model RL adalah contoh awal dari agen seperti ini. Sistem ini mengintegrasikan persepsi multi-modal, memori, dan kontrol ke dalam kerangka kerja yang terpadu yang dapat bernalar tentang lingkungan fisik dan digital.

Pada saat yang sama, munculnya Pembelajaran Penguatan sebagai Layanan (RLaaS) membuat alat-alat ini dapat diakses secara luas. Alih-alih membangun agen dari awal, pengembang dapat melakukan fine-tuning model keputusan pra-latih untuk robotika, permainan, atau otomasi industri. Ini seperti bagaimana LLM sebagai Layanan telah mengubah aplikasi bahasa. Perkembangan ini menggeser fokus dari “melatih agen” ke “menggunakan kecerdasan”, mengurangi hambatan masuk dan memperluas kemampuan aplikasi dunia nyata.

Tantangan dan Pertanyaan Terbuka

Meskipun potensinya yang besar, pemodelan dunia pra-latih masih merupakan bidang yang sedang berkembang dengan beberapa tantangan terbuka. Salah satu masalah utama adalah bias model. Jika model pra-latih memiliki pemahaman tentang dunia yang tidak lengkap atau terdistorsi, itu dapat menyebabkan agen belajar perilaku yang salah. Skalabilitas adalah hambatan lain, karena membangun model dunia akurat untuk lingkungan yang kompleks, berdimensi tinggi, atau tidak terduga memerlukan sumber daya komputasi yang signifikan. Ada juga masalah pengaitan dan kesenjangan kenyataan, di mana model yang dilatih pada data simulasi atau berbasis internet berjuang untuk berkinerja dengan andal di pengaturan fisik dunia nyata. Akhirnya, karena agen AI menjadi lebih otonom, kekhawatiran etika dan keamanan menjadi semakin penting, membuat eksplorasi yang aman dan perjajaran yang tepat sangat penting. Mengatasi tantangan ini akan memerlukan kemajuan di bidang seperti interpretasi model, estimasi ketidakpastian, dan pembelajaran yang sadar keamanan.

Ringkasan

Pembelajaran penguatan sedang mengalami perubahan mendasar, beralih dari melatih AI dari awal untuk setiap tugas baru. Dengan menggunakan model dunia pra-latih, yang bertindak sebagai simulator internal tentang bagaimana lingkungan bekerja, agen dapat sekarang belajar tugas baru dengan jauh lebih sedikit data dan waktu. Ini mengubah pembelajaran penguatan dari proses yang sempit dan tidak efisien menjadi pendekatan yang lebih fleksibel dan dapat diskalakan, membuka jalan bagi AI yang dapat beradaptasi dengan cepat dengan tantangan dunia nyata.