Pada tahun 2018, ide tentang pembelajaran penguatan dalam konteks model dunia neural jaringan pertama kali diperkenalkan, dan segera, prinsip dasar ini diterapkan pada model dunia. Beberapa model yang paling menonjol yang menerapkan pembelajaran penguatan adalah kerangka Dreamer, yang memperkenalkan pembelajaran penguatan dari ruang laten model ruang keadaan berulang. DreamerV2 menunjukkan bahwa penggunaan laten diskret dapat menghasilkan kesalahan penggandaan yang berkurang, dan kerangka DreamerV3 dapat mencapai kinerja yang mirip dengan manusia pada serangkaian tugas di berbagai domain dengan hiperparameter tetap.

Selain itu, kesamaan dapat ditarik antara model generasi gambar dan model dunia yang menunjukkan bahwa kemajuan yang dibuat dalam model visi generatif dapat direplikasi untuk mendapatkan keuntungan dari model dunia. Sejak penggunaan transformer dalam kerangka pemrosesan bahasa alami mendapatkan popularitas, DALL-E dan VQGAN muncul. Kerangka ini menerapkan autoencoder diskret untuk mengubah gambar menjadi token diskret, dan dapat membangun model generatif teks-ke-gambar yang sangat kuat dan efisien dengan memanfaatkan kemampuan pemodelan urutan autoregresif transformer. Pada saat yang sama, model difusi mendapatkan traksi, dan hari ini, model difusi telah memantapkan diri sebagai paradigma dominan untuk generasi gambar resolusi tinggi. Berkat kemampuan yang ditawarkan oleh model difusi dan pembelajaran penguatan, upaya sedang dilakukan untuk menggabungkan kedua pendekatan, dengan tujuan untuk memanfaatkan fleksibilitas model difusi sebagai model trajektori, model hadiah, perencana, dan kebijakan untuk augmentasi data dalam pembelajaran penguatan offline.

Model dunia menawarkan metode yang menjanjikan untuk melatih agen pembelajaran penguatan dengan aman dan efisien. Secara tradisional, model ini menggunakan urutan variabel laten diskret untuk mensimulasikan dinamika lingkungan. Namun, kompresi ini dapat mengabaikan detail visual yang penting untuk pembelajaran penguatan. Pada saat yang sama, model difusi telah meningkat popularitasnya untuk generasi gambar, menantang metode tradisional yang menggunakan laten diskret. Terinspirasi oleh perubahan ini, dalam artikel ini, kita akan membahas tentang DIAMOND (DIffusion As a Model Of eNvironment Dreams), agen pembelajaran penguatan yang dilatih dalam model dunia difusi. Kita akan menjelajahi pilihan desain yang diperlukan untuk membuat difusi sesuai untuk pemodelan dunia dan menunjukkan bahwa detail visual yang ditingkatkan menghasilkan kinerja agen yang lebih baik. DIAMOND menetapkan benchmark baru pada tes Atari 100k kompetitif, mencapai skor rata-rata normalisasi manusia sebesar 1,46, yang tertinggi untuk agen yang dilatih sepenuhnya dalam model dunia.

DIAMOND : DIffusion As a Model Of eNvironment Dreams

Model dunia atau model generatif lingkungan mulai muncul sebagai salah satu komponen paling penting untuk agen generatif untuk merencanakan dan bernalar tentang lingkungannya. Meskipun penggunaan pembelajaran penguatan telah mencapai kesuksesan yang cukup besar dalam beberapa tahun terakhir, model yang menerapkan pembelajaran penguatan dikenal karena kurang efisien dalam sampel, yang secara signifikan membatasi aplikasi dunia nyata mereka. Di sisi lain, model dunia telah menunjukkan kemampuan mereka untuk melatih agen pembelajaran penguatan dengan efisiensi sampel yang jauh lebih baik, memungkinkan model untuk belajar dari pengalaman dunia nyata. Kerangka model dunia terbaru biasanya memodelkan dinamika lingkungan sebagai urutan variabel laten diskret, dengan model yang mendiskretkan ruang laten untuk menghindari kesalahan penggandaan lebih dari horizon waktu multi-langkah. Meskipun pendekatan ini mungkin menghasilkan hasil yang substansial, juga terkait dengan kehilangan informasi, yang menyebabkan kehilangan kualitas rekonstruksi dan kehilangan umum. Kehilangan informasi ini dapat menjadi hambatan signifikan untuk skenario dunia nyata yang memerlukan informasi untuk didefinisikan dengan baik, seperti pelatihan kendaraan otonom. Dalam tugas-tugas tersebut, perubahan kecil atau detail dalam input visual seperti warna lampu lalu lintas atau indikator belok kendaraan di depan dapat mengubah kebijakan agen. Meskipun meningkatkan jumlah laten diskret dapat membantu menghindari kehilangan informasi, itu juga meningkatkan biaya komputasi secara signifikan.

Selain itu, dalam beberapa tahun terakhir, model difusi telah muncul sebagai pendekatan dominan untuk kerangka generasi gambar resolusi tinggi karena kerangka yang dibangun di atas model difusi belajar untuk membalik proses pengacakan, dan secara langsung bersaing dengan beberapa pendekatan yang lebih mapan yang memodelkan token diskret, dan menawarkan alternatif yang menjanjikan untuk menghilangkan kebutuhan akan diskritisasi dalam pemodelan dunia. Model difusi dikenal karena kemampuan mereka untuk dikondisikan dengan mudah dan memodelkan distribusi multi-modal yang kompleks tanpa runtuhnya mode. Atribut-atribut ini sangat penting untuk pemodelan dunia, karena pengkondisian memungkinkan model dunia untuk secara akurat memantulkan tindakan agen, yang mengarah ke penugasan kredit yang lebih andal. Selain itu, memodelkan distribusi multi-modal menawarkan keragaman skenario pelatihan yang lebih besar untuk agen, yang meningkatkan kinerja keseluruhan.

Dengan membangun karakteristik ini, DIAMOND, (DIffusion As a Model Of eNvironment Dreams), agen pembelajaran penguatan yang dilatih dalam model dunia difusi. Kerangka DIAMOND membuat pilihan desain yang hati-hati untuk memastikan model dunia difusinya tetap efisien dan stabil lebih dari horizon waktu yang panjang. Kerangka ini menyediakan analisis kualitatif untuk menunjukkan pentingnya pilihan desain ini. DIAMOND menetapkan benchmark baru dengan skor rata-rata normalisasi manusia sebesar 1,46 pada benchmark Atari 100k yang mapan, yang tertinggi untuk agen yang dilatih sepenuhnya dalam model dunia. Beroperasi dalam ruang gambar memungkinkan model dunia difusi DIAMOND untuk menggantikan lingkungan dengan mulus, menawarkan wawasan yang lebih baik ke dalam perilaku model dunia dan agen. Yang paling penting, kinerja yang ditingkatkan dalam beberapa permainan dapat dikaitkan dengan pemodelan detail visual yang lebih baik. Kerangka DIAMOND memodelkan lingkungan sebagai POMDP standar atau Proses Pengambilan Keputusan Markov yang Sebagian Teramati dengan himpunan keadaan, himpunan tindakan diskret, dan himpunan pengamatan gambar. Fungsi transisi menjelaskan dinamika lingkungan, dan fungsi hadiah memetakan transisi ke hadiah skalar. Fungsi pengamatan menjelaskan probabilitas pengamatan, dan mengeluarkan pengamatan gambar, yang kemudian digunakan oleh agen untuk melihat lingkungan, karena mereka tidak dapat mengakses keadaan secara langsung. Tujuan utama dari pendekatan ini adalah untuk mendapatkan kebijakan yang memetakan pengamatan ke tindakan dengan upaya untuk memaksimalkan pengembalian diskon yang diharapkan dengan faktor diskon. Model dunia adalah model generatif lingkungan, dan model dunia dapat digunakan untuk membuat lingkungan simulasi untuk melatih agen pembelajaran penguatan dalam lingkungan nyata, dan melatih agen pembelajaran penguatan dalam lingkungan model dunia. Gambar 1 menunjukkan imajinasi yang tidak terbuka dari kerangka DIAMOND selama waktu.

DIAMOND : Metodologi dan Arsitektur

Pada intinya, model difusi adalah kelas model generatif yang menghasilkan sampel dengan membalik proses pengacakan, dan mengambil inspirasi berat dari termodinamika non-kesetimbangan. Kerangka DIAMOND mempertimbangkan proses difusi yang diindeks oleh variabel waktu kontinu dengan marjinal dan kondisi batas yang sesuai dengan distribusi prior yang tidak terstruktur yang dapat diakses. Selain itu, untuk mendapatkan model generatif, yang memetakan dari kebisingan ke data, kerangka DIAMOND harus membalik proses, dengan proses balik juga merupakan proses difusi, berjalan mundur dalam waktu. Selain itu, pada titik waktu tertentu, tidaklah trivial untuk memperkirakan fungsi skor karena kerangka DIAMOND tidak memiliki akses ke fungsi skor sebenarnya, dan model ini mengatasi hambatan ini dengan menerapkan tujuan pencocokan skor, pendekatan yang memungkinkan kerangka untuk melatih model skor tanpa mengetahui fungsi skor yang mendasarinya. Model difusi berbasis skor menyediakan model generatif tak bersyarat. Namun, model generatif kondisional dinamika lingkungan diperlukan untuk berfungsi sebagai model dunia, dan untuk tujuan ini, kerangka DIAMOND mempertimbangkan kasus umum pendekatan POMDP, di mana kerangka dapat menggunakan pengamatan dan tindakan sebelumnya untuk memperkirakan keadaan Markovian yang tidak diketahui. Seperti yang ditunjukkan pada Gambar 1, kerangka DIAMOND menggunakan riwayat ini untuk mengkondisikan model difusi, untuk memperkirakan dan menghasilkan pengamatan berikutnya secara langsung. Meskipun kerangka DIAMOND dapat menggunakan solver SDE atau ODE apa pun secara teori, ada trade-off antara NFE atau Jumlah Evaluasi Fungsi, dan kualitas sampel yang mempengaruhi biaya inferensi model difusi secara signifikan.

Dengan membangun pada pembelajaran ini, mari kita lihat realisasi praktis dari kerangka DIAMOND model dunia berbasis difusi, termasuk koefisien drift dan difusi yang sesuai dengan pilihan pendekatan difusi tertentu. Sebagai gantinya untuk memilih DDPM, kandidat alami yang sesuai untuk tugas ini, kerangka DIAMOND membangun pada formulasi EDM, dan mempertimbangkan kernel gangguan dengan fungsi nilai riil dari waktu difusi yang disebut jadwal kebisingan. Kerangka ini memilih prekondisi untuk menjaga varians input dan output untuk setiap tingkat suara. Pelatihan jaringan mencampur sinyal dan kebisingan secara adaptif tergantung pada tingkat degradasi, dan ketika kebisingan rendah, dan target menjadi perbedaan antara sinyal bersih dan sinyal terganggu, yaitu kebisingan Gaussian yang ditambahkan. Secara intuitif, ini mencegah tujuan pelatihan menjadi trivial dalam regime kebisingan rendah. Dalam praktek, tujuan ini memiliki varians yang tinggi pada ekstrem jadwal kebisingan, sehingga model sampel tingkat kebisingan dari distribusi log-normal yang dipilih secara empiris untuk menghubungkan pelatihan di sekitar wilayah kebisingan sedang. Kerangka DIAMOND menggunakan komponen U-Net 2D standar untuk bidang vektor, dan menjaga buffer pengamatan dan tindakan sebelumnya yang digunakan oleh kerangka untuk mengkondisikan dirinya. Kerangka DIAMOND kemudian menghubungkan pengamatan sebelumnya ke pengamatan berikutnya yang berisik, dan tindakan input melalui lapisan normalisasi grup adaptif dalam blok sisa U-Net.

DIAMOND: Eksperimen dan Hasil

Untuk evaluasi komprehensif, kerangka DIAMOND memilih benchmark Atari 100k. Benchmark Atari 100k terdiri dari 26 permainan yang dirancang untuk menguji berbagai kemampuan agen. Dalam setiap permainan, agen dibatasi untuk 100k tindakan dalam lingkungan, yang sebanding dengan 2 jam permainan manusia, untuk belajar permainan sebelum evaluasi. Untuk perbandingan, agen Atari yang tidak terbatas biasanya dilatih selama 50 juta langkah, yang mewakili peningkatan 500 kali lipat dalam pengalaman. Kami melatih DIAMOND dari awal menggunakan 5 biji acak untuk setiap permainan. Setiap jalur pelatihan memerlukan sekitar 12GB VRAM dan memakan waktu sekitar 2,9 hari pada satu Nvidia RTX 4090, yang berjumlah 1,03 tahun GPU secara total. Tabel berikut menyediakan skor untuk semua permainan, rata-rata, dan IQM atau mean interkuartil skor normalisasi manusia.

Mengikuti keterbatasan estimasi titik, kerangka DIAMOND menyediakan kepercayaan bootstrap terstratifikasi pada rata-rata, dan IQM atau mean interkuartil skor normalisasi manusia bersama dengan profil kinerja dan metrik tambahan, seperti yang dirangkum dalam gambar berikut.

Hasilnya menunjukkan bahwa DIAMOND berkinerja sangat baik di seluruh benchmark, melampaui pemain manusia dalam 11 permainan dan mencapai skor rata-rata normalisasi manusia super yang sebesar 1,46, yang menetapkan rekor baru untuk agen yang dilatih sepenuhnya dalam model dunia. Selain itu, IQM DIAMOND setara dengan STORM dan melebihi semua baseline lainnya. DIAMOND unggul dalam lingkungan di mana menangkap detail kecil sangat penting, seperti Asterix, Breakout, dan RoadRunner. Selain itu, seperti yang dibahas sebelumnya, kerangka DIAMOND memiliki fleksibilitas untuk menerapkan model difusi apa pun dalam pipelinenya, meskipun memilih pendekatan EDM, itu akan menjadi pilihan alami untuk memilih model DDPM karena sudah diterapkan dalam banyak aplikasi generasi gambar. Untuk membandingkan pendekatan EDM dengan implementasi DDPM, kerangka DIAMOND melatih kedua varian dengan arsitektur jaringan yang sama pada dataset statis yang sama dengan lebih dari 100k bingkai yang dikumpulkan dengan kebijakan ahli. Jumlah langkah denoising secara langsung terkait dengan biaya inferensi model dunia, dan sehingga langkah denoising yang lebih sedikit akan mengurangi biaya pelatihan agen pada trajektori yang dibayangkan. Untuk memastikan model dunia kita tetap komputasi yang setara dengan baseline lainnya, seperti IRIS yang memerlukan 16 NFE per langkah waktu, kita bertujuan untuk menggunakan tidak lebih dari puluhan langkah denoising, lebih disukai lebih sedikit. Namun, menetapkan jumlah langkah denoising terlalu rendah dapat mengurangi kualitas visual, yang mengarah ke kesalahan penggandaan. Untuk menilai stabilitas varian difusi yang berbeda, kita menampilkan trajektori yang dibayangkan secara autoregresif hingga t = 1000 langkah waktu dalam gambar berikut, menggunakan jumlah langkah denoising yang berbeda n ≤ 10.

Kita mengamati bahwa menggunakan DDPM (a), dalam regime ini menghasilkan kesalahan penggandaan yang parah, menyebabkan model dunia cepat keluar dari distribusi. Sebaliknya, model dunia difusi berbasis EDM (b) tetap lebih stabil lebih dari horizon waktu yang panjang, bahkan dengan satu langkah denoising. Trajektori yang dibayangkan dengan model dunia difusi berbasis DDPM (kiri) dan EDM (kanan) ditunjukkan. Pengamatan awal pada t = 0 sama untuk keduanya, dan setiap baris sesuai dengan jumlah langkah denoising yang menurun n. Kita mengamati bahwa generasi berbasis DDPM menderita kesalahan penggandaan, dengan jumlah langkah denoising yang lebih kecil mengarah ke akumulasi kesalahan yang lebih cepat. Sebaliknya, model dunia difusi DIAMOND tetap lebih stabil, bahkan untuk n = 1. Prediksi tunggal optimal adalah harapan atas rekonstruksi yang mungkin untuk input yang berisik, yang dapat berada di luar distribusi jika distribusi posterior multimodal. Meskipun beberapa permainan, seperti Breakout, memiliki transisi deterministik yang dapat dimodelkan dengan satu langkah denoising, permainan lain menunjukkan ketidakpastian sebagian, yang menghasilkan distribusi pengamatan multimodal. Dalam kasus ini, solver iteratif diperlukan untuk memandu prosedur sampling ke mode tertentu, seperti yang diilustrasikan dalam permainan Boxing pada gambar berikut. Akibatnya, kerangka DIAMOND menetapkan n = 3 dalam semua eksperimen kita.

Gambar di atas membandingkan sampling tunggal (baris atas) dan sampling multi (baris bawah) dalam Boxing. Gerakan pemain hitam tidak dapat diprediksi, menyebabkan denoising tunggal untuk interpolasi antara hasil yang mungkin, yang menghasilkan prediksi yang kabur. Sebaliknya, sampling multi menghasilkan gambar yang jelas dengan memandu generasi ke mode tertentu. Menariknya, karena kebijakan mengontrol pemain putih, tindakannya diketahui oleh model dunia, yang menghilangkan ketidakpastian. Jadi, baik sampling tunggal dan multi menghasilkan prediksi yang benar tentang posisi pemain putih.

Dalam gambar di atas, trajektori yang dibayangkan oleh DIAMOND umumnya menunjukkan kualitas visual yang lebih tinggi dan lebih setia kepada lingkungan sebenarnya dibandingkan dengan trajektori yang dibayangkan oleh IRIS. Trajektori yang dihasilkan oleh IRIS mengandung inkonsistensi visual antara bingkai (ditandai dengan kotak putih), seperti musuh yang ditampilkan sebagai hadiah dan sebaliknya. Meskipun inkonsistensi ini mungkin hanya mempengaruhi beberapa piksel, mereka dapat secara signifikan mempengaruhi pembelajaran penguatan. Misalnya, agen biasanya bertujuan untuk menargetkan hadiah dan menghindari musuh, sehingga perbedaan visual kecil ini dapat membuatnya lebih sulit untuk belajar kebijakan optimal. Gambar menunjukkan bingkai berturut-turut yang dibayangkan dengan IRIS (kiri) dan DIAMOND (kanan). Kotak putih menyoroti inkonsistensi antara bingkai, yang hanya muncul dalam trajektori yang dihasilkan dengan IRIS. Dalam Asterix (baris atas), musuh (oranye) menjadi hadiah (merah) pada bingkai kedua, kemudian kembali menjadi musuh pada bingkai ketiga, dan lagi menjadi hadiah pada bingkai keempat. Dalam Breakout (baris tengah), bata dan skor tidak konsisten antara bingkai. Dalam Road Runner (baris bawah), hadiah (titik biru kecil di jalan) tidak konsisten antara bingkai. Inkonsistensi ini tidak terjadi dengan DIAMOND. Dalam Breakout, skor diperbarui secara andal dengan +7 ketika bata merah dipecah.

Kesimpulan

Dalam artikel ini, kita telah membahas tentang DIAMOND, agen pembelajaran penguatan yang dilatih dalam model dunia difusi. Kerangka DIAMOND membuat pilihan desain yang hati-hati untuk memastikan model dunia difusinya tetap efisien dan stabil lebih dari horizon waktu yang panjang. Kerangka ini menyediakan analisis kualitatif untuk menunjukkan pentingnya pilihan desain ini. DIAMOND menetapkan benchmark baru dengan skor rata-rata normalisasi manusia sebesar 1,46 pada benchmark Atari 100k yang mapan, yang tertinggi untuk agen yang dilatih sepenuhnya dalam model dunia. Beroperasi dalam ruang gambar memungkinkan model dunia difusi DIAMOND untuk menggantikan lingkungan dengan mulus, menawarkan wawasan yang lebih baik ke dalam perilaku model dunia dan agen. Yang paling penting, kinerja yang ditingkatkan dalam beberapa permainan dapat dikaitkan dengan pemodelan detail visual yang lebih baik. Kerangka DIAMOND memodelkan lingkungan sebagai POMDP standar atau Proses Pengambilan Keputusan Markov yang Sebagian Teramati dengan himpunan keadaan, himpunan tindakan diskret, dan himpunan pengamatan gambar. Fungsi transisi menjelaskan dinamika lingkungan, dan fungsi hadiah memetakan transisi ke hadiah skalar.