Dengan kemajuan Model Bahasa Besar dalam beberapa tahun terakhir, tidak mengherankan mengapa kerangka kerja LLM ini unggul sebagai perencana semantik untuk tugas pengambilan keputusan tingkat tinggi berurutan. Namun, pengembang masih menemukan kesulitan untuk memanfaatkan potensi penuh kerangka kerja LLM untuk belajar tugas manipulasi tingkat rendah yang kompleks. Meskipun efisiensinya, Model Bahasa Besar saat ini memerlukan keahlian domain dan subjek yang cukup untuk belajar bahkan keterampilan sederhana atau membuat prompt teks, menciptakan kesenjangan besar antara kinerjanya dan keterampilan manusia.

Untuk menjembatani kesenjangan ini, pengembang dari Nvidia (NVDA ), CalTech, UPenn, dan lainnya telah memperkenalkan EUREKA, algoritma desain manusia-tingkat yang ditenagai LLM. EUREKA bertujuan untuk memanfaatkan berbagai kemampuan kerangka kerja LLM, termasuk penulisan kode, perbaikan kontekstual, dan generasi konten zero-shot, untuk melakukan optimasi reward kode yang belum pernah terjadi sebelumnya. Kode reward ini, dikombinasikan dengan pembelajaran penguatan, memungkinkan kerangka kerja untuk belajar keterampilan kompleks atau melakukan tugas manipulasi.

Dalam artikel ini, kita akan memeriksa kerangka kerja EUREKA dari perspektif pengembangan, menjelajahi kerangka kerjanya, cara kerjanya, dan hasil yang dicapainya dalam menghasilkan fungsi reward. Fungsi-fungsi ini, seperti yang diklaim oleh pengembang, outperform yang dihasilkan oleh manusia. Kita juga akan mempelajari bagaimana kerangka kerja EUREKA membuka jalan bagi pendekatan baru untuk RLHF (Pembelajaran Penguatan dengan Umpan Balik Manusia) dengan memungkinkan pembelajaran kontekstual bebas-gradien. Mari kita mulai.

EUREKA : Pengenalan

Hari ini, kerangka kerja LLM tercanggih seperti GPT-3 dan GPT-4 menghasilkan hasil yang luar biasa ketika digunakan sebagai perencana semantik untuk tugas pengambilan keputusan tingkat tinggi berurutan, tetapi pengembang masih mencari cara untuk meningkatkan kinerjanya ketika belajar tugas manipulasi tingkat rendah seperti keterampilan memutar pena. Selain itu, pengembang telah mengamati bahwa pembelajaran penguatan dapat digunakan untuk mencapai hasil yang berkelanjutan dalam kondisi yang gesit, dan domain lainnya jika fungsi reward dibangun dengan hati-hati oleh desainer manusia, dan fungsi reward ini dapat menyediakan sinyal pembelajaran untuk perilaku yang menguntungkan. Ketika dibandingkan dengan tugas pembelajaran penguatan dunia nyata yang menerima reward yang jarang, membentuk reward ini menyediakan sinyal pembelajaran inkremental yang diperlukan. Selain itu, fungsi reward, meskipun penting, sangat sulit untuk dirancang, dan desain yang tidak optimal dari fungsi ini sering menghasilkan perilaku yang tidak diinginkan.

Untuk mengatasi tantangan ini dan memaksimalkan efisiensi token reward ini, EUREKA atau Evolusi-driven Universal REward Kit untuk Agen mempunyai beberapa kontribusi.

1. Mencapai kinerja manusia-tingkat untuk merancang Fungsi Reward.
2. Mengatasi tugas manipulasi tanpa menggunakan rekayasa reward manual.
3. Menghasilkan fungsi reward yang lebih sejalan dengan manusia dan lebih berkinerja dengan memperkenalkan pendekatan pembelajaran kontekstual bebas-gradien baru daripada metode RLHF tradisional atau Pembelajaran Penguatan dari Umpan Balik Manusia.

Ada tiga pilihan desain algoritma kunci yang dipilih pengembang untuk meningkatkan keumuman EUREKA: pencarian evolusioner, lingkungan sebagai konteks, dan refleksi reward. Pertama, kerangka kerja EUREKA mengambil kode sumber lingkungan sebagai konteks untuk menghasilkan fungsi reward yang dapat dieksekusi dalam pengaturan zero-shot. Setelah itu, kerangka kerja melakukan pencarian evolusioner untuk meningkatkan kualitas rewardnya secara substansial, mengusulkan kandidat reward batch dengan setiap iterasi atau epoch, dan memperbaiki yang paling menjanjikan. Pada tahap ketiga dan terakhir, kerangka kerja menggunakan refleksi reward untuk membuat perbaikan kontekstual reward lebih efektif, proses yang pada akhirnya membantu kerangka kerja memungkinkan penyuntingan reward yang ditargetkan dan otomatis dengan menggunakan ringkasan teks kualitas reward berdasarkan statistik pelatihan kebijakan. Gambar berikut memberikan gambaran singkat tentang bagaimana kerangka kerja EUREKA bekerja, dan pada bagian selanjutnya, kita akan membahas arsitektur dan cara kerjanya dengan lebih detail.

EUREKA : Arsitektur Model, dan Pengaturan Masalah

Tujuan utama pembentukan reward adalah mengembalikan fungsi reward yang dibentuk untuk fungsi reward dasar, yang mungkin sulit dioptimalkan seperti reward yang jarang. Selain itu, desainer hanya dapat menggunakan kueri untuk mengakses fungsi reward dasar ini, itulah sebabnya kerangka kerja EUREKA memilih generasi reward, pengaturan sintesis program berdasarkan RDP atau Reward Design Problem.

Reward Design Problem atau RDP adalah tuple yang berisi model dunia dengan ruang keadaan, ruang untuk fungsi reward, fungsi transisi, dan ruang aksi. Algoritma pembelajaran kemudian mengoptimalkan reward dengan menghasilkan kebijakan yang menghasilkan proses desain Markov, yang hanya dapat diakses menggunakan kueri kebijakan. Tujuan utama RDP adalah menghasilkan fungsi reward sehingga kebijakan dapat mencapai skor kebugaran maksimum. Dalam pengaturan masalah EUREKA, pengembang telah menentukan setiap komponen dalam Reward Design Problem menggunakan kode. Selain itu, untuk string yang diberikan yang menentukan detail tugas, tujuan utama masalah generasi reward adalah menghasilkan kode fungsi reward untuk memaksimalkan skor kebugaran.

Melanjutkan, di intinya, ada tiga komponen algoritma fundamental dalam kerangka kerja EUREKA. Pencarian evolusioner (mengusulkan dan memperbaiki kandidat secara iteratif), lingkungan sebagai konteks (menghasilkan reward yang dapat dieksekusi dalam pengaturan zero-shot), dan refleksi reward (untuk memungkinkan perbaikan halus reward). Pseudo kode untuk algoritma diilustrasikan dalam gambar berikut.

Lingkungan sebagai Konteks

Saat ini, kerangka kerja LLM memerlukan spesifikasi lingkungan sebagai input untuk merancang reward, sedangkan kerangka kerja EUREKA mengusulkan untuk memberikan kode sumber lingkungan langsung sebagai konteks, tanpa kode reward, memungkinkan kerangka kerja LLM untuk mengambil model dunia sebagai konteks. Pendekatan yang diikuti oleh EUREKA memiliki dua keuntungan besar. Pertama, kerangka kerja LLM untuk tujuan pengkodean dilatih pada set kode asli yang ditulis dalam bahasa pemrograman yang ada seperti C, C++, Python, Java, dan lainnya, yang merupakan alasan fundamental mengapa mereka lebih baik dalam menghasilkan output kode ketika mereka diizinkan untuk mengkomposisi kode dalam sintaks dan gaya yang mereka latih sebelumnya. Kedua, menggunakan kode sumber lingkungan biasanya mengungkapkan lingkungan yang terlibat secara semantik, dan variabel yang sesuai untuk digunakan dalam upaya menghasilkan fungsi reward sesuai dengan tugas yang ditentukan. Berdasarkan wawasan ini, kerangka kerja EUREKA menginstruksikan LLM untuk mengembalikan kode Python yang lebih dapat dieksekusi langsung dengan bantuan hanya tip-tip pemformatan, dan desain reward generik.

Pencarian Evolusioner

Penggunaan pencarian evolusioner dalam kerangka kerja EUREKA bertujuan untuk memberikan solusi alami untuk tantangan sub-optimasi, dan kesalahan yang terjadi selama eksekusi seperti yang disebutkan sebelumnya. Dengan setiap iterasi atau epoch, kerangka kerja menghasilkan output independen dari Model Bahasa Besar, dan jika generasi tersebut semua independen dan identik, maka kemungkinan fungsi reward yang dihasilkan selama iterasi menjadi bermasalah berkurang secara eksponensial dengan jumlah sampel yang meningkat dengan setiap epoch.

Pada langkah berikutnya, kerangka kerja EUREKA menggunakan fungsi reward yang dapat dieksekusi dari iterasi sebelumnya untuk melakukan mutasi reward kontekstual, dan kemudian mengusulkan fungsi reward baru dan diperbaiki berdasarkan umpan balik teks. Kerangka kerja EUREKA, ketika digabungkan dengan kemampuan perbaikan kontekstual dan mengikuti instruksi dari Model Bahasa Besar, dapat menentukan operator mutasi sebagai prompt teks, dan menyarankan metode untuk menggunakan ringkasan teks pelatihan kebijakan untuk memodifikasi kode reward yang ada.

Refleksi Reward

Untuk membumikan mutasi reward kontekstual, penting untuk menilai kualitas reward yang dihasilkan, dan lebih penting lagi, memasukkannya ke dalam kata-kata, dan kerangka kerja EUREKA menanganinya dengan menggunakan strategi sederhana untuk memberikan skor numerik sebagai evaluasi reward. Ketika fungsi kebugaran tugas berfungsi sebagai metrik holistik untuk kebenaran, itu kekurangan penugasan kredit, dan tidak dapat memberikan informasi berharga tentang mengapa fungsi reward bekerja, atau mengapa tidak bekerja. Jadi, dalam upaya memberikan diagnosis reward yang lebih terarah dan rumit, kerangka kerja mengusulkan untuk menggunakan umpan balik otomatis untuk merangkum dinamika pelatihan kebijakan dalam teks. Selain itu, dalam program reward, fungsi reward dalam kerangka kerja EUREKA diminta untuk mengekspos komponen-komponennya secara individu, memungkinkan kerangka kerja untuk melacak nilai skalar dari setiap komponen reward unik pada titik-titik pelatihan kebijakan selama fase pelatihan seluruhnya.

Meskipun prosedur fungsi reward yang diikuti oleh kerangka kerja EUREKA sederhana untuk dibangun, itu penting karena sifat algoritma yang bergantung pada optimasi reward. Artinya, efektivitas fungsi reward secara langsung dipengaruhi oleh pilihan algoritma Pembelajaran Penguatan, dan dengan perubahan parameter, reward mungkin berperforma berbeda bahkan dengan optimizer yang sama. Jadi, kerangka kerja EUREKA dapat mengedit catatan lebih efektif dan selektif saat mensintesis fungsi reward yang lebih sejalan dengan algoritma Pembelajaran Penguatan.

Pelatihan dan Baseline

Ada dua komponen pelatihan utama dari kerangka kerja EUREKA: Pelatihan Kebijakan dan Metri Evaluasi Reward.

Pelatihan Kebijakan

Fungsi reward akhir untuk setiap tugas individu dioptimalkan dengan menggunakan algoritma pembelajaran penguatan yang sama dengan menggunakan set parameter yang sama yang disesuaikan untuk membuat reward yang dirancang manusia berfungsi dengan baik.

Metri Evaluasi Reward

Karena metrik tugas bervariasi dalam skala dan makna semantik dengan setiap tugas, kerangka kerja EUREKA melaporkan skor normalisasi manusia, metrik yang memberikan ukuran holistik untuk membandingkan bagaimana kerangka kerja berperforma dibandingkan dengan reward yang dihasilkan manusia sesuai dengan metrik kebenaran.

Melanjutkan, ada tiga baseline utama: L2R, Manusia, dan Sparse.

L2R

L2R adalah solusi pemanggilan Model Bahasa Besar dua tahap yang membantu menghasilkan reward yang ditemplat. Pertama, kerangka kerja LLM mengisi template bahasa alami untuk lingkungan dan tugas yang ditentukan dalam bahasa alami, dan kemudian kerangka kerja LLM kedua mengubah “deskripsi gerakan” ini menjadi kode yang menulis fungsi reward dengan memanggil set primitif API reward manual.

Manusia

Baseline Manusia adalah fungsi reward asli yang ditulis oleh peneliti pembelajaran penguatan, sehingga mewakili hasil rekayasa reward manusia pada tingkat yang belum pernah terjadi sebelumnya.

Sparse

Baseline Sparse menyerupai fungsi kebugaran, dan mereka digunakan untuk mengevaluasi kualitas reward yang dihasilkan oleh kerangka kerja.

Hasil dan Keluaran

Untuk menganalisis kinerja kerangka kerja EUREKA, kita akan mengevaluasinya pada parameter yang berbeda, termasuk kinerja dibandingkan dengan reward manusia, perbaikan hasil dari waktu ke waktu, menghasilkan reward baru, memungkinkan perbaikan yang ditargetkan, dan bekerja dengan umpan balik manusia.

EUREKA Mengungguli Reward Manusia

Gambar berikut menggambarkan hasil agregat atas benchmark yang berbeda, dan seperti yang dapat dilihat dengan jelas, kerangka kerja EUREKA mengungguli atau berperforma setara dengan reward manusia-tingkat pada tugas Dexterity dan Issac. Dibandingkan dengan itu, baseline L2R menghasilkan kinerja yang serupa pada tugas berdimensi rendah, tetapi ketika datang ke tugas berdimensi tinggi, kesenjangan kinerja cukup substansial.

Memperbaiki Secara Konsisten Dari Waktu Ke Waktu

Salah satu sorotan utama kerangka kerja EUREKA adalah kemampuannya untuk terus memperbaiki dan meningkatkan kinerjanya dari waktu ke waktu dengan setiap iterasi, dan hasilnya ditunjukkan dalam gambar di bawah.

Seperti yang dapat dilihat dengan jelas, kerangka kerja terus menghasilkan reward yang lebih baik dengan setiap iterasi, dan juga memperbaiki dan akhirnya mengungguli kinerja reward manusia, berkat penggunaan pendekatan pencarian reward evolusioner kontekstual.

Menghasilkan Reward Baru

Keanekaragaman reward dari kerangka kerja EUREKA dapat diukur dengan menghitung korelasi antara reward manusia dan EUREKA pada seluruh tugas Issac. Korelasi ini kemudian dipetakan pada plot atau peta melawan skor normalisasi manusia, dengan setiap titik pada plot mewakili reward EUREKA individu untuk setiap tugas. Seperti yang dapat dilihat dengan jelas, kerangka kerja EUREKA sebagian besar menghasilkan fungsi reward yang berkorelasi lemah yang mengungguli fungsi reward manusia.

Memungkinkan Perbaikan yang Ditargetkan

Untuk mengevaluasi pentingnya menambahkan refleksi reward dalam umpan balik reward, pengembang mengevaluasi ablasio, kerangka kerja EUREKA tanpa refleksi reward yang mengurangi prompt umpan balik untuk hanya terdiri dari nilai snapshot. Ketika menjalankan tugas Issac, pengembang mengamati bahwa tanpa refleksi reward, kerangka kerja EUREKA mengalami penurunan sekitar 29% dalam skor normalisasi rata-rata.

Bekerja dengan Umpan Balik Manusia

Untuk dengan mudah menggabungkan berbagai input untuk menghasilkan fungsi reward yang lebih sejalan dengan manusia dan lebih berkinerja, kerangka kerja EUREKA, selain desain reward otomatis, juga memperkenalkan pendekatan pembelajaran kontekstual bebas-gradien baru untuk Pembelajaran Penguatan dari Umpan Balik Manusia, dan ada dua pengamatan signifikan.

1. EUREKA dapat memperbaiki dan meningkatkan dari fungsi reward manusia.
2. Menggunakan umpan balik manusia untuk refleksi reward menginduksi perilaku yang sejalan.

Gambar di atas menunjukkan bagaimana kerangka kerja EUREKA menunjukkan peningkatan kinerja yang signifikan dan efisiensi dengan menggunakan inisialisasi reward manusia, terlepas dari kualitas reward manusia, menunjukkan bahwa kualitas reward dasar tidak memiliki dampak signifikan pada kemampuan perbaikan reward kontekstual kerangka kerja.

Gambar di atas menggambarkan bagaimana kerangka kerja EUREKA tidak hanya dapat menginduksi kebijakan yang lebih sejalan dengan manusia, tetapi juga memodifikasi reward dengan menggabungkan umpan balik manusia.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas EUREKA, algoritma desain manusia-tingkat yang ditenagai LLM, yang berusaha untuk memanfaatkan berbagai kemampuan kerangka kerja LLM, termasuk penulisan kode, perbaikan kontekstual, dan generasi konten zero-shot, untuk melakukan optimasi reward kode yang belum pernah terjadi sebelumnya. Kode reward ini, dikombinasikan dengan pembelajaran penguatan, dapat digunakan oleh kerangka kerja untuk belajar keterampilan kompleks atau melakukan tugas manipulasi. Tanpa intervensi manusia atau rekayasa prompt tugas-spesifik, kerangka kerja menghasilkan kemampuan generasi reward manusia-tingkat pada berbagai tugas, dan kekuatan utamanya terletak pada belajar tugas kompleks dengan pendekatan pembelajaran kurikulum.

Secara keseluruhan, kinerja yang signifikan dan keluwesan kerangka kerja EUREKA menunjukkan potensi menggabungkan algoritma evolusioner dengan model bahasa besar dapat menghasilkan pendekatan yang skalabel dan umum untuk merancang reward, dan wawasan ini mungkin dapat diterapkan pada masalah pencarian terbuka lainnya.