Banyak Wajah Pembelajaran Penguatan: Membentuk Model Bahasa Besar

Beberapa tahun terakhir, Model Bahasa Besar (LLM) telah meredefinisi bidang kecerdasan buatan (AI), memungkinkan mesin untuk memahami dan menghasilkan teks seperti manusia dengan kemampuan yang luar biasa. Kesuksesan ini sebagian besar dikaitkan dengan kemajuan dalam metodologi pembelajaran mesin, termasuk pembelajaran dalam dan pembelajaran penguatan (RL). Sementara pembelajaran terawasi telah memainkan peran penting dalam melatih LLM, pembelajaran penguatan telah muncul sebagai alat kuat untuk memperbaiki dan meningkatkan kemampuan mereka di luar pengenalan pola sederhana.

Pembelajaran penguatan memungkinkan LLM untuk belajar dari pengalaman, mengoptimalkan perilaku mereka berdasarkan hadiah atau hukuman. Berbagai varian RL, seperti Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF), Pembelajaran Penguatan dengan Hadiah yang Dapat Diverifikasi (RLVR), Optimasi Kebijakan Relatif Grup (GRPO), dan Optimasi Preferensi Langsung (DPO), telah dikembangkan untuk memperhalus LLM, memastikan keselarasan mereka dengan preferensi manusia dan meningkatkan kemampuan penalaran mereka.

Artikel ini menjelajahi berbagai pendekatan pembelajaran penguatan yang membentuk LLM, mengeksaminasi kontribusi dan dampaknya pada pengembangan AI.

Memahami Pembelajaran Penguatan dalam AI

Pembelajaran Penguatan (RL) adalah paradigma pembelajaran mesin di mana sebuah agen belajar membuat keputusan dengan berinteraksi dengan lingkungan. Alih-alih hanya mengandalkan dataset yang dilabeli, agen tersebut mengambil tindakan, menerima umpan balik dalam bentuk hadiah atau hukuman, dan menyesuaikan strateginya sesuai.

Untuk LLM, pembelajaran penguatan memastikan bahwa model menghasilkan respons yang selaras dengan preferensi manusia, pedoman etika, dan penalaran praktis. Tujuannya bukan hanya untuk menghasilkan kalimat yang secara sintaksis benar, tetapi juga untuk membuatnya berguna, bermakna, dan selaras dengan norma-norma sosial.

Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF)

Salah satu teknik RL yang paling banyak digunakan dalam pelatihan LLM adalah RLHF. Alih-alih hanya mengandalkan dataset yang telah ditentukan sebelumnya, RLHF memperbaiki LLM dengan mengintegrasikan preferensi manusia ke dalam proses pelatihan. Proses ini biasanya melibatkan:

1. Mengumpulkan Umpan Balik Manusia: Evaluator manusia menilai respons yang dihasilkan model dan memberi peringkat berdasarkan kualitas, koherensi, kemanfaatan, dan akurasi.
2. Melatih Model Hadiah: Peringkat tersebut kemudian digunakan untuk melatih model hadiah terpisah yang memprediksi output mana yang lebih disukai manusia.
3. Memperhalus dengan RL: LLM dilatih menggunakan model hadiah ini untuk memperbaiki responsnya berdasarkan preferensi manusia.

Pendekatan ini telah digunakan dalam memperbaiki model seperti ChatGPT dan Claude. Sementara RLHF telah memainkan peran penting dalam membuat LLM lebih selaras dengan preferensi pengguna, mengurangi bias, dan meningkatkan kemampuan mereka untuk mengikuti instruksi kompleks, ini memerlukan banyak annotator manusia untuk menilai dan memperbaiki output AI. Keterbatasan ini memicu peneliti untuk menjelajahi metode alternatif, seperti Pembelajaran Penguatan dari Umpan Balik AI (RLAIF) dan Pembelajaran Penguatan dengan Hadiah yang Dapat Diverifikasi (RLVR).

RLAIF: Pembelajaran Penguatan dari Umpan Balik AI

Tidak seperti RLHF, RLAIF mengandalkan preferensi yang dihasilkan AI untuk melatih LLM, bukan umpan balik manusia. Ini bekerja dengan menggunakan sistem AI lain, biasanya LLM, untuk menilai dan memberi peringkat respons, menciptakan sistem hadiah otomatis yang dapat membimbing proses pembelajaran LLM.

Pendekatan ini mengatasi kekhawatiran tentang skalabilitas yang terkait dengan RLHF, di mana anotasi manusia dapat mahal dan memakan waktu. Dengan menggunakan umpan balik AI, RLAIF meningkatkan konsistensi dan efisiensi, mengurangi variabilitas yang diperkenalkan oleh opini manusia subjektif. Meskipun RLAIF adalah pendekatan berharga untuk memperbaiki LLM secara besar-besaran, ini kadang-kadang dapat memperkuat bias yang sudah ada dalam sistem AI.

Pembelajaran Penguatan dengan Hadiah yang Dapat Diverifikasi (RLVR)

Sementara RLHF dan RLAIF mengandalkan umpan balik subjektif, RLVR menggunakan hadiah objektif yang dapat diverifikasi secara programatis untuk melatih LLM. Metode ini sangat efektif untuk tugas yang memiliki kriteria kebenaran yang jelas, seperti:

• Pemecahan masalah matematika
• Generasi kode
• Pengolahan data terstruktur

Dalam RLVR, respons model dinilai menggunakan aturan atau algoritma yang telah ditentukan sebelumnya. Fungsi hadiah yang dapat diverifikasi menentukan apakah respons memenuhi kriteria yang diharapkan, memberikan skor tinggi untuk jawaban yang benar dan skor rendah untuk jawaban yang salah.

Pendekatan ini mengurangi ketergantungan pada labeling manusia dan bias AI, membuat pelatihan lebih skalabel dan efisien biaya. Sebagai contoh, dalam tugas penalaran matematika, RLVR telah digunakan untuk memperbaiki model seperti DeepSeek’s R1-Zero, memungkinkan mereka untuk self-improve tanpa intervensi manusia.

Mengoptimalkan Pembelajaran Penguatan untuk LLM

Selain teknik yang disebutkan sebelumnya yang membimbing bagaimana LLM menerima hadiah dan belajar dari umpan balik, aspek lain yang sangat penting dari RL adalah bagaimana model mengadopsi (atau mengoptimalkan) perilaku mereka berdasarkan hadiah tersebut. Ini adalah tempat teknik optimasi canggih berperan.

Optimasi dalam RL pada dasarnya adalah proses memperbarui perilaku model untuk memaksimalkan hadiah. Sementara pendekatan RL tradisional sering mengalami ketidakstabilan dan ketidakefisienan saat memperbaiki LLM, pendekatan baru telah dikembangkan untuk mengoptimalkan LLM. Berikut adalah strategi optimasi utama yang digunakan untuk melatih LLM:

• Optimasi Kebijakan Proksimal (PPO): PPO adalah salah satu teknik RL yang paling banyak digunakan untuk memperbaiki LLM. Tantangan besar dalam RL adalah memastikan bahwa pembaruan model meningkatkan kinerja tanpa perubahan drastis yang bisa mengurangi kualitas respons. PPO mengatasi ini dengan memperkenalkan pembaruan kebijakan yang terkendali, memperbaiki respons model secara bertahap dan aman untuk mempertahankan stabilitas. Ini juga menyeimbangkan eksplorasi dan eksploitasi, membantu model menemukan respons yang lebih baik sambil memperkuat perilaku yang efektif. Selain itu, PPO adalah efisien sampel, menggunakan batch data yang lebih kecil untuk mengurangi waktu pelatihan sambil mempertahankan kinerja tinggi. Metode ini secara luas digunakan dalam model seperti ChatGPT, memastikan respons tetap berguna, relevan, dan selaras dengan harapan manusia tanpa overfitting ke sinyal hadiah tertentu.
• Optimasi Preferensi Langsung (DPO): DPO adalah teknik optimasi RL lain yang fokus pada mengoptimalkan output model secara langsung untuk selaras dengan preferensi manusia. Tidak seperti algoritma RL tradisional yang mengandalkan model hadiah yang kompleks, DPO mengoptimalkan model secara langsung berdasarkan data preferensi biner—yang berarti ini hanya menentukan apakah satu output lebih baik dari yang lain. Pendekatan ini mengandalkan evaluator manusia untuk menilai dan memberi peringkat beberapa respons yang dihasilkan model untuk sebuah prompt tertentu. Kemudian, model diperbaiki untuk meningkatkan kemungkinan menghasilkan respons yang lebih tinggi peringkat di masa depan. DPO sangat efektif dalam skenario di mana mendapatkan model hadiah yang detail sulit. Dengan menyederhanakan RL, DPO memungkinkan model AI untuk memperbaiki output tanpa beban komputasi yang terkait dengan teknik RL yang lebih kompleks.
• Optimasi Kebijakan Relatif Grup (GRPO): Salah satu perkembangan terbaru dalam teknik optimasi RL untuk LLM adalah GRPO. Sementara teknik RL biasa, seperti PPO, memerlukan model nilai untuk memperkirakan keuntungan dari respons yang berbeda yang memerlukan daya komputasi yang tinggi dan sumber daya memori yang signifikan, GRPO menghilangkan kebutuhan akan model nilai terpisah dengan menggunakan sinyal hadiah dari generasi yang berbeda pada prompt yang sama. Ini berarti bahwa alih-alih membandingkan output dengan model nilai statis, ini membandingkannya dengan satu sama lain, secara signifikan mengurangi beban komputasi. Salah satu aplikasi GRPO yang paling menonjol adalah dalam DeepSeek R1-Zero, sebuah model yang dilatih sepenuhnya tanpa pelatihan terawasi dan berhasil mengembangkan kemampuan penalaran yang maju melalui evolusi mandiri.

Ringkasan

Pembelajaran penguatan memainkan peran kritis dalam memperbaiki Model Bahasa Besar (LLM) dengan meningkatkan keselarasan mereka dengan preferensi manusia dan mengoptimalkan kemampuan penalaran mereka. Teknik seperti RLHF, RLAIF, dan RLVR menyediakan berbagai pendekatan untuk pembelajaran berbasis hadiah, sementara metode optimasi seperti PPO, DPO, dan GRPO meningkatkan efisiensi pelatihan dan stabilitas. Ketika LLM terus berkembang, peran pembelajaran penguatan menjadi sangat penting dalam membuat model ini lebih cerdas, etis, dan masuk akal. LHF, RLAIF, dan RLVR menyediakan berbagai pendekatan untuk pembelajaran berbasis hadiah, sementara metode optimasi seperti PPO, DPO, dan GRPO meningkatkan efisiensi pelatihan dan stabilitas. Ketika LLM terus berkembang, peran pembelajaran penguatan menjadi sangat penting dalam membuat model ini lebih cerdas, etis, dan masuk akal.