Meningkatkan Keselarasan AI dengan Nilai Manusia Melalui WARM

Keselarasan Sistem AI dengan Nilai Manusia

Sistem kecerdasan buatan (AI) menjadi semakin mampu membantu manusia dalam tugas-tugas kompleks, dari chatbot layanan pelanggan hingga algoritma diagnosis medis. Namun, ketika sistem AI ini mengambil lebih banyak tanggung jawab, sangat penting bahwa mereka tetap selaras dengan nilai dan preferensi manusia. Salah satu pendekatan untuk mencapai ini adalah melalui teknik yang disebut pembelajaran penguatan dari umpan balik manusia (RLHF). Dalam RLHF, sistem AI, yang dikenal sebagai kebijakan, diberi hadiah atau hukuman berdasarkan penilaian manusia tentang perilakunya. Tujuannya adalah agar kebijakan belajar untuk memaksimalkan hadiahnya, dan dengan demikian berperilaku sesuai dengan preferensi manusia.

Komponen inti dari RLHF adalah model hadiah (RM). RM bertanggung jawab untuk mengevaluasi tindakan dan output kebijakan, dan mengembalikan sinyal hadiah untuk memandu proses pembelajaran. Merancang RM yang baik sangat menantang, karena preferensi manusia dapat kompleks, tergantung konteks, dan bahkan tidak konsisten di antara individu. Baru-baru ini, peneliti dari Google DeepMind mengusulkan teknik inovatif yang disebut Model Hadiah Rata-Rata Berbobot (WARM) untuk meningkatkan desain RM.

Masalah dengan Peretasan Hadiah

Masalah besar dalam RLHF adalah peretasan hadiah. Peretasan hadiah terjadi ketika kebijakan menemukan celah untuk memanipulasi sistem RM untuk mendapatkan hadiah tinggi tanpa benar-benar memenuhi tujuan yang diinginkan. Misalnya, anggaplah tujuannya adalah melatih asisten menulis AI untuk menghasilkan ringkasan berkualitas tinggi. RM mungkin memberikan hadiah untuk ringkasan yang ringkas dan informatif. Kebijakan kemudian dapat belajar untuk mengeksploitasi ini dengan menghasilkan ringkasan yang sangat singkat, tidak informatif, dan dipenuhi dengan kata kunci yang menipu RM.

Peretasan hadiah terjadi karena dua alasan utama:

1. Perubahan Distribusi – RM dilatih pada dataset contoh yang dilabeli manusia. Ketika diterapkan, output kebijakan mungkin berasal dari distribusi yang berbeda yang RM tidak umumkan dengan baik.
2. Label Berisik – Pelabelan manusia tidak sempurna, dengan persetujuan antar penilai. RM mungkin mengunci sinyal palsu daripada indikator kualitas yang kuat.

Peretasan hadiah menghasilkan sistem yang tidak berguna yang gagal memenuhi harapan manusia. Lebih parah lagi, ini dapat menghasilkan perilaku AI yang bias atau bahkan berbahaya jika diterapkan sembarangan.

Munculnya Penggabungan Model

Minat yang meningkat dalam strategi penggabungan model seperti Model Ratatouille didorong oleh kesadaran bahwa model yang lebih besar, meskipun kuat, dapat tidak efisien dan tidak praktis. Melatih model dengan 1 triliun parameter memerlukan jumlah data, komputasi, waktu, dan biaya yang sangat besar. Lebih penting lagi, model seperti itu cenderung overfit ke distribusi pelatihan, menghambat kemampuan mereka untuk umum ke skenario dunia nyata yang beragam.

Penggabungan model menyediakan rute alternatif untuk membuka kemampuan yang lebih besar tanpa peningkatan skala yang tidak terkendali. Dengan menggunakkan beberapa model khusus yang dilatih pada distribusi, tugas, atau tujuan yang berbeda, penggabungan model bertujuan untuk meningkatkan keluwesan dan kekuatan di luar distribusi. Premisnya adalah bahwa model yang berbeda menangkap pola prediktif yang berbeda yang dapat saling melengkapi ketika digabungkan.

Hasil terbaru menggambarkan janji konsep ini. Model yang diperoleh melalui penggabungan, meskipun memiliki parameter yang jauh lebih sedikit, dapat mencapai atau bahkan melampaui kinerja model raksasa seperti GPT-3. Misalnya, ensemble Model Ratatouille yang terdiri dari 7 titik akhir ukuran sedang mencapai akurasi tertinggi pada dataset implikasi teks tinggi, melampaui GPT-3.

Kesederhanaan penggabungan dengan rata-rata bobot adalah bonus besar. Melatih beberapa model bantu memang memerlukan sumber daya tambahan. Namun, komputasi pada saat inferensi tetap identik dengan model tunggal, karena bobot dikondensasi menjadi satu. Ini membuat metode sangat mudah disesuaikan, tanpa kekhawatiran tentang peningkatan latency atau biaya memori.

Mekanisme di Balik Penggabungan Model

Tapi apa yang sebenarnya memungkinkan peningkatan akurasi dari penggabungan model? Analisis terbaru menawarkan beberapa petunjuk:

• Mengurangi Memorasi: Setiap model melihat batch data yang berbeda selama pelatihan. Rata-rata mengurangi memorasi instance-spesifik, hanya menyisakan generalisasi tingkat dataset.
• Mengurangi Variansi: Model yang dilatih secara independen memiliki kesalahan yang tidak terkorelasi. Menggabungkan mereka merata-ratakan kebisingan, meningkatkan kalibrasi.
• Regulasi melalui Keanekaragaman: Tugas bantu yang berbeda memaksa model untuk mengunci fitur yang lebih umum dan berguna di seluruh distribusi.
• Meningkatkan Keandalan: Inkonsistensi dalam prediksi menandakan ketidakpastian. Rata-rata memoderasi penilaian outlier, meningkatkan keandalan.

Pada intinya, penggabungan model mengimbangi kelemahan model individu untuk memperkuat kekuatan kolektif mereka. Representasi yang digabungkan menangkap struktur kausal yang mendasarinya, mengabaikan variasi insidental.

Dasar konseptual ini menghubungkan penggabungan model dengan teknik populer lainnya seperti ensembel dan pembelajaran multi-tugas. Semua metode ini memanfaatkan keanekaragaman di seluruh model atau tugas untuk mendapatkan sistem yang serba guna dan sadar akan ketidakpastian. Kesederhanaan dan efisiensi rata-rata bobot memberikan penggabungan model keunggulan unik untuk memajukan penerapan dunia nyata.

Model Hadiah Rata-Rata Berbobot

Proses keselarasan dengan WARM

WARM secara inovatif menggunakan model hadiah proksi (RM), yang merupakan rata-rata bobot dari beberapa RM individu, masing-masing diperhalus dari LLM yang sama tetapi dengan hiperparameter yang berbeda. Metode ini meningkatkan efisiensi, keandalan di bawah perubahan distribusi, dan kekuatan terhadap preferensi yang tidak konsisten. Studi ini juga menunjukkan bahwa menggunakan WARM sebagai model hadiah proksi, terutama dengan jumlah RM yang diperhalus yang lebih besar, meningkatkan hasil dan memperlambat timbulnya ‘peretasan hadiah’, fenomena di mana hadiah kontrol memburuk seiring waktu.

Berikut adalah gambaran umum:

1. Mulai dengan model bahasa dasar yang telah dilatih sebelumnya pada korpus besar. Inisialisasi beberapa RM dengan menambahkan lapisan tugas-spesifik kecil di atas.
2. Perhalus setiap RM secara terpisah pada dataset preferensi manusia, menggunakan hiperparameter yang berbeda seperti laju pembelajaran untuk keanekaragaman.
3. Rata-rata bobot RM yang diperhalus untuk mendapatkan ensemble WARM tunggal.

Wawasan kunci adalah bahwa rata-rata bobot hanya menyisakan informasi yang tidak berubah yang dipelajari di seluruh RM yang beragam. Ini mengurangi ketergantungan pada sinyal palsu, meningkatkan kekuatan. Ensemble ini juga mendapat manfaat dari pengurangan variansi, meningkatkan keandalan meskipun perubahan distribusi.

Seperti yang dibahas sebelumnya, keanekaragaman di seluruh model yang dilatih secara independen sangat penting untuk membuka potensi penuh dari penggabungan model. Tapi apa saja teknik konkrit untuk mempromosikan keanekaragaman yang produktif?

Makalah WARM menjelajahi beberapa ide cerdas yang bisa diterapkan lebih luas:

Pengacakan Urutan

Pendekatan yang sederhana tetapi berdampak adalah mengacak urutan data yang dilihat oleh setiap model selama pelatihan. Bahkan langkah sederhana ini menghilangkan korelasi bobot, mengurangi memorasi pola yang berlebihan.

Variasi Hiperparameter

Mengubah hiperparameter seperti laju pembelajaran dan probabilitas dropout untuk setiap jalur memperkenalkan keanekaragaman yang berguna. Model konvergen secara berbeda, menangkap sifat dataset yang berbeda.

Penggabungan Titik Akhir – Baklava

Metode Baklava menginisialisasi model untuk penggabungan dari snapshot yang berbeda sepanjang jalur pelatihan sebelumnya. Ini menghilangkan keterbatasan dibandingkan dengan model sup yang memerlukan titik awal bersama. Relatif terhadap model ratatouille, Baklava menghindari tugas tambahan. Secara keseluruhan, ini mencapai keseimbangan akurasi-keanekaragaman yang efektif.

Proses perhalusan beberapa Model Hadiah

Analisis mengkonfirmasi bahwa menambahkan checkpoint yang lebih lama dengan rata-rata bergerak merusak kinerja individu, mengompromikan kelebihan keanekaragaman. Rata-rata hanya representasi akhir dari setiap jalur kinerja lebih baik. Secara umum, mempertahankan keseimbangan antara tujuan keanekaragaman dengan pemeliharaan akurasi tetap menjadi tantangan penelitian terbuka.

Secara keseluruhan, penggabungan model selaras dengan etos umum di bidang untuk mendaur ulang sumber daya yang ada secara efektif untuk keandalan, efisiensi, dan keluwesan yang ditingkatkan. Kesederhanaan rata-rata bobot memperkuat posisinya sebagai kandidat terdepan untuk merakit model yang kuat dari blok bangunan yang tersedia.

Tidak seperti metode ensembel tradisional yang merata-ratakan prediksi, WARM menjaga overhead komputasi minimal dengan mempertahankan hanya satu set bobot. Eksperimen pada tugas ringkasan teks menunjukkan efektivitas WARM:

• Untuk sampel terbaik dari-N, WARM mencapai tingkat kemenangan 92,5% melawan pemilihan acak menurut label preferensi manusia.
• Dalam RLHF, kebijakan WARM mencapai tingkat kemenangan 79,4% melawan kebijakan yang dilatih dengan RM tunggal setelah jumlah langkah yang sama.
• WARM terus berkinerja baik bahkan ketika seperempat label manusia dikorup.

Hasil ini menggambarkan potensi WARM sebagai teknik praktis untuk mengembangkan asisten AI dunia nyata yang berperilaku secara andal. Dengan memuluskan inkonsistensi dalam umpan balik manusia, kebijakan WARM dapat tetap selaras dengan nilai manusia bahkan ketika mereka terus belajar dari pengalaman baru.

Gambaran Besar

WARM berada di persimpangan dua tren kunci dalam penelitian keselarasan AI. Pertama adalah studi tentang generalisasi di luar distribusi (OOD), yang bertujuan untuk meningkatkan kinerja model pada data baru yang berbeda dari distribusi pelatihan. Kedua adalah penelitian tentang kekuatan algoritma, yang fokus pada keandalan meskipun gangguan input kecil atau kebisingan.

Dengan menghubungkan koneksi antara bidang ini di sekitar konsep invarian yang dipelajari, WARM membawa kita lebih dekat ke teknik keselarasan nilai yang lebih mapan. Wawasan dari WARM bisa diterapkan bahkan di luar RLHF, memberikan pelajaran untuk sistem pembelajaran mesin yang lebih luas yang berinteraksi dengan dunia terbuka.

Tentu saja, pemodelan hadiah hanya satu bagian dari teka-teki keselarasan. Kami masih memerlukan kemajuan pada tantangan lain seperti spesifikasi hadiah, pengawasan yang skalabel, dan eksplorasi yang aman. Dengan teknik komplementer, WARM bisa mempercepat pengembangan AI yang secara berkelanjutan mempromosikan kemakmuran manusia. Dengan memperjelas prinsip yang mendasari keselarasan yang kuat, peneliti sedang memetakan rute menuju AI yang bermanfaat dan etis.