Metode fine-tuning yang efisien parameter atau PeFT berusaha untuk menyesuaikan model bahasa besar melalui pembaruan pada sejumlah kecil bobot. Namun, sebagian besar karya interpretasi yang ada telah menunjukkan bahwa representasi mengkodekan informasi semantik yang kaya, yang menunjukkan bahwa mengedit representasi mungkin merupakan alternatif yang lebih baik dan lebih kuat daripada memperbarui bobot. Model besar yang telah dilatih sebelumnya sering difine-tuning untuk digunakan pada domain atau tugas baru, dan selama proses fine-tuning, satu model dasar dapat disesuaikan dengan berbagai tugas bahkan dengan hanya sejumlah kecil data domain yang tersedia untuk model. Namun, proses fine-tuning model seluruhnya memakan biaya sumber daya dan mahal, terutama untuk model bahasa dengan jumlah parameter yang jauh lebih besar.

Metode fine-tuning yang efisien parameter atau PeFT mengusulkan untuk mengatasi biaya tinggi yang terkait dengan fine-tuning model seluruhnya dengan memperbarui hanya sejumlah kecil bobot yang tersedia, proses yang membantu mengurangi waktu pelatihan serta penggunaan memori. Yang lebih penting lagi adalah metode fine-tuning yang efisien parameter atau PeFT telah menunjukkan kinerja yang serupa dengan fine-tuning dalam beberapa pengaturan praktis. Adapter, keluarga umum dari metode fine-tuning yang efisien parameter atau PeFT, mempelajari edit yang dapat ditambahkan ke himpunan bobot tambahan yang beroperasi bersama dengan model dasar yang dibekukan, dengan adapter terbaru seperti LoRA mengurangi jumlah parameter yang dapat dilatih dalam pembaruan bobot yang dipelajari dengan menggunakan aproksimasi matriks berperingkat rendah daripada matriks bobot penuh saat melatih adapter.

Dengan karya sebelumnya yang menunjukkan bahwa mengedit representasi mungkin merupakan alternatif yang lebih baik daripada metode fine-tuning yang efisien parameter atau PeFT, dalam artikel ini, kita akan membahas tentang metode ReFT atau Representation Fine-tuning yang beroperasi pada model yang dibekukan, dan mempelajari intervensi tugas-spesifik pada representasi tersembunyi. Artikel ini bertujuan untuk membahas kerangka kerja ReFT atau Representation Fine-tuning secara mendalam, dan kita menjelajahi mekanisme, metodologi, arsitektur kerangka kerja tersebut bersama dengan perbandingannya dengan kerangka kerja state-of-the-art. Jadi, mari kita mulai.

ReFT: Representation Fine-tuning untuk Model Bahasa

Dalam upaya untuk mengadopsi model bahasa besar yang telah dilatih sebelumnya ke domain dan tugas baru, kerangka kerja saat ini sering melakukan fine-tuning model bahasa yang telah dilatih sebelumnya secara teratur karena dengan proses fine-tuning yang dilaksanakan, satu model dasar dapat disesuaikan dengan berbagai tugas bahkan ketika bekerja dengan sejumlah kecil data domain. Meskipun proses fine-tuning memang meningkatkan kinerja secara keseluruhan, proses tersebut memakan biaya sumber daya dan mahal, terutama jika model bahasa memiliki jumlah parameter yang jauh lebih besar. Untuk mengatasi masalah ini dan mengurangi biaya yang terkait, kerangka kerja fine-tuning yang efisien parameter atau PeFT memperbarui hanya sejumlah kecil bobot total, proses yang tidak hanya mengurangi waktu pelatihan tetapi juga mengurangi penggunaan memori, memungkinkan kerangka kerja PeFT untuk mencapai kinerja yang serupa dengan pendekatan fine-tuning penuh dalam skenario praktis. Adapter, keluarga umum dari PeFT, bekerja dengan mempelajari edit yang dapat ditambahkan ke himpunan bobot tambahan yang beroperasi bersama dengan model dasar yang dibekukan.

Salah satu sorotan utama dari kerangka kerja fine-tuning yang efisien parameter atau PeFT saat ini adalah bahwa mereka memodifikasi bobot bukan representasi. Namun, kerangka kerja yang berkaitan dengan interpretasi telah menunjukkan bahwa representasi mengkodekan informasi semantik yang kaya, yang menunjukkan bahwa mengedit representasi mungkin merupakan pendekatan yang lebih baik dan lebih kuat daripada memperbarui bobot. Asumsi bahwa mengedit representasi merupakan pendekatan yang lebih baik ini merupakan dasar dari kerangka kerja ReFT atau Representation Fine-tuning yang melatih intervensi bukan memodifikasi bobot model, memungkinkan model untuk memanipulasi sejumlah kecil dari semua representasi dalam upaya untuk mengarahkan perilaku model untuk menyelesaikan tugas downstream selama inferensi. Metode ReFT atau Representation Fine-tuning adalah pengganti drop-in untuk kerangka kerja fine-tuning yang efisien parameter atau PeFT berbasis bobot. Pendekatan ReFT mengambil inspirasi dari model terbaru yang bekerja dengan interpretasi model besar yang memodifikasi representasi untuk menemukan mekanisme penyebab yang setia dan mengarahkan perilaku model selama inferensi, dan oleh karena itu dapat dilihat sebagai generalisasi dari model pengeditan representasi.

Dengan melanjutkan, berlawanan dengan fine-tuning penuh, kerangka kerja fine-tuning yang efisien parameter atau PeFT melatih hanya sejumlah kecil parameter model, dan berhasil menyesuaikan model dengan tugas downstream. Kerangka kerja fine-tuning yang efisien parameter atau PeFT dapat diklasifikasikan menjadi tiga kategori utama:

• Metode berbasis adapter: Metode berbasis adapter melatih modul tambahan seperti lapisan terhubung penuh di atas model yang telah dilatih sebelumnya dengan bobot yang dibekukan. Adapter seri memasukkan komponen di antara lapisan multilayer perceptron atau MLP dan lapisan perhatian model bahasa besar atau LM, sedangkan adapter paralel menambahkan modul di samping komponen yang ada. Karena adapter menambahkan komponen baru yang tidak dapat dengan mudah digabungkan ke dalam bobot model yang ada, mereka menimbulkan beban tambahan selama inferensi.

• LoRA: LoRA bersama dengan varian terbarunya mengaproksimasi bobot tambahan selama pelatihan dengan menggunakan matriks berperingkat rendah, dan mereka tidak memerlukan biaya tambahan selama inferensi karena pembaruan bobot dapat digabungkan ke dalam model, dan itulah alasan mengapa mereka dianggap sebagai kerangka kerja PeFT terkuat saat ini.

• Metode berbasis prompt: Metode berbasis prompt menambahkan token lunak yang diinisialisasi secara acak ke dalam input, dan melatih penyematannya sambil menjaga bobot model bahasa tetap dibekukan. Kinerja yang ditawarkan oleh metode ini sering tidak memuaskan dibandingkan dengan pendekatan PeFT lainnya, dan mereka juga membawa biaya overhead inferensi yang signifikan.

Bukannya memperbarui bobot, kerangka kerja ReFT mempelajari intervensi untuk memodifikasi sejumlah kecil dari semua representasi. Selain itu, karya terbaru tentang rekayasa representasi dan pengarahan aktivasi telah menunjukkan bahwa menambahkan vektor pengarahan tetap ke aliran sisa dapat memfasilitasi sejumlah kontrol atas generasi model bahasa besar yang telah dilatih sebelumnya tanpa memerlukan fine-tuning yang intensif sumber daya. Kerangka kerja lain telah menunjukkan bahwa mengedit representasi dengan operasi penskalaan dan terjemahan yang dipelajari dapat mencoba untuk mencocokkan tetapi tidak melebihi kinerja yang ditawarkan oleh adapter LoRA pada berbagai tugas dengan parameter yang dipelajari lebih sedikit.

ReFT: Metodologi dan Arsitektur

Untuk menjaga proses pelestarian gaya tetap sederhana, kerangka kerja ReFT menganggap model besar berbasis transformer sebagai model target yang dapat menghasilkan representasi kontekstual dari urutan token. Untuk urutan dengan n token input, kerangka kerja ReFT pertama-tama menyematkan token input ini ke dalam daftar representasi yang mengikuti lapisan m yang menghitung daftar representasi tersembunyi secara berturut-turut sebagai fungsi dari daftar representasi tersembunyi sebelumnya. Setiap representasi tersembunyi adalah vektor, dan model bahasa menggunakan representasi tersembunyi terakhir untuk menghasilkan prediksi. Kerangka kerja ReFT mempertimbangkan baik model bahasa tersembunyi dan model bahasa autoregresif. Sekarang, menurut hipotesis representasi linear, dalam jaringan saraf, konsep dikodekan dalam subruang linear dari representasi. Model terbaru telah menemukan klaim ini benar dalam model jaringan saraf yang dilatih pada bahasa alami serta distribusi input lainnya.

Selain itu, dalam studi interpretasi, kerangka kerja abstraksi penyebab menggunakan intervensi pertukaran untuk membangun peran komponen jaringan saraf secara penyebab ketika mengimplementasikan perilaku tertentu. Logika di balik intervensi pertukaran adalah bahwa jika satu memperbaiki representasi ke apa yang akan terjadi untuk input kontrafaktual, dan intervensi ini mempengaruhi output model secara konsisten dengan cara yang klaim yang dibuat oleh kerangka kerja ReFT tentang komponen yang bertanggung jawab untuk menghasilkan representasi tersebut, maka komponen tersebut memainkan peran penyebab dalam perilaku. Meskipun ada beberapa metode, intervensi pertukaran terdistribusi adalah pendekatan ideal untuk menguji apakah konsep dikodekan dalam subruang linear dari representasi, seperti yang diklaim oleh hipotesis representasi linear. Selain itu, metode DAS telah digunakan sebelumnya untuk menemukan representasi linear dalam model bahasa dari atribut entitas, sentimen, fitur linguistik, dan penalaran matematika. Namun, beberapa eksperimen telah menunjukkan bahwa metode DAS sangat ekspresif, dan memiliki kemampuan untuk menemukan subruang yang efektif dan penyebab bahkan ketika model bahasa transformer telah diinisialisasi secara acak, dan oleh karena itu belum belajar representasi tugas-spesifik, yang menghasilkan perdebatan apakah DAS efektif dan bertanggung jawab enough untuk tugas interpretasi.

Ekspresivitas yang ditawarkan oleh DAS menunjukkan bahwa pendekatan ini bisa menjadi alat ideal untuk mengontrol perilaku model bahasa serta pekerjaannya pada generasi yang dapat dikontrol dan pengeditan yang bertanggung jawab. Oleh karena itu, untuk menyesuaikan model bahasa untuk tugas downstream, kerangka kerja ReFT menggunakan operasi intervensi pertukaran terdistribusi untuk membuat metode yang efisien parameter baru. Selain itu, metode ReFT adalah himpunan intervensi, dan kerangka kerja memaksakan bahwa untuk dua intervensi yang beroperasi pada lapisan yang sama, posisi intervensi harus disjoint, dengan parameter dari semua fungsi intervensi tetap independen. Sebagai hasilnya, ReFT adalah kerangka kerja generik yang mencakup intervensi pada representasi tersembunyi selama fase maju model.

ReFT: Eksperimen dan Hasil

Untuk mengevaluasi kinerjanya melawan kerangka kerja PeFT yang ada, kerangka kerja ReFT melakukan eksperimen di empat benchmark pemrosesan bahasa alami yang beragam, dan mencakup lebih dari 20 dataset, dengan tujuan utama untuk memberikan gambaran yang kaya tentang bagaimana kerangka kerja LoReFT berkinerja dalam skenario yang berbeda. Selain itu, ketika kerangka kerja LoReFT diimplementasikan dalam kehidupan nyata, pengembang perlu memutuskan berapa banyak intervensi untuk dipelajari bersama dengan posisi input dan lapisan untuk menerapkan masing-masing. Untuk menyelesaikan tugas, kerangka kerja ReFT mengatur empat hiperparameter.

1. Jumlah posisi awalan untuk diintervensi.
2. Jumlah posisi akhiran untuk diintervensi.
3. Himpunan lapisan untuk diintervensi.
4. Apakah mengikat parameter intervensi di seluruh posisi yang berbeda dalam lapisan yang sama.

Dengan melakukan ini, kerangka kerja ReFT menyederhanakan ruang pencarian hiperparameter, dan memastikan hanya biaya inferensi tambahan yang tetap yang tidak berskala dengan panjang prompt.

Tabel di atas membandingkan akurasi dari kerangka kerja LLaMA-7B dan LLaMA-13B melawan model PeFT yang ada di 8 dataset penalaran umum. Seperti yang dapat dilihat, model LoReFT mengungguli pendekatan PeFT yang ada dengan margin yang layak, meskipun memiliki parameter yang jauh lebih sedikit, dengan kinerja rata-rata dari tiga run yang dilaporkan dengan benih parameter yang berbeda untuk model LoReFT. Param(%) dihitung dengan membagi jumlah parameter yang dapat dilatih dengan jumlah total parameter dari model besar dasar.

Tabel di atas merangkum perbandingan akurasi dari kerangka kerja LLaMA-7B dan LLaMA-13B melawan model PeFT yang ada di 4 dataset penalaran aritmatika yang berbeda, dengan kerangka kerja melaporkan kinerja rata-rata dari tiga run dengan benih acak yang berbeda. Seperti yang dapat dilihat, meskipun memiliki params(%) yang jauh lebih sedikit, kerangka kerja LoReFT mengungguli pendekatan PeFT yang ada dengan margin yang cukup besar.

Tabel di atas merangkum perbandingan akurasi dari kerangka kerja RoBERTa-base dan RoBERTa-large melawan model PeFT yang ada di benchmark GLUE, dengan kerangka kerja melaporkan kinerja rata-rata dari lima run dengan benih acak yang berbeda. Seperti yang dapat dilihat, meskipun memiliki params(%) yang jauh lebih sedikit, kerangka kerja LoReFT mengungguli pendekatan PeFT yang ada dengan margin yang cukup besar.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang LoReFT, alternatif yang kuat untuk kerangka kerja PeFT yang ada yang mencapai kinerja yang kuat di berbagai benchmark dari empat domain yang berbeda sambil menawarkan hingga 50 kali efisiensi yang ditawarkan oleh model PeFT state-of-the-art sebelumnya. Model besar yang telah dilatih sebelumnya sering difine-tuning untuk digunakan pada domain atau tugas baru, dan selama proses fine-tuning, satu model dasar dapat disesuaikan dengan berbagai tugas bahkan dengan hanya sejumlah kecil data domain yang tersedia untuk model. Namun, proses fine-tuning model seluruhnya memakan biaya sumber daya dan mahal, terutama untuk model bahasa dengan jumlah parameter yang jauh lebih besar. Metode fine-tuning yang efisien parameter atau PeFT mengusulkan untuk mengatasi biaya tinggi yang terkait dengan fine-tuning model seluruhnya dengan memperbarui hanya sejumlah kecil bobot yang tersedia, proses yang membantu mengurangi waktu pelatihan serta penggunaan memori. Yang lebih penting lagi adalah LoReFT membangun kinerja state-of-the-art baru pada penalaran umum, pengikutan instruksi, dan pemahaman bahasa alami melawan PeFT terkuat.