Kerusakan dari Fine-Tuning Model AI Dapat Diperbaiki dengan Mudah, Menurut Penelitian

Penelitian baru dari AS menunjukkan bahwa fine-tuning model AI dasar pada data Anda sendiri tidak perlu mengurangi atau merusak fungsionalitas model asli – dan bahwa perbaikan yang relatif sederhana dapat tidak hanya memulihkan kemampuan model asli, tetapi juga memperbaiki kualitas output yang Anda coba dapatkan dari model yang sudah dilatih.

Peningkatan kinerja pada model yang beragam dengan kalibrasi pasca-pelatihan baru dari penulis. Detail lebih lanjut nanti dalam artikel. Sumber: http://export.arxiv.org/pdf/2409.16223

Implikasi dari hal ini sangat signifikan, tidak hanya untuk raksasa teknologi yang perhatiannya berkonsentrasi pada penghargaan keuangan dari menyewakan sistem generatif ‘sebagai-layanan’, tetapi juga untuk jumlah yang semakin meningkat dari ‘pemotong-kabel’ hobi yang mengunduh dan menyesuaikan model sumber terbuka, sehingga mereka dapat mengakses sistem penulisan AI dan generasi gambar/vidio yang dipersonalisasi dengan lebih murah – dan dengan lebih sedikit batasan.

Penulis makalah ini tidak takut untuk menunjukkan antusiasme mereka untuk potensi metode mereka, yang membuat kemajuan yang jelas pada pengajuan 2023 Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (co-authored dengan banyak kontributor makalah baru).

Mereka menyatakan:

‘Temuan ini sangat menggembirakan dan memiliki implikasi yang mendalam! Mereka mengimplikasikan bahwa kalibrasi pasca-pelatihan yang sederhana dapat memperbaiki akurasi model yang telah dihaluskan pada kelas yang tidak ada, membawa kembali kemampuan model yang telah dilatih sebelumnya sambil mengungkap kualitas fitur yang diperbaiki pada semua kelas.’

Kami akan melihat pekerjaan baru ini segera. Pertama, mari kita lihat masalah apa yang mereka coba selesaikan.

Mengapa Ini Penting

Gelombang pertama fine-tuning yang meluas terjadi setelah rilis model teks-ke-gambar Stability.ai Stable Diffusion pada Agustus 2002. Model awal, yang dilatih pada subset dataset LAION hiperskala, tersedia untuk diunduh oleh siapa saja.

Namun, pengguna yang ingin memasukkan konten spesifik (seperti identitas mereka sendiri, gaya seni, atau perwakilan selebriti) ke dalam kualitas generatif luar biasa dari Stable Diffusion harus menggunakan teknik seperti DreamBooth – ekstensi dari metode penyesuaian Google Research, yang memungkinkan pengguna untuk melatih data baru ke dalam model yang tersedia secara gratis, melalui fine-tuning.

Contoh proses pengguna untuk implementasi DreamBooth resmi Google dari 2022. Pengguna mengkurasi seleksi kecil gambar dan memilih nama unik (yang tidak dimiliki Stable Diffusion dalam data pelatihannya) dalam teks-prompt dari model yang telah dihaluskan. Sumber: https://dreambooth.github.io/

Dengan cara ini, memungkinkan untuk mendapatkan salinan model yang sangat baik dalam membuat orang tertentu, atau gaya seni kustom, tetapi yang sekarang ‘dikompromikan’ untuk penggunaan umum.

Ini berarti bahwa jika Anda ingin fine-tune Stable Diffusion sehingga dapat menggambarkan tiga orang yang berbeda, Anda harus membuat tiga model yang berbeda, masing-masing sekitar 2-4GB, atau lebih.

Setiap upaya untuk fine-tune model ini kedua kali tidak hanya akan merusak kinerja umum model lebih lanjut, tetapi juga akan mempengaruhi output dari sesi fine-tuning sebelumnya.

Di mana pun, model DreamBooth selebriti akan segera berkembang di internet, berkumpul terutama di domain civit.ai. Akhirnya, metode yang kurang berat seperti Low-Rank Adaptation (LoRA) akan mengalahkan fine-tuning dalam popularitas (meskipun apakah output LoRA seefektif fine-tune penuh masih diperdebatkan, dan NVIDIA telah membuka sumber pendekatan yang tampaknya lebih efektif yang disebut DoRA).

LoRA jatuh dalam kategori Parameter-Efficient Fine-Tuning (PEFT), yang hanya mempengaruhi subset dari parameter model yang dilatih.

Beberapa pengguna ingin mengubah sifat dasar dari titik awal Stable Diffusion yang bersumber terbuka, dengan fine-tuning mereka pada ribuan gambar.

Ini, secara efektif, menghasilkan model dasar alternatif, yang didedikasikan untuk domain apa pun yang pengguna coba latih (seperti gaya seni tertentu). Untuk tujuan ini, metode ‘ringan’ seperti LoRA kemungkinan kurang efektif, karena bobot model memerlukan bias yang parah terhadap data pelatihan baru.

Obrolan Lokal

Dengan meningkatnya minat baru-baru ini dalam Model Bahasa Besar (LLM), pengguna yang ingin menghindari outlet yang berkembang (dan biaya terkait) dari layanan yang didorong API seperti ChatGPT, telah semakin mengunduh dan fine-tune model sumber terbuka yang efektif seperti Llama 3, di antara banyak lainnya.

Di sini juga, LoRAs dapat digunakan sebagai gantinya fine-tuning checkpoint penuh. Kami telah berpendapat sebelumnya bahwa fine-tuning adalah metode yang lebih unggul untuk menghasilkan LLM yang disesuaikan dengan kebutuhan pengguna yang spesifik. Meskipun fine-tuning dapat memiliki persyaratan perangkat keras yang lebih besar dan mungkin memakan waktu lebih lama, itu menawarkan generalisasi yang lebih dalam dari data baru yang pengguna ingin model asimilasi.

Masalah dengan fine-tuning adalah bahwa itu adalah proses yang merusak yang tidak dapat dilatih secara inkremental pada data tambahan kemudian, seperti yang kita catat sebelumnya.

Fitur dan bias yang disuntikkan ke dalam model tampaknya mengganggu keseimbangan asli bobot dalam dataset, yang berarti bahwa model lebih cenderung mencerminkan data pengguna yang disumbangkan, atau akan setidaknya berkinerja lebih buruk secara keseluruhan daripada model dasar asli (pada tugas yang tidak terkait dengan data baru).

Satu dapat memperbaiki ini, sampai batas tertentu, dengan membekukan bagian tertentu dari model selama pelatihan; tetapi ini dapat menyebabkan fungsi umum yang berkurang, karena bagian yang dibekukan dari arsitektur mungkin tidak umum dengan baik ke data yang baru dihaluskan di dalam ruang laten model.

Ini akan, oleh karena itu, sangat baik jika ada cara yang lebih mudah untuk melestarikan kemampuan asli dari model yang dihaluskan, sambil mempertahankan kemampuan model untuk menghasilkan output berdasarkan data fine-tuning.

Perkembangan seperti itu akan bermanfaat di seluruh rentang pengguna potensial, dari hobiis dan pengadopsi awal yang menggunakan LLM lokal dan jenis model generatif lainnya, hingga tingkat FAANG (di mana model AI yang sangat mahal dapat ditingkatkan secara iteratif dan non-destruktif, tanpa biaya multi-juta dolar untuk memulai pelatihan lagi dengan data tambahan).

Kalibrasi Pasca-Pelatihan

Ini membawa kita kembali ke makalah baru, yang disebut Fine-Tuning adalah Fine, jika Dikalibrasi, dan berasal dari 11 peneliti di seluruh Ohio State University, University of Wisconsin Madison, dan Rensselar Polytechnic Institute.

Peneliti mencoba mengetahui apa yang rusak dalam model dasar ketika dihaluskan. Mereka telah menyimpulkan bahwa satu-satunya perbedaan besar antara model ‘sebelum dan sesudah’ adalah bahwa skala logit di seluruh kelas fine-tuning dan kelas asli dalam model menunjukkan diskrepansi besar.

Logit link memprediksi probabilitas keberhasilan dalam proses regresi logis, mengubah nilai yang diperkirakan (yang mungkin sangat akurat) menjadi nol atau satu.

Penulis tidak hanya menemukan bahwa defisit ini hampir dapat dibalik dengan teknik kalibrasi, tetapi bahwa perbaikan pasca facto ini sebenarnya memperbaiki kualitas output untuk data fine-tuning. Oleh karena itu, dengan teknik ini, Anda tidak hanya mendapatkan kemampuan asli model dasar, tetapi juga integrasi yang lebih baik dari data fine-tuning Anda sendiri.

(Meskipun makalah ini tidak menyelidiki prospeknya, teknik ini mengimplikasikan bahwa model dapat dihaluskan beberapa kali, dan tetap efektif)

Membahas temuan mereka dalam menyelidiki kerusakan model setelah fine-tuning, penulis menyatakan:

‘Untuk kejutan kami, kami menemukan bahwa model yang dihaluskan tidak melupakan hubungan antara kelas lainnya, atau merusak fitur untuk mengenali kelas ini.

‘Sebaliknya, model yang dihaluskan sering menghasilkan fitur yang lebih diskriminatif untuk kelas ini, bahkan jika mereka tidak ada selama fine-tuning!

‘[Apa] yang benar-benar merusak akurasi adalah skala logit yang tidak sesuai antara kelas fine-tuning dan kelas lainnya, yang mengimplikasikan bahwa kalibrasi pasca-pelatihan yang sederhana akan membawa kembali kemampuan model yang telah dilatih sebelumnya dan pada saat yang sama mengungkap perbaikan fitur di semua kelas.’

Penulis telah membuat hasil tes mereka untuk teori ini dapat direproduksi dalam repository GitHub.

Mereka menemukan bahwa pada penyelidikan, satu-satunya bagian dari arsitektur model dasar yang rusak dalam fine-tuning adalah pengklasifikasi biner, yang salah mengklasifikasikan kelas yang tidak ada dalam model asli sebagai kelas fine-tuning.

Makalah ini menyatakan*:

‘[Dengan] menambahkan faktor bias kalibrasi ke semua logit kelas yang tidak ada [4, 40 ], model yang dihaluskan dapat berhasil mengambil kembali akurasi kelas yang tidak ada dan memperoleh perbaikan yang layak secara keseluruhan di domain hilir.

‘Kinerja yang dihasilkan bahkan mengalahkan baseline yang kuat [Holistic Transfer – makalah yang makalah ini dibangun ] dalam banyak benchmark, termasuk ImageNet dan varian-varianya [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, dan VTAB, tanpa pelatihan dan pengaturan hiperparameter yang rumit.’

Hasil dari makalah: model yang dihaluskan yang telah memiliki kalibrasi pasca-pelatihan yang dilakukan padanya dapat, menurut penulis, mengungguli pendekatan state-of-the-art untuk masalah ini.

Penulis mengklasifikasikan kinerja yang ditingkatkan dari model yang dihaluskan dan dikalibrasi pasca-pelatihan sebagai ‘perilaku yang tidak berbahaya’, dan mengamati bahwa ketika Stochastic Gradient Descent (SGD) optimizer dasar digunakan, hasil yang lebih baik diperoleh daripada dengan optimizer yang lebih populer saat ini, seperti Adam.

‘Masih,’ mereka mencatat ‘dengan tingkat pembelajaran yang cukup kecil dan penurunan bobot, perilaku yang tidak berbahaya muncul dan bertahan.’

Perbaikan Kecil

Untuk memperbaiki diskrepansi logit yang dihasilkan dari fine-tuning, penulis meminjam teknik dari pembelajaran nol-shot, menambahkan faktor konstan ke logit semua kelas yang tidak ada. Ini menghasilkan aturan klasifikasi baru.

Penulis mencatat bahwa proses ini ‘mempromosikan’ kelas yang tidak ada yang diabaikan ke kualitas prediksi yang sama dengan kelas fine-tuning, memulihkan kinerja asli dan memperbaiki kinerja data ‘tambah’ pada waktu inferensi.

Dalam tes, teknik kalibrasi pasca-pelatihan memulihkan kinerja ke berbagai model yang dihaluskan. ‘Oracle’ yang ditunjukkan dalam tabel merujuk pada pengklasifikasi yang dihaluskan yang juga mempertimbangkan data kelas yang tidak ada.

Mereka mengamati lebih lanjut bahwa kalibrasi pasca-pelatihan ‘potensial dapat diterapkan pada model apa pun’, dan bahwa metode yang berusaha mempertahankan integritas model dasar melalui pembekuan lapisan (seperti pengklasifikasi dan backbone) skor buruk dalam perbandingan dengan pendekatan yang mereka usulkan.

Kesimpulan

Temuan dari kolaborasi ini tampaknya signifikan. Melatih model AI pada dataset hiperskala adalah komitmen yang besar, analog dengan lepas landas pesawat penumpang. Meskipun pelatihan dapat dihentikan, dan kerusakan dapat diminimalkan dengan menyimpan bobot saat ini secara berkala (dengan biaya penyimpanan yang cukup besar), untuk memungkinkan gangguan pelatihan, ada sedikit yang dapat dilakukan untuk mengubah hasil setelah lepas landas.

Apa yang mengesankan tentang pekerjaan ini adalah bahwa peneliti tampaknya telah menemukan prinsip dasar dalam pelatihan model AI umum, dan bahwa solusi mereka sangat elegan.

Implikasi ekonomi dari kemampuan mempertahankan akurasi model dasar setelah fine-tuning juga signifikan. Sampai saat ini, metode paling umum untuk mengatasi kelemahan model jutaan dolar adalah dengan menyaring output pada waktu inferensi, atau mengontrol inferensi untuk menghindari setiap titik lemah yang jelas dalam model.

Additionally, teknik seperti itu dapat membawa perbaikan signifikan pada kemampuan model generatif yang dihaluskan pada tingkat konsumen, dengan bonus peningkatan kualitas output.

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada Selasa, 1 Oktober 2024