Kerusakan dari Fine-Tuning Model AI Dapat dengan Mudah Diperbaiki, Menurut Penelitian

Penelitian baru dari AS menunjukkan bahwa fine-tuning model AI dasar pada data Anda sendiri tidak perlu mengurangi atau merusak fungsi model asli – dan bahwa perbaikan sederhana dapat tidak hanya memulihkan kemampuan model asli, tetapi juga memperbaiki kualitas output yang Anda coba dapatkan dari model yang sudah dilatih.

Performance gains on diverse models with the authors’ new post-training calibration. Further details later in the article. Source: http://export.arxiv.org/pdf/2409.16223

Implikasi dari ini sangat signifikan, tidak hanya untuk raksasa teknologi yang perhatiannya berkonsentrasi pada penghargaan keuangan dari menyewakan sistem generatif ‘sebagai-layanan’, tetapi juga untuk jumlah ‘cord-cutter’ hobi yang mengunduh dan menyesuaikan model sumber terbuka, sehingga mereka dapat mengakses sistem penulisan AI dan generasi gambar/video yang dipersonalisasi dengan lebih murah – dan dengan lebih sedikit batasan.

Penulis makalah ini tidak takut untuk menunjukkan antusiasme mereka untuk potensi metode mereka, yang membuat kemajuan signifikan pada submisi Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (co-authored dengan banyak kontributor pada makalah baru).

Mereka menyatakan:

‘Temuan ini sangat menggembirakan dan memiliki implikasi yang mendalam! Mereka mengimplikasikan bahwa kalibrasi pasca-pemrosesan sederhana dapat memotong akurasi model yang diperhalus pada kelas yang tidak ada, mengembalikan kemampuan model pra-dilatih sambil menampilkan kualitas fitur yang diperbaiki pada semua kelas.’

Kami akan melihat pekerjaan baru ini segera. Pertama, mari kita lihat masalah yang ingin dipecahkan.

Mengapa Ini Penting

Gelombang pertama fine-tuning yang meluas terjadi setelah rilis Stability.ai’s Stable Diffusion model teks-ke-gambar di Agustus 2002. Model awal, yang dilatih pada subset dataset LAION hyperskala, tersedia untuk diunduh oleh siapa saja.

Namun, pengguna yang ingin memasukkan konten spesifik (seperti identitas mereka sendiri, gaya seni, atau representasi selebriti) ke dalam kualitas generatif luar biasa dari Stable Diffusion harus menggunakan teknik seperti DreamBooth – ekstensi dari metode kustomisasi Google Research, yang memungkinkan pengguna untuk melatih data baru ke model yang tersedia secara gratis, melalui fine-tuning.

Contoh proses pengguna untuk implementasi DreamBooth resmi Google dari 2022. Pengguna mengkurasi seleksi kecil gambar dan memilih nama unik (yang tidak ada dalam data pelatihan Stable Diffusion) dalam teks-prompt dari model yang diperhalus. Source: https://dreambooth.github.io/

Dengan cara ini, memungkinkan untuk mendapatkan salinan model yang sangat baik dalam membuat orang tertentu, atau gaya seni kustom, tetapi yang sekarang ‘dikompromikan’ untuk penggunaan umum.

Ini berarti bahwa jika Anda ingin fine-tuning Stable Diffusion sehingga dapat menggambarkan tiga orang berbeda, Anda harus membuat tiga model berbeda, masing-masing sekitar 2-4GB, atau lebih.

Setiap upaya untuk fine-tuning model ini kedua kali tidak hanya akan merusak kinerja umum model lebih lanjut, tetapi juga akan mempengaruhi output dari sesi fine-tuning sebelumnya.

Dalam hal apapun, model DreamBooth selebriti akan segera berkembang di internet, berkumpul terutama di domain civit.ai. Akhirnya, metode yang kurang berat seperti Low-Rank Adaptation (LoRA) mengalahkan fine-tuning dalam popularitas (meskipun apakah output LoRA seefektif fine-tune penuh masih kontroversial, dan NVIDIA telah membuka-sumber pendekatan yang lebih efektif yang disebut DoRA).

LoRA jatuh dalam kategori Parameter-Efficient Fine-Tuning (PEFT), yang hanya mempengaruhi subset parameter model yang dilatih.

Beberapa pengguna ingin mengubah sifat dasar titik awal Stable Diffusion yang bersumber terbuka, dengan fine-tuning mereka pada ribuan gambar.

Ini, secara efektif, menghasilkan model dasar alternatif, didedikasikan untuk domain yang pengguna coba latih (seperti gaya seni tertentu). Untuk tujuan ini, metode ‘ringan’ seperti LoRA kemungkinan kurang efektif, karena bobot model perlu bias yang parah terhadap data pelatihan baru.

Obrolan Lokal

Dengan lonjakan minat baru-baru ini dalam Large Language Models (LLM), pengguna yang ingin menghindari outlet yang berkembang (dan biaya terkait) dari layanan berbasis API seperti ChatGPT, telah mulai mengunduh dan fine-tuning model sumber terbuka yang efektif seperti Llama 3, di antara lainnya.

Di sini juga, LoRA dapat digunakan sebagai gantinya fine-tuning checkpoint penuh. Kami telah menyatakan sebelumnya bahwa fine-tuning adalah metode yang lebih unggul untuk menghasilkan LLM yang disesuaikan dengan kebutuhan pengguna yang spesifik. Meskipun fine-tuning dapat memiliki persyaratan perangkat keras yang lebih besar dan mungkin memerlukan waktu lebih lama, itu menawarkan generalisasi yang lebih dalam dari data baru yang pengguna ingin model asimilasi.

Masalah dengan fine-tuning adalah bahwa itu adalah proses yang merusak yang tidak dapat dilatih secara bertahap pada data tambahan kemudian, seperti yang kita catat di atas.

Fitur dan bias yang disuntikkan ke model tampaknya mengganggu keseimbangan asli bobot dalam dataset, yang berarti bahwa model lebih cenderung mencerminkan data pengguna yang disumbangkan, atau akan setidaknya melakukan lebih buruk secara keseluruhan daripada model dasar asli (pada tugas yang tidak terkait dengan data baru).

Satu dapat memperbaiki ini, sampai batas tertentu, dengan membekukan bagian tertentu dari model selama pelatihan; tetapi ini dapat menyebabkan fungsi umum yang berkurang, karena bagian yang dibekukan dari arsitektur mungkin tidak umum dengan baik ke data yang diperhalus baru di dalam ruang laten model.

Oleh karena itu, akan sangat baik jika ada cara yang lebih mudah untuk melestarikan kemampuan asli model yang diperhalus, sambil mempertahankan kemampuan model untuk menghasilkan output berdasarkan data fine-tuning.

Pengembangan seperti itu akan bermanfaat di seluruh kisaran pengguna potensial, dari hobi dan pengadopsi awal yang menggunakan LLM lokal dan jenis model generatif lainnya, hingga tingkat FAANG (di mana model AI yang sangat mahal bisa ditingkatkan secara iteratif dan non-destruktif, tanpa biaya multi-juta dolar untuk memulai pelatihan lagi dengan data tambahan).

Kalibrasi Pasca-Pemrosesan

Ini membawa kita kembali ke makalah baru, yang disebut Fine-Tuning adalah Fine, jika Dikalibrasi, dan berasal dari 11 peneliti di Ohio State University, University of Wisconsin Madison, dan Rensselar Polytechnic Institute.

Peneliti mencoba mengetahui apa yang rusak dalam model dasar ketika diperhalus. Mereka telah menyimpulkan bahwa perbedaan utama antara model ‘sebelum dan sesudah’ adalah bahwa skala logit di seluruh kelas fine-tuning dan kelas asli dalam model menunjukkan diskrepansi besar.

Tautan logit memprediksi kemungkinan keberhasilan dalam proses regresi logis, mengubah nilai yang diperkirakan (yang mungkin sangat akurat) menjadi nol atau satu.

Penulis tidak hanya menemukan bahwa defisit ini hampir dapat dibalik dengan teknik kalibrasi, tetapi bahwa perbaikan pasca facto ini sebenarnya memperbaiki kualitas output untuk data fine-tuning. Oleh karena itu, dengan teknik ini, Anda tidak hanya mendapatkan kemampuan asli model dasar, tetapi Anda juga mendapatkan integrasi yang lebih baik dari data fine-tuning Anda.

(Meskipun makalah ini tidak mengeksplorasi prospek, teknik ini mengimplikasikan bahwa model dapat diperhalus beberapa kali, dan tetap efektif)

Membahas temuan mereka dalam menyelidiki kerusakan model setelah fine-tuning, penulis menyatakan:

‘Untuk kejutan kami, kami menemukan bahwa model yang diperhalus tidak melupakan hubungan antara kelas lainnya, atau merusak fitur untuk mengenali kelas ini.

‘Sebaliknya, model yang diperhalus sering menghasilkan fitur yang lebih diskriminatif untuk kelas lain ini, bahkan jika mereka tidak ada selama fine-tuning!

‘[Apa] yang benar-benar merusak akurasi adalah skala logit yang tidak konsisten antara kelas fine-tuning dan kelas lainnya, yang mengimplikasikan bahwa kalibrasi pasca-pemrosesan sederhana akan mengembalikan kemampuan model pra-dilatih dan pada saat yang sama menampilkan perbaikan fitur di semua kelas.’

Penulis telah membuat hasil tes untuk teori ini dapat direproduksi dalam repo GitHub.

Mereka menemukan bahwa pada penyelidikan, bagian yang rusak dari arsitektur model dasar adalah pengklasifikasi biner, yang salah mengklasifikasikan kelas yang tidak ada dalam model asli sebagai kelas fine-tuning.

Makalah ini menyatakan*:

‘[Dengan] menambahkan faktor bias kalibrasi ke semua logit kelas yang tidak ada [4, 40 ], model yang diperhalus dapat berhasil mengambil kembali akurasi kelas yang tidak ada dan mendapatkan perbaikan keseluruhan yang layak dalam domain hilir.’

‘Kinerja yang dihasilkan bahkan mengalahkan baseline yang kuat [Holistic Transfer – makalah yang dibangun di atasnya] dalam banyak benchmark, termasuk ImageNet dan varian-varianya [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, dan VTAB, tanpa pelatihan dan pengaturan hiperparameter yang rumit.’

Hasil dari makalah: model yang diperhalus yang telah menjalani kalibrasi pasca-pemrosesan dapat, menurut penulis, mengalahkan pendekatan state-of-the-art untuk masalah ini.

Penulis mengklasifikasikan kinerja yang ditingkatkan dari model yang diperhalus dan dikalibrasi sebagai ‘perilaku yang tidak terduga’, dan mengamati bahwa ketika Stochastic Gradient Descent (SGD) dasar digunakan, hasil yang lebih baik diperoleh daripada dengan pengoptimasi yang lebih populer saat ini, seperti Adam.

‘Masih,’ mereka mencatat ‘dengan tingkat pembelajaran yang cukup kecil dan penurunan bobot, perilaku yang tidak terduga muncul dan bertahan.’

Perbaikan Kecil

Untuk memperbaiki diskrepansi logit yang dihasilkan dari fine-tuning, penulis meminjam teknik dari pembelajaran nol-shot, menambahkan faktor konstan ke logit semua kelas yang tidak ada. Ini menghasilkan aturan klasifikasi baru.

Penulis mencatat bahwa proses ini ‘mempromosikan’ kelas yang diabaikan ke kualitas prediksi yang sama dengan kelas fine-tuning, mengembalikan kinerja asli dan meningkatkan kinerja data ‘tambah’ pada waktu inferensi.

Dalam tes, teknik kalibrasi pasca-pemrosesan mengembalikan kinerja ke berbagai model yang diperhalus. ‘Oracle’ yang ditunjukkan dalam tabel mengacu pada pengklasifikasi yang diperhalus yang juga mempertimbangkan data kelas yang tidak ada.

Mereka mengamati lebih lanjut bahwa kalibrasi pasca-pemrosesan ‘potensial dapat diterapkan pada model apa pun’, dan bahwa metode yang mencoba mempertahankan integritas model dasar melalui pembekuan lapisan (seperti pengklasifikasi dan backbone) skor rendah dibandingkan dengan pendekatan yang mereka usulkan.

Kesimpulan

Temuan dari kolaborasi ini tampaknya signifikan. Melatih model AI pada dataset hyperskala adalah komitmen besar, analog dengan lepas landas pesawat penumpang. Meskipun pelatihan dapat dihentikan, dan kerusakan dapat diminimalkan dengan menyimpan bobot saat ini secara berkala (dengan biaya penyimpanan yang cukup besar), untuk memungkinkan gangguan pada pelatihan, ada sedikit yang dapat dilakukan untuk mengubah hasil setelah lepas landas.

Apa yang mengesankan tentang pekerjaan ini adalah bahwa peneliti tampaknya telah menemukan prinsip dasar dalam pelatihan model AI umum, dan bahwa solusi mereka cukup elegan.

Implikasi ekonomi dari kemampuan mempertahankan akurasi model dasar setelah fine-tuning juga signifikan. Sampai saat ini, metode paling umum untuk mengatasi kekurangan model jutaan dolar adalah dengan menyaring output pada waktu inferensi, atau mengontrol inferensi untuk menghindari kelemahan yang jelas dalam model.

Selain itu, teknik seperti ini dapat secara teoretis membawa perbaikan signifikan pada kemampuan model generatif yang diperhalus pada tingkat konsumen, dengan bonus peningkatan kualitas output.

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada Selasa, 1 Oktober 2024