Apa itu Pembelajaran Transfer?

Apa itu Pembelajaran Transfer?

Saat mempraktikkan pembelajaran mesin, melatih model bisa memakan waktu lama. Membuat arsitektur model dari awal, melatih model, dan kemudian menyesuaikan model memerlukan banyak waktu dan usaha. Cara yang jauh lebih efisien untuk melatih model pembelajaran mesin adalah dengan menggunakan arsitektur yang telah ditentukan, mungkin dengan bobot yang telah dihitung. Ini adalah ide utama di baliknya belajar transfer, mengambil model yang telah digunakan dan menggunakannya kembali untuk tugas baru.

Sebelum mempelajari berbagai cara penggunaan pembelajaran transfer, mari kita sejenak memahami mengapa pembelajaran transfer merupakan teknik yang ampuh dan berguna.

Memecahkan Masalah Pembelajaran Mendalam

Saat Anda mencoba memecahkan masalah pembelajaran mendalam, seperti membuat pengklasifikasi gambar, Anda harus membuat arsitektur model lalu melatih model tersebut pada data Anda. Melatih pengklasifikasi model melibatkan penyesuaian bobot jaringan, sebuah proses yang dapat memakan waktu berjam-jam atau bahkan berhari-hari tergantung pada kompleksitas model dan kumpulan data. Waktu pelatihan akan diskalakan sesuai dengan ukuran dataset dan kompleksitas arsitektur model.

Jika model tidak mencapai jenis akurasi yang diperlukan untuk tugas tersebut, penyesuaian model mungkin perlu dilakukan dan kemudian model tersebut perlu dilatih ulang. Ini berarti lebih banyak jam pelatihan hingga arsitektur optimal, durasi pelatihan, dan partisi set data dapat ditemukan. Saat Anda mempertimbangkan berapa banyak variabel yang harus diselaraskan satu sama lain agar pengklasifikasi berguna, masuk akal jika insinyur pembelajaran mesin selalu mencari cara yang lebih mudah dan lebih efisien untuk melatih dan mengimplementasikan model. Untuk itulah diciptakan teknik belajar transfer.

Setelah merancang dan menguji sebuah model, jika model tersebut terbukti bermanfaat, model tersebut dapat disimpan dan digunakan kembali nanti untuk masalah serupa.

Jenis Pembelajaran Transfer

Secara umum, ada dua yang berbeda macam transfer belajar: mengembangkan model dari awal dan menggunakan model terlatih.

Saat Anda mengembangkan model dari awal, Anda harus membuat arsitektur model yang mampu menginterpretasikan data pelatihan dan mengekstraksi pola darinya. Setelah model dilatih untuk pertama kali, Anda mungkin perlu mengubahnya untuk mendapatkan performa optimal dari model. Anda kemudian dapat menyimpan arsitektur model dan menggunakannya sebagai titik awal untuk model yang akan digunakan pada tugas serupa.

Dalam kondisi kedua – penggunaan model pra-terlatih – Anda hanya perlu memilih model pra-terlatih untuk digunakan. Banyak universitas dan tim peneliti akan menyediakan spesifikasi model mereka untuk penggunaan umum. Arsitektur model dapat diunduh bersama dengan bobotnya.

Saat melakukan pembelajaran transfer, seluruh arsitektur dan bobot model dapat digunakan untuk tugas yang sedang dikerjakan, atau hanya bagian/lapisan tertentu dari model yang dapat digunakan. Menggunakan hanya beberapa model pra-pelatihan dan melatih model lainnya disebut sebagai penyetelan halus.

Menyempurnakan Jaringan

Finetuning jaringan menjelaskan proses pelatihan hanya beberapa lapisan dalam jaringan. Jika set data pelatihan baru sangat mirip dengan set data yang digunakan untuk melatih model asli, banyak bobot yang sama dapat digunakan.

Jumlah lapisan dalam jaringan yang harus dicairkan dan dilatih ulang harus diskalakan sesuai dengan ukuran kumpulan data baru. Jika kumpulan data yang dilatih kecil, praktik yang lebih baik adalah mempertahankan sebagian besar lapisan sebagaimana adanya dan hanya melatih beberapa lapisan terakhir. Ini untuk mencegah overfitting jaringan. Alternatifnya, lapisan terakhir dari jaringan yang telah dilatih sebelumnya dapat dihapus dan lapisan baru ditambahkan, yang kemudian dilatih. Sebaliknya, jika kumpulan data adalah kumpulan data besar, berpotensi lebih besar dari kumpulan data asli, seluruh jaringan harus dilatih ulang. Untuk menggunakan jaringan sebagai ekstraktor fitur tetap, sebagian besar jaringan dapat digunakan untuk mengekstraksi fitur sementara hanya lapisan terakhir jaringan yang dapat dibekukan dan dilatih.

Saat Anda menyempurnakan jaringan, ingatlah bahwa lapisan ConvNet sebelumnya berisi informasi yang mewakili fitur gambar yang lebih umum. Ini adalah fitur seperti tepi dan warna. Sebaliknya, lapisan ConvNet selanjutnya menyimpan detail yang lebih spesifik untuk masing-masing kelas yang disimpan dalam kumpulan data tempat model awalnya dilatih. Jika Anda melatih model pada kumpulan data yang sangat berbeda dari kumpulan data asli, Anda mungkin ingin menggunakan lapisan awal model untuk mengekstraksi fitur dan hanya melatih ulang model lainnya.

Contoh Pembelajaran Transfer

Aplikasi pembelajaran transfer yang paling umum mungkin adalah aplikasi yang menggunakan data gambar sebagai masukan. Ini sering merupakan tugas prediksi / klasifikasi. Jalan Jaringan Saraf Konvolusional menafsirkan data gambar cocok untuk menggunakan kembali aspek model, karena lapisan konvolusi sering membedakan fitur yang sangat mirip. Salah satu contoh masalah pembelajaran transfer yang umum adalah tugas ImageNet 1000, kumpulan data besar yang berisi 1000 kelas objek yang berbeda. Perusahaan yang mengembangkan model yang mencapai kinerja tinggi pada kumpulan data ini sering merilis model mereka di bawah lisensi yang memungkinkan orang lain menggunakannya kembali. Beberapa model yang dihasilkan dari proses ini antara lain adalah Model Microsoft ResNet, Model Awal Google, dan Model VGG Oxford kelompok.